没有合适的资源?快使用搜索试试~ 我知道了~
65.168.463.870.369.875.166.172.674.878.574.679.6187100自监督学习的对抗样本:朝着深度伪造检测的良好泛化方向0Liang Chen 1 Yong Zhang 2 � Yibing Song 2 Lingqiao Liu 1 � Jue Wang 201 阿德莱德大学 2 腾讯AI实验室0{liangchen527, zhangyong201303, yibingsong.cv, arphid}@gmail.com0lingqiao.liu@adelaide.edu.au0摘要0最近的深度伪造检测研究在训练和测试面部伪造来自同一数据集时取得了有希望的结果。然而,当试图将检测器推广到训练数据集中未见过的方法创建的伪造时,问题仍然具有挑战性。本研究从一个简单的原则出发,解决了可推广的深度伪造检测问题:一个可推广的表示应该对各种类型的伪造具有敏感性。根据这个原则,我们提出通过合成具有一组伪造配置的增强伪造来丰富伪造的“多样性”,并通过强制模型预测伪造配置来增强对伪造的“敏感性”。为了有效地探索大规模的伪造增强空间,我们进一步提出使用对抗训练策略来动态合成对当前模型最具挑战性的伪造。通过大量实验证明,我们提出的策略效果惊人(见图1),并且它们可以实现比当前最先进的方法更优越的性能。代码可在https://github.com/liangchen527/SLADD上找到。01. 引言0生成对抗网络(GAN)带来的逼真图像生成引发了一个安全问题,即人脸可以被轻易替换以提供恶意生物信息学[11,45, 15, 44, 51, 56, 40, 54,48]。这种伪造对于在数字支付、视频监控和社交媒体中广泛使用的主体识别构成了威胁。为了减少这些风险,目前正在进行深度伪造检测器的研究,以识别面部伪造。作为一个二分类问题,当前的检测器[26, 3, 2, 32, 39]表现良好。0� 通讯作者。本工作是L. Chen在腾讯AI实验室实习期间完成的。0FF-DF FF-F2F FF-FS FF-NT0平均AUC(%)0训练数据0基线 基线 w/ adv. aug. 基线 w/ adv. aug. & ssl.0图1. 基线模型(即Xception[41])的提出策略的性能改进。模型在Faceforensics++数据集[41]的四种类型的数据上进行训练,并在CelebDF [28]、DFDC[12]和DF1.0 [20]数据集上进行测试。0当训练和测试伪造来自同一数据集和相同的伪造方法时,检测器的性能较好。然而,在实践中,测试伪造通常来自未见过的数据集,并且由未见过的方法合成。训练数据和测试数据之间的差异导致检测器的性能较差。当检测器识别训练数据集之外的伪造时,会出现性能下降,这给深度伪造检测器的实际使用带来了挑战。近年来,已经有一些尝试来改善泛化性能。例如,为了克服数据集偏差,一些研究[24,58]建议数据增强是对泛化性能差的一种有效工具。这些方法通过合成具有经验设计的增强的新面部伪造来增加训练数据。然而,它们的增强策略选择有限。缺乏多样性可能会危及泛化性能。同时,伪造之间共享的内在属性,如细节差异[30]和频率特征[39,29],也被广泛挖掘,并使用手工制作的表示来区分伪造。但这些属性主要依赖于难以察觉的图像模式,对后处理步骤(如压缩)敏感。它们在不同数据集中变化很大,从而导致大的检测偏差,限制了它们的泛化性能[60]。187110在本文中,我们从一个简单的启发式原则来解决deepfake检测问题:一个具有泛化性的表示应对各种类型的伪造具有敏感性。按照这个原则训练模型可能可以避免模型的“盲点”,或避免依赖于特定数据集的模式,否则模型可能无法识别各种伪造。推动这个想法的极限,我们提出通过从大量的配置中合成伪造图像来丰富“伪造的多样性”1。具体而言,给定一个原始图像,我们从训练数据中随机选择一个参考图像2,我们的合成器网络(即生成器)生成指定伪造区域、混合类型和混合比例的伪造配置。然后根据这些配置生成一个合成的伪造图像(示例见图2)。为了增强“对伪造的敏感性”,我们的检测器网络(即判别器)除了判断输入是否为伪造之外,还需要预测输入的配置。此外,为了有效地探索伪造增强的大空间,我们采用对抗训练策略来动态构建对当前检测器网络最具挑战性的增强。与经验设计的增强方法[24, 58,6]不同,我们的对抗增强策略具有很大的多样性,并且可以根据判别器的性能动态构建。通过我们的实验研究,我们证明了采用对抗增强和自监督任务的有效性。观察到与基线方法相比,我们的方法显著改进,并且在其他最先进的检测器中也表现出色。02. 相关工作0Deepfake检测。最近的研究对于deepfake检测进行了各种尝试,并取得了显著的成功[26, 41, 3, 2, 32, 39, 14, 24, 30,29, 19, 47, 23, 36,5]。一些研究讨论了原始图像和伪造图像之间的低级差异,并建议将其作为分类线索。Li等人[24]假设所有原始图像中都存在混合伪影,并建议在检测任务之外找到混合边界;Qian等人[39]和Luo等人[30]使用高频细节作为模型的附加输入;Liu等人[29]采用相位谱来捕捉面部伪造的上采样伪影。尽管这些方法在许多情况下都很有效,但是低级伪影对于后处理步骤非常敏感,而不同数据集中的后处理步骤各不相同,因此限制了它们的泛化性能[60]。一些研究建议从其他任务中借用特征用于deepfake检测。01术语“配置”表示合成伪造图像的特定方式。在我们的讨论背景下,它也可以指控制特定合成过程的一组参数。2我们只使用训练集中的伪造图像作为参考。0(a)原始(b)参考(c)伪造(adv)0图2. 输入原始图像、参考图像及其对应的合成对抗伪造示例。0例如,嘴唇阅读特征[19]、面部图像分解[60]和地标几何特征[43]等。尽管这些特征可以带来有希望的改进,但它们在deepfake数据上的泛化性能是可疑的。尽管为这些任务标注deepfake数据的成本相当昂贵,但是将这些任务纳入其中往往只能带来有限的改进。0对抗学习。对抗训练旨在通过增加训练样本中的对抗性示例来增强训练样本,通常包含一个生成器和一个判别器,并且它们是根据对抗性攻击的原则进行训练的[17, 22, 31,55]。Goodfellow等人[17]首次使用快速梯度符号方法来提高对抗鲁棒性。Madry等人[22]进一步提出了一种称为投影梯度下降的多步骤方案,以实现比其他方法更强大的鲁棒性。此外,与直接合成新图像来扩大数据集的先前方法[46,37, 4, 18,16]不同,Zhang等人[55]建议以对抗性方式自动选择增强策略,这比先前方法[10]在计算成本上节省了很多。然而,大多数这些对抗训练策略都是为一般任务设计的,例如分类。相比之下,我们的对抗性示例合成过程类似于deepfake生成过程,因此更适合于deepfake检测任务。03. 提出的方法0我们提出使用对抗数据增强来提高深度伪造检测器的泛化能力。Ia = Ag × Md ∗ (If − Ip) + Ip,(1)187120混合比例:0一个在[0,1]范围内的连续数值0区域0混合类型0混合比例0伪造合成 G D 混合类型0混合比例0真/假0原始0参考对抗伪造0配置0预测监督07. 组合2和3 8.组合0、1和2 9.组合0、1、2和30区域选择: 0. 左眼 4.组合0和1 5. 组合0和2 6.组合1和200. alpha混合 1.Poisson混合0混合类型选择:02. mixup 3.什么都不做0区域0图3.我们模型的概览。合成网络(即生成器)输出三个伪造配置,进一步用于合成新的伪造图像,这些伪造配置也被用作指导检测器网络(即判别器)的标签。我们以对抗的方式训练生成器和判别器。详细信息请参阅正文。0这丰富了伪造类型,并且通过自监督任务来强化对伪造配置的敏感性。我们模型的流程如图3所示。在训练过程中,如果输入是原始图像,我们会随机选择一个参考图像。这两个图像被送入合成网络,以生成指定面部伪造区域、混合类型和混合比例(如果选择了混合)。然后根据这两个图像和选择的配置合成一个新的伪造图像。合成的伪造图像被送入我们的检测器进行真伪和配置预测。需要注意的是,如果输入是来自训练数据的原始伪造图像,则输入将跳过伪造合成过程。我们采用对抗训练策略来训练系统,其中合成器被视为生成器,检测器被视为判别器。训练过程将训练伪造合成器生成新的伪造图像来挑战检测器。训练完成后,只使用检测器进行深度伪造检测。03.1. 选择空间和合成伪造0我们的合成网络 G(∙, θ) 接受一个原始图像 I_p ∈R^{H×W×3} 和一个参考图像 I_f ∈ R^{H×W×3}作为输入,并输出三个配置:伪造区域参考索引R_g,混合类型索引 T_g(一个离散数值),以及混合比例A_g(一个连续值)。对于 A_g,我们直接从输入的 I_p 和I_f 生成一个标量。对于 R_g 和T_g,我们首先生成两个概率分布 p(R_g) 和p(T_g),表示选择特定的 R_g 和 T_g索引的机会,然后根据概率随机采样一个索引。为了简化讨论,我们用 p_m 来表示这两个概率。这些配置 R_g、T_g和 A_g控制着如何生成伪造图像。它们的定义如下:R_g:索引R_g ∈ {0, ..., 9} 确定了特定的面部伪造区域。0区域。我们根据面部特征点将面部图像分为10个区域,包括左眼、右眼、鼻子、嘴巴以及它们的组合。不同区域的示例如图4(c)-(l)所示。我们只考虑面部特征,因为大多数深度伪造作品都侧重于它们,并且它们在面部图像中传递了最多的信息;T_g:参考编号 T_g ∈ {0, ..., 3}确定了混合类型。我们使用三种混合技术,包括alpha混合、Poisson混合[38]和mixup混合。为了不失一般性,我们在混合类型池中包含一个什么都不做的选择,这样我们可以使用数据集中的原始图像进行进一步分类。A_g:连续值A_g ∈ [0, 1]是混合比例,仅在选择了mixup混合时有效。在合成步骤之前,我们对选择的伪造区域进行随机形状变形操作,并使用随机核大小进行高斯模糊。最终的掩码示例如图4(m)所示。然后,为了合成对抗性伪造图像 I_a,我们从 I_f 中裁剪由R_g确定的面部部分,并使用合成器网络指示的配置将其混合到I_p中。具体来说,我们使用OpenCV的官方实现来进行alpha和Poisson混合以合成I_a,对于mixup混合,可以通过以下方式获得 I_a:0其中M d 是变形的最终掩码,�是Hadamard乘积。与现有的Deepfake方法一样,在alpha和Poisson混合步骤之前,裁剪的面部部分会进行颜色转换(分别对齐RGB通道的均值)和面部对齐,这样可以避免新合成的伪造中出现明显的伪迹。图4(n)-(p)显示了具有不同混合类型的新合成伪造的示例。LR = ∥Mgt − Me∥1H/16W/16,(2)LA = τ × ∥Agt − Ae∥1,(3)187130(a) 原始的0(c) No. 0.左眼0(e) No. 2.鼻子0(g) No. 4. 组合No. 0 & 10(i) No. 6. 组合No. 1 & 20(k) No. 8. 组合 No.0, 1 & 20(m)变形的最终掩码0(o)混合混合伪造0(p) Poisson混合伪造 图4.原始图像和随机选择的参考图像示例(即(a)和(b)),操作区域的相应选择空间(即(c)-(m)),以及根据变形操作区域图(即(m))指导合成的不同混合类型的对抗性伪造(即(n)-(p))。在此示例中,所选区域编号为7,并且(o)的混合比例为0.5。03.2. 带自监督任务的联合训练0自监督任务已被证明对于改善泛化性能是有效的[7,50]。然而,这些尝试通常考虑到自监督学习任务对于图像分类任务是有效的。与它们相反,本文针对Deepfake检测问题采用了一个特定设计的辅助自监督任务。通过这样做,我们期望辅助任务与目标任务更好地对齐,从而可能导致更好的性能。我们的想法遵循多任务方案,允许模型同时从两个任务中学习,即主任务和一组辅助自监督任务。具体而言,对于辅助任务,我们考虑伪造区域估计、混合类型估计和混合比例估计。我们在下文中详细说明每个任务和损失。0主任务损失LMain。主任务是一个二分类任务,用于预测给定输入图像是原始还是伪造。与之前的工作[30]类似,我们采用AM-Softmax损失[49]来计算LMain,因为它允许更小的类内变化和更大的类间差异,而不是常规的交叉熵损失。0伪造区域估计损失L R。我们还创建了一个伪造区域估计任务。具体而言,我们将一个伪造区域预测头连接到检测器网络上,并生成大小为[H/ 16× W/16]的伪造区域掩码。根据输入图像的类别,创建了真实伪造掩码M gt,将其分为三个类别。具体而言,如果输入图像是对抗性伪造,相应的M gt 是调整大小的变形最终掩码(即M gt = M d);由于大多数数据集提供了真实的伪造区域,如果输入图像是来自训练数据集的原始伪造,我们可以直接使用它们作为Mgt ;如果输入图像是来自训练数据集的原始原始图像,则M gt是一个全零矩阵(即M gt = 0 ),表示输入中没有伪造区域0图像。任务应用L1损失:0其中 M e 是我们检测器网络的估计区域图,∥ ∙ ∥ 1 表示 L1 范数。0混合类型估计损失 L T。然后,我们引入了一个混合类型估计任务,旨在估计输入图像的混合类型。与伪造区域估计任务类似,该任务的预测目标的真实值,即真实混合类型 T gt,根据输入数据的类别而变化。当输入是合成的对抗伪造时,T gt 可以直接从生成器的输出中获取(即 T gt = T g,其中 T g ∈ { 0 , 1 , 2 }根据所选的混合类型而定);如果输入是原始的原始图像,我们将 T gt = 3,表示图像中没有混合操作;由于现有数据集中通常没有混合类型,因此如果输入图像是训练数据集中的原始伪造图像,则将 T gt = 4,表示混合类型在我们选择的空间之外。同样,我们采用AM-Softmax Loss [ 49 ] 来计算 L T 。0混合比例估计损失 L A。为了充分利用伪造合成过程中提供的混合信息,我们进一步构建了一个任务来估计合成器网络输出的混合比例。因为混合比例仅在合成器网络选择混合混合时有效,所以当输入图像是使用混合混合合成的对抗伪造时,我们可以设置预测的真实值 A gt = A g。相应地,当输入图像是训练数据集中的原始图像或使用其他混合类型合成的对抗伪造时,不计算此损失。采用 L 1损失来计算 L A :min max, s.t.(θ, w) =Main + αR + µT + γA,wt+1 = wt − η 1N∇wtLn(θt, wt),(5)θt+1 = arg maxθt L(wt+1, θt).(6)(7)187140其中 A e 是来自检测器网络的估计混合比例,τ是一个二进制值,s.t. 如果 T gt = 2(即混合类型是混合混合),则 τ = 1 ,否则 τ = 0,从而确保只有在伪造合成过程中采用混合混合时 L A才有效。03.3. 对抗训练0为了更好地利用伪造增强空间,我们采用对抗训练来动态构建最具挑战性的辅助任务。具体而言,我们使用合成器网络G ( ∙ , θ )作为生成器,通过对抗学习来最大化目标鉴别器(即检测器网络 D ( ∙ , w ) )的训练损失。优化过程可以表示为:0(4)其中 α , µ 和 γ 是权重超参数。回顾一下,θ表示生成过程中的所有参数。按照对抗训练的常见做法,上述优化问题可以通过迭代更新鉴别器和生成器来近似解决。我们首先介绍鉴别器的学习过程。公式(4)是关于 w的最小化问题。在固定当前生成器参数 θ的情况下,使用学习率 η 和批量大小 N,我们进行梯度下降更新:0N0在小批量中,L n 是第 n个样本的损失。生成器的设计是通过合成比原始良性示例更具挑战性的样本来增加目标鉴别器的训练损失,从而鼓励鉴别器学习更具泛化能力的特征。它在对抗性框架中与鉴别器进行零和博弈。数学上,我们可以根据公式(4)将目标形式化为最大化问题。0然而,直接通过求解Eq.(6)来更新θ可能存在问题,因为存在不可微分的采样操作,会中断从D(∙, w)到G(∙,θ)的梯度流。为了处理这个问题,我们应用REINFORCE算法[52]来近似计算θ的梯度:0θt+1 = θt + ε�θtLb0≈ θt + ε10M0m=1 Lb �θt log pm,0其中Lb = 1/N ΣNn=1 Ln(wt+1,θt),M表示批次中选择的配置系列的数量。pm表示生成Rg和Tg的概率,即0从合成器网络G(∙, θ)中估计得到。04. 实验04.1. 设置0训练数据集。按照最近的深度伪造检测方法[39, 24, 30, 29,47,23],我们在Faceforencis++(FF++)数据集[41]上训练我们的模型。它包含1,000个原始视频,其中720个视频用于训练,140个视频用于测试,其余用于验证。所有视频都经过四种最先进的深度伪造方法处理,包括Deepfakes(DF)[11],Face2Face(F2F)[45],FaceSwap(FS)[15]和NeuralTextures(NT)[44]。最终的输出以不同的压缩级别生成,包括RAW、高质量(HQ)和低质量(LQ)。我们在实验中使用HQ和LQ版本,默认情况下采用HQ版本。0测试数据集。为了评估我们方法的泛化能力,我们使用以下基准数据集:CelebDF[28],其中包含408个真实视频和795个由改进的深度伪造技术生成的合成视频;Deepfake Detection Challenge(DFDC)[12],其中包括超过1,000个真实视频和超过4,000个由多个Deepfake、基于GAN的和非学习方法操纵的伪造视频;DeeperForensics-1.0 (DF1.0)[20],其中包含由他们的DF-VAE[20]方法生成的超过11,000个伪造视频。我们使用DLIB[42]进行人脸提取和对齐,并将对齐后的人脸调整为256×256,用于训练和测试数据集中的所有样本。0实现细节。我们将Xception[8]修改为我们合成器和检测器网络的骨干,并且它们的参数由在ImageNet上预训练的Xception初始化。在(4)中使用的超参数为α = 0.1,µ = 0.05和γ =0.1。我们使用Adam优化器[21]对这两个网络进行优化,其中β1 = 0.9,β2 =0.999,并且批量大小固定为32。检测器和合成器网络的学习率分别设置为2×10^-4和5×10^-5。04.2. 泛化能力比较0为了全面评估我们方法的泛化能力,我们比较了几种最先进的方法,包括Xception [41],Face X-ray [24],F3Net[39],RFM [47]和SRM[30]。为了公平比较,我们使用了Xception [41],RFM[47]和SRM[30]作者提供的代码,并严格按照伴随论文的说明重新实现了Face X-ray [24]和F3Net[39],并在相同的设置下训练了这些模型。0不同数据集下的泛化能力。在这些实验中,我们在每个数据集上训练了比较模型。DFFSDFFSNTXception [41]0.587 0.5170.770 0.718Face X-ray [24] 0.571 0.5100.585 0.779F3Net [39]0.583 0.5190.805 0.612RFM [47]0.558 0.5160.798 0.639SRM [30]0.555 0.5290.838 0.795SF2FLAE [14]0.9090.632ClassNSeg [34]0.9280.541Forensic-Trans [9] 0.9450.726Two-stream [59]0.7010.538Meso4 [1]0.8470.548MesoInception4 [1] 0.8300.536FWA [27]0.8010.569DSP-FWA [27]0.9300.646Xception [41]0.9970.653VA-MLP [33]0.6640.550Headpose [53]0.4730.546Capsule [35]0.9660.575SMIL [25]0.9680.563Two-branch [32]0.9320.734SPSL [29]0.9690.724MADD [57]0.9980.674187150方法 DF F2F FS NT 平均值 DFDC CelebDF DF1.0 DFDC CelebDF DF1.0 DFDC CelebDF DF1.0 DFDC CelebDF DF1.00Xception [41] 0.654 0.681 0.617 0.708 0.598 0.745 0.708 0.601 0.605 0.646 0.625 0.838 0.669 Face X-ray [24] 0.6090.554 0.668 0.633 0.684 0.766 0.646 0.697 0.795 0.613 0.703 0.866 0.686 F3Net [39] 0.682 0.664 0.658 0.679 0.6540.761 0.679 0.636 0.651 0.672 0.689 0.932 0.696 RFM [47] 0.758 0.723 0.717 0.736 0.663 0.732 0.714 0.591 0.7140.726 0.600 0.846 0.710 SRM [30] 0.679 0.650 0.720 0.687 0.693 0.775 0.671 0.643 0.771 0.656 0.651 0.936 0.711我们的方法 0.772 0.730 0.742 0.787 0.781 0.786 0.742 0.800 0.695 0.741 0.759 0.889 0.7690表1. 与最先进方法在AUC方面的泛化性比较。最佳结果以粗体显示。第一行表示训练数据,第二行显示相应的测试数据集。我们的方法在与其他模型的比较中表现良好。0训练集 方法0测试集0低质量 高质量0我们的方法 0.628 0.568 0.846 0.7210表2.在AUC方面,不同压缩级别下的泛化性比较。我们的方法在现有方法中取得了可比较的性能。0在FF++ [ 41 ] 中使用四种方法,并在CelebDF [ 28]、DFDC [ 12 ] 和DF1.0 [ 20 ]等基准数据集上进行评估。这种设置非常具有挑战性,因为测试数据集中的原始图像和伪造图像都没有在训练数据集中出现过。0我们使用曲线下面积(AUC)指标比较不同方法,并在表1中呈现结果。从结果可以看出,在大多数情况下,我们的方法优于其他模型,并取得了最佳的整体性能。这清楚地证明了所提出的对抗性增强和自监督任务的优势。SRM [ 30 ]和F3Net [ 39 ]都依赖于图像的高频成分来区分伪造和原始图像。我们的实验表明,它们的泛化性能比我们的方法差。这可能是因为在FF++数据集 [ 41 ]上识别高频线索有效,但不一定适用于采用不同后处理步骤的其他数据集。RFM [ 47 ]鼓励使用多个面部区域进行伪造检测,从而提高了泛化性能。然而,他们的方法仍然无法避免一些数据源偏差,例如训练样本中所有整个面部部分都来自同一来源。这个限制可能解释了他们的性能不如我们的原因。Face X-ray [ 24 ]使用伪造图像中的混合伪迹进行泛化。与我们的方法相比,当这些伪迹在训练和测试数据集中具有不同的模式时,他们的泛化能力会下降。作为基线,Xception [ 41 ]不包含任何增强或特征工程。它在未见过的伪造中性能急剧下降。0训练集 方法 测试集0我们的方法 0.960 0.8480表3.采用多任务学习的模型在准确率方面的比较。我们的模型在这些模型中表现良好。0方法 FF++ CelebDF0我们的方法 0.984 0.7970表4.使用其他最先进方法进行广泛评估,以AUC为指标。这些模型是在FF++数据集上训练的。我们的方法在FF++上的测试表现良好,并且在CelebDF上的测试中优于其他方法。0不包含任何增强或特征工程。它在未见过的伪造中性能急剧下降。0不同压缩级别下的泛化性。鉴于真实世界的伪造可能会经过不同的方法进行后处理,例如压缩。部署的深度伪造检测器不容易被未见过的后处理过程颠覆是至关重要的。为了评估比较模型在不同后处理方法下的泛化能力,我们分别在NT数据上训练它们,然后在不同压缩级别下的DF和FS上进行测试。4.4 for187160方法 DF F2F FS NT 平均 DFDC CelebDF DF1.0 DFDC CelebDF DF1.0 DFDC CelebDF DF1.0 DFDC CelebDF DF1.00Xception [ 41 ] 0.654 0.681 0.617 0.708 0.598 0.745 0.708 0.601 0.605 0.646 0.625 0.838 0.669 Xception w/ adv 0.7170.703 0.674 0.739 0.778 0.735 0.737 0.644 0.602 0.662 0.722 0.794 0.709 我们的 w/ ran 0.763 0.663 0.690 0.763 0.7450.696 0.738 0.700 0.650 0.705 0.666 0.810 0.716 我们的 0.772 0.730 0.742 0.787 0.781 0.786 0.742 0.800 0.695 0.7410.759 0.889 0.7690表5. 关于对抗训练有效性的消融研究。指标为AUC。详细的实验设置请参见第4.4节。0方法 DF F2F FS NT 平均 DFDC CelebDF DF1.0 DFDC CelebDF DF1.0 DFDC CelebDF DF1.0 DFDC CelebDF DF1.00我们的 w/ ran ops 0.735 0.666 0.782 0.694 0.647 0.827 0.737 0.601 0.646 0.691 0.685 0.812 0.710 我们的 w/ ops [ 55 ]0.721 0.726 0.777 0.686 0.647 0.840 0.737 0.534 0.720 0.678 0.642 0.829 0.711 我们的 w/ aug [ 24 ] 0.722 0.692 0.7120.722 0.710 0.739 0.719 0.726 0.640 0.714 0.669 0.841 0.717 我们的 w/ aug [ 58 ] 0.754 0.679 0.687 0.746 0.604 0.7530.726 0.697 0.674 0.770 0.713 0.863 0.722 我们的 0.772 0.730 0.742 0.787 0.781 0.786 0.742 0.800 0.695 0.741 0.7590.889 0.7690表6. 关于数据增强策略有效性的消融研究。指标为AUC。详细的实验设置请参见第4.4节。0评估的AUC值如表2所示。我们可以观察到,当在相同的压缩水平的数据上进行训练和测试时,几乎所有的模型都具有竞争力的泛化能力。然而,基于不可察觉图像模式[ 41 , 24, 39 , 30]的模型在测试未知的LQ数据时性能大幅下降。这个结果并不令人意外,因为当图像被高度压缩时,低级线索很大程度上被破坏。RFM [ 47]也报告了相同的结果。因为人脸样本中的所有面部部分通常具有相同的压缩水平,探索更多的面部区域不能保证在不同的压缩水平上具有良好的泛化能力。另一方面,所提出的方法在压缩水平的影响下较小,优于所有其他方法,因为它使用更具有泛化能力的伪造配置,而不仅仅是低级别的伪造痕迹。我们认为与具有类似网络设置的Xception [ 41]相比,采用的对抗自监督框架是改进的原因。04.3. 最新技术比较0与多任务学习检测器的比较。先前的研究中已经探索了使用多任务学习策略来提高深度伪造检测的方法,包括LAE [ 14],ClassNSeg [ 34 ]和Forensic-Trans [ 9]。所有这些方法都建议同时对伪造区域进行分类和定位。与它们的定位任务不同,我们自监督框架中涉及的自监督任务旨在识别合成器网络选择的伪造配置,这不仅避免了繁琐的注释工作,还考虑了更常见的伪造配置。为了公平比较,我们在实验中使用了与比较方法相同的评估设置。我们在F2F数据上训练我们的模型,并在F2F上进行测试。0并且FS。比较结果如表3所示,在测试样本中,我们的模型在使用已知和未知的深度伪造技术时优于其他算法。请注意,结果直接引用自原始论文中的统计数据。0与其他最新检测器的比较。我们进一步评估了我们的方法与几种最新模型的性能,包括Two-stream [ 59 ],MesoNet[ 1 ],Head-pose [ 53 ],FWA [ 27 ],VA-MLP [ 33],Capsule [ 35 ],SMIL [ 25 ],Two-branch [ 32],SPSL [ 29 ],MADD [ 57]。我们在FF++数据集上训练我们的模型,并在FF++和CelebDF上进行测试。其中一些方法的结果直接引用自[ 29]。如表4所示,我们的方法在FF++数据集上与其他模型具有竞争力的性能,并在CelebDF上取得最佳性能,进一步验证了我们的方法的有效性和优越的泛化能力。04.4. 消融研究0本节分析了敌对学习、数据增强和自监督任务的有效性。我们在补充材料中提供了更多分析。0敌对学习。为了验证敌对训练策略是否可以提高泛化能力,我们通过与以下变体进行对比来进行消融研究:(1)Xception[41]:不使用敌对学习和自监督学习的基线方法;(2)Xception w/adv:我们将敌对增强(但不包括自监督学习)添加到Xception基线中;(3)Ours w/ran:我们用随机增强替换敌对增强。也就是说,我们随机选择配置来进行增强,而不是依赖伪造合成器生成配置。这DFF2FFSNTAvg.LR LTLA DFDC CelebDF DF1.0DFDC CelebDF DF1.0DFDC CelebDF DF1.0DFDC CelebDF DF1.0✓✓-0.7700.6860.6870.7680.7140.7790.7220.7090.6530.7350.7200.8560.733✓-✓0.7630.7160.7090.7600.7340.8000.7760.6360.7070.7240.6830.8350.737-✓✓0.7220.6850.6560.7650.7330.7710.7130.6980.6590.7350.7090.8380.724---0.7170.7030.6740.7390.7780.7350.7370.6440.6020.6620.7220.7940.709✓✓✓0.7720.7300.7420.7870.7810.7860.7420.8000.6950.7410.7590.8890.769187170表7. 提出的自监督辅助任务的有效性。指标为AUC。我们通过将相应的损失权重设为零来禁用自监督任务。0variant用于测试敌对增强所带来的改进是来自“敌对训练”还是“增强”还是两者兼而有之。实验比较结果如表5所示。我们可以看到,仅使用敌对增强(Xcep- tion w/adv)相对于基线方法(Xception)可以显著提高(约4%)。这表明了我们敌对增强的有效性。我们还观察到,如果用随机增强替换敌对增强,我们的方法的性能会显著下降。这表明敌对训练对我们的系统至关重要。0数据增强。我们首先将我们的增强步骤替换为[10,55]中的通用增强策略,包括16种图像操作,如旋转和cutout[13],以及10个幅度。比较了两种增强形式。第一种在训练数据集上施加随机图像操作(即Ours w/ ranops);第二种使用相同的合成器网络为不同样本选择不同的操作和幅度,类似于[55]中的设置(即Ours w/ ops[55])。请注意,检测器的目标是估计这两种设置中的图像操作类型和幅度。我们进一步将我们的增强策略与[24]和[58]中的策略进行比较(即Ours w/ aug[24]和[58])。这两种方法都建议合成新的伪造品来增强训练数据,其中内部面的伪造区域在[24]中是固定的,而在[58]中主要采用泊松混合。评估结果如表6所示。我们观察到,通常使用的图像操作策略的效果不如我们的方法好,并且敌对训练带来的改进也相对较小。主要原因是通常使用的图像操作用于一般任务,可能在我们的任务中无效。相反,我们的增强方法是专门为深度伪造检测设计的,更相关于伪造合成过程。因此,我们的增强策略优于通用图像操作。同时,与经验设计的增强策略[24,58]不同,我们的增强具有多种形式。在敌对训练的帮助下,可以创建更多样化的样本来改进0泛化能力。这些优势解释了为什么我们的增强策略比[24,58]表现更好。0自监督任务。我们无缝地整合了三个辅助自监督任务,以提高模型的泛化能力。为了评估这些任务的有效性,我们进行了消融研究,将与这些任务相对应的损失权重设为零(即L_R,L_T和L_A分别对应伪造区域估计掩码、混合类型估计任务和混合比例估计任务)。所有模型都在FF++的四种方法上进行训练,并使用相同的设置在基准数据集上进行评估。结果如表7所示。我们可以观察到每个辅助任务在我们的框架中都起着至关重要的作用,当所有三个自监督任务都被纳入时,我们的方法表现最好。另一方面,排除任何一个任务都会降低整体性能,仅使用主要的分类损失会导致比其他任务显著更差的性能。这验证了所提出的自监督任务的有效性。05. 结论和讨论0在本文中,我们提出了一种能够在未知场景中具有良好泛化能力的深度伪造检测方法。我们的设计基于这样一个直觉,即一个具有泛化能力的深度伪造检测器应该对不同类型的伪造敏感。因此,我们利用合成器和对抗训练框架动态生成伪造。通过训练来识别这些生成的伪造,网络可以学习到更强大的特征表示,并导致更具泛化能力的深度伪造检测器。通过大量实验证明了所提出方法的有效性。当前方法的主要限制是合成器中的增强类型仍然有限。一个有希望的方向是使用GAN或其他生成模型直接生成伪造图像并创建自监督辅助任务。例如,生成的伪造可以由某些潜在变量控制,辅助任务是预测这些潜在变量。伦理声明。本文中使用的所有人脸图像均来自现有作品,并且已经得到适当的引用。在进行实验时,没有侵犯个人隐私。187180参考文献0[1] Darius Afchar, Vincent Nozick, Junichi Yamagishi, 和 IsaoEchizen. Mesonet: 一种紧凑的面部视频伪造检测网络.在WIFS,2018年.0[2] Shruti Agarwal, Hany Farid, Yuming Gu, Mingming He,Koki Nagano, 和 Hao Li. 保护世界领导人免受深度伪造. 在CVPRWorkshops,2019年.0[3] Irene Amerini, Leonardo Galteri, Roberto Caldelli, 和Alberto Del Bimbo. 基于光流的CNN的深度伪造视频检测.在ICCV Workshops,2019年.0[4] Antreas Antoniou, Amos Storkey, 和 Harrison Edwards.数据增强生成对抗网络. 在ICLR,2017年.0[5] Vishal Asnani, Xi Yin, Tal Hassner, 和 Xiaoming Liu.
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功