通过身份水印的主动Deepfake防御

1通过身份水印的主动Deepfake防御赵远1，刘波1，丁明2，刘宝平1，朱天庆1，于欣11悉尼科技大学，2Data61，CSIRO{yuan.Zhao，baopoing.liu} @ student.uts.edu.au，{bo.liu，tianqing.zhu，xin.yu} @ uts.edu.au，ming. data61.csiro.au摘要Deepfake技术的爆炸性进展通过创建看起来真实但虚 假 的 视 觉 内 容 ， 给 我 们 的 社 会 带 来 了 目 前 的Deepfake检测研究仍处于起步阶段，因为它们主要依赖于捕获由Deepfake合成过程留下的伪影作为检测线索，这些伪影可以通过各种失真（例如，模糊）或高级Deepfake技术。在本文中，我们提出了一种新的方法，该方法不依赖于识别伪影，而是采用防伪标签的机制来保护人脸图像免受恶意Deepfake篡改。具体来说，我们设计了一个具有编码器-解码器结构的神经网络，将水印作为抗Deepfake标签嵌入到面部身份特征中。注入的标签与面部身份特征纠缠，因此其将对面部交换平移敏感（即，Deepfake）并且对常规图像修改是鲁棒的（例如，调整大小和压缩）。因此，我们可以通过Deepfake方法根据标签的存在来识别水印图像是否被篡改。实验结果表明，该方法的平均检测准确率可达80%以上，验证了该方法1. 介绍深度生成方法的进步导致了各种强大的Deepfake方法，它们可以合成大小视觉上真实的图像/视频。然而，滥用Deepfake技术对多媒体信息的完整性和个人隐私构成了紧迫的威胁为了对抗Deepfake的攻击性，一个新的研究分支Deep-fake Detection出现了，它旨在利用传统的媒体取证方法或深度学习技术来区分从真实的图像/视频中识别假图像/视频。现有的Deepfake检测方法主要集中在被动地捕获在Deepfake合成期间引入的伪影作为识别虚假图像/视频的线索，其存在两个基本问题：（1）泛化：基于伪影的检测方法难以推广到未知场景。 这些方法高度依赖于在训练过程中学习的工件，因此它们在处理未知和奇怪工件时表现出较差的性能[29]。此外，Deepfake技术以惊人的速度发展，在其合成结果中留下更少的可检测伪影[7，22]。因此，这些方法正在努力跟上Deepfake技术的发展。（2）稳健性：基于伪像的检测方法对于真实世界的失真并不鲁棒。 常规图像操纵（例如，裁剪、压缩）可能会破坏Deepfake结果中的伪影。这些影响将进一步使基于伪影的检测方法在这种情况下不太可靠[17，38]。此外，Deepfake图像/视频中精心制作的不可感知的对抗性噪声也会显著降低基于伪影的检测的有效性[4，12]。为了克服上述问题，我们提出了一种新的框架来主动地对人脸图像的身份特征进行水印，然后根据水印的存在来确定这些图像是否是Deepfake。该方法的机理与防伪相似. 在网上共享个人图像之前，用户可以使用我们的方法将他/她的水印嵌入到这些图像中。水印作为反Deepfake标签，以保护用户对这些图像的真实性。一旦与水印图像身份相似的图像出现在网上，水印图像的所有者就可以根据水印的存在来验证这些可疑图像的真实性。关于所提出的方法的实际应用场景的更多细节46024603图1.我们的方法水印注入步骤旨在生成在感知上与原始图像相似并包含反Deepfake水印的水印图像。水印验证步骤旨在验证图像的身份表示中水印的存在，中间的篡改部分代表了对我们的水印图像的潜在Deepfake操作，这不是我们框架如图1，我们提出的框架包括两个主要步骤：水印注入和水印验证。在水印注入步骤中，输入的人脸图像首先通过两个专用网络分解为身份表示和多级属性表示。然后，我们嵌入一个伪随机序列的身份表示生成水印身份。嵌入的序列不依赖于人脸图像，所以它可以被随机选择，但将被保存并用于水印验证步骤。另一种生成网络将水印标识与原始属性相结合来合成水印图像。该水印图像在感知上与原始图像相似，排除了水印对图像正常使用的负面影响水印验证步骤旨在验证图像中水印的存在，以确定Deepfake是否对其进行了操作我们使用与水印注入相同的根据伪随机序列的特点，如果相关结果中出现峰值，则表明水印仍在相应的图像中，因此没有对Deepfake进行篡改。否则，将被确定为假的。关于所提出的方法的更多细节将在以下部分中解释。总之，我们的主要贡献总结如下：（1）提出了一种新的主动式Deepfake检测方法，通过在图像的身份向量中嵌入防伪水印。(2)我们设计了一个简单但有效的编码器-解码器网络来实现不可见的抗Deepfake水印，它既不需要(3)我们进行了大量的实验，以评估我们的方法的有效性，鲁棒性，实用性和安全性方面2. 相关工作Deepfake技术的不完善性不可避免地会在其结果中引入各种伪像，这是现有研究识别Deepfake的主要线索。McCloskey [32]首先利用颜色失真来检测假图像。Nataraj等人。 [33]然后提出通过分析像素共生矩阵的组合来识别Deepfake。Chai [5]通过图像局部块中的冗余空间伪影来区分假面孔。该研究[25]指出了混合边界上的差异，以区分修改后的面。为了提高检测性能，Dang [9]首先在CNN模型上采用注意力机制来检测Deepfake伪影。Zhao等人。 [54]将Deepfake检测重新表述为细粒度分类任务，并提出了一种新的多注意力架构，以从多个面部注意区域捕获局部判别特征。Yu等人。 [50]提出了一种通用性学习策略，用于从不同的数据库中学习统一的Deepfake特征，以便更好地推广未知的伪造方法。除了空间伪影外，生物信号伪影是另一个明显的伪造线索。Lyu [26]首先提出通过观察缺乏的内容来发现Deepfake视频在合成的脸上眨眼。在[46]中，不一致的头部姿势被用来揭示伪造的视频。FakeCatcher [8]结合了六种不同的生物信号来区分自然视频和虚假视频。Haliassos [14] tar-通过唇读学习嘴部运动的不一致性来检测伪造的视频。 Yang等人[45]采用多任务学习方案来提取更直观和准确的嘴唇特征，以获得更强大的假辨别力。一些研究人员调查了Deepfake结果中的频率伪影，这些伪影被认为源于GANs的架构。AutoGAN [53]首先观察到GAN中的上采样设计会在合成图像中引入伪影，这些伪影可用于检测GAN生成的图像。其他研究[30，48]然后介绍-4604·attattattattID2ID.Σ提取GAN指纹，用于对真实或GAN伪造的图像进行分类。[11]进一步利用GAN指纹进行Deepfake归属。最近，为了提高检测器与此同时，一些积极的措施[1，42，47]通过将不可见的标签嵌入到原始图像中来对抗恶意的Deepfake，该标签在Deepfake生成过程后仍然可以检索。然后，用户可以重新获取标签并阻止传播。Yu等人 [49]将人工指纹嵌入到生成模型中，然后嵌入到其生成的Deepfakes中，以便它们可以根据提取的指纹实现与这些工作相比，我们的方法更侧重于语义级保护，即，防止操纵人脸图像3. 方法我们提出的框架包括两个步骤：水印注入和水印验证。我们将在本节中介绍3.1. 水印注入水印注入步骤的目的是将一个序列插入到人脸图像中，使其与人脸图像的身份特征纠缠在一起，同时保持水印图像在感知上与原始图像相似。这一步骤背后的基本原理是，稍微扰乱身份特征，同时保留残留属性不会显着扭曲的面部图像。此外，传统的图像修改，例如，裁剪、调整大小和压缩通常不影响面部图像的身份特征。因此，嵌入的水印可以避免被修改，并 保 持 对 传 统 的 图 像 操 作 的 鲁 棒 性 . 相 比 之 下 ，Deepfake方法的目标是编辑或交换图像的身份，将不可避免地改变插入的水印。因此，我们可以利用这种机制来检测Deepfake是否修改了水印图像。为此，水印注入步骤由三个过程组成：（1）特征解纠缠，将人脸图像解纠缠为两个独立的表征，即身份和属性;（2）身份水印，将水印嵌入到提取的身份表示（向量）中;（3）图像重构，综合水印标识和原始属性，合成相应的水印图像。水印注入的概述在图1的左侧部分示出。1，体系结构详情见附录C。功能分解：给定一幅输入的人脸图像，我们使用两个专用的网络，即身份编码器和属性编码器，分别从图像中提取独立的表示，z id（X）和z att（X）。身份编码器：身份表示是高级人类生物特征，用于以较小的个人内变化和较大的个人间差异来表征特定的人。与大多数用于身份和属性的分解表示的研究类似[35，44]，我们工作中的身份编码器采用预先训练的人脸识别网络[10]作为骨干，以提取输入图像的具体地，身份表示是512维向量，其被公式化为z_id（X）=Arc（X），其中X表示输入图像，Arc（）表示面部识别网络。属性编码器：将人脸图像的属性表示为姿态、表情、背景等空间特征。根据这些特征的细节，属性可以分为不同的级别，从粗（例如，整体空间轮廓），到精细（例如，精确的形状）。因此，我们采用多层次的特征映射来保留这些细节来表示属性。具体来说，我们将输入图像馈送到U-Net风格的网络中，然后使用U-Net解码器生成的特征图作为属性表示。正式的属性表示被表示为：z att（X）=z1（X），z2（X），.，n（X），（1）其中zn（X）表示来自U-Net解码器的第n级特征映射，并且n是特征级别的数量。在这项工作中的属性编码器不需要额外的注释，因为它使用自监督训练来提取属性，该自监督训练被训练以保持原始图像X和生成的水印图像X具有相同属性的表示身份水印：在特征分解之后，我们将逐位二进制序列z seq添加到身份表示z id（X）以生成对应的水印身份。二进制序列可以是用户自定义的或随机生成的，它将作为将来验证的签名，因此我们的方法的用户应该保留他/她的嵌入序列，并对对手保密。此外，为了减少水印除非另有说明，否则在我们的实验中，α将被设置为0.1。因此，与原始身份序列相比，最终的水印序列值是最小的。身份水印被公式化为：zw （ X ） =zid （ X ） + αzseq ，（2）其中z w（X）表示加水印的身份向量。图像重建：接下来的过程是将水印标识与原始属性相结合，合成水印图像。以前的研究[2，34]4605ID·Σ−ΣΣΣ−−IDid- -揭示了简单地将身份和属性连接到提取过程被定义为：合成图像将导致严重视觉质量下降和失真。为了避免这个问题并生成高保真水印图像，我们采用了一种新的自适应注意力去规范化（AAD）[24]机制来完成特征集成。图像重建网络采用多个cas-ZID（X）=Arc（X）=Arc（zw（X）zatt（X））=Arc（（zid（X）+αzseq）zatt（X））z id（X）+ αz seq.（四）使用AAD残差块（ResBlk）来集成标识和属性。每个AAD ResBlk由多个AAD层组成，其采用具有去规范化的注意力机制来自适应地调整身份表示和属性表示的参与以合成不同的区域。例如，身份将在生成面部区域时提供更多的重要性，这对于区分身份是最有区别的，而属性将更多地关注与空间特征（诸如肤色和背景）相关的区域。我们将重建程序正式定义为：X=Gen（zw（X），t（X）处的z）=zw（X）=t（X）处的z，（3）Gen（·）表示重构网络。属性zatt（X）被省略，因为Arc（）只提取身份特征。验证：在获得身份表示zid（X_i）之后，计算其与水印序列z_seq的相关性，以验证输入图像中是否存在水印。由于zid（X） 和zseq可以被记为1维实离散序列，因此函数com-id（X）和z seq可以被记为1维实离散序列，因此函数com-i d（X）可以被记为1维实离散序列。将它们的相关性定义为：N−1Corr[l]=zid（X）[n]< $zseq[n−1+N−1]，（5）n=0其中，l=0，1，…2N2是相关结果的索引，n表示离散序列的索引，N表示离散序列的长度，当m在zseq[m]的范围之外时，zseq[m]为0。如Eq. 3，对于真实的水印图像，等式3中的相关函数是不确定的。4等于：N−13.2. 水印验证与传统水印技术[23，37，55]的目的是准确恢复插入的水印不同，我们的水印验证的目的是检测水印是否仍然存在于水印图像的身份特征中，并进而确定Deep-fake是否修改了由于水的困难-Corr[l]=≈=zid（X）rec[n]<$zseq[n−l+N−1]n=0N−1（zid（X）[n]+αzseq[n]）zseq[k]n=0N−1zid（X）[n]<$zseq[k]+αzseq[n]<$zseq[k]，n=0（六）特征点检测比水印恢复容易得多，因此我们的方法可以提供更可靠的验证结果。更详细地说，我们的水印验证步骤包括两个过程：（1）提取，提取输入图像的身份表示;（2）验证，计算提取的身份与预先定义的水印之间的相关性，以验证输入图像中水印的存在。提取：我们重新使用特征解纠缠中采用的身份编码器从水印图像中提取身份表示，其公式为zid（X）=Arc（X）.这一过程背后的基本原理是，我们重建的水印身份该过程被认为是在水印图像对于未经Deepfake修改的水印图像其中，为了简单起见，我们设置k = n 1+N 1。因此提取的身份和预定义的水印可以被假定为两个独立计算的和：原始身份表示与水印序列的互相关以及水印序列本身的自相关。相比之下，如果水印图像被Deepfake修改，其身份表示和纠缠水印序列将失真，因此其提取的身份与预定义水印之间的相关性无法像Eq. 6，但只能假设为两个不同序列的互相关，如等式4.第一章根据自相关而对于互相关函数，则不存在这种性质。因此，我们可以检测在第（N1）个索引处是否存在明显的峰值，以确定水印图像的身份特征是否被Deepfake方法篡改。4606·L2·Att·2厄特att¨2KK21Σ¨¨¨¨3.3. 训练过程在我们的训练过程中不需要额外的注释，除了身份编码器，所有其他网络都是可训练的。对抗性损失：为了使重建的图像更逼真，我们采用了[19]中的多尺度ARMIDis（），带有铰链损失函数，以对抗的方式训练我们的模型：可以实现关于各种定性和定量评估度量的最佳性能。请注意，安全性分析结果见附录F。4.1. 实验装置数据集：我们在Flickr-Faces-HQ（FFHQ）[21]数据 集 上 训 练 我 们 的 方 法 ， 并 在 CelebA-HQ [20] 和CelebA [27]数据集上进行实验，以揭示其泛化能力。L高级= logDis（Xm）+logg（1−D是（Xm）），（7）能力 除非另有说明，否则实验中的所有图像-部分已对齐并裁剪为256×256的大小。其中，Xm和Xm表示低分辨率原始图像以及在第m次下采样之后的相应重构图像。属性保留损失：我们还计算原始图像和重建图像之间的属性nL=z（X）−z（X），（8）k=1基线：我们选择作者在我们的比较实验中发布源代码和预训练模型的作品，以获得可重复的结果。Deepfake检测：选择被动方法[3，5，15，41]和主动方法[49]是因为它们代表了最新的可重复的Deepfake检测方法。数字水印：我们选择StegaStamp [40]和UDH [51]作为基线，因为它们实现了SOTA在嵌入信息和展示吸引力方面的表现-其中n表示属性的级别。重建损失：此外，为了保持重建图像与原始图像相似并减轻与像素级水印注入的冲突，我们定义了原始图像和重建图像之间的感知相似性损失LPIPS [52]，而不是常见的像素级重建损失：视觉质量结果。我们使用官方代码和预先训练的模型用于所有上述方法。评估指标：我们使用三种不同类别的指标来评估性能：（1）对于Deepfake检测，为了测量误检率和误报率，我们计算图像级精度（ACC）LR=L（X）−L（X） ，（9）其中L（）表示感知特征提取器。水印保存损失：为了尽量减少失真-为了在重构图像中嵌入水印序列，使用水印保持损失函数来度量嵌入水印的身份向量与提取的身份向量之间的余弦相似度：LW=1−Cos（zi d（X）−A rc（X）），（10）其中Cos（）表示余弦相似性运算。我们的框架最终用以下加权和进行训练：上述损失的定义如下：L （ X ） =λRLR+λAdvLAdv+λAttLAtt+λWLW ，（11）F1分数AUC和相关ROC曲线，决策阈值自由度量，也报告选择最佳模型;（2）在鲁棒性评价方面，计算水印图像经过各种后处理后正确检测的比例，记为检测率（DR）;（3）利用峰值信噪比（PSNR）和结构相似性指数测度（SSIM）计算水印图像与原始图像的相似度，以反映水印图像的视觉质量。除非另有说明，否则当相关联的方法显示出更好的性能时，上述度量更高4.2. 序列类型的影响根据等式4、电磁场的相关特性其中λR，λAdv，λAtt，λW是可调的常数加权嵌入序列在水印中起着重要的作用验证 因此，我们首先分析了差异的影响，相应的损失。除非另有说明，否则λ值设定为λR=10，λ Adv=0。1，λ Att=10且λ W=1。4. 实验我们进行了大量的实验，从以下几个方面来评估我们的方法：i）不同伪随机序列对模型性能的影响，ii）Deepfake检测的有效性，iii）水印图像的视觉质量，以及iv）潜在攻击场景中的安全性。实验结果表明，该方法4607不同的水印序列对我们的方法。两个代表性的伪随机噪声（PN）序列：最大长度序列（MLS）和Gold码（Gold），以及两个最常见的随机序列：高斯噪声和拉普拉斯噪声，被选择用于比较。所有嵌入序列的长度都设置为512，与身份表示相同为了公平比较，网络通过在每次迭代中随机选择上述水印来训练FFHQ图像然后，我们将四个不同的序列应用于10 k个随机选择的Celeba-HQ图像，以生成4608↑ ↑↑×表1.不同序列序列类型相关结果视觉质量峰值平均PAR↑SSIM↑PSNR↑原始0.770.541.431.048.0高斯0.960.541.790.9534.65黄金5.610.5210.830.9433.32拉普拉斯1.820.742.450.9534.84MLS4.820.539.170.9533.5图2.不同序列水印图像的定性比较。尽管注入了不同的序列，但所有水印图像在感知上都与原始图像相同。水印测试图像，产生40k个测试图像，并在这些图像上计算定义的度量以评估影响。相关性结果。在表1中，我们给出了平均相关性结果，其中Peak表示零滞后时出现的相关性值，Average表示残差相关性结果的平均值，Peak-to-Average Ra（PAR）输出Peak与Average的比值，该比值表示Peak在验证结果中的显著性。除了水印图像的结果外，我们还在表1的第一行中报告了原始图像的相关性，作为参考。如表1所示，水印图像水印图像与未水印图像的相关结果有明显的差异目视质量。然后，对不同序列的水印图像进行视觉质量评价.最佳SSIM和PSNR值也在表1的原始行中报告以供参考。根据表1和图2所示的定量和定性结果，2、无论嵌入何种类型的序列，水印图像都能保持较高的视觉质量，并且在视觉上与原始图像完全一致，这表明水印图像不会影响其实用性。有效性在这一节中，我们将探讨我们的方法在识别水印和非水印图像的有效性。我们的方法区分10 k水印图像和10 k随机选择的Celeba-HQ非图3.不同序列在不同PAR阈值下的ROC、准确度和F1评分。Gold序列和MLS序列用于不同类型的水印序列的水印图像。此外，根据表1中总结的相关结果，不同类型的水印序列具有不同的PAR。在此，我们考虑采用不同的PAR值，从1到10，步长为1作为阈值，以判断是否存在水印在相应的图像。更具体地说，在其相关结果中PAR高于阈值的图像将被视为水印。进一步计算相关的ACC和F1得分，分析不同PAR阈值下该方法图3显示了实验结果。根据ACC和F1 Score曲线的变化趋势，高斯和拉普拉斯序列的最佳阈值为2，Gold序列的最佳阈值为5，MLS序列的最佳阈值为4。我们将在随后的稳健性评估中采用这些阈值。此外，它们的AUC值分别为0.5552，0.9952，0.6466和0.9917高斯Gold和MLS的ROC曲线比Gaussian和Laplace更接近左上角这些结果表明，采用黄金和MLS作为水印序列将执行我们的方法比高斯和拉普拉斯。鲁棒性我们测试了不同序列对我们方法鲁棒性的影响。实验中采用了五种常用的后处理操作，高斯模糊，颜色调整，JPEG，水平翻转，调整大小和裁剪.对于高斯模糊，我们考虑内核标准偏差范围从0.5到1.0，步长为0.1。对于JPEG，我们考虑的质量因子范围从50到100，步长为10。对于调整大小和裁剪，我们考虑首先裁剪图像的外围尺寸，范围从50%到100%，步长为10%，然后将其调整为256 256。对于水平翻转和颜色调整，我们使用Py- Torch torchvision.transformations的修改的示例4.第一章4609↑↑表2. 不同序列对颜色调整和水平翻转的检测比图像操纵层序类型高斯黄金拉普拉斯MLS色彩抖动翻转百分之六十三点九61.9%94.8%百分之九十七点二百分之四十五点四52.4%91.2%96.7%图4.每个后处理操作的结果样本在我们的实验中采用。图5.不同序列对JPEG、Resize-Crop和Gaussian Blur的检测率对于每个序列表2和图5给出了每个序列的鲁棒性。我们的方法在处理压缩和模糊时表现出轻微的性能下降，但易受剪切和裁剪的影响。如示于图4行1列2，主要原因是小于80%的裁剪尺寸会切掉部分面部区域，损害相应的身份特征。然而，这个问题并不严重，因为在实践中不太可能使用裁剪的面部图像。Gold和MLS水印序列的结果反映了我们的方法因此，我们将采用Gold序列作为水印，将我们的方法与Deepfake检测中的其他作品进行比较。4.3. Deepfake检测我们将我们的方法与其他Deepfake检测方法在图像级真实或虚假分类中进行了比较。两种属性操作方法，即，AttGAN [16]和StarGAN 2 [7]，两种身份交换方法，即，InfoS-wap [13]和SimSwap [6]，以及两种面部匿名化方法，即CIAGAN [31]和DeepPrivacy [18]，图6.非水印和我们的水印图像水印图像的伪造结果与未加水印图像的伪造结果在感知上是相同的在这个实验中使用。我们采用了这些作品的官方代码和预训练模型，因此我们的实验结果是可靠的和可重复的，从而可以为将来的比较提供参考。Celeba和CelebaHQ图像在本实验中用于表示低分辨率和高分辨率的Deepfake案例。我们将Deepfake方法应用于水印和非水印图像，以生成相应的假输出。利用含水印的真实图像和虚假图像来评估该方法的鉴别能力，而利用未含水印的真实图像和虚假图像来评估其他检测方法的性能。通过对不同序列的性能分析我们首先说明了图。6对Deepfaked非水印和水印输出进行定性比较，我们可以看到，非水印和我们的水印图像的Deepfake结果在感知上彼此相同，这表明我们的方法很好地保持了图像的实用性。此外，这也使得Deepfake的对手很难区分受保护和不受保护的图像，增加了我们的方法保密表3总结了我们与被动方法之间的比较结果我们的方法实现了超过0.8检测所有Deepfake方法输出的ACC和F1分数，揭示其优越的有效性和通用性。除了PF在Star-GAN 2上的表现优于我们之外，我们的方法优于所有其他基线，明显的边缘我们的方法在Star-GAN 2上表现不佳（仍然达到第二等级的性能），因为StarGAN 2不修改与人脸身份相关的特征。为了验证这一点，我们采用AttGAN来操纵与身份相关的属性，例如，性别和肤色。表3中的结果相反，其他被动检测方法仅在检测有限的Deep-fake方法时表现良好，在检测其他Deepfake方法时恶化为随机猜测（50%准确度）。然后，我们将我们的方法与最新的主动检测方法，即，AGF [49]，在Celeba-HQ图像上检测FaceShifter4610表3.不同方法的DeepFake检测结果的准确度↑和F1分数↑检测方法低分辨率（Celeba）高分辨率（Celeba-HQ）AttGANCIAGANDeepPrivacyInfoSwapSimSwapStarGAN2AttGANCIAGANDeepPrivacyInfoSwapSimSwapStarGAN2BTS [15]0.86/0.870.51/0.660.5/0.660.49/0.660.51/0.670.53/0.670.86/0.870.5/0.660.5/0.660.49/0.650.5/0.660.55/0.68CD [43]0.88/0.860.51/0.030.51/0.010.54/0.170.51/0.010.78/0.710.81/0.770.51/0.040.52/0.070.52/0.070.52/0.060.84/0.81ICPR [3]0.59/0.690.62/0.620.58/0.680.49/0.640.6/0.710.46/0.630.53/0.680.65/0.620.56/0.690.51/0.660.55/0.690.49/0.65PF [5]0.76/0.790.51/0.660.52/0.650.57/0.680.54/0.670.99/0.980.75/0.790.51/0.660.55/0.680.56/0.690.54/0.680.98/0.97RFM [41]0.5/0.670.51/0.670.51/0.670.5/0.670.51/0.670.5/0.670.5/0.670.5/0.670.51/0.670.5/0.670.5/0.670.5/0.67[39]第三十九话0.79/0.820.77/0.80.78/0.820.77/0.810.78/0.810.72/0.750.8/0.80.72/0.780.78/0.80.76/0.770.83/0.840.69/0.7我们0.94/0.940.87/0.860.98/0.980.98/0.980.97/0.980.82/0.840.94/0.940.85/0.820.99/0.980.99/0.990.98/0.980.85/0.87表4.DeepFake主动方法的检测性能加计↑F1分数↑精密度↑回忆↑AGF [49]我们0.71790.99550.91480.99550.84440.99800.99800.9930表5.我们的方法在不同Deepfake和数据集上的AUC↑数据集DeepFake方法AttGANCIAGANDeepPrivacyInfoSwapSimSwapStarGAN22CelebaCelebaHQ0.980.980.950.950.990.990.990.990.980.980.980.98检测结果见表4。有关实验设置的详细信息见附录G。虽然AGF实现了令人印象深刻的检测性能，具有0.99的重新调用和0.91的F1分数，但我们的方法仍然在几乎所有指标上击败它（仅低0.005的召回率，这是可以忽略不计的）。特别是，我们的方法具有显着的优势，在检测精度，由于AGF产生更多的假警报的真实图像（只有0.84精度）。我们还在表5中报告了我们的方法在不同Deep- fakes和数据集上的AUC，并在附录H中绘制了采用不同阈值时的ROC、准确度和F1评分曲线。这些结果揭示了我们的方法总的来说，实验结果表明，我们的方法具有优于现有方法的Deepfake检测性能。4.4. 数字水印与AGF和SOTA数字水印技术（Stegastamp和UDH）在水印图像的视觉质量上进行了比较，表明该方法不牺牲图像的正常效用。在这里，我们采用广泛使用的指标PSNR和SSIM来定量地反映表6中的比较结果。结果表明，我们的方法的输出有更好的视觉质量比别人。图图7还说明了感知比较，其中我们的水印图像更加视觉逼真，准确地保留了原始图像的色调相反，UDH在其水印图像中引入明显的伪影。StegaStamp的输出在面部区域有明显的颜色失真。因此，定性和定量的结果表明，我们的方法可以生成高质量的图像与鲁棒水印。表6.不同水印方法的输出质量质量度量主动检测第一千一百一十一章深藏不露我们AGFUDHStegaStampSSIM↑PSNR↑0.9433.320.9130.690.6920.390.8929.77图7.定性比较我们的方法，AGF和SOTA水印技术StegaStamp和UDH。4.5. 限制首先，我们的方法需要预处理，这将引入计算开销（在附录E中），并且无法对已经合成的图像进行检测。因此，我们认为我们的方法的最佳应用案例其次，目前的水印嵌入在人脸图像的身份特征，因为我们认为它提出了最严重的威胁，如果一个人的身份是伪造的。我们的方法需要进一步改进，以适应其他类型的Deepfake内容。5. 结论这项工作提出了一种积极主动的方法来保护面部图像免受恶意Deepfake的侵害。通过将不可见水印嵌入到人脸图像的身份中，我们的方法为用户提供了一种可靠的方法来验证他们的图像的真实性，减少了深度伪造伪造的负面影响。实验结果表明，该方法确认这项研究的部分资金来自ARC-连锁基金（LP180101150 to TZ and BL ） ， ARC- 发 现 基 金 （ DP220100800 to XY ） 和 ARC-DECRA 基 金 （ DE230100477 to XY）。我们感谢所有匿名评论者和AC的建设性建议。4611引用[1] Vishal Asnani ， Xi Yin ， Tal Hassner ， Sijia Liu ， andXiaoming Liu.主动图像处理检测。在IEEE/CVF计算机视觉和模式识别会议论文集，第15386-15395页，2022年[2] Jianmin Bao，Dong Chen，Fang Wen，Houqiang Li，and Gang Hua.面向开集身份保持的人脸合成。在IEEE计算机视觉和模式识别会议论文集，第6713-6722页[3] Nicolo Bonettini ， Edoardo Daniele Cannas ， SaraMandelli ， Luca Bondi ， Paolo Bestagini ， and StefanoTubaro.基于cnns集成的视频人脸篡改检测。2020年第25届国际模式识别会议（ICPR），第5012-5019页[4] 尼古拉斯·卡利尼和哈尼·法里德。通过白盒和黑盒攻击躲避深度伪造图像检测器。在IEEE/CVF计算机视觉和模式识别研讨会会议记录中，第658-659页[5] Lucy Chai、David Bau、Ser-Nam Lim和Phillip Isola。是什么让虚假图像可检测？理解一般化的欧洲计算机视觉会议，第103-120页Springer，2020年。[6] 陈仁旺、陈玄鸿、倪冰冰、葛炎昊。Simswap：一个高效的高保真人脸交换框架。第28届ACM国际多媒体会议论文集，2003[7] Yunjey Choi，Youngjung Uh，Jaejun Yoo，Jung-WooHa.Stargan v2：多领域的多样化图像合成。在IEEE/CVF计算机视觉和模式识别会议论文集，第8188-8197页[8] Umur Aybars Ciftci，Ilke Demir，and Lijun Yin.骗子：使用生物信号检测合成肖像视频。IEEE Transactions onPattern Analysis and Machine Intelligence，2020。[9] Hao Dang，Feng Liu，Joel Stehouwer，Xiaoming Liu，and Anil K Jain.数字人脸篡改的检测。在IEEE/CVF计算机视觉和模式识别会议论文集，第5781-5790页[10] 邓健康，贾国，薛念南，Stefanos Zafeiriou。Arcface：用于深度人脸识别的附加角度余量损失。在IEEE/CVF计算机视觉和模式识别会议论文集，第4690-4699页[11] Ricard Durall，Margret Keuper，and Janis Keuper.注意你的上卷积：基于CNN的生成式深度神经网络无法再现光谱分布。在IEEE/CVF计算机视觉和模式识别会议上，第7890-7899页，2020年[12] 阿普尔瓦·甘地和舒米克·杰恩。对抗性扰动欺骗了深度伪 造 检 测 器 。 2020 年 国 际 神 经 网 络 联 合 会 议（IJCNN），第1-8页。IEEE，2020年。[13] 高格格，黄怀波，付朝友，李朝阳，何冉。身份交换的信息瓶颈解纠缠在IEEE/CVF计算机视觉和模式识别会议论文集，第3404-3413页，2021年。[14] Alexandros Haliassos，Konstantinos Rugioukas，StavrosPetridis，and Maja Pantic.嘴唇不会说谎：一种通用且鲁棒的人脸伪造检测方法。在IEEE/CVF计算机视觉和模式识别会议论文集，第5039-5049页，2021年[15] 杨河、宁宇、玛格丽特·库柏、马里奥·弗里茨。超越光谱：通过重新合成检测deepfakes arXiv预印本arXiv：2105.14376，2021。[16] Zhenliang He，Wangmeng Zuo，Meina Kan，ShiguangShan，and Xilin Chen.Attgan：通过只更改您想要的内容 来 编 辑 面 部 属 性 。 IEEE transactions on imageprocessing，28（11）：5464[17] Yihao Huang，Felix Juefei-Xu，Run Wang，Qing Guo，Lei Ma，Xiaofei Xie，Jianwen Li，Weikai Miao，YangLiu，and Geguang Pu.造假者：通过浅层重建使深度伪造更难被发现。第28届ACM国际多媒体会议论文集，第1217-1226页，2020年[18] 在Hukk elahouk，鲁道夫·梅斯特和弗兰克·林赛斯深度隐私：一个用于人脸匿名化的生成对抗网络。在Visual Computing上，第565-578页[19] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。CVPR，2017年。[20] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.为提高质量、稳定性和变异性而进行的干细胞生长。arXiv预印本arXiv：1710.10196，2017。[21] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成器架构，用于生成对抗网络。在IEEE/CVF计算机视觉和模式识别会议论文集，第4401-4410页[22] Tero Karras ， Samuli Laine ， Miika Aittala ， JanneHellsten，Jaakko Lehtinen，and Timo Aila.分析和改进了扫描仪的图像质量。在IEEE/CVF计算机视觉和模式识别会议论文集，第8110-8119页[23] S Katzenbeisser和FAP Petitcolas。 数字水印Artech House，伦敦，2000年2月。[24] Lingzhi Li，Jianmin Bao，Hao Yang，Dong Chen，andFang Wen. Faceshifter：朝向高保真和遮挡感知的人脸交换。arXiv预印本arXiv：1912.13457，2019。[25] Lingzhi Li ， Jianmin Bao ， Ting Zhang ， Hao