面部X射线：用于面部伪造检测的一种新方法

5001用于更一般的面部伪造检测的面部X射线李凌志1鲍健民2张婷2杨浩2陈冬2方文2郭柏宁2北京大学2微软亚洲研究院lilingzhi@pku.edu.cn{jianbao，tinzhan，haya，doch，fangwen，bainguo}@ microsoft.com摘要在本文中，我们提出了一种新的图像表示称为面部X射线检测伪造的人脸图像。输入面部图像的面部X射线是灰度图像，其揭示输入图像是否可以被分解为来自不同源的两个图像的混合。它通过显示伪造图像的混合边界和真实图像的混合缺失来实现。我们观察到，大多数现有的面部操作方法共享一个共同的步骤：将改变的面部混合到现有的背景图像中，（一）（b）第（1）款年龄因此，人脸X射线为检测现有人脸处理算法产生的伪造图像提供了一种有效的方法。面部X射线是通用的，因为它仅假设存在混合步骤，并且不依赖于与特定面部操作技术相关联的伪影的任何知识。实际上，用于计算面部X射线的算法可以在没有由任何现有技术的面部操纵方法生成的假图像的情况下被训练。大量的实验表明，当应用于由不可见的面部操纵技术生成的伪造时，面部X射线仍然有效，而大多数现有的面部伪造检测或深度伪造检测算法经历显著的性能下降。1. 介绍最近的研究已经显示了面部操纵的快速进展，其使得攻击者能够操纵图像的面部区域并生成新的图像，改变身份或修改面部属性。 与尽管在合成真实面孔方面取得了巨大的成功，但即使是人类也无法区分图像被篡改了与此同时，这些伪造的图像可能被滥用于恶意目的，导致严重的信任问题和安全问题，在我们的社会。因此，研究有效的人脸伪造检测方法具有重要意义。*同等贡献†在微软亚洲研究院实习期间完成的工作‡通讯作者图1. 面部X射线揭示了锻造面图像，并返回一个空白图像的真实图像。(a)真实图像及其面X射线，（b）假图像及其面X射线。我们在这项工作中的重点是检测人脸识别的问题，例如由当前最先进的人脸操作算法产生的人脸识别，包括 DeepFakes [1] ， Face2Face [46] ， FaceSwap [2] 和NeuralTextures [45]。人脸伪造检测是一个具有挑战性的问题，在现实世界的场景中，我们经常需要在不知道潜在的面部操纵方法的情况下检测伪造。大多数现有的作品[12，44，25，35，36]以监督的方式检测面部操纵，并且他们的方法针对已知的面部操纵技术进行了训练。对于这样的人脸操作，这些检测方法工作得很好，并达到约98%的检测准确率。然而，这些检测方法倾向于遭受过拟合，并且因此它们的有效性受限于它们被专门训练的操纵方法。当应用于由不可见的人脸操作方法生成的伪造时，这些检测方法经历了显着的性能下降。一些最近的作品[49，13]已经注意到这个问题，并试图捕捉更多的内在伪造证据以提高概括性。然而，他们提出的方法仍然依赖于生成的人脸模型进行超级视觉，导致泛化能力有限。在本文中，我们提出了一种新的图像表示，面部X射线，用于检测虚假的面部图像或深度伪造。 面部X射线背后的关键观察是，大多数现有的面部操作方法都有一个共同的步骤，即将改变的面部混合到现有的背景图像中，并且在混合过程5002（一）（b）第（1）款图2.（a）真实图像和（b）伪图像的噪声分析（中间列）和误差水平分析（右列）边界这些差异使得边界很容易被发现。实际上，由于采集过程，每个图像具有其自己的区别性标记，该区别性标记或者从硬件引入（例如，传感器，透镜）或软件组件（例如，压缩，合成算法），并且这些标记倾向于在整个图像中类似地呈现[39]。我们在图2中将噪声分析1和误差水平分析[21]作为两种代表性类型的独特标记进行说明。人脸X射线利用了上述关键观察，并提供了一种有效的方法来检测大多数现有的人脸操作算法产生的伪造。对于输入面部图像，其面部X射线是可以从输入可靠地计算的灰度图像。该灰度图像不仅确定人脸图像是伪造的还是真实的，而且还确定混合边界存在时的位置，如图1所示。面部X射线是在开发通用面部伪造检测器的方向上向前迈出的重要一步，因为它仅假设混合步骤的存在，而不依赖于与特定面部操作算法相关的伪影的任何知识。这种通用性水平涵盖了大多数现有的人脸操作算法。此外，用于计算面部X射线的算法可以用仅从真实图像合成的大量混合图像来训练，而没有由任何最先进的面部操纵方法生成的假图像。因此，面部X射线在应用于由看不见的面部操纵方法生成的伪造时仍然有效，而大多数现有的面部伪造检测或深度伪造检测算法经历显著的性能下降。实验结果表明，人脸X射线显著提高了算法的泛化能力。我们证明了我们的框架在看不见的人脸识别上实现了非常高的检测精度，以及在最近流行的人脸操作上可靠和忠实地预测人脸X射线的能力。与其他人脸伪造检测器相比，我们的框架在很大程度上超过了最先进的竞争对手。1https://29a.ch/photo-forensics/#noise-analysis2. 相关工作在过去的几年里，伪造创造，特别是在面对其广泛的应用兴趣，最近得到了极大的关注。由于伪造和检测的互补性，人脸伪造检测也成为一个新兴的研究领域。在本节中，我们简要回顾了现有的图像取证方法，包括我们的方法所属的人脸取证。图像伪造分类。图像伪造 检测是大多数被认为仅仅是一个二进制（真实或伪造）类-化问题。早期的尝试[30，16，17]旨在通过利用内在统计（例如，频域特性）。然而，很难手工制作最合适和最有意义的特征.随着深度学习的巨大成功，一些作品[10，33，7]采用神经网络自动提取鉴别特征用于伪造检测。最近的高级操作技术，特别是关于面部的技术，能够以几乎不留下视觉线索的方式来操作图像，并且可以容易地避开上述图像篡改检测方法。 这使得人脸伪造检测越来越具有挑战性，吸引了大量的研究工作[12，44，25，32，28，18，3、22、35、36]。例如，在[4]中提出了一种利用针对特定个体定制的面部表情和头部运动的面部取证方法。FakeSpotter [47]使用逐层神经元行为而不是仅使用最后一个神经元输出来训练二元分类器。为了处理新生成的图 像 ， 在 [27] 中 引 入 了 增 量 学 习 策 略 。 最 近 ，FaceForensics++ [36]在各种场景中提供了对伪造检测器的广泛评估。图像伪造定位。 除了分类之外，还有一些方法专注于定位操纵区域。早期的作品[37，8，15]在局部水平上使用手动设计的低级图像统计来揭示篡改区域。随后，在图像伪造定位中引入了深度神经网络，其中大多数作品[5，40，29，38]使用多任务学习来同时检测操纵图像并定位操纵区域。而不是简单地使用多任务学习策略，Stehouwer等人。[41]通过注意力机制突出显示信息区域，其中注意力图由地面实况操作掩码引导。Bappy等人[6]目前利用频率域和空间上下文两者的定位架构。然而，早期的工作并不适合检测高级操作，而基于深度学习的方法采用监督训练，需要大量相应的地面真实操作掩模，这在实践中可能无法获得。图像伪造检测的泛化能力。随着新技术的发展，人们注意到，5003⊙4图3.典型面部操作管道的概述。以前的作品检测人工操作方法产生的文物，而我们的方法侧重于检测面部X射线。cent的作品[19，11，49，13，23]认为，当前方法的性能在新类型的forecast上急剧下降。特别地，Xuan etal.[49]使用图像预处理步骤来破坏低水平的不稳定伪影，迫使网络专注于更内在的法医线索。ForensicTrans-fer [11]提出了一种基于自动编码器的神经网络，用于在不同但相关的操作之间传输知识。LAE [13]还使用autorencoder来学习通过伪造掩码监督正则化的细粒度表示。上述方法仍然需要伪造图像来训练有监督的二元分类器，导致泛化能力有限。另一个相关的工作是FWA [23]，它针对仿射面部变形中的伪影，并且也可以在没有通过操纵方法生成的伪造图像的情况下进行训练。然而，FWA专注于检测DeepFake生成的图像，使得检测模型不适用于其他类型的操作，例如，面对面3. 面部X光我们首先介绍面部X射线背后的关键观察。然后，我们正式定义给定输入图像的面部X射线。最后，我们提供了仅从真实图像中获取标记数据（由图像及其相应的面部X射线组成的一组对）的细节，以监督的方式训练我们的框架。如图3所示，典型的面部操作方法包括三个阶段：1）检测面部区域;2)合成期望的目标面部; 3）将目标人脸融合到原始图像中。现有的人脸伪造检测方法通常集中在第二阶段，并且基于包括由操纵方法生成的合成视频和真实视频的数据集来训练有监督的每帧二元分类器。虽然在测试数据集上实现了近乎完美的检测精度，但当将训练模型应用于未见的假图像时，我们观察到性能显著下降，这在第5.1节中得到了经验验证。我们采取了一种根本不同的方法。而不是捕获在第二阶段的特定操作的合成工件，我们试图定位在第三阶段普遍引入的混合边界。我们的方法基于一个关键的观察：当通过混合两个图像来形成图像时，存在固有图像图4.说明面部X射线与面罩之间的关系。表示逐元素乘法。跨越混合边界的差异。文献[ 14 ]中注意到，每个图像都有其独特的标记或潜在的统计，主要来自两个方面：1）硬件，例如，滤色器阵列（CFA）内插，其引入周期性图案、对于每个颜色通道应该相似的相机响应函数、包括一系列片上处理（例如量化和白平衡）的传感器噪声，从而引入不同的签名; 2）软件，例如，有损压缩方案引入一致的块效应，基于GAN的合成算法可能留下独特的印记[26，50]。所有上述因素都有助于图像形成，留下倾向于分散或均匀的特定签名，其可能在改变的图像中被干扰。因此，我们可以检测伪造的人脸图像通过发现混合边界使用跨边界的底层图像统计的不一致性。3.1. 面部X射线清晰度给定输入面部图像I，我们希望判定该图像是否是通过组合两个图像IF和IB而获得的经操纵的图像IMIM=MIF+（1 -M） IB，（1）其中，x1指定逐元素乘法。IF是具有期望面部属性的前景操纵面部，而IB是提供背景的图像 M是界定操纵区域的掩模，每个像素具有0. 0和1。0的情况。当所有条目被限制为0和1时，我们有一个二进制掩码，例如泊松混合[31]中使用的掩码注意，颜色校正技术（例如，颜色转移[34]）通常在混合之前应用于前景图像IF，使得其颜色与背景图像颜色匹配我们想要将面部X射线定义为图像B，使得如果输入是经操纵的图像，则B将揭示混合边界，并且如果输入是真实图像，则B将对于其所有像素具有零。形式上，对于输入图像I，我们将其面X射线定义为具有以下特征的图像B：Bi，j= 4·Mi，j·（1-Mi，j），（2）其中下标（i，j）是表示像素位置的索引，M是由输入图像I确定的掩模。如果输入图像是实数，则掩码M是平凡的检测操纵共混以前的方法侧重于操作伪影我们的方法侧重于混合文物=面部X线⊙掩模1 -面罩5004: background face最近搜索颜色校正等式莱佛士地标前景：前景面混合：混合面背景：背景面凸包变形模糊等式莱佛士地标初始掩模M：最终掩…B：面部X光图5.生成训练样本的概述 给定一个真实的面IB，我们寻找另一个真实的面IF来表示IB的操纵变体，并产生一个掩码来界定操纵区域。然后，通过公式（1）和公式（2）可以获得混合的面及其对应的面X射线。.所有0像素或所有1像素的空白图像。否则，掩模M将是界定前景图像区域的非平凡图像 注意，Mi，j·（1-Mi，j）的最大值不大于0。25，实际上只达到最大值0。当M i，j= 0时，五、为此，面部X射线像素Bi，j的值总是在0和1之间。图4用玩具示例示出了面罩M和面部X射线B之间的关系在我们的面部X射线定义中，我们总是假设掩模M是软的并且从不使用二进制掩模。二元掩模会给我们的面部X射线定义带来问题，因为即使M不是全0像素或全1像素的平凡掩模，对应的面部X射线也会是所有像素值为0的 这将使检测操纵图像中的混合边界的目的失败。出于这个原因，在使用等式（2）之前，我们总是采用3×3本质上，面部X射线旨在发现软掩模M，利用该软掩模M可以根据等式（1）将输入图像I分解为来自不同源的两个图像的混合如前所述，来自不同来源的图像具有不可否认的差异，尽管它们对人眼来说是微妙和不可见的，但由于图像采集过程，这些差异是内在的。面部X射线是用于发现未知来源的输入面部图像中的这种差异的计算表示。3.2. 从真实图像既然我们已经定义了面部X射线的概念，我们将在本节的其余部分解释一件重要的事情：如何仅使用真实图像获得训练数据。如前所述，所有真实图像自然地具有其对应的全部为0像素的面部X射线。然而这些平凡的面部X射线不足以指导网络学习，与非平凡的面部X射线相关联的训练数据当然是至关重要和不可或缺的。一种直观的解决方案是访问由面部操纵方法生成的操纵图像和相应的掩模。尽管如此，我们发现，由于面X射线基本上只关心混合边界，因此完全可以通过混合两个真实图像来创建非平凡的面X射线。具体来说，我们描述了三个阶段的非平凡的面部X射线的生成1)首先，给定一个真实的图像IB，我们寻找另一个真实的图像IF来代替IB的被操纵的变体。 我们使用人脸标志（由[9]提取）作为匹配标准，根据标志之间的欧几里得距离从其余训练视频的随机子集中搜索。 为了增加随机性，我们取100个最近的邻居，并随机选择一个作为前景图像IF。2）在第二阶段，我们生成一个掩码来划分操作区域。初始掩模被定义为IB中的面部界标的凸包。 由于人脸操作方法不一定且总是集中在人脸的相同区域，因此在伪造图像中存在各种不同形状的操作区域，例如， 一些可以仅在嘴部区域周围操作。为了覆盖尽可能多的掩模形状，我们首先使用从源16个点（从4×4网格中选择）到目标16个点（使用随机偏移从源变形）估计的2-D分段仿射变换来采用随机形状变形，然后应用具有随机核大小的高斯模糊，从而得到最终掩模。3）最后，给定前景图像IF、背景图像IB和掩模，通过等式（1）获得混合图像，并且使用掩模通过等式（2）获得混合边界5005注意，我们将颜色校正技术（分别对齐RGB通道的平均值）应用于IF，类似于现有的面部操作方法，以便匹配IB的颜色。生成训练样本的简要概述如图5所示。在实践中，我们随着训练过程动态地生成标记数据。4. 基于人脸X射线的人脸伪造检测如上所述，我们能够通过仅探索真实图像来产生大量的训练数据。 令生成的训练数据集为D={I，B，c}，其中I表示图像，B表示对应的面部X射线，并且c是指定图像I是真实的还是混合的二进制标量。 由于深度学习的非常强大的表示学习，我们采用基于卷积神经网络的框架。所提出的框架在给定输入图像I的情况下输出面部X射线，并且然后基于预测的面部X射线，输出输入图像是真实的或混合的概率。对于一般情况，设B=NNb（I）为预测的面X射线其中NNb是一个完全卷积的神经网络，c=NNc（B）是由全局平均池化层、完全连接的层和softmax激活层。在训练过程中，我们采用广泛使用的损失函数进行两种预测。对于面部X射线，我们使用交叉熵损失来衡量预测的准确性，（DF）[1]，Face2Face（F2F）[46]，FaceSwap（FS）[2]和NeuralTextures（NT）[45]。另一个训练数据集是我们从真实图像构建的混合图像集。我们用BI表示这样的数据集，这意味着使用FF++中的真实图像合成的混合数据样本。测试数据集。为了使用面部X射线评估所提出的模型的泛化能力，我们使用以下数据集：1）FaceForensics++[36]（FF++），包含如上所述的四种类型的面部操作;2）Deep-fakeDetection 2（DFD），包括谷歌发布的数千个视觉深度伪造视频，以支持开发深度伪造检测方法;3）Deepfake检测挑战3（DFDC）发布了一个Deepfake的初始数据集，并附有描述它们是否使用面部操作方法生成的标签; 4）Celeb-DF [24]，一个新的DeepFake数据集，包括408个真实视频和795个合成视频，减少了视觉伪影。实施细节。对于我们框架中的全卷积神经网络NNb，我们采用了最近先进的神经网络架构，即，HRNet[42，43]，然后将来自所有四个不同分辨率的表示连接到相同的大小64×64，然后是具有一个输出通道的1×1卷积层，具有256×256输出大小的双线性在训练过程中，批处理大小设置为32，总迭代次数设置为200，000。为了简化我们框架的训练过程，我们使用固定的ImageNet预训练HRNet来热启动剩余层，X1 XL=−100前50，000次迭代，然后微调所有层，ˆB{I，B}∈DNi、j（Bi，jlogBi，j+（1−Bi，j）log（1−Bi，j）），（3）剩下的150，000次迭代。 学习率为设置为0。0002首先使用Adam [20]优化器，然后是其中N是特征图B中的像素的总数。对于分类，损失为XLc=-（clog（c） +（1-c）log（1-c））。（四）{I，c}∈D因此，总损失函数为L=λL+L，其中在最后50，000次迭代中线性衰减到05.1. 泛化能力评价我们首先验证了监督二进制分类器的经验，一个显着的性能下降看不见的假图像。为了证明这一点，我们采用了最先进的探测器，b ci.e。Xception [36].表1总结了结果，λ是平衡Lb和Lc的重量损失。在实验中，我们设置λ=100以迫使网络更多地专注于学习面部X射线预测。我们使用反向传播以端到端的方式训练我们的框架。更多的实现细节可以在第5节中找到。5. 实验在本节中，我们首先介绍了整个实验设置，然后提出了广泛的实验结果，以证明我们的方法的优越性。训练数据集。在我们的实验中，我们采用最近发布的基准数据集FaceForensics++ [36]（FF++）进行训练。这是一个大规模的视频数据集，由1000个原始视频组成，这些视频已经使用四种最先进的面部操作方法进行了操作：AUC（接收器操作特征曲线下的面积）。我们观察到，优异的性能（99%以上）是在已知的具体操作，而性能急剧下降，看不见的操作。 原因可能是模型快速过拟合到特定于操作的工件，从而对于给定数据实现高性能，但遭受较差的泛化能力。我们的方法通过使用更一般的证据来处理伪造检测：面部X光片我们表明，改进的泛化能力来自两个因素：1）我们建议检测面部X射线， 而不是支付atten-2https://ai.googleblog.com/2019/09/contributing-data-to-deepfake-detection.html3https://deepfakedetectionchallenge.ai/dataset网站5006模型训练集测试集AUCDFBIDFF2fFSNTFF++Xception [36]X–99.3875.0549.1380.3976.34HRNetX–99.2668.2539.1571.3969.51面部X光片X–99.1794.1475.3493.8590.62XX99.1297.6498.0097.7797.97F2fBIDFF2fFSNTFF++Xception [36]X–87.5699.5365.2365.9079.55HRNetX–83.6499.5056.6061.2674.71面部X光片X–98.5299.0672.6991.4993.41XX99.0399.3198.6498.1498.78FSBIDFF2fFSNTFF++Xception [36]X–70.1261.7099.3668.7174.91HRNetX–63.5964.1299.2468.8973.96面部X光片X–93.7792.2999.2086.6393.13XX99.1098.1699.0996.6698.25NTBIDFF2fFSNTFF++Xception [36]X–93.0984.8247.9899.5083.42HRNetX–94.0587.2664.1098.6186.01面部X光片X–99.1498.4370.5698.9391.76XX99.2798.4397.8599.2798.71FF++BIDFF2fFSNTFF++Xception [36]–98.9597.8689.2997.2995.85HRNet–99.1197.4283.1598.1794.46面部X光片–99.1798.5798.2198.1398.52表1.泛化能力评价。仅使用分类器会在看不见的面部操作上遭受性能下降我们的方法通过检测人脸X射线来提高泛化能力，并进一步使用构造的BI数据集得到显着改善值得注意的是，我们的框架只使用BI数据集仍然获得了有希望的结果。操作特定伪影的关系; 2）我们自动地构造大量的训练样本，并且从真实图像中轻松地合成，使得模型适于更多地关注面部X射线。最后，我们表明，我们的方法，即使只使用构建的BI数据，是能够实现高的检测精度。使用面部X射线检测的效果。我们首先使用与Xception相同的训练集和训练策略来评估我们的模型检测面部X射线[36]。为了获得针对所操纵的图像的准确的面部X射线，我们再次通过将真实图像视为背景并且将假图像视为前景（给定一对真实图像和假图像）来采用第3.2节中的生成过程。为了公平比较，我们还显示了使用与我们相同的网络架构的二进制分类器的结果，在表中表示为HRNet。比较结果示于表1中。可以清楚地看到，我们的方法在不可见的面部操纵上得到了显著的改进，验证了我们的假设，即显式检测面部X射线更具有普遍性。其他混合图像的效果。此外，我们用额外的混合图像训练我们的框架，这些图像捕获各种类型的面部X射线。表1给出了结果，表明再次获得了很大的改进。我们认为有两个好处。一个是额外训练数据的好处，因为众所周知，训练数据的量总是导致更好的模型，从而提高性能。另一个重要的事情是，混合图像的边界内的区域实际上是真实的，而不是合成的，使得模型对特定于操作的伪影的过度拟合较少。仅使用混合图像的结果。 最后，我们在表1中仅使用混合图像来呈现我们的框架的结果。在四种代表性面部操作DF、F2F、FS、NT上的AUC方面的性能为99。百分之十七，九十八。百分之五十七，九十八。21%，98. 分别为13%。这表明，我们的模型，即使没有任何国家的最先进的人脸操作方法生成的假图像，仍然达到了有竞争力的高检测精度。我们还展示了分类器的结果，该分类器通过将BI视为假图像来训练BI。该方法的性能远优于用人工方法生成的伪造图像训练的分类器。 这可能是因为BI迫使分类器学习面部X射线，从而导致更好的泛化。尽管如此，我们使用面部X射线的方法仍然得到了总体上更好的结果，从而再次验证了使用面部X射线更具有普遍性的结论5.2. 未知数据集为了促进业界和学术界开发先进的人脸伪造检测器，最近发布了越来越多的包含大量高质量deepfake视频的数据集。在这里，我们展示了我们的框架在检测那些看不见的流行数据集上的基准测试结果。结果在伪造分类方面。 我们首先展示伪造分类结果的AUC，AP（平均精度）和EER（等错误率）。我们的框架在最近发布的大规模数据集上的结果I.E. DFD、DFDC和Celeb-DF在表2中示出。我们还显示了最先进的检测器Xcep- tion [36]的结果作为基线。我们可以看到，我们的框架，没有使用任何图像生成的面部操纵方法，已经表现得比基线更好。此外，如果我们利用额外的假图像，即使不是来自与测试集相同的分布，在大多数情况下，性能进一步大大提高。面部X射线预测的结果。 我们的框架作出预测的伪造的基础上存在的非平凡的面部X射线。我们表明，我们的 方 法 可 以 可 靠 地 预 测 面 部 X 射 线 看 不 见 的 面 部manipulations，从而提供可解释的决定的推理。图6中示出了各种类型的假图像的视觉示例，包括在所提出的过程中生成的混合图像。对于面部操纵，地面实况通过计算操纵图像和对应的真实图像之间的绝对元素差异，然后转换为灰度，然后进行归一化来获得。可以清楚5007输入地面实况预测输入地面实况预测输入地面实况预测BIDFF2fFSNT图6.各种面部操作方法的视觉结果，包括我们生成的混合图像。对于面部操作，通过计算操作图像和对应的真实图像之间的绝对元素差异，然后转换为灰度，然后进行归一化，来获得地面实况从图中可以清楚地看出，预测的面部X射线很好地捕捉到了相应地面实况的形状更多的视觉结果可以在补充资料中找到模型训练数据集测试数据集DFDDFDCCeleb-DFAUCAPEERAUCAPEERAUCAPEERXception [36]FF++87.8678.8221.4948.9850.8350.4536.1950.0759.64面部X光片BI93.4787.8912.7271.1573.5232.6274.7668.9931.16面部X光片FF++和BI95.4093.348.3780.9272.6527.5480.5873.3326.70表2.我们的框架和最先进的检测器Xception [36]在看不见的数据集上的AUC，AP和EER方面的基准结果我们的框架，使用混合图像训练，已经比基线表现得更好在大多数情况下，如果我们利用额外的假图像，即使不是来自与测试集相同的分布，性能也会进一步大大提高从图中可以看出，预测的面部X射线很好地捕捉了相应的地面实况的形状。5.3. 与近期作品最近的一些相关作品[23，13，11，29]也没有-并试图在一定程度上解决这一问题。FWA [23]还从真实图 像 中创 建 负 样 本。 然 而 ， 它 的目 标 是 描 述只 在DeepFake生成的视频中广泛存在的面部扭曲伪影。比较结果见表3。其他三个相关的工作是LAE [13]，FT[11]，两者都试图学习内在表示而不是捕获训练集中的人工因素，MTDS [29]同时学习检测和定位。我们在表4中给出了比较结果，当模型在另一种类型上训练时，对一种新类型的操纵数据进行了评估。注意表3.AUC与FWA的比较我们直接引用他们原始论文中的数据进行公平比较。从这两个表中，我们可以看到，我们的框架在很大程度上超过了最近的最先进的。5.4. 对拟议框架数据扩充的效果。训练数据生成中数据增强的总体目标是提供大量不同类型的混合图像，以使模型能够检测各种操纵图像。在这里，我们研究两个重要的增强策略：a）模型AUCFF++/DF Celeb-DFFWA [23]79.20 53.80面部X光片74.765008AUCFF++DFD无掩模变形93.9285.89w/o颜色校正96.2189.91面部X光片98.5293.47表4.与最近的方法检测精度比较。请注意，这里我们使用FF++数据集的HQ版本（轻度压缩）进行公平比较。掩模变形，其意图是使面部X射线的形状发生较大变化;b）颜色校正，以便产生更真实的混合图像。我们认为这两种策略对于生成多样化和高质量的数据样本至关重要，这些数据样本对网络训练绝对有帮助。为了说明这一点，我们在表5中给出了FF++和DFD的比较。可以看出，这两种策略都是重要的，没有任何一种都会降低性能。损失重量λ的影响。在损失函数中，我们施加损失权重λ以平衡分类损失和面部X射线预测损失，并在实验中将其设置为100。这里，我们在表6中示出了当使用不同的λ值时的结果。我们有两点观察：（1）当λ设定为10、100或1000时，结果相当（AUC为98. 百分之四，九十八。5%，98. 6%）;（2）当λ被设置为非零时的性能优于当λ为零时的性能（AUC为94. 5%），提示面部X线预测损失是有帮助的。推广到其他类型的混合。在训练数据的生成中，我们采用了al-pha虽然我们已经证明了可能不使用alpha混合的不可见操作的性能，但我们在这里精确地介绍了关于泊松混合（现有面部操作方法中另一种广泛使用的混合技术）和深度混合（GP-GAN [48]）的方法结果 的 研 究 ， 深 度 混 合 利 用 神 经 网 络 而 不 是 等 式（1）。我们通过使用不同类型的混合来构造测试数据，并在使用alpha混合构造训练数据时对模型进行结果在表7中给出。我们可以看到，我们的框架在看不见的混合类型上仍然得到了令人满意的结果，尽管在Possion混合上有明显的性能下降。6. 限制虽然我们在实验中已经证明了令人满意的性能一般检测，我们知道，我们的框架存在一些局限性。首先，我们意识到检测面部X射线可能在两个方面失败。1)我们的方法依赖于混合步骤的存在。因此，当图像完全是合成的时，我们的方法可能无法正确工作。如何-以往的假新闻，如视频的人说，做的事情，他们表5.（a）掩模变形和(b)训练数据生成流水线中的颜色校正λ01101001000AUC94.5%97.9%百分之九十八点四百分之九十八点五百分之九十八点六表6.损失函数中损失权重λ的影响共混型AUCAPEER阿尔法混合99.4698.501.50Possion混合94.6288.8511.41深度融合[48]99.9098.771.36表7.当训练数据使用alpha混合构造时，使用Possion混合和深度混合的测试数据的结果处理步骤。这是因为到目前为止没有混合，不可能完全生成具有期望目标背景的真实图像。我们确实提供了一个有前途的方法来检测这些众多的混合forecasts。2)我们注意到，一个人可以开发对抗性样本来对抗我们的检测器。这是不可避免的，因为这是图像伪造创建和检测之间的军备竞赛，这将激励这两个领域开发新的和令人兴奋的技术。此外，与所有其他伪造检测器类似，当遇到低分辨率图像时，我们的方法也会受到性能下降的影响。这是因为对低分辨率图像进行分类更具挑战性，因为伪造证据不太重要。我们在FF++数据集的HQ版本（轻度压缩）和LQ版本（重度压缩）上测试了我们的框架，总体AUC为87。35%和61。6%。这是预期的，因为压缩越重，伪造证据越不重要，因此性能越低。7. 结论在这项工作中，我们提出了一种新的人脸伪造证据，人脸X射线，基于观察到，大多数现有的人脸操作方法共享一个共同的混合步骤，并存在内在的图像差异跨越混合边界，这是被忽视的先进的人脸操作检测器。我们使用面部X射线开发了一个更通用的面部伪造检测器，该检测器可以在没有任何最先进的面部操作方法生成的假图像的情况下进行训练。大量的实验证明了人脸X射线的泛化能力，表明我们的框架能够准确地区分看不见的伪造图像，并可靠地预测混合区域。模型训练集检测精度F2fFSF2fFSLAE [13]X–90.9363.15FT-res [11]X4个图像94.4772.57MTDS [29]X–92.7754.07面部X光片X–97.7385.695009引用[1] DeepFakeswww.github.com/deepfakes/faceswap.2019-09-18. 一、五[2] 换脸www.github.com/MarekKowalski/FaceSwap.2019-09-30. 一、五[3] Darius Afchar 、 Vincent Nozick 、 Junichi Yamagishi 和Isao Echizen。Mesonet：一个紧凑的面部视频伪造检测网 络 。 2018 年 IEEE 信 息 取 证 与 安 全 国 际 研 讨 会（WIFS），第1IEEE，2018年。2[4] Shruti Agarwal，Hany Farid，Yuming Gu，MingmingHe，Koki Nagano，and Hao Li.保护世界领导人免受深度造假。在IEEE计算机视觉和模式识别研讨会会议论文集，第382[5] Jawadul H Bappy 、 Amit K Roy-Chowdhury 、 JasonBunk、Lakshmanan Nataraj和BS Manjunath。利用空间结构来定位被操纵的图像区域。在IEEE计算机视觉国际会议的论文集，第4970-4979页2[6] JawadulHBappy ， CodySimons ， LakshmananNataraj，BS Manjunath，and Amit K Roy-Chowdhury.用于图像伪造检测的混合lstm和编码器-解码器结构。IEEE Transactions on Image Processing ， 28 （ 7 ） ：32862[7] Belhassen Bayar和Matthew C Stamm。使用新卷积层的通用图像操纵检测的深度学习方法。第四届ACM信息隐藏和多媒体安全集，第5-10页。ACM，2016。2[8] 提齐亚诺·比安奇和亚历山德罗·皮瓦。基于jpeg伪像块粒 度 分 析 的 图 像 伪 造 定 位 。 IEEE Transactions onInformation Forensics and Security ， 7 （ 3 ） ： 1003-1017，2012。2[9] 陈冬，任少卿，魏亦琛，曹旭东，孙坚。联合级联人脸检测和对齐。欧洲计算机视觉会议，第109Springer，2014. 4[10] DavideCozzolino ， GiovanniPoggi ， andLuisaVerdoliva.将基于残差的局部描述符重铸为卷积神经网络：图像伪造检测的应用。第五届ACM信息隐藏和多媒体安全研讨会论文集，第159ACM，2017。2[11] D a vide Cozzolino，Justus Thies，Andreas R ¨ ssle r，ChristianRiess，Matthias Nießner，and Luisa Verdoliva.Forensictransfer ： Weakly-supervised domain adaptationfor forgery detection.arXiv预印本arXiv：1812.02510，2018. 三、七、八[12] Xinyi Ding ， Zohreh Raziei ， Eric C Larson ， Eli VOlinick，Paul Krueger，and Michael Hahsler.使用深度学习和主观评估进行交换面部检测。arXiv预印本arXiv：1909.04217，2019。一、二[13] Mengnan Du ， Shiva Pentyala ， Yuening Li ， and XiaHu.To- wards generalizable forgery detection with localityaware autoencoder. arXiv预 印 本 arXiv： 1909.05999 ，2019。一、三、七、八[14] 哈尼·法里德图像伪造2009年3[15] Pasquale Ferrara，Tiziano Bianchi，Alessia De Rosa，and Alessandro Piva.基于cfa伪影细粒度分析的图像伪造定位IEEE Transactions on Information Forensics andSecurity，7（5）：1566-1577，2012。2[16] Jessica Fridrich和Jan Kodovsky丰富的数字图像隐写分析模型IEEE Transactions on Information Forensics andSecurity，7（3）：868-882，2012。2[17] Miroslav Goljan和Jessica Fridrich。彩色图像隐写分析的cfa感知特征。在Media Watermarking，Security，andForensics 2015中，第9409卷，第94090V页。国际光学与光子学会，2015年。2[18] 许志忠、李嘉彦、庄义秀学习在野外检测虚假人脸图像。2018年国际计算机、消费者和控制研讨会（IS3C），第388-391页。IEEE，2018年。2[19] Ali Khodabakhsh ， Raghavendra Ramachandra ， KiranRaja，Pankaj Wasnik，and Christoph Busch.假脸检测方法：它们可以被概括吗？2018年生物识别特别兴趣小组（BIOSI