ManTra-Net：一种用于图像伪造检测和定位的网络

9543ManTra-Net：用于异常特征图像伪造检测和定位的操纵跟踪网络YueWu，Wael AbdAlmageed，and PremkumarNatarajan信息科学研究所，Marina del Rey，CA，美国§美国加利福尼亚州曼哈顿海滩亚马逊wuayue@amazon.com，{wamageed，pnataraj}@ isi.edu摘要为了对抗现实生活中的图像伪造，通常涉及不同类型和组合操作，我们提出了一种统一的深度神经架构，称为ManTra-Net。与许多现有的解决方案不同，ManTra-Net是一个端到端的网络，它可以执行检测和本地化，而无需额外的预处理和后处理。ManTra-Net是一个完全卷积的网络，可以处理任意大小的图像和许多已知的伪造类型，如拼接，复制移动，删除，增强，甚至未知类型。本文有三个突出的贡献。我们设计了一个简单而有效的自监督学习任务，从分类385图像操作类型中学习鲁棒的图像操作轨迹。此外，我们将伪造定位问题形式化为局部异常检测问题，设计了Z分数特征来捕获局部异常，并提出了一种新的长短期记忆解决方案来评估局部异常。最后，我们仔细进行烧蚀实验，系统地优化所提出的网络设计。大量的实验 结 果 表 明 ， ManTra-Net 不 仅 在 单 一 类 型 的 操 作/forections中，而且在它们的复杂组合中具有普遍性、鲁棒性和优越性1. 介绍图像伪造最近已经成为一种流行病，负面地影响我们生活的许多方面，假新闻、网络谣言、保险欺诈、勒索，甚至学术出版物[51]。然而，大多数情况下的图像伪造没有被检测到。仅在生物医学研究论文中，20，621篇论文（1995 - 2004年间发表在40种科学期刊上）中有3.8%包含有问题的数据，其中至少一半的特征表明，这项工作是在亚马逊参与作者之前完成的图1.使用ManTra-Net赢得Photoshop战斗[27]，它能够本地化各种复杂的现实生活中的照片。从左到右的列是：原始供体图像、伪造图像（也是ManTra-Net的输入）和ManTra-Net故意操纵[12]。2014年，Stern et al.[41]据估计，每一篇被撤回的文章平均造成的直接成本为392，582美元，这意味着由误导性研究造成的间接成本要高得多，因此，必须开发新的算法，以协助打击图像操纵和伪造。存在许多图像伪造技术。 然而，拼接[19，44，28]， copy-move [18，43，37，46，45]，re-[58]和增强[9，10，17]是研究最多的四种。拼接和复制移动都涉及将图像内容粘贴到目标（即，伪造）（一）（b）第（1）款（c）第（1）款（d）其他事项9544形象然而，在拼接中，添加的内容是从不同的图像获得的，而在复制-移动中，它是从目标图像获得的。移除，也称为修补，移除选定的图像区域（例如，隐藏对象），并用从背景估计的新像素值填充该空间。最后，图像增强是一个广泛的局部操作的集合，如锐化，亮度调整等。根据伪造品的特征，可以使用不同的线索作为检测/定位的基础。这些线索包括JPEG压缩伪影[25，30，5]，边缘不一致[39，53]，噪声模式[33，49，20]，颜色一致性[21]，视觉相似性[44，45，46]，EXIF一致性[28]和相机模型[14，13]。然而，现实生活中的预测更为复杂，如图所示。1，恶意伪造者使用一系列操作来隐藏伪造，包括最新的技术，如基于深度神经网络（DNN）的面部交换[36，57]，如图所示。1-（c）。这迫使我们开发新的统一的伪造检测技术，不限于一个或几个已知的manipulation类型，但能够处理更复杂和/或未知的类型。另一个经常被忽视的问题是伪造区域定位。大多数现有的方法[9，25，37，38，49]只关注图像级检测-无论图像是否伪造。此外，提供定位能力的方法通常依赖于繁重、耗时的预处理和/或后处理，例如，补丁提取[53]，期望最大化[19，20]，有限元分析，真聚类[14，11，32，28]、分段[32，28，15]等。最后，特征学习和伪造掩模生成之间的脱节提出了一种欠优化的伪造检测和定位方法。在本文中，我们解决了上述问题，并提出了一种新的解决方案，称为ManTra-Net的广义图像伪造定位/检测（IFLD）。它通过识别局部异常特征来检测伪造它是端到端解决方案，因此无需应用预处理和/或后处理。它还由所有可训练的模块组成，因此所有模块都可以针对IFLD任务进行联合优化。本文的其余部分组织如下。秒2讨论了相关的工作，并给出了ManTra-Net概述。秒3提出了我们的研究，以获得鲁棒的图像操作跟踪功能。秒4提出了本地异常检测网络。秒5是我们的实验结果;我们在第二节结束本文。六、2. 操纵追踪网络2.1. 相关作品表1总结了过去四年中最值得注意的图像伪造检测和定位工作。几方法线索/特征DNN类型本地化？ PP？目标伪造[33]不适用贴 片 -LVY[18]第十八话N/a像素级 Y[16]第十六话[21]颜色一致性不适用贴 片 -LVY[9]第[25]第二十五话[37]第三十七章：你是谁[5] DCT伪影DNN N/a N/a1[17]第十七话补丁-LvN7[30]不适用于DCT相关性-[39]第三十九届边缘一致性MulitTaskFCN Pixel-Lv N[44]第四十四章：一个女人[54]溴化二硝基苯贴片-吕 N1[8] DNN implicit CNN[28]第二十八话[35]第三十五话贴 片 -LVY[42]第四十二话CNN[46]第四十六话CNN像素-吕N[55]伪影+噪声FastRCNN Region-Lv N[58]第58话N我们异常特征FCN Pixel-LvN表1.最近IFLD方法的总结。非DNN方法标记为N/a。仅检测方法标记为-。PP代表预处理/后处理，目标伪造类型的颜色编码如下： 剪接， 复制移动， 去除和KK型增强。可以观察到以下趋势：（1）使用各种各样的线索/特征，从手工特征（例如DCT相关性）到完全隐式学习的DNN特征，（2）即使DNN方法变得越来越流行，也没有主导的DNN体系结构，或者更准确地说，几乎没有任何两种DNN方法采用相同的网络体系结构，以及（3）大多数方法集中于一种特定类型的伪造。更全面的综述见[6]。2.2. 概述如图2，提出的ManTra-Net解决方案由两个子网组成，即，图像处理痕迹特征提取器，创建一个统一的特征表示，和本地异常检测网络（LADN）直接定位伪造区域与后处理。我们为IFLD社区做出三大贡献。首先，我们重新发明了图像操作轨迹特征，该特征仅限于区分少量已知操作[17，5]，但现在能够区分385种已知操作，并且对于编码未知类型的操作是鲁棒的，即使对于那些基于DNN的操作（例如，深度图像修补）和顺序操作（例如，增强、增强和压缩。）我们证明了该特征适用于IFLD任务，并且可以从自监督学习任务-图像管理分类（IMC）中有效地学习其次，我们放弃了共同的语义段-120172018201520169545图2.概述建议的ManTra-Net架构的图像伪造定位和检测任务。详细讨论了两个子网，即。图像处理跟踪特征提取器和局部异常检测网络，可以在第2节中找到3、第二。4，分别。如果应用了额外的非线性激活，则层是彩色边框。类似于IFLD公式[58，56，39]，但将IFLD任务公式化为局部异常检测问题，以提高模型的泛化能力。更准确地说，我们希望从局部特征与其对伪造标签的引用之间的差异中学习决策函数映射。为了实现这一目标，我们发明了一种简单而有效的LADN架构，通过使用两种新颖的设计来模仿人类决策过程：（1）ZPool 2D DNN层，其以Z分数方式标准化局部特征与其参考之间的差异;以及（2）远到近分析，其对从不同分辨率汇集的ZPool 2D特征图执行Conv 2DLSTM顺序分析。最后，我们仔细进行烧蚀实验，系统地优化IMC和LADN架构，并提供理论基础和/或实验结果，以支持我们的网络设计。2.3. 实验装置为了系统地研究操纵痕迹特征和异常检测，除非另有说明，否则我们对所有消融实验使用以下常见设置对于操作跟踪功能，我们使用德累斯顿图像数据库[24]的原始基础图像。训练、验证和测试按照图像ID以8：1：1的比例进行划分。每幅图像进一步分为256×256块。在拒绝具有高同源性的贴片（即，强度偏差32），我们总共有1.25万个补丁。<我们合成了一个用于图像处理的样本-分类依据：（1）以均匀随机方式选择随机片P和随机操纵y （ ·），（2）将操纵y应用于P，以及3）将y（P）中的随机128×128区域裁剪为X。这个（X，y）对是分类任务的输入和输出的样本。Kaggle相机模型识别（KCMI）数据集[4]用于检查操作分类网络的泛化性和它包含10个相机模型，2475个样本。为了评估KCMI的性能，我们将数据集随机分为两半-一半用于拟合（K=7）最近邻分类器，另一半用于测试。通过对中心的所有操作轨迹特征进行平均来获得相机模型特征512×512图像块。对于异常检测，我们使用四个合成数据集进行训练和验证-即拼接数据集来自[44]的复制-移动数据集，来自[45]的复制-移动数据集，通过使用内置OpenCV修复功能（具有Dresden基础图像）合成的移除数据集，以及通过使用先前讨论的操纵分类设置合成的增强数据集更准确地说，我们通过（1）引入随机结构化的二进制掩码M（参见[31]），（2）构成伪造图像通过使用Z=P·（1−M）+y（P）·M，其中P和y（·）分别是原始补丁和随机操作的结果（Z，M）对是LADN任务的输入和输出的样本。训练补丁大小设置为256×256。在训练设置方面，我们将批次大小设置为64每个时期1000个批次，并使用Adam优化器初始学习率为1 e-4，但没有衰减。如果验证损失在20个epochs内未能改善，则该学习速率将减半。图像处理分类和异常检测任务针对交叉熵损失进行优化。3. 操作跟踪功能在本节中，我们研究图像操作轨迹特征提取器（见图中的黄色阴影块）2）通过图像处理分类问题。虽然图像操纵痕迹特征先前已被用于伪造检测和定位目的很长时间，但图像操纵的总数通常低于10 -例如，[17，5]分别使用7和9种类型。这样几种类型的操作显然不足以用于统一的特征表示。因此，我们系统地研究了更多类型和更精细的差异的操作，有385种操作类型。据我们所知，我们这项工作是第一次考虑这种大量的细粒度操作类型。3.1. 骨干网体系结构研究由于没有占主导地位的IFLD网络架构（见表1）和IMC网络的研究很少，我们进行了三个骨干架构的比较，9546网络-VGG [40]，ResNet [26]和DnCNN [52]，所有这些都是在IFLD社区之外提出的，但以前用于IFLD [20，28，44，45，55]。为了公平比较，我们定制了具有相同感受野大小的骨干模型，以及类似数量的过滤器和超参数（见表2）。值得注意的是，所有列出的操纵分类模型都是完全卷积网络（FCN）（即，无下采样或密集层）。IMC-VGGIMC-ResNetIMC-DnCNN第一区块Σ Σ16@（3， 3）×2 ReLUΣ Σ16@（3， 3）×1ReLUΣ Σ72@（3， 3）×1 ReLUMiddleBlockΣ Σ16k @（3， 3）×mReLU16（k−1）@（3，3）ReLU16（k− 1）@（ 3，3）BN+ReLU普罗热Σ Σ72@（3， 3）×mBN+ ReLUM[二、三、二][1， 1， 1， 1][1， 1， 1， 1，1， 1， 1， 1， 1]LastBlockΣ Σ128@（3， 3）+L2标准×1DecisionBlockΣ Σ7@（3， 3）+Softmax×1#Conv2D111412#参数。四八七千四十六万五千482KIMC-7列车接入94.5%94.3%百分之九十四点七IMC-7有效Acc.92.1%百分之九十点八91.2%KCMI测试访问55.1%百分之四十八点一百分之四十九点四表2. IMC-7网络体系结构和性能比较。构件显示在括号中。N@（3，3）表示具有核大小为3 × 3的N个过滤器的Conv2D层。k在IMC-VGG中是块索引，例如，在块2中使用的滤波器的数量是32= 16×2。m为单位重复性; e.G. m=[2，3，2]表示三个中间块重复单元2、3和2次，重复。ResNet中投影快捷方式的Conv2D未列出。为了加快训练速度并提供对多个模型的训练，我们研究了简单的IMC-7问题，即，分类上的七个一般的操作家庭：压缩，模糊环，形态学，对比度操纵，加性噪声，重新采样，和量化。具体来说，我们用三个模型训练每个体系结构，但表2的下半部分只报告了具有最佳验证损失的模型。事实证明，所有三种架构都实现了类似的IMC- 7性能。然而，VGG的表现优于其他算法，训练和验证之间的差距较小，但在KCMI测试中的准确性要高得多。因此，我们在剩下的研究中使用VGG架构。第1次转化层Conv2d Conv2d BayarConv2DSRMCv2D组合过滤器数量16163310+3+3内核大小（三，三）（5，5）（5，5）（5，5）（5，5）IMC-7列车接入94.5%百分之九十四点九百分之九十三点八95.2%百分之九十五点五IMC-7有效Acc.92.1%92.5%百分之九十二93.1%百分之九十三点四KCMI测试认证55.1%55.2%百分之四十九点九57.1%百分之五十七点二表3.IMC-7在功能类型上的性能比较我们还研究了第一层的特征选择。我们将[55]中的SRMConv2D和[10]中的BayarConv2D的已知最佳设置与经典Conv2D图层以及所有三个图层的组合版本进行了比较，该组合版本只是如图10所示的特征拼接二、从表3中可以得出结论，不同的特性类型在IMC-7性能上会产生很小的差异，通常为1%。至2%，而使用组合设置可获得最佳性能。因此，我们将组合特征用于第一卷积层。3.2. 细粒度操作类型的研究为了使操作轨迹特征更加敏感和鲁棒，我们研究了更多和更精细的操作类型的内模控制问题。具体来说，我们逐渐分解七个操作家族（层次结构级别0），直到它们成为单独的算法（层次结构级别5）。例如，模糊家庭被分解为高斯模糊，框模糊，小波去噪，和中值滤波的层次级别1。然后我们通过指定算法参数进行更精细的层次，例如，高斯模糊较小的内核大小，如3、5和7，用于层次结构级别2。这将继续下去，直到达到层次结构级别5的单独内核大小。我们的代码库中包含了完整的高层次映射，因为对于7、25、49、96、185和385类，操作分类有不同的层次级别。本研究中的所有IMC模型共享前面讨论的相同VGG网络架构，除了决策块中的输出类数量（见表2）。他们的分数列于表4。由于预定义的分层映射，在分层i上训练的IMC也可以用于预测分层j的标签，其中i >j。表4中所有未标注的分数均以这种方式获得。很明显，细粒度的操作类不仅有助于提高较低层次的验证准确 性，而 且还将KCMI 的准 确性从57.2% 提高 到82.6%。层次结构级别HL0HL1HL2HL3HL4HL5# IMC类7254996185385IMC-7有效。Acc.百分之九十三点四百分之九十五点一百分之九十六点一百分之九十六点三百分之九十六点三百分之九十六点二IMC-25有效。Acc.-85.1%百分之八十五点七85.4%百分之八十五点五百分之八十五点七IMC-49有效。Acc.--百分之七十七点五百分之七十九点六78.9%百分之七十九点二IMC-96有效。Acc.---百分之七十二点四百分之七十二点七百分之七十三点二IMC-185有效。Acc.----百分之五十三点四百分之六十三点三IMC-385有效。Acc.-----百分之四十七点三KCMI测试认证百分之五十七点二百分之六十二点七71.9%百分之七十八点四82.0%百分之八十二点六表4.IMC性能分析操纵类型。IMC-385验证准确度（47.3%）相对较低。因此，我们在两个正交方向上调整基线IMC-VGG架构-（1）使其更宽[50]，即，在每个卷积层中使用更多的滤波器，以及（2）使其更深，即，使用更多的卷积块。这两种尝试都提高了基线性能，而更宽更深（W D）的组合提高得更多。表5显示了这些结果。因此，我们使用IMC-VGG W D架构，不包括用于操纵轨迹特征提取器的决策块（参见图1B）。2）的情况。95473.3. 讨论如果使用更大的感受野尺寸，则可以进一步改善IMC性能然而，我们停止了探索9548FFF表5.IMC-385使用不同架构的性能比较构件显示在括号中。N@（3，3）表示具有核大小为3 × 3的N个滤波器的Conv2D层。并坚持IMC-VGG-W D架构，以确保特征对小操作区域的敏感性。关于IMC-385的性能，图。图3-（a）示出了在第一层次的IMC-VGG-W& D混淆矩阵（具有25个类）。它非常接近单位矩阵，因此大多数IMC-385错误发生在相同类型的操作中，但具有不同的参数。事实上，混淆矩阵中唯一的显著错误是将JPEG压缩错误分类为JPEG双重压缩，这可能是因为德累斯顿数据集中的大多数原始图像都是JPEG的-(a)（b）第（1）款图3. IMC讨论项目。(a)IMC-385 HL 1混淆管理器。(b)IMC结果示例，从上到下：测试图像、地面真实伪造掩模和IMC隶属关系图（按照HL1进行颜色编码）。最佳的颜色和放大查看。这个问题可以用不同的方式来回答，人们可以首先识别图像的主要特征，并且任何与该主要特征充分不同的特征在本节的其余部分中，我们遵循这种直觉并讨论两个关键任务的解决方案（1）什么是主导特征，以及如何计算它，以及（2）如何量化局部特征和参考主导特征之间的差异，以及实践中的最佳方法是什么。让我们从简单的解决方案开始。对于主导特征的一个选择是在等式中定义的平均特征。（一）垫，表明它们已经被压缩。虽然KCMI的测试结果证实了一般-ΣHµF=ΣWF[i，j]/（HW）（1）能力的学习操纵跟踪功能，我们双重检查功能的有效性IFLD任务。如图如图3-（b）所示，可以容易地识别IMC成员映射和真实伪造掩模之间的对应关系，这表明（1）所提出的IMC特征对于IFLD任务是有用的;以及（2）可以通过识别与其周围特征不同的异常局部特征来容易地识别伪造区域。4. 本地异常检测网络在本节中，我们提出了一种新的深度异常检测网络架构。如图2、它是COM-i=1j=1其中F是大小为H×W×L的原始特征张量。类似地，可以使用等式中的原始差。（2）量化局部特征与参考特征之间的差异。DF[i，j]=F[i，j]−µF（2）考虑到可推广性，等式中定义的归一化Z分数。（3）效果更好，（见表6）ZF[i，j]=DF[i，j]/σF（3）其中σF是F的标准偏差，如等式（4）所示。分为三个阶段：（1）自适应，其针对异常检测任务调整操纵轨迹特征;ΣHΣW2FF[i，j]2/（HW）−µ2（四）异常特征提取，受人类思维启发，提取异常特征;以及（3）判决，其整体地考虑异常特征并且分类像素是否是伪造的。由于自适应和决策阶段都是直接的，我们专注于讨论异常特征提取。4.1. 异常特征提取给定一个特征图（例如图中的底行。3-（b）），人类如何识别潜在的伪造区域。虽然i=1j=1在实践中，我们用σf代替σ f，如等式10所示（五）σF=最大值（σF，σ+wσ），（5）其中，n=1 e-5，wσ是一个可学习的非负权重向量，其长度与σF相同。为此，特征ZF编码每个局部特征与参考特征的不同程度，但是当两个以上的区域被不同地操纵时，ZF具有一个主要的缺点。假设一个图像包含两个不相交的σIMC-VGG基线宽（W）更深（D）W D第一区块Σ Σ16@（3， 3）×2 ReLUΣ Σ32@（3， 3）×2 ReLUΣ Σ16@（3， 3）×2 ReLUΣ Σ16@（3， 3）×2 ReLUMiddleBlock16k @（3， 3）×mReLU32k @（3， 3）×mReLU16k @（3，3）×mReLU32k @（3，3）×mReLUM[二、三、二][二、三、二]Σ [2， 3，3]Σ [2， 3，3]LastBlockΣ Σ128@（3， 3）×1L2标准Σ Σ256@（3， 3）×1L2标准Σ256@（3， 3）×2ΣReLU256@（3，3）×1L2标准256@（3，3）×2ΣReLU256@（3，3）×1L2标准DecisionBlock385@（3， 3）+Softmax#Conv2D#接收归档1123× 231123× 231429× 291429× 29IMC-385 Top-1IMC-385 Top-3IMC-385Top-5IMC-385 Top-10百分之四十七点三百分之六十六点五百分之七十五点三百分之八十五点八48.6%百分之六十九点九百分之七十九点五百分之九十点七百分之四十五点七69.8%百分之七十九点四92.5%百分之五十一点八72.0%81.1%93.1%=9549伪造区域9550FFFFFF FFR1和R2，而其余的是原始背景区域B。特征轴连接（FAC），使用时间轴-根据µR1、µR2之间的相对关系和用于Z轴的功能进一步提升性能-µB，特征µF可能无法代表主导µB。到为简化讨论，设F 当绝对值约为7%，相对值约为15%。µR1 微纳2> µB、µF可以是更接近的到μR2比μB，这意味着ZF不能捕获异常区域R2。一种快速补救方法是计算参考要素从局部但足够大的窗口，这减轻了来自其它伪造区域的特征的影响（如果不是排除具体来说，我们计算窗口偏差特征，表6.异常检测功能比较。Dn×n[i，j]=F[i，j]−µn×n[i，j]（6）F F5.实验评价其中，µn×n[i，j]是通过标准AveragePool2D层在以（i，j）位置为中心的n×n窗口内计算的平均特征然而，我们不知道测试样本的n应该是多少。因此，我们遵循常见的多分辨率分析（例如，[47]），并收集一系列Z分数特征w.r.t.不同的窗口大小n1到nk，如等式（1）所示。（七）、Zn=[Zn1×n1，···，Znk×nk，Z]（7）从输入特征F转换到Z分数特征的过程在图2中被称为ZPool2D。虽然可以沿特征维数将Z_（max）连接起来，产生一个3D特征（大小为H×W×（k+1）L）来表示差异特征，但这未能抓住人类决策过程的本质--如果他我们以前已经证明了使用的图像操作跟踪功能和本地异常检测网络的有效性。在本节中，我们将重点评估端到端ManTra-Netw.r.t. 通用性、敏感性、对后处理的鲁棒性和标准基准。关于评估指标，除非另有说明，否则我们使用受试者工作特征曲线（AUC）下的像素级重要的是要注意，由于局部异常检测的性质，如果原始像素是少数，ManTra-Net将标记为伪造的但是，这种行为不应该受到惩罚。因此，当超过50%的像素在地面真实中被伪造时，我们否定ManTra-Net预测的掩码，如[28]中所建议的。5.1. 预训练模型和泛化测试清楚因此，我们将Z沿着新的领域-我们以端到端的方式虚拟时间维度，并产生大小为（k+1）×H×W×L的4D特征。通过使用ConvLSTM2D层[48]，所提出的异常检测网络按顺序分析属于不同窗口大小的Z分数偏差。换句话说，我们研究一个细粒度的Z-如果我们是不确定的，则可以使用分数图，因此在概念上遵循远到近分析。4.2.异常检测消融实验我们进行了一组消融实验，以研究前面提到的异常特征的性能，使用图中所示的ManTra-Net解决方案。二、为了确保公平的比较，所有实验（1）仅在所使用的异常检测特征方面彼此不同;（2）共享相同的预训练操纵轨迹特征提取器;以及(3)操纵轨迹特征提取器被设置为不可训练。一个可以参考第二。2.3其他设置。表6在验证方面比较了所有功能F1得分。 很明显，Z分数差异更好，并且我们考虑的窗口大小越多，整体性能越好。为了提高效率，我们停止分析更多的窗口。相比使用第二节中提到的四个合成数据集2.3 的预训练的ManTra-Net模型可在1.为了评估这些模型的通用性，选择最新的基于部分卷积的CNN修复方法[31此外，还使用了PhotoShop战斗数据集[27]，因为它很大（总共102，028个样本）和多样性（来自31，272位在线艺术家），并且它反映了现实生活中的图像处理水平。由于它仅提供图像级注释（即，原始的或伪造的）而不是像素级，我们通过计算图像级AUC来评估该数据集上的模型性能，其中图像被操纵的可能性被简单地计算为所有像素的平均可能性。从表7中可以看出，用全随机权重训练的全随机模型通过冻结图像操作跟踪特征（IMTF）并使用随机LADN权重训练的半冻结模型确实防止了1https://github.com/ISICV/ManTraNet.git异常检测功能数据集验证F1-评分拼接CopyMove移除增强整体DF13.26%2.33%6.79%36.07% 14.61%ZF18.71%5.01%39.67%72.45% 33.81%FAC（[Z7×7，ZF]）7×7 15F 5FAC（[Z，Z×1，ZF]）7×715F 5F ×31FAC（[Z，Z×1，Z31，ZF]）F F F21.99%9.20%38.55%74.59% 36.08%24.51%11.47%43.96%75.78% 38.93%26.40%百分之十七点八八45.53%77.92% 41.93%9551过拟合，但是消除了为其他伪造类型找到更好特征的希望，因为已知操纵痕迹特征针对增强数据集（参见表6中的增强列）而优化，但是不针对拼接、复制移动或移除而优化。相比之下，允许这些权重以5e-5的较低学习速率更新的半随机模型防止了过拟合，并收敛到所有伪造类型的更好特征表示因此，我们在后面的实验中使用名称IMTF设置测试F1[31]F1[27]AUC完全随机（FR）随机初始化71.21%68.37%61.85%半冻结（HF）冷冻IMC-38548.39%72.54%70.33%半随机（HR）IMC-385初始化68.61%78.32%75.88%表7.不同设置下的ManTra-Net性能5.2. 灵敏度和耐用性评价为了评估ManTra-Net对不同失真的操纵的准确性，我们进行了以下敏感性研究：（1）我们使用操纵函数f和方法参数p合成Dresden测试分裂中5，000个补丁的操纵样本;（2）在此合成数据集上评估ManTra-Net;和3）我们报告其性能作为图中的一个数据点。4.第一章如图4-（a），ManTra-Net对于加性噪声和模糊方法非常准确，即使对于像3×3GaussianBlur，而压缩方法的准确性较低，特别是当质量因子高于95时。慢于单位为m的二次像素减小速率最后，虽然局部模糊在欺骗基于边缘的伪造检测方法方面非常有效，但ManTra-Net对这种类型的攻击具有很强的免疫力。5.3. 与SOTA方法的在[55]之后，我们将ManTra-Net的性能与[ 55 ]中报告的数字进行了比较，后者提供了经典无监督方法的评分：ELA [29]，NOI 1 [34]，CFA 1 [22]和最新的基于DNN的解决方案，MFCN [39]和J-LSTM [7]在四个基准数据集上，即NIST 2016 [3]，CASIA [2]，COV-ERAGE [43]和Columbia数据集[1]。这四个数据集分别包含564、6044、100和180个样本。值得注意的是，我们（1）使用预训练的模型而不是微调的模型，（2）评估完整数据集的性能而不是小的测试分割。方法NIST哥伦比亚覆盖Casia伪造类型、、、、ELA [29]0%的百分比百分之四十二点九0%的百分比58.1%0%的百分比百分之五十八点三0%的百分比百分之六十一点三[第34话]0%的百分比48.7%0%的百分比百分之五十四点六0%的百分比58.7%0%的百分比百分之六十一点二[22]第二十二话0%的百分比百分之五十点一0%的百分比72.0%0%的百分比48.5%0%的百分比百分之五十二点二J-LSTM [7]百分之七十二百分之七十六点四N/a百分之七十五百分之六十一点四N/aRGB-N [55]百分之七十二百分之九十三点七0%的百分比百分之八十五点八百分之七十五81.7%百分之八十五百分之七十九点五ManTra-Net0%的百分比百分之七十九点五0%的百分比百分之八十二点四0%的百分比81.9%0%的百分比81.7%表8.（训练%，AUC）性能比较。最高分数和训练百分比分别以蓝色和红色突出显示伪造类型的颜色编码为：拼接，复制移动，删除和增强。图4.ManTra-Net（一）(a)这些结果列于表8中。我们在NIST和哥伦比亚的数据库中排名第二。在NIST数据集中发现ManTra-Net和RGB-N方法之间存在很大的性能差距，这可能是因为该数据集包含许多从完全相同或非常相似的基础图像伪造的样本-其中微调可以明确帮助。在Columbia数据集上，我们只比最好的方法RGB-N落后3%，因为我们不依赖任何特定的线索。RGB-N方法明确分析噪声模式，已知其对Columbia数据集超级有效[55]。然而，在COVERAGE和CASIA数据集上，我们在更大的评估部分上实现了比J-LSTM和RGB-N方法更好的性能，这两种方法都适用于在现实生活中，可以利用附加的后处理来伪装伪造图像X在这里，我们考虑了三种常见的后处理方法：（1）将X压缩到较小的尺寸，（2）以较低的质量因子压缩X，以及（3）使锻造区域边缘周围的X平滑。代替来自四个合成数据集的原始测试样本，我们将预训练的ManTra-Net与后处理版本一起馈送，并计算测试性能衰减。这些结果显示在图中。4-（b）.ManTra-Net9552层数据集微调。我们表现更好的一个可能的解释是这些数据集中的图像比NIST和哥伦比亚的图像小得多（例如，典型的CASIA图像的大小为256×384，而在NIST中通常会看到大于1000×1000的图像），并且更接近我们在训练中使用的图像大小，即256×256。可以肯定的是，ManTra-Net：（1）明确指出-执行那些经典的无监督方法，并且（2）与那些最先进的DNN方法相当 重要的是，一个特别注意-9553图5.ManTra-Net结果示例巨型柱由垂直虚线分隔 从左到右：前两个巨型列是来自NIST、Columbia、COVERAGE和CASIA数据集的结果;第三个兆列是通过深度修复技术伪造的[31];最后一个兆列是来自PS-battle数据集的样本。附加的PS战斗结果可以在图中找到。1.一、ManTra-Net能够在现实生活场景中工作，包括但不限于（1）多个伪造区域，（2）小操作，（3）复合操作和（4）任意输入图像大小。值得注意的是，所提出的ManTra-Net在所有测试数据集上实现了非常一致的性能，表明它在不同的数据集上具有很好的泛化能力。定性结果见Fig.五、在亲-在速度方面，ManTra-Net在单个NVIDIA1080Ti GPU上每幅图像（1024×768）大约需要0.8秒。5.4. 限制真实图像的伪造检测是一个难题。我们观察到ManTra-Net在以下情况下可能会失败：（1）完全再生伪造图像（例如， 使用样式转换[23]），见图。6-（a）;（2）伪造的图像是故意污染与高度相关的噪声，见图。6-（b）;和（3）多个区域被不同地操纵，见图。6-（c）.如图6-（c），文本区域和袋熊区域都被操纵。ManTra-Net查找文本区域，但不查找袋熊区域。我们发现，一个快速的补救措施是要求用户选择一个感兴趣的区域之前，应用ManTra-Net，这一次，我们成功地抓住了袋熊。这表明ManTra-Net可以成为人类的计算机辅助IFLD工具图 6. 故 障 案 例 。 （ a ） 、 （ b ） 和 （ c ） 是 PS 战 斗 样 本cr3n0xh 0、cg869bx 0和cjulwwp 0的结果。每组结果中的三幅图像被安排为供体图像、伪造图像和预测掩模。放大查看更多详细信息。6. 结论在本文中，我们介绍了一种新的端到端DNN解决方案，称为ManTra-Net。该方法首先提取测试图像的图像操作轨迹特征，然后通过评估局部特征与参考特征的差异来我们仅使用预训练模型的广泛实验结果表明，所提出的ManTra-Net对微妙的操作敏感，对后处理伪装操作具有鲁棒性，并且它对看不见的数据和未知的操作类型具有良好的泛化能力，即使是最新的基于DNN的操作，如面部交换[36]和深度图像修复[32]。可以通过简单地向IMC任务引入更多的操纵类型和/或向端到端IFLD任务添加更多的训练样本来进一步提高ManTra-Net的性能或使其适应新的伪造类型确认这项工作是基于美国国防部高级研究计划局根据协议编号FA 8750 -16-2-0204赞助的研究。美国政府有权为政府目的复制和分发重印本，尽管其上有任何版权标记。本文中包含的观点和结论是作者的观点和结论，不应被解释为必然代表国防高级研究计划局或美国政府的官方政策或认可（无论是明示还是暗示）。政府的9554引用[1] 图像拼接检测评估数据集，2004年。网址：//www.ee.columbia.edu/ln/dvmm/downloads/验证拼接数据集/验证拼接数据集。htm.[2] CASIA篡改图像检测评估数据集，2012年。forensics.idealtest.org/casiav2网站。[3] NIST操纵评价数据集，2016年。https://www.nist.gov/itl/iad/mig/nimble-challenge-2017-evaluation.[4] IEEE 信 号 处 理 学 会 - 相 机 模 型 识 别 ， 2018 年 。https://www.kaggle.com/c/sp-society-camera-model-identification.[5] I. Amerini，T.乌里基奥湖Ballan和R.卡德利基于多域卷积神经网络的jpeg双压缩定位。在IEEE计算机视觉和模式识别研讨会上，第3卷，2017年。[6] K. Asghar，Z.Habib和M.侯赛因复制移动和拼接图像伪造检测和定位技术：审查. 澳大利亚法医科学杂志，49（3）：281[7] J. H. Bappy，A.K. Roy-Chowdhury，J.邦克湖Nataraj，以及B. 曼朱纳特利用空间结构定位人工图像区域。IEEE国际计算机视觉会议，第4970-4979页[8] M. Barni，A. Costanzo，E. Nowroozi和B.唐迪基于Cnn的通用对比度调整检测与jpeg后处理。在IEEE图像处理国际会议上，第3803-3807页。IEEE，2018年。[9] B. Bayar和M. C.斯塔姆使用新卷积层的通用图像操作检测的深度学习方法。ACM信息隐藏和多媒体安全研讨会，第5-10页。ACM，2016。[10] B. Bayar和M. C.斯塔姆约束卷积神经网络：一种新的通用 图 像 篡 改 检 测 方 法 。 IEEE Transactions onInformationForensics and Security，13（11）：2691[11] G. Bhartiya和A. S.贾拉勒基于特征聚类的JPEG图像伪造检测。Multimedia Tools and Applications，76（20）：20799[12] E. M. Bik，A.Casadevall和F.C. 房. 生物医学研究出版物中不适当的图像复制的普遍性MBio，7（3）：e00809[13] L. 邦迪湖Baroffio， D.圭拉山口Bestagini，E.J. 德尔普，以及S.图巴罗使用卷积神经网络识别相机模型的第一步。IEEE Signal Processing Letters，24（3）：259[14] L. Bondi，S.Lameri ，D.圭拉山口Bestagini，E.J. 德尔普，以及S.图巴罗通过基于摄像头的CNN特征聚类进行篡改检测和定位。在IEEE计算机视觉和模式识别研讨会上，第1855-1864页