基于DOA-GAN的复制移动伪造检测和定位

4676DOA-GAN：用于图像复制移动伪造检测和定位的Ashraful Islam1，Chengjiang Long2，Arslan Basharat2，and AnthonyHoogs21伦斯勒理工学院，特洛伊，纽约2Kitware Inc.，克里夫顿公园，NYislama6@rpi.edu，{chengjiang.long，arslan.basharat，anthony.hoogs}@ kitware.com摘要图像可以被操纵用于邪恶的目的，以隐藏内容或通过复制移动操作复制某些对象。在图像中发现精心制作的复制-移动伪造对人类和机器来说都是非常具有挑战性的;例如，可以用同一背景的图像块来替换均匀背景上的对象。在本文中，我们提出了一个生成对抗网络与双阶注意力模型来检测和定位复制移动伪造。在生成器中，一阶注意力被设计为捕获复制-移动位置信息，而二阶注意力利用更多的判别特征用于补丁同现。两个注意力图都是从亲和矩阵中提取的，并用于融合位置感知和共生特征，以用于网络的最终检测和定位分支。该网络旨在进一步确保更准确的定位结果。据我们所知，我们是第一个提出这样一个网络体系结构与一阶注意力机制从亲和矩阵。我们已经进行了广泛的实验验证和我们的国家的最先进的结果强烈demonstrate所提出的方法的有效性。1. 介绍数字图像的内容可以很容易地操纵或伪造，因为有许多图像编辑工具，如GIMP或Adobe Photoshop。这样的操纵可以出于恶意目的来完成，以隐藏或复制原始图像中的对象或类似内容。复制-移动图像伪造是指一种图像操纵，其中源区域被复制到同一图像内的另一位置。作为图1中的两个真实例子，复制-移动图像伪造可以用来添加或隐藏一些对象Ashraful Islam在Kitware，Inc.做暑期实习生时，这项工作由Chengjiang Long监督。图1：复制-移动伪造的两个例子，对象克隆（顶部）和对象删除（底部）。 从左到右是原始的，伪造的和地面真实的图像。我们的目标是自动检测和定位伪造图像中的源（绿色）和目标（红色）区域。出现数字图像，导致不同的解释。如果这样一个被操纵的图像是刑事调查的一部分，如果没有有效的取证工具，调查人员可能会被误导。因此，开发一个强大的图像取证工具的复制移动检测和定位是至关重要的。许多复制-移动检测方法已经可用，包括各种传统的基于补丁/块的方法[8，32，17]、基于关键点的方法[49，33]、基于不规则区域的方法[19，36]和一些最近的深度学习方法[44，22，46]。虽然一些复制-移动检测方法已经能够产生合理的定位结果，但这些方法的结果仍然远远不够完美的一些更具挑战性的场景。如图1所示，将复制移动与经常发生的偶然相似性区分开来是非常在本文中，我们提出了一个双阶注意的遗传对抗网络（DOA-GAN）的复制移动伪造检测和定位。如图2所示，生成器是基于深度卷积神经网络的端到端统一框架。给定输入图像，我们基于4677提取每个像素的特征向量。我们设计了一个双阶注意力模块来产生一阶注意力图A1，它能够探索复制-移动感知的位置信息，以及二阶注意力图A2，以捕获更精确的补丁相互依赖性。最终的特征表示用这两个注意力图来公式化，并且然后被馈送到检测分支以输出检测置信度分数，并且被馈送到定位分支以产生预测掩码，在该预测掩码中区分源区域和目标/伪造区域。同时，判别器被设计为检查预测掩码是否与地面实况相同。直观地说，双阶注意力模块被设计为首先突出显示图像中的所有相似区域，不管它们是否被操纵;然后区分非操纵的相似区域与复制-移动（源和目标）区域。通常，即使在诸如旋转和缩放之类的变换之后，复制-移动格式中的源区域和目标区域也比偶然相似的区域在我们的双阶注意力模块是基于亲和矩阵计算的，该矩阵涵盖了特征的二阶统计量，并对更具区分性的表示起着关键作用[20，9]。这促使我们利用二阶共现注意图A2的细粒度的区别，必要的区分复制-移动forecast从偶然的对象和纹理相似性。此外，我们观察到，非对角元素中的高值表明补丁之间的复制-移动空间关系的可能性很高。这一观察启发我们探索一阶注意力图A1，专注于复制-移动区域感知特征表示。在本文中，我们细化和规范化亲和矩阵，为每列取前k个值，并将它们重新整形，以形成具有k个通道的3D张量然后，张量被送入简单的卷积中，以制定我们最终的一阶注意力地图A1，它能够对源区域和目标区域给予更多的注意力。据我们所知，我们是第一个从亲和矩阵中提取这种一阶注意力地图的我们在生成器和搜索器之间采用对抗训练过程[13，10，43，50随着历元数量的增加，生成器和预测器都改进了它们的功能，使得预测掩码迭代地变得就像地面实况掩码一样。因此，足够大数量的时期导致训练中的收敛，并且我们使用生成器中的学习参数来输出检测置信度得分和指示源和目标/伪造区域的预测局部化掩码总而言之，我们的贡献有三个方面。(1)本文提出了一种用于图像复制-移动伪造检测和定位的双阶注意生成对抗网络。（2）我们的一阶注意力模块能够提取复制-移动位置感知注意力图，并且二阶注意力模块探索像素到像素的相互依赖性。这两个注意力图为复制移动检测和定位提供了更具鉴别力的特征表示。(3)大量的实验表明，所提出的DOA-GAN在多个基准数据集上的检测和定位质量方面明显优于最先进的方法。2. 相关工作复制-移动伪造检测和定位。 典型的复制-移动伪造检测方法[8]由三个阶段组成：特征向量提取、来自特征表示的对应匹配、以及后处理以减少错误警报并提高检测率。基于补丁/块的方法包括色度特征[3，8]，PCA特征[17]，Zernike矩[39]，模糊矩[31]，DCT [32];基于关键点的方法，如SIFT [1，7，49]，ORB [51]，三角形[2]，SURF [33，40]，和基于不规则区域的方法[19，36]。许多传统的复制移动检测算法依赖于对特定图像特征（如边缘清晰度和局部特征）的强然而，这样的假设并不总是满足伪造的图像，因为其他变换，如压缩，重新排序，或几何变换可能隐藏的痕迹的操纵。最近，深度神经网络（DNN）已应用于视觉识别[25，16，29，28，26，27，15]，对象检测和分割[14，5，30]，以及图像和视频伪造检测研究[22，14，44，29，46，24、47、4]。特别是，Wu等人。 [46]介绍了一种端到端DNN解决方案，用于检测具有两个独立分支的源/目标定位的复制-移动伪造图像。与这些DNN方法不同，我们提出的DOA-GAN将检测和定位公式化为生成器网络中的端到端统一框架，其中一阶注意力和二阶注意力显着提高了检测和定位性能。注意生成对抗网络。注意机制已成功地用于生成对抗网络[10，48，37]。与现有的注意力GAN不同，我们的DOA- GAN中的双阶注意力模块依赖于从上下文特征表示计算的亲和矩阵。3. 方法所提出的方法的框架如图2所示。该生成器是一个端到端的统一框架，用于执行复制-移动操作检测和本地化任务。给定一个输入图像I，我们首先应用VGG-19网络的前四个块来提取几何特征，并将它们调整为相同的大小，以形成一个4678ASPPAttncooc88猫22猫猫图2：DOA-GAN的概述。该生成器是一个端到端的统一框架，用于执行检测和定位任务。该方法用于检查预测的掩模是否与地面实况相同。级联特征Fcat.然后计算亲和矩阵，通过双阶注意模块得到一阶注意图A1和二阶注意图A2两个atrous空间金字塔池（ASPP）操作，即。、ASPP-1和ASPP-2，具有不同的参数，应用于提取上下文特征F1ASPP，将其与A1相乘，得到位置，图3：双阶注意力模块获取可复制移动区域注意特征F1然后使用A2来获得同现特征F1收件人和复制-移动区域注意图A1和同现注意图A2。2cooc. 区域关注特征和共现特征为检测分支融合数据以产生检测输出分数，并为定位分支融合数据以产生掩码。该方法用于检查预测的掩模是否与地面实况相同。生成器和判别器之间的交替训练是这种方法的关键组成部分，并且能够获得更准确的结果。并将其重塑为hw×hw。 G降低了相关性使用高斯核在图像的相同部分之间进行评分在此基础上，我们得到了新的亲和矩阵S′=S<$G，其中<$G表示元素级乘积。利用[6]中的补丁匹配策略，我们调用-计算S′ 中第i行中的补丁与第j列中的补丁匹配的可能性，exp（αS′[i，j]）3.1. 生成器网络给定一幅图像I∈RH×W×3，我们提取特征表示，Lr（i，j）=hwj′=1 exp（αS′[i，j′]）、（3）通过将其馈送到前三个块来对图像进行sentations的VGG-19作为特征提取器，然后调整三个Lc（i，j）=exp（αS′[i，j]）、（四）将层次特征映射到相同的大小，以得到级联特征F cat∈Rh×w×d。 为了时间效率，我们设置h = H，L（i，j）=Lr（i，j）Lc（i，j），（5）w=W在这篇论文中。 特征提取后，探索其中α是初始化为3的可训练参数。L是图像不同部分之间的相关性，我们称之为-计算亲和矩阵S=F′F′T，（1）其中F′∈Rhw×d是一个平坦的矩阵表示，Fcat和表示相同大小的h×wDual-Order Attention模块的设计如图3所示，用于提取复制-移动感知区域注意力图A1和共现注意力图A2。然而，当我们计算图像的自相关性时，S将沿着对角线具有更高的值，因为对角线值指示图像的一部分与其自身的相关性为了解决这个问题，我们定义了一个操作G′′（i−i′）2+（j−j′）2生成器网络检测分支ASPP-1鉴别器网络一阶/二阶注意力模块或本地化分部亲和基质Softmax逐元素乘积HxWx3矩阵乘积ASPP-2对流真/假融合特征Concatenate和F和FFHWi′=1 exp（αS′[i′，j]）4679最终的亲和矩阵。从L∈Rhw×hw，我们提取每行的前k个值，并整形为T∈Rh×w×k。我们把T输入注意力模块。注意力模块包括三个卷积块。前两个块包含卷积层，具有16个输出通道和内核大小3，其次是BatchNorm和ReLU。最后一个块包含两个连续的卷积层，具有16个输出通道和内核大小3，以及1个输出通道和内核大小1。最后我们应用一个sigmoid函数来获得空间复制-移动感知注意图A1∈Rh×w。如图4所示，复制-移动区域注意力图是通过抑制背景非操作区域同时突出显示最可能涉及（1）A（1）A（2）A（2σ2）（2）在复制移动操作中。输出4680ΣASPPAttnAttnASPPASPP图4：在两个复制-移动伪造图像上的A1为了充分利用补丁到补丁的相互依赖性，我们将等式5中的亲和度矩阵归一化以获得共-Ffinal被输入到定位分支，该分支由三个卷积块组成，每个卷积块后面是BatchNorm和ReLU，最后一个卷积块由3个通道组成，用于输出原始（背景），源和目标区域的分割掩码3.2. 鉴别器网络该算法的结构基于Patch- GAN算法[18]。具体来说，发生注意图A2∈Rhw×hw，L（i，j）用来预测图像中的每个N×N块是真是假 这是完全卷积的。它由五个卷积块组成，每个卷积块后面都有一个批处理，A2（i，j）=hwj′=1.（六）L（i，j′）Norm和LeakyReLU，以及最后的卷积层。连续卷积层的输出通道为使用Atrous Spatial Pyramid Pooling（ASPP）块从提取的特征F猫。在DeepLab V3 [5]中使用ASPP块来捕获图像分割的多个范围的上下文。我们通过实验发现，两个ASPP块是有用的学习两个不同的任务，即源和目标检测。第一个ASPP块的速率为12、24和36，32、64、128、256、512和1，所有卷积层的核大小为4×4。卷积层的步幅是2，除了最后一个，它的步幅是1。因此，当输入图像通过每个卷积块时，空间维度减小最后我们得到一个输出特征sizeH×W×1，其中输入的空间大小为H×W。252 5而第二个块具有平均速率6、12和24。后ASPP模块，我们得到两个特征表示网络的输入是图像I ∈ RH×W×3和掩码M ∈ RH×W×3的级联。的1ASPP∈Rh×w×ds与F2∈Rh×w×ds。discriminator is trained to discern the ground-truth mask特征融合旨在将复制-移动用于检测和定位任务的区域感知注意特征和共现特征。我们将F1和F2与空间复制-移动区域感知注意力映射A1相乘，得到从预测的面具，而生成器试图欺骗鉴别器。3.3. 损失函数损失函数用对抗性损失来表示1Attn2Attn1ASPP2ASPP第1章（7）A1，（8）交叉熵损失和检测损失为：L=Ladv+αLce+ βLdet。（十二）其中，⊙是逐元素的乘积运算。我们也对抗损失Ladv定义为：获取同现特征Ladv（G，D）=E（I，M）[log（D（I，M））+log（1-D（I，G（I））]，1cooc2cooc=A2F1=A2F2、（9）、（10）（十三）在CNOD试图最大化目标的情况下，其中，n是矩阵乘积运算。 这样的处理并且生成器G试图使其最小化，即，、充分探索补丁之间的相互依赖性，G= arg min maxL Adv （G、D）。（十四）远距离像素能够对特征响应G D做出贡献在基于相似性度量的位置处。最终的要素制图表达将根据交叉熵损失Lce表示为：3小时W以上四个特征和注意力图A1，FFF=F=FFF4681Attn^Lce=1 M（i，j，k）logM^（i，j，k），Ffinal=合并（F12Attn1cooc2cooc，A1），（11）高×宽×3k=1i =1j =1（十五）其中Merge是合并操作。 原则上，任何一种可以使用合并操作，本文中我们使用了级联。侦查处和本地化处。随着最终表示Ffinal，我们设计了两个卷积层，然后是两个完全连接的层作为检测分支，以输出检测分数。同时其中M=G（I）是生成器网络的预测掩码，M是地面实况掩码。检测损失Ldet是来自检测分支的图像级检测分数与地面实况标签之间的二进制交叉熵损失，Ldet=yimlog（yim）+（1−yim）log（1−yim），（16）、F、F、F4682表1：使用像素级精度、召回率和F1分数度量的3个类别的USC-ISI CMFD数据集上的复制-移动伪造定位结果：P、S和T分别指原始、源和目标。方法精度召回F1PS不PS不PS不[46]第四十六话93.7155.8553.8499.0138.2648.7396.1540.8448.33[47]第四十七话93.508.6648.5399.222.2828.4396.082.9730.58[第38话]91.6632.6747.1697.1619.0640.9094.8823.0944.15纳甘95.8735.3059.3296.9141.6452.3295.4033.2555.94佛阿干95.0652.8271.1797.2443.3262.0696.0443.4365.90SOA-GAN95.5350.9470.2098.1740.8666.5897.8042.5067.19DOA-GAN w/o ASPP-196.7161.0470.9498.8443.1366.6997.6745.0467.23DOA-GAN w/o ASPP-296.0860.7065.2099.4339.1868.7697.6244.1365.41DOA-GAN w/oLADV95.8072.3083.6096.2760.3279.1096.0163.2580.45DOA-GAN w/oLdeter97.3575.5883.9697.9864.1980.3197.5165.2181.08DOA-GAN96.9976.3085.6098.8763.5780.4597.6966.5881.72其中，如果图像包含复制-移动格式y，则y_im被设置为1，否则它被设置为0，并且y_im是来自检测分支的输出3.4. 实现细节特征提取模块基于在ImageNet数据集上预训练的VGG-19网络的前三个块。ASPP模块基于DeepLabV3+[5]中使用的模块。我们使用k=20作为第一个注意力块中的前k值。我们对生成器和神经网络使用两种不同的学习率，0。001和0。0001，并且VGG-19特征提取器的学习率被设置为0。0001当训练损失在5个epoch后达到平台时，我们将学习率降低一半。对于训练，我们首先只优化生成器的3个epoch的交叉熵损失，然后开始优化所有损失。当损耗降到0.3时，我们冻结判别器，直到损耗增加。这确保了发电机和发电机都以相似的速度学习，并且发电机不会过度训练。4. 实验结果为了研究所提出的DOA-GAN方法用于复制-移动伪造检测和定位的有效性，我们在三个基准数据集上进行了实验：USC-ISI CMFD数据集[46]，CASIA CMFD数据集[46]和CoMoFoD数据集[41]。USC-ISI CMFD数据集分别有80K、10K和10K图像用于训练、验证和测试。CASIA CMFD数据集包含1，313幅伪造图像和它们的真实对应物（总共2，626个样本）。CoMoFoD数据集包含5，000幅伪造图像，其中200幅基本图像和25个操作类别，涵盖5种操作和5种后处理方法。为了评估检测和定位性能，我们报告了图像级（用于检测）和像素级（对于定位）精确度、召回率和3个类别的F1得分度量：原始（背景）、源和目标，通过平均每个图像的得分。单位为%。4.1. USC ISI CMFD数据集上的实验我们用来自USC-ISI数据集的80，000幅复制-移动伪造图像和80，000幅原始图像训练DOA-GAN，并在10，000幅测试伪造图像和10，000幅原始图像上进行评估。原始图像从COCO数据集收集[21]。我们将BusterNet [46]作为基线进行比较，因为据我们所知，这是唯一能够区分复制-移动源区域和目标区域的深度学习模型。为了验证该算法的有效性，我们设计了几个基线，ManTra-Net [47]，U-Net [38]，没有任何注意力的DOA-GAN（表示为NA-GAN），仅使用一阶或二阶注意力的基线（表示为分别为FOA-GAN和SOA-GAN）。我们还通过分别移除等式12中的损失函数L adv和L det来创建被表示为“DOA-GAN w/o L adv“（等同于DOA-CNN）和“DOA-GAN w/o L det“的其他基线对于像素级评估，我们计算每个图像的精确度，召回率和F1得分指标的平均值。由于原始图像的F1分数定义不明确，因此用于像素级评估的测试对于图像级评估，我们使用伪造图像和非伪造图像（总共20K图像）。如果检测分支的输出分数大于0，则我们预测图像是伪造的。5，否则预测为非伪造。对于BusterNet和DOA-GAN w/oLdet，如果输出掩码中有超过200个像素被预测为源或目标区域，则认为图像是伪造的。 是这里值得一提的是，200像素（<0. 在320×320的输入图像中的总像素的2%）被发现是假阴性和假阴性之间的合理折衷。积极的。我们已将检测结果汇总于表2中，4683图5：显示了USC-ISI CMFD数据集样本的定性结果。从左到右为输入图像; BusterNet [46]、FOA-GAN、SOA-GAN和DOA-GAN的结果;和地面真实掩模。请注意，目标区域（作为缩放变换）显示为红色，源区域显示为绿色。定位结果见表1。一些有趣的观察结果：（1）DOA-GAN w/o Ladv在所有指标方面都优于BusterNet，这清楚地表明了DOA-GAN中生成器的良好性能;（2）DOA-GAN在检测和定位任务中的性能总体上优于DOA-GAN w/o Ladv，这表明DOA-GAN的区分能力是有效的。（3）DOA-GAN w/o L det的检测性能比DOA-GAN差。GAN，证明了Ldet的有效性，（4）FOA-GAN和SOA-GAN的性能不如DOA-GAN除了原始像素的F1分数之外的所有度量中，这表明第一阶和第二阶注意力是彼此互补的，以提高复制-移动伪造检测和定位的性能，并且（5）U-Net和NA-GAN基线的性能比DOA-GAN、SOA-GAN和FOA-GAN差得多，尤其是在源掩模的局部化方面，这证明了亲和度计算的有效性。这间接验证了我们的双阶注意模块的有效性。为了进一步-表2：USC-ISI CMFD数据集上的检测结果。方法精度召回F1[46]第四十六话89.2680.1484.45[47]第四十七话68.7285.8276.32[第38话]82.6166.1373.46纳甘80.1985.6482.82佛阿干94.1394.5494.33SOA-GAN95.5092.3093.87DOA-GAN w/o ASPP-195.1193.1394.10DOA-GAN w/o ASPP-292.9791.7592.35DOA-GNN w/oLadv95.4593.0994.25DOA-GAN w/oLdeter90.3194.7892.49DOA-GAN96.8396.1496.48为了理解DOA-GAN方法的优势，我们还在图5中提供了一些可视化结果。正如我们所看到的，我们的DOA-GAN能够生成比BusterNet、FOA-GAN和FOA-GAN更准确4.2. 在CASIA CMFD数据集上的实验与USC-ISI CMFD数据不同，CASIA CMFD数据集不提供区分源和目标的地面真实掩模。这是更具挑战性的，因为一些统一的背景是复制和粘贴到其他背景为了在该数据集上评估所提出的DOA-GAN，我们通过将我们的网络的最终卷积层替换为1通道输出的卷积层来修改我们的网络，我们在USC-ISI CMFD数据集和MS COCO数据集上训练我们的模型。为了公平比较，我们在BusterNet上执行相同的操作。此外，我们比较了四个传统的复制移动伪造检测方法1，即。具有Zernike 矩 特 征 的 基 于 块 的 CMFD （ 表 示 为 “Block-ZM”）[ 39 ]、基于自适应分割的我们通过计算每个存在复制-移动伪造的正面图像的精确度、召回率和F1得分指标来评估像素级性能，并报告最终的平均值。对于图像级检测，只要输出掩码中有超过200个伪造像素，我们就预测图像包含伪造。我们使用积极的形象和他们的au-用于图像级检测的专业同行。所有图像在输入模型之前都被调整为320×320表3显示了与CASIA CMFD数据集上其他基线的性能比较。正如我们可以看到的，我们提出的DOA-GAN执行最好的所有metrics方面，除了在检测精度这个强大的恶魔-展示了我们提出的方法的有前途的优势。请注意，BusterNet上的结果与[46]中报告的结果不同，因为在原始BusterNet中，操纵分支是在外部图像操纵数据集上训练的，而为了公平比较，我们只在上述复制-移动数据集上训练我们的模型和BusterNet。图6提供了一个可视化结果，表明所提出的DOA-GAN 能 够 检 测 到 比 用 于 复 制 - 移 动 伪 造 操 作 的DenseField和BusterNet更准确的掩码。4.3. 在CoMoFoD数据集上进行实验我们还评估了CoMoFoD数据集的性能，并在表4中报告了结果。再说一遍，1可在https://github.com/MohsenZandi/Copy-Move_Forgery_Detection上获取实现。4684图6：CASIA CMFD数据集上的可视化示例。从左到右是输入图像; Adaptive-Seg [36]，DenseField [8]，BusterNet[46]和我们的DOA-GAN的结果;和地面真相面具图7：CoMoFoD数据集上的可视化示例。从左到右是输入图像; Adaptive-Seg [36]，DenseField [8]，BusterNet [46]和我们的DOA-GAN的结果;和地面真相面具表3：CASIA CMFD数据集上的性能。方法年精度召回F1Block-ZM201068.9753.6960.38DetDCT匹配201263.7446.3153.46自适应分段201593.0725.5940.14加密文件201599.5130.6146.82BusterNet201848.3475.1258.82DOA-GAN201963.3977.0069.53Block-ZM201010.093.013.30DCT匹配20128.801.902.40Loc自适应分段密度场2015201523.1720.555.1420.917.4220.36BusterNet201842.1530.5433.72DOA-GAN201954.7039.6741.44除了检测和定位精度外，还获得了最佳性能注意，在该数据集中应用不同类型的变换来创建复制-移动人工图像，例如，平移、旋转、缩放、组合和失真。各种后处理方法，如JPEG压缩，模糊，噪声添加和色彩减少，也适用于所有伪造和原始图像。将每种后处理方法作为一种特定的攻击，我们使用该数据集进一步分析了我们提出的DOA-GAN在不同攻击下的效果。我们在图7中提供了一个可视化示例。图9显示了在不同类型的攻击下CoMo-FoD数据集上正确检测到的图像的数量，其中如果图像的像素级F1分数大于30%，则图像被正确检测到图8显示了所有攻击的F1得分。从这两个图中，我们可以看到DOA-GAN是健壮的，并且在所有类型的攻击下始终表现最好。表4：CoMoFoD数据集上的性能。方法年精度召回F1Block-ZM201051.7220.8729.74DetDCT匹配201250.4829.7737.46自适应分段201565.6643.3752.24密度场201580.3420.1032.15BusterNet201853.2057.4155.22DOA-GAN201960.3865.9863.05Block-ZM20102.902.501.73LocDCT匹配20123.533.412.03自适应分段201523.0213.2713.46密度场201522.2323.6322.60BusterNet201851.2528.2035.34DOA-GAN201948.4237.8436.924.4. 讨论DOA-GAN能够利用复制-移动区域注意力来提取操作注意特征，并考虑到斑块间的相互依赖性，提取共现特征然而，当复制区域只是从均匀背景中提取并粘贴在同一背景上时，它可能会失败。当规模发生重大变化时，它也可能失败我们在图10中提供了两个失败案例。正如我们所看到的，第一个例子的背景是均匀的，第二个例子中复制-移动区域的比例非常小。5. 其他操纵类型的扩展注意，DOA-GAN基于在同一图像上计算的亲和矩阵。 很容易将其扩展到从两个不同图像计算的仿射矩阵，即，供体图像和探头图像，对应的操作类型包括图像拼接和视频拷贝-移动。对于图像拼接操作，我们训练DOA-GAN，4685我们的自适应分段密集场BusterNetBright Change（BC）JPEG压缩（JC）对比度调整（CA）色彩还原（CR）噪声添加（NA）图像模糊（IB）0.50.40.30.20.10.50.40.30.20.10.50.40.30.20.10.50.40.30.20.10.50.40.30.20.10.50.40.30.20.1BC1 BC2BC3JC1 JC2 JC3 JC4 JC5 JC6 JC7 JC8CA1 CA2CA3CR1 CR2CR3NA1 NA2NA3IB1 IB2 IB3图8：攻击下CoMoFoD数据集的F1得分。表5：图像拼接本地-本地700化的MS-COCO生成的数据集。6005004003002001000基地（200）BC（600）CA（600）CR（600）IB（600）JC（1800）NA（600）图9：Co-MoFoD数据集上受到攻击的正确检测到的图像数量.每次攻击的图像总数在攻击名称旁边提到。图10：失败案例示例。从左到右-输入图像，我们的结果和地面实况。以及两种最先进的方法，DMVN [45]和DMAC [23]，在[23]中的生成过程之后的相同合成图像拼接数据集上，然后在由42，093个测试图像对组成的MS-COCO生成的数据集上进行评估。表5中的结果证明了DOA-GAN对于视频复制-移动操作，其可以被认为是视频中的两个连续帧序列之间的帧间拼接。我们评估了DOA-GAN在同样，提出的DOA-GAN仍然是最好的。请注意，由于页面限制，我们无法提供有关扩展DOA-GAN以进行图像拼接和视频复制移动的足够技术细节。有关技术细节的更多详细信息，请参阅补充资料。表6：生成的视频CMFD数据集在像素级F1得分和IoU方面的性能比较。这里，Si和T以及A分别表示源掩码、目标掩码和源-目标不可知掩码。方法SF1分数不一SIOU不一PatchMatch [11]--11.7--9.8DMVN [45]27.233.837.220.525.7627.3DMAC [23]39.539.045.231.130.535.3DOA-GAN62.962.365.050.749.653.36. 结论和未来工作在本文中，我们提出了一个双阶注意的遗传对抗网络（DOA-GAN）的复制移动伪造检测和定位。在生成器中设计了双阶注意力模块，用于提取基于位置感知的注意力图和斑块间的同现关系。这是为了进一步确认预测掩模的准确性。所提出的DOA-GAN已经经验性地示出，与先前的现有技术相比，产生更准确的复制-移动掩模并且更好地将复制-移动目标区域与源区域区分开。我们未来的工作包括扩展目前的工作，以识别卫星图像中的图像级伪造，并解决其他具有挑战性的视觉任务，如共显性检测和定位。确认这项研究是在国防高级研究计划局（DARPA）的资助下进行的，合同号为FA 875016-C-0166。所表达的观点、意见和/或调查结果是作者的观点，不应被解释为代表国防部或美国政府的官方观点或政策。政府。我们的自适应分段密集场BusterNet我们的自适应分段密集场BusterNet我们的自适应分段密集场BusterNet我们的自适应分段密集场BusterNet我们的自适应分段密集场BusterNet我们的自适应分段密集场BusterNet正确的检测编号方法IOU源F1MCCIOU目标F1MCCDMVN [45]37.248.432.342.053.536.7DMAC [23]76.581.276.785.690.085.2DOA-GAN86.491.086.292.495.491.84686引用[1] IreneAmerini 、 LambertoBallan 、 RobertoCaldelli、Alberto Del Bimbo和Giuseppe Serra。一种基于SIFT的拷贝-移动攻击检测和转换恢复的取证方法TIFS，6（3）：1099-1110，2011.[2] Edoardo Ardizzone ， Alessandro Bruno ， andGiuseppe Mazzola.基于关键点三角形匹配的复制-移动伪造检测。TIFS，10（10）：2084-2094，2015.[3] Sevinc Bayram 、 Husrev Taha Sencar 和 NasirMemon。一种有效且稳健的复制-移动伪造检测方法。载于ICASSP，2009年。[4] 毕秀丽，杨伟，肖斌，李伟胜。RRU-Net：用于图 像 拼 接 伪 造 检 测 的 环 形 残 差 U-Net 。 在CVPRW，2019年。[5] 陈良杰、乔治·帕潘德里欧、弗洛里安·施洛夫和哈特维格·亚当。重新思考语义图像分割的atrous卷积。arXiv预印本arXiv：1706.05587，2017.[6] Jiaxin Cheng ， Yue Wu ， Wael Abd-Almageed ，and Premkumar Natarajan. QATM：用于深度学习的质量感知模板匹配。在CVPR，2019年。[7] AndreaCostanzo ， IreneAmerini ， RobertoCaldelli，and Mauro Barni. SIFT关键点移除和注入的法医学分析。TIFS，9（9）：1450[8] 大卫·科佐利诺，乔瓦尼·波吉，和路易莎·维尔多利瓦。高效的密集场复制移动伪造检测。TIFS，10（11）：2284[9] Tao Dai，Jianrui Cai，Yongbing Zhang，Shu-TaoXia，and Lei Zhang.单幅图像超分辨率的二阶注意力网络。在CVPR，2019年。[10] 丁斌，龙承江，张玲，肖春霞。Argan：用于阴影检测和移除的注意递归生成对抗网络。在ICCV，2019年。[11] Luca D'Amiano 、 Davide Cozzolino 、 GiovanniPoggi和Luisa Verdoliva。一种基于块匹配的稠密场视频复制移动检测和局部化算法TCSVT，29（3）：669[12] 一个杰西卡·弗里德里奇，一个B·D·维德·苏卡尔，和一个扬·卢·卡的妹妹。数字图像复制-移动伪造的检 测 。 在 数 字 取 证 研 究 工 作 - 商 店 的 程 序 。Citeseer，2003.[13] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。NeurIPS，2014。[14] Han Xintong ， Vlad Morariu ， Peng IS LarryDavis，et al.用于篡改人脸检测的双流神经网络。在CVPRW，2017年。[15] 刚华，龙澄江，杨明，高彦。核机器集成识别的协同主动学习InICCV，2013.[16] 刚华，龙澄江，杨明，高彦。来自人群的协作主动视觉识别：分布式集成方法。T-PAMI，40（3）：582[17] 黄登元，黄庆宁，胡武智，周志宏。高JPEG压缩伪影下拷贝-移动伪造检测的鲁棒性。MultimediaTools and Applications，76（1）：1509[18] Phillip Isola ， Jun-Yan Zhu ， Tinghui Zhou ， andAlexei A Efros.使用条件对抗网络的图像到图像翻译。在CVPR，2017年。[19] Jian Li ， Xiaolong Li ， BinYang ， and XingmingSun.基于分割的图像复制-移动伪造检测方案。TIFS，10（3）：507[20] 李佩华，谢江涛，王启龙，左王梦.二阶信息是否有助于大规模视觉识别？InICCV，2017.[21] 林宗义，迈克尔·梅尔，塞尔日·贝隆吉，詹姆斯·海斯，彼得罗·佩罗纳，德瓦·拉马南，彼得·多尔 · 拉 尔 和 C· 劳 伦 斯 · 齐 特 尼 克 。 MicrosoftCOCO：上下文中的常见对象。2014年，在ECCV[22] 刘雅琪，关庆晓，赵先锋。基于卷积核网络的复制 - 移 动 伪 造 检 测 。 Multimedia Tools andApplications，77（14）：18269[23] Yaqi Liu，Xianfeng Zhao，Xiaobin Zhu，and YunCao.对抗式学习用于图像取证深度匹配。arXiv预印本arXiv：1809.02791，2018。[24] Chengjiang Long ， Arslan Basharat ， 和 AnthonyHoogs.用于伪造视频中帧重复检测和定位的由粗到细的深度卷积神经网络框架。在CVPRW，2019年。[25] Chengjiang Long，Roddy Collins，Eran Swears，and Anthony Hoogs.深度神经网络在完全连接的crf中用于使用社交网络元数据进行图像标记。在WACV，2019年。[26] 澄江龙和刚华。多类别多注解者主动学习与强健高斯过程视觉辨识。在IC