基于高通全卷积网络的深度修复定位方法

8301基于高通全卷积网络的深度修复定位李浩东1，2，黄继武1，2，李1深圳大学智能信息处理广东省重点实验室、媒体安全深圳市重点实验室、大数据系统计算技术国家工程实验室，深圳，中国2深圳市人工智能与机器人社会研究院，中国{lihaodong，jwhuang}@ szu.edu.cn摘要在过去的几年里，图像修复已经通过深度学习得到了实质性的改进。深度修复可以用看似合理的内容填充图像区域，这些内容在视觉上并不明显。虽然修复最初被设计为修复图像，但它甚至可以用于恶意操纵，例如，删除特定对象。因此，有必要识别图像中修复的存在本文提出了一种对图像进行深度修复的区域进行定位的方法。所提出的方法采用基于高通滤波图像残差的全卷积网络。首先，我们分析并观察到，在残差域中，修复后的区域与未触摸的区域更容易区分因此，高通预滤波模块的设计，以获得图像的残差增强修复痕迹。然后，一个特征提取模块，从图像残差中学习判别特征，用四个级联的ResNet块构建。学习的特征图最后通过上采样模块放大，从而获得逐像素修复定位图。整个网络都是端到端训练的，损失解决了类不平衡。对合成图像和真实图像进行深度修复的实验结果表明了该方法的有效性。1. 介绍修复技术是一种模仿艺术品修复专家的工作，以替代内容来修复图像中缺失或受损区域的图像编辑技术。自2000年左右以来，已经开发了各种其中，主要有两类常规方法，即，基于扩散[5，6，19]和基于贴片[11，9，3，32]。*通讯作者图1.原始图像（左）中带包的人通过方法[16]被移除，产生修补图像（右）。基于扩散的方法只能填充小的或窄的区域，例如旧照片中的划痕。虽然基于块的方法可以填充更大的区域，但它们缺乏生成不在给定图像中为了克服传统修复方法的局限性，近年来已经设计了许多基于深度学习的修复方法[31，38，16，35，26，37]。深度修复方法不仅可以推断图像结构，产生更精细的细节，而且可以创建新颖的对象。利用深度修复技术，可以用照片般真实的内容填充目标虽然修复通常用于无害的目的，它也可以被恶意利用。例如，移除图像中的对象以制造假场景，以及擦除可见的版权水印。特别是深度修复方法，可以使被篡改的图像在视觉上真实可信，并且人眼不易分辨出被篡改的区域。如图1所示，原始图像中的关键对象（人）通过[16]中提出的修复方法被移除，产生看起来仍然自然的修复图像如果这些被修复的图像在法庭上作为证据或用于报道假新闻，它将不可避免地导致许多严重的问题。因此，有必要识别图像是否被深度修复操作并定位修复区域。在图像取证领域[34，18]中，已对操纵图像的识别进行了研究，8302十几年 提出了多种法医学方法以检测常见的图像处理操作[22，4]和篡改操作[8，33，15]。也有一些作品专注于传统修复方法的取证[23，7，21，40]。然而，缺乏有效的检测图像中的深度修复由于在绘画图像区域是感知一致的那些未触及的，深度修复取证是从普通的计算机视觉任务有很大的不同。在本文中，我们介绍了一种端到端的方法来定位图像区域的深度修复操作。据我们所知，这是第一个深度修补取证的工作。在所提出的方法中，我们首先分析修复和未修复区域之间的差异。我们观察到，差异在高通滤波残差中更明显。因此，我们设计了一个预滤波模块，初始化高通滤波器，以提取图像残差，从而增强修复痕迹。然后，我们构建了一个具有四个ResNet [14]块的特征提取模块，以从残差中学习区分特征，最后使用上采样模块来预测图像的像素类标签。已经进行了大量的实验来评估所提出的方法。实验结果表明，该方法能有效地定位修复后的图像区域.本文的其余部分组织如下。 第二部分简要介绍了深度修复方法和修复取证方法。第3节详细介绍了所提出的第4节报告了实验结果。最后，在第5节中总结了结论性意见。2. 相关作品2.1. 基于深度学习的修复基于深度学习的修复方法与传统方法的主要区别在于利用大规模数据集来学习图像的语义表示。因此，与非学习方法相比，深度修复方法能够生成更多照片般逼真的细节，并且它们甚至可以完成具有不在给定图像中的新对象的区域，例如，一张人脸的一部分为了完成修复，深度修复方法通常采用两个子网络：一个完备网络和一个辅助判别网络。前者学习图像语义，推断孔洞中的内容也就是说，它将损坏的图像映射到修复的图像。后者通过生成对抗训练强制执行修复图像在视觉上是合理的[13]。 上下文编码器[31]是使用深度网络进行修复的开创性尝试之一它训练了一个具有像素级反射损失和对抗损失的模型，该模型可以修复64×64128×128图像中的孔。 Yang等[38]提出通过联合优化图像内容和纹理的多尺度神经补丁合成方法这种方法可以在高分辨率图像上产生更清晰的结果，但增加了计算时间。Iizuka等人[16]采用了全局修复和局部修复，以确保全局图像和局部修复的内容都可从真实图像中识别出来。为了避免由掩蔽孔引起的负面影响，Liu等. [26]设计了部分卷积，它掩盖了卷积运算，以预测给定图像中只有有效像素的丢失区域。Yu等人[39]进一步尝试用门控卷积自动屏蔽卷积操作，实现更好的修复效果。Xiong等[37]提出了一种前景感知的修补方法，其预测前景轮廓作为修补的指导。2.2. 修复取证到目前为止，已经开发了几种方法用于传统修复方法的取证Li等[21]提出了一种通过分析图像拉普拉斯算子沿等照度线方向的局部方差来检测扩散修复的方法为了检测基于补丁的修复，Wuet al. [36]利用零连通度长度度量斑块相似性。然后，Bacchuwar等人[2]提出了一种跳块匹配方法，降低了计算复杂度。文献[36]和文献[2]都需要人工选择可疑区域，虚警率高。Chang等[7]提出了一种两阶段搜索的方法来发现可疑区域，并利用多区域关系来减少虚警。此外，Lianget al. [24]采用中心像素映射来加速可疑区域的搜索，并使用最大零连接分量标记，然后使用片段拼接检测来定位篡改区域。最近，Zhuet al.[40]设计了一种具有编码器-解码器结构的卷积神经网络（CNN），用于检测256×256图像中的基于补丁的修复。由于深度修复方法倾向于生成更详细的图像内容，新对象，与传统的痕迹相比，它们将不同的痕迹引入到修补区域中。因此，针对传统修复方法的取证方法不适合深度修复的定位。考虑到深度修复模型通常使用生成对抗过程进行训练，最近对生成图像检测的一些研究[28，29，20]可以适用于深度修复定位。另一方面，也可以利用一些图像拼接定位算法[33，15]来定位修复区域。然而，由于这些方法没有特别考虑深度修复留下的痕迹，因此基于我们的实验，它们的性能并不令人8303预过滤模块ResNet块#1ResNet块#2ResNet块#3ResNet块#4上采样模块16 16妈妈1024我的宝贝128我的宝贝2565128 84 43mn92 22图2.提出的方法的基本框架。3. 深度修复我们提出了一个端到端的解决方案，如图2所示的深度修复的本地化。该方法依次采用三个模块进行定位：首先，使用高通滤波器初始化的预滤波模块来增强修复痕迹;然后，使用四个ResNet块来学习区分性250200150y100500050100150200 250X250200150y100500050100150200 250X最后，采用上采样模块，实现逐像素预测。所提出的网络是一个没有全连接层的全卷积网络[27]，因此它可以处理任意大小的图像。整个网络都是用一个损失来训练的，它解决了修复像素和未修复像素之间的我们将详细说明技术细节如下。3.1. 增强修复痕迹200100y0-100-200(a) 未触及的补丁-200-1000100 200X200100y0-100-200(b) 修复补丁-200-1000100 200X在图像取证中， 篡改检测(c) 未接触的补片（带过滤）(d) 带过滤的修补程序和/或定位是捕获篡改操作留下的痕迹。由于通过深度补绘创建的图像内容在视觉上是不可区分的，因此难以直接捕获补绘痕迹并从图像的像素域学习在许多实验取证方法中，捕获篡改痕迹的常见做法是对图像执行高通滤波以抑制其内容并获得其残差[22，4]。受这些工作的启发，我们试图研究高通滤波是否有助于增强修复痕迹。为此，我们使用相邻像素的转移概率作为图像的统计度量，并在两种情况下比较未触及的图像块和修复的图像块之间在第一种情况下，统计测量直接在像素域中计算，而在第二种情况下，统计测量在高通滤波后的残差域中计算假设图像（或图像残差）阵列I具有N个灰度级，则相邻像素的转移概率将形成N×N转移概率矩阵（TPM）M，其中，图3.无/有高通滤波的未触及/修复图像块的转移概率矩阵。M的x，y位置表示为Mx，y=Pr（i，j+1=y|i，j=x），1≤x，y≤N，（1）其中i和j表示元素在I中的位置。为了进行实验分析，我们从ImageNet [10]数据集中随机选择一些图像，并使用方法[16]。然后我们随机选择了10,000个16×16的联合国-触摸的补丁和10，000个16×16修补补丁来计算TPM。平均TPM对于未触及的补丁和修补补丁，分别如图3（a）和（b）所示。此外，我们还对选取的图像块进行了水平带一阶导数滤波，并计算了滤波后的TPM。相应的平均TPM如图3（c）和（d）所示。所有四个子图中的灰度强度具有相同的标度。83040 0 00 0 00 0 00−100−110−100 100 000 0 1图4.预过滤模块的初始化过滤器内核观察到像素域（无滤波）中的未触摸和修补的补丁的TPM非常相似，而残差域（有滤波）中的TPM在虚线圆之外表现出显著的差异。具体地，在虚线圆之外的位置中的用于修补的补丁的转移概率的值比用于未触及的补丁的转移概率的值低得多，指示修补的图像补丁包含较少的高频分量。原因可能是修复专注于产生视觉上逼真的图像内容，但未能模仿自然图像中固有存在的不可感知的高频噪声上述观察结果暗示，利用高通滤波来增强痕迹修复是有益的。因此，我们设计了一个预滤波模块来处理输入图像。预滤波模块利用步长为1的深度方向卷积来实现。具体而言，输入图像的每个通道分别与一组高通滤波器内核进行卷积，然后将卷积结果（图像残差）连接在一起作为后续网络层的输入。在所提出的方法中，滤波器内核用三个一阶导数高通滤波器初始化，如图4所示。因此，对于给定的RGB图像，预滤波模块将其转换为9通道图像残差。滤波器核被设置为可学习的，使得它们的元素可以在训练过程中通过梯度下降来调整。3.2. CNN的学习功能为了区分修复区域和未修复区域，需要从预滤波的图像残差中收集有效的和有区别的特征。由于CNN已被广泛应用于许多应用中，以自动学习特征表示，我们构建了一个基于CNN的特征提取模块。该模块基于ResNet v2 [14]构建，该模块在许多计算机视觉应用中表现出卓越的性能，包括图像分类和对象检测。所设计的特征提取模块由四个ResNet模块组成，每个模块由两个“瓶颈”单元组成。在每个瓶颈单元中，有三个连续卷积层和一个身份跳过连接，其中批量归一化和ReLu激活是在每次卷积运算之前执行。三个卷积层的核大小分别为1×1、3×3、1×1;对于大多数层，卷积步长为1，除了每个块的第二个单元中的最后一层具有表1.特征提取模块的架构设置步长2用于合并和降低空间分辨率。我们遵循ResNet的原始设置，让前两个卷积层的通道深度（瓶颈深度）是最后一个卷积层深度（输出深度）的1/4。我们将第一块的输出深度设置为128，并将每个后续块的深度大小加倍。详细设置总结见表1。总之，特征提取模块以9通道图像残差为输入，学习1024个特征图，其空间分辨率为输入图像的1/163.3. 执行逐像素预测由于特征提取模块缩小了空间分辨率，输出特征图中的每个空间位置都对应于输入图像的某个区域为了输出每个像素的类别标签，我们应用转置卷积来提高空间分辨率。我们用双线性核初始化转置卷积的核，并让它们在训练过程中可学习。请注意，如果将要素映射的大小调整为一次输入图像（即，16×上采样），卷积核的大小将非常大（32×32），这将使训练更加困难。因此，在上采样中，模块，我们采用了两阶段的战略，其中的空间分辨率是扩大了两个连续的转置卷积，执行4倍上采样的单元。通过这种方式，内核大小显著减少到8×8。由于上采样不会增加信息，因此我们将通道深度设置为在转置卷积之前和之后特征图中的总元素相同的方式。因此，两个转置卷积层的输出通道分别为64和4。最后，为了处理转置卷积引入的棋盘状伪影[30]，我们使用一个额外的5×5卷积，步长为1，以削弱棋盘伪影，同时将4-通道输出转换为2通道对数。然后将logit馈送到Softmax层进行分类，从而产生具有像素预测的局部化图。3.4. 处理阶级不平衡通常，修复的区域比未处理的区域小得多，从而导致图像之间的不平衡。区块瓶颈单元瓶颈深度输出深度输出步幅第一名第一名321281#2321282#2#1642561#2642562#3#11285121#21285122#4#125610241#2256102428305阳性和阴性样本。如果使用标准交叉熵损失来监督网络参数的训练这将导致低的真阳性率，意味着不能准确地识别经修复的区域。为了减轻类别不平衡的影响，我们采用了[25]中提出的焦点损失。在标准交叉熵损失的基础上对聚焦损失进行了修正。它作为交叉熵项的一个调节因子，使得总损失中占主导地位的和分类良好的负样本的权重减小。通过这种方式，网络将更加关注对阳性样本的我们的实验结果表明，焦点损失实现了更好的性能比标准的交叉熵损失以及加权交叉熵损失。4. 实验结果4.1. 实验装置图像数据集。我们通过利用ImageNet [10]数据集来准备训练和测试数据。该数据集中的图像大小不同，均存储在JPEG文件中;其中，大多数图像都以96或75的质量因子（QF）进行压缩因此，在我们的实验中考虑了两个QF 96和75。对于每个质量因子，我们从ImageNet[10]中随机选择了50，000张图像作为训练实例，10，000张图像作为测试实例。通过将方法[16]应用于位于图像中心的10%矩形区域来修复所选图像。我们将这些图像表示为合成修复图像。此外，我们选择另外10，000和100个图像分别创建随机修复图像和逼真的修复图像。对于随机修复的图像，随机选择1至3个矩形区域进行修复，其中区域将位于图像的任何位置。在[64，96]的范围内选择了内绘区域的宽度和高度。对于逼真的修复图像，我们手动选择一些有意义的对象（例如，动物）在绘画中表演。修复区域的总面积约为整个图像的2%修复后，我们将所有图像保存为具有原始QF的JPEG文件，以避免留下重新压缩的伪影。实作详细数据。所提出的网络使用TensorFlow深度学习框架实现[1]。我们采用了Adam优化器[17]，并将初始学习率设置为1×10- 4。学习率下降了50%在每一个时代之后。除了卷积层，预滤波模块和上采样模块中的转置卷积层，初始化核权值用Xavier初始化器[12]和偏差为0。使用L2正则化，权重衰减为1×10−5。由于图像的大小不同，因此将批次大小设置为1。整个网络经过5个时期的训练。在训练过程中，90%的训练实例(45，000）用于学习和更新网络参数，而剩下的10%（5，000）用于验证。我们通过观察验证数据的F1分数来采用早期停止策略。即，具有最高验证F1分数的模型被保存为最终模型。训练和测试使用Nvidia TeslaP100 GPU进行。比较研究。采用四种方法进行比较。在[20]中提出的第一种方法利用表示颜色分量差异的特征集（DCC-Fea）来检测GAN生成的图像。在实验中，我们采用了DCC-Fea来检测修复后的图像补丁第二种方法是基于补丁式CNN网络（Patch-CNN），其结构与所提出的相似，除了没有上采样模块。Patch-CNN将固定大小的图像块作为输入，并将全局平均池化应用于学习的特征图，最后输出输入块的类标签。DCC-Fea和Patch-CNN都首先使用滑动窗口对图像逐块进行分类，然后将所有块的预测集成到定位图中。其余两种方法分别在[33]和[15]中提出。前者使用多任务全卷积网络（ MFCN ） 进 行 拼 接 定 位 。 我 们 重 新 训 练 了 这 个MFCN进行修复定位。后者采用自监督学习来检查图像区域的一致性。我们使用[15]中发布的训练模型来检测修复区域。性能指标。四个常用的像素级分类指标，包括查全率，精度，交集超过联合（IoU），和F1-得分，被用来评估的性能。在每个图像上独立地计算度量，并且在以下实验中报告在所有图像上获得的平均值4.2. 消融研究在这个实验中，我们进行了烧蚀研究，以显示所提出的方法优于其变种。该实验是在QF=75的合成绘画图像上进行的。我们首先修改了网络的一些设置，包括预滤波核的初始化，上采样方法和损失函数的类型。然后，我们用不同的设置训练不同的模型所得结果示于表2中。从这些结果中，我们得到了以下观察结果。预过滤内核。用一阶导数滤波器初始化预滤波核可以实现最佳性能。8306预滤波核一阶导数二阶导数三阶导数无滤波CCCCCCC上采样法转置卷积双线性变换CCCCCCC焦点损失函数标准交叉熵加权交叉熵CC c CCCC召回89.8482.7138.8582.2287.13 89.3190.54精度95.2295.1794.4592.1693.84 95.14 92.66IOU85.9379.4238.2176.6382.24 85.41 84.41F1得分91.5386.6049.5984.5489.13 91.17 90.69表2.通过所提出的方法的不同变体获得的定位结果（%）DCC-Feab=16b =32b =64Patch-CNNb=16b =32b =64自我-一致性MFCN提出召回78.3674.7964.5279.0374.2558.7785.27八十三点一七96.89QF=96精密度47.5260.9869.6182.7796.0198.5923.67八十点三九97.97IOU38.4845.7244.2666.4671.4958.2520.16六十九点七七94.99F1得分52.1359.2558.1678.4982.9072.8031.64八十点二三97.28召回70.3067.8363.1374.2979.2173.5283.08五十七点一五89.84QF=75精密度25.7231.9437.5134.5357.6483.2224.5753.0495.22IOU20.8624.1826.6228.5747.6662.6221.07三十三点七三85.93F1得分33.0336.7938.8842.8362.5675.1532.92四十五点零一分91.53表3.QF=96和QF=75的图像的不同方法的定位结果（%）曼斯。当使用高阶导数滤波器时，性能下降，这意味着修复痕迹主要存在于一阶导数信号中。如果不使用预滤波，网络需要直接从像素域学习，导致性能不令人满意。这些结果表明，使用适当的高通滤波器是重要的定位修复的区域。上采样方法。作为转置卷积的替代方案，我们尝试将学习特征映射的大小调整为双线性。根据结果，双线性卷积比转置卷积的性能低约2%。这是因为可以在转置卷积中调整上采样权重，这有助于提高性能。损失函数。在三个研究的损失函数中，焦点损失达到最好的精度，IoU和F1分数。标准交叉熵损失的结果略低于焦点损失的结果，因为它受到类不平衡的影响。加权交叉熵损失法的查全率最高，但查准率相对较低，因此用IoU或F1-score来衡量其整体定位性能并不理想。4.3. 合成修复图像的测试在该实验中，我们评估了合成修复图像的定位性能。针对JPEG质量因子96和75独立地进行训练和测试。由于使用了滑动窗口在DCC-Fea和Patch-CNN中，窗口大小b是关键参数。为了使比较公平，我们考虑了三种窗口大小，即，b∈{16，32，64}。由于通过所有方法获得的定位图中的值是在[0，1]的范围内，当计算性能度量时，我们对局部化图应用阈值处理。对于自洽方法[15]，我们遵循其特定设置并为每个测试图像选择最佳阈值对于其他方法，我们使用默认值0.5执行阈值处理。不同方法获得的结果示于表3中。从该表中可以观察到，所提出的方法在所有度量上都显著优于其竞争对手。当质量因子较高（QF=96）时，修复后的再压缩对修复痕迹的影响较小，因此该方法能够准确定位修复区域，F1值高于0.97。当质量因子处于中等水平（QF=75）时，再压缩会对修复痕迹造成一定程度的干扰，从而导致该方法的召回率下降到89%，导致IoU和F1评分下降.尽管如此，性能仍然是相当令人满意的，远远优于其他方法。通常，默认阈值0.5不是用于二值化定位图的最佳阈值。为了发现最佳性能，我们以0.01的步长将阈值从0.01调整到0.99，并绘制了F1分数的曲线。8307RCC-Fea（b=16）Patch-CNN（b=16）Self-consRCC-Fea（b=32）Patch-CNN（b=32）MFCNRCC-Fea（b=64）Patch-CNN（b=64）建议F1得分1 10.8 0.80.6 0.60.4 0.40.2 0.200.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9阈值00.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9阈值图5. F1-通过不同阈值获得的QF=96的合成修复图像的分数。图6. F1-QF=75的合成修复图像的分数。图例请参见图510.80.80.60.60.40.40.20.200.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9阈值00.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9阈值图7. F1-QF=96的随机修复图像的分数。图例请参见图5图8. F1-QF=75的随机修复图像的分数。图例请参见图5由不同的门槛。曲线如图5和图6所示。请注意，自洽方法的结果表示为自洽，因为在该方法中已经选择了每个图像的最佳阈值。从这两个图中，我们观察到所提出的方法可以在宽范围的阈值下稳定地保持良好的性能。虽然其他方法可以通过调整阈值来获得更好的性能，但即使使用最佳阈值，它们的性能仍然低于所提出的方法4.4. 随机/逼真修复图像测试在这个实验中，我们评估了随机修复图像和真实修复图像的定位性能。首先，我们用随机修复的图像测试了在上述实验在这种情况下，情况更复杂，因为图像可能包含多个修复区域，其位置和大小是随机选择的而不是固定的。我们调整了阈值，并获得了不同方法的相应F1分数，如图7所示，8.据观察，所有的F1分数都低于上述实验，并且所提出的方法仍然达到了最好的表现。在默认阈值下，对于QF=96和QF=75，所提出的方法分别获得0.9027和0.7604的F1分数。最后，我们用真实的修复图像测试了我们的训练模型。对于QF=90和QF=75的图像，获得的F1分数分别为0.8405和0.7750。输出定位图的一些示例如图9所示。据观察，大部分的修补区域可以被正确地识别。但是，也观察到一些区域（特别是子图（a）的第2行中的动物形状区域）的边界不够清楚。这表明，所提出的方法的定位分辨率这将是我们未来的工作，以提高这种情况下的性能。4.5. 抗噪声在实践中，伪造者可能会在修复后进行后处理，以逃避检测。一种常见的后攻击类型是添加噪声。在这个实验中，我们评估了所提出的方法对加性噪声的鲁棒性。为此，我们添加了不同级别的随机高斯噪声（SNR∈ { 50 dB，40 dB，30 dB}）测试-F1得分F1得分F1得分8308(a)（b）合格率=75图9.现实图像中深度修复的局部化示例。在每个子图的左栏中：已修复图像，中间列：groundtruth，右列：通过所提出的方法获得的定位图。SNR召回精度IOUF1得分修复方法召回精度IOUF1得分50 dB89.7895.2185.8891.49Iizuka等人[16个]89.8495.2285.9391.5340 dB89.3395.2385.4891.18Yang等[38个]87.0493.2581.4688.5430 dB71.1193.8668.8277.00Liu等[26日]97.6391.5489.4793.52表4.噪声JPEG图像的定位结果（%）ing图像和JPEG压缩他们与QF=75，然后我们使用的模型训练无噪声图像进行检测。结果见表4. 实验结果表明，当信噪比为50dB和40dB时，该算法仍具有较好的性能。当信噪比为30dB时，图像质量严重下降，性能下降很大。4.6. 泛化能力在以前的实验中，我们考虑了inpainting方法[16]作为一个例子。为了研究所提出的方法如何用于其他修复方法，我们使用我们的方法对由[38]和[26]中提出的另外两种深度修复方法绘制的QF=75图像进行训练和测试。所得结果示于表5中。从这些结果中，我们可以得出结论，我们的方法也可以达到令人满意的性能检测其他修复方法。5. 结论在本文中，我们提出了一种通过使用高通全卷积网络来定位深度修复的解决方案。通过分析修复区域和未修复区域之间的差异，我们发现可以通过高通滤波来增强差异。在此基础上，设计了预滤波模块来抑制图像内容，增强修复痕迹。我们表5.不同修复方法的定位结果（%）已经构建了基于ResNet块的特征提取模块，以学习用于区分修复区域和未修复区域的特征。为了实现逐像素预测，我们设计了上采样模块以扩大学习的特征图的空间分辨率。针对广告类别不平衡的问题，利用焦点损失对整个网络进行训练.所提出的方法的性能进行了评估与合成和现实的图像。实验结果表明，该方法能有效地定位修复后的图像区域，且性能明显优于现有方法。未来，我们将通过提高定位分辨率来进一步提升性能。我们还计划将所提出的方法推广到定位其他类型的 篡 改 区 域 ， 这 些 区 域 在 实 际 情 况 中 篡 改 了Photoshop。另一方面，我们将研究如何使用所提出的方法作为评论家，以指导基于GAN的图像修复方法创建更逼真的内容。确认本 工 作 得 到 了 国 家 自 然 科 学 基 金 （ 61802262 ，U1636202 ） 、 广 东 省 重 点 领 域 RD 计 划（ 2019B010139003 ） 和 深 圳 市 RD 计 划（JCYJ20160328144421330）的部分支持。8309引用[1] Mart´ın Abadi， Paul Barham ， Jianmin Chen ， ZhifengChen ， Andy Davis ， Jeffrey Dean ， Matthieu Devin ，Sanjay Ghe-mawat，Geoffrey Irving，Michael Isard，etal. Tensorflow：一个大规模机器学习系统。在第12届USENIX操作系统设计和实现研讨会上，第265-283页[2] 克坦SBacchuwar、Aakashdeep和K.R. 拉马克里什南一种适用于多重伪造检测的跳块匹配算法 在Int. 多重配置自动化、计算、通信、控制和压缩传感，第723- 728页，2013年。[3] Connelly Barnes ， Eli Shechtman ， Adam Finkelstein ，andDanB. 戈 德 曼 Patchmatch ： Arandomizedcorrespondence algorithm for structural image editing.ACM Trans. 《图形学》，28（3）：24：1 -24：11，2009年。[4] 作者：Belhassen Bayar和Matthew C.斯塔姆约束卷积神经网络：一种通用图像处理检测的新方法IEEE Trans.on Information Forensics and Security，13（11）：2691[5] Marcelo Bertalmio、Guillermo Sapiro、Vincent Caselles和Coloma Ballester。图像修复。在SIGGRAPH，第417-424页[6] 托尼·F Chan和Jianhong Shen。基于曲率驱动扩散的非纹理修补。视觉传播与图像表示杂志，12（4）：436[7] 张义成，J.云宇和张智川。基于多区域关系的样本修复图像伪造检测算法。Image and Vision Computing，31（1）：57[8] Vincent Christlein，Christian Riess，Johannes Jordan，Corinna Riess，and Elli Angelopoulou.流行的复制-移动伪 造 检 测 方 法 的 评 估 。 IEEE Trans. on InformationForensics and Security，7（6）：1841[9] AntonioCriminisi，PatrickPe'rez，和KentaroToyama. 基于样本的图像补绘的区域填充和目标去除IEEE图像处理学报，13（9）：1200[10] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。CVPR，第248-255页[11] Alexei A.作者：Thomas K.梁基于非参数采样的纹理合成ICCV，第2卷，第1033- 1038页[12] 泽维尔·格洛特和约舒亚·本吉奥了解训练深度前馈神经网络的困难。InInt. Conf. on Artificial Intelligence andStatistics，pages 249[13] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。在NeurIPS，第2672-2680页[14] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.深度剩余网络中的身份映射。在ECCV，第630-645页[15] Minyoung Huh ， Andrew Liu ， Andrew Owens ， andAlexei A Efros.打击假新闻：通过学习的自一致性进行图像拼接检测。参见ECCV，第101-117页[16] Satoshi Iizuka，Edgar Simo-Serra，and Hiroshi Ishikawa.全 局 和 局 部 一 致 的 图 像 完 成 。 ACM Trans. onGraphics，36（4）：107：1[17] 迪德里克·金马和吉米·巴。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[18] 帕维·科鲁斯数字图像完整性数字信号处理，71：1[19] Anat Levin，Assaf Zomet和Yair Weiss。学习如何从全局图像统计中进行图像修补。载于ICCV，第305- 312页[20] Haodong Li，Bin Li，Shunquan Tan，and Jiwu Huang.使用颜色分量中的差异来检测深度网络生成的图像。arXiv预打印arXiv：1808.07276，2018年。[21] Haodong Li，Weiqi Luo，and Jiwu Huang.基于扩散的数字 图 像 修 复 的 定 位 。 IEEE Trans. on InformationForensics and Security，12（12）：3050-3064，2017.[22] 李浩东，罗伟奇，邱小青，黄继武。利用基于残差的特征 识 别 各 种 图 像 操 作 。 IEEE Trans. on Circuits andSystems for Video Technology，28（1）：31[23] 李香华，赵宇谦，廖苗，弗兰克。Shih和Yun Q.石基于模式首位特征的JPEG图像篡改区域检测。EURASIPJournal on Avances in Signal Processing，2012（1）：1[24] 梁早山，杨高波，丁香玲，李雷达一种有效的基于样本图像修复的目标去除伪造检测算法。Journal of VisualCommunication and Image Representation，30：75 - 85，2015.[25] 林宗义、普里亚·戈亚尔、罗斯·格希克、何开明和彼得·多尔·拉尔。密集目 标检测的 焦面损失。在ICCV，第2980-2988页[26] Liu Guilin ， Fitsum A. 凯 文 · 瑞 达 Shih ， Ting-ChunWang，Andrew Tao，and Bryan Catanzaro.基于部分卷积的不规则孔洞图像修复。参见ECCV，第85-100页[27] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。在CVPR，第3431-3440页[28] Francesco Marra、Diego Gragnaniello、Davide Cozzolino和Luisa Verdoliva。在社交网络上检测GAN生成的虚假图 像 。 在 IEEE Conf. on Multimedia InformationProcessing and Retrieval（MIPR），第384[29] 莫华笑，陈柏林，罗伟奇基于卷积神经网络的人脸识别在ACM信息隐藏和多媒体安全研讨会上，第43- 47页[30] Augustus Odena Vincent Dumoulin和Chris Olah。反卷积和棋盘式伪影。Distill，2016.[31] Deepak Pathak 、 Philipp Krahenbuhl 、 Jeff Donahue 、Trevor Darrell和Alexei A.埃夫罗斯上下文编码器：通过图像修复进行特征学习。在CVPR，第2536-2544页8310[32] 蒂贾娜·鲁兹奇和亚历山德拉·皮兹·乌里卡。接着是基于马尔可夫随机场模型的图像修补.IEEE Trans. on ImageProcessing，24（1）：444-456，2015.[33] Ronald Salloum，Yuzhuo Ren和C.- C.郭杰。使用多任务全卷积网络（MFCN）的图像拼接定位。Journal ofVisual Communication and Im-age Representation，51：201[34] 马修·C.Stamm，Min Wu，and K.J. 刘雷信息取证：第一个十年的概述。IEEE Access，1：167[35] 德米特里·乌里扬诺夫，安德烈·维达尔迪，维克多·伦皮茨基。深度图像先验。在CVPR中，第9446-9454页[36] Qiong Wu，Shao-Jie Sun，Wei Zhu，Guo-Hui Li，andDan Tu.基于样本的修补图像中数字篡改的检测。在Int.Conf. Machine Learning and Cybernetics ， 第 3 卷 ， 第1222-1226页[37] Wei Xiong，Zhe Lin，Jimei Yang，Xin Lu，ConnellyBarnes，and Jiebo Luo.前景感知图像修复。arXiv预打印arXiv：1901.05945，2019年。[38] Chao Yang，Xin Lu，Zer Lin，Eli Shechtman，OliverWang，and Hao Li.基于多尺度神经块合成的高分辨率图像修复。在CVPR中，第6721-6729页，2017年。[39] Jiahui Yu，Zhe Lin，Jimei Yang，Xiaohui Shen，XinLu，and Thomas S.煌利用门控卷积进行自由形式图像修复。arXiv预打印arXiv：1806.03589，2018.[40] Xinshan Zhu ， Yongjun Q