前景感知的图像修复方法

5840前景感知的图像修复魏雄1人 俞佳慧2林哲3杨集美3陆欣3康纳利·巴恩斯3罗 杰波11罗切斯特大学2伊利诺伊大学香槟分校3Adobe Research1{wxiong5，jluo}@cs.rochester.edu32jyu79@illinois.edu{zlin，jimyang，xinl，cobarnes}@ adobe.com摘要现有的图像修复方法通常通过从周围像素借用信息来填充漏洞。当孔与前景物体重叠或接触时，由于缺乏关于孔内的前景和背景区域的实际范围的然而，这些场景在实践中是非常重要的，尤其是对于诸如移除分散注意力的对象的应用。为了解决这个问题，我们提出了一个前景感知的图像修复系统，明确地解开结构推理和内容完成。具体来说，我们的模型首先学习预测前景轮廓，然后使用预测的轮廓作为指导来修补丢失的区域。我们表明，通过这样的解纠缠，轮廓完成模型预测合理的轮廓的对象，并进一步大幅提高图像修补的性能。实验表明，我们的方法显着优于现有的方法，并取得优异的修复效果具有复杂的组成挑战性的情况下。1. 介绍图像修复是计算机视觉中的一个重要问题，在图像编辑、复原和合成等方面有着广泛的应用。我们专注于洞填充任务时，通常遇到的删除不需要的区域或对象的照片。填充具有复杂前景和背景组成的图像中的孔洞是最重要和最具挑战性的场景之一。传统的修复方法[8，6，5，26]通常通过基于低级别特征（例如RGB值的均方差或SIFT描述符[19]）匹配和粘贴补丁来填充丢失的像素这些方法可以合成看似稳定的纹理，但在具有复杂结构的图像中往往会产生严重的失败。为了解决这个问题，已经使用了不同的图像结构这些工作主要是在Wei Xiong在Adobe实习时完成的[11，12，24]。例如，Huang等。[11]明确地利用平面结构作为引导来校正透视失真的纹理。然而，这些方法仍然依赖于现有的补丁和低级别的功能，因此无法处理具有挑战性的情况下，孔重叠或接近前景对象。在这种情况下，需要对图像内容有更高的理解。最近，基于深度学习的方法[13，17，28，29，7]已经成为一种有前途的替代途径，将问题视为学习从屏蔽输入到完成输出的端到端映射。这些基于学习的方法能够通过在大规模数据集上训练来产生新的内容[15，30]。为了产生视觉上真实的结果，生成对抗网络（GAN）[9]被用来训练修复网络。然而，默认情况下，所有这些方法都假设生成网络可以学习隐式地预测或理解图像中的结构，而无需在学习过程中对结构或前景/背景层进行显式建模。然而，即使对于最先进的模型，如PartialConv [17]和Gated-Conv [28]，这也不是一件容易的事情。例如图1显示了两种常见的故障情况。在最上面的情况下，GatedConv [28]和Partial-Conv [17]都未能在缺失区域中推断出合理的轮廓，并且错误地预测了具有明显缺口的金牌。此外，在底部的情况下，两者都产生明显的文物周围的狗的脖子 我们推测，这些失败可能来自当前基于学习的修复系统的几个限制：基于学习的修补模型通常被训练以填充随机生成的掩模，这些掩模通常完全位于背景中或前景对象内部。这与真实世界的情况不一致，在真实世界的情况下，孔可能接近前景或仅与前景具有小的重叠（例如，（2）在没有明确地对背景和前景层边界进行建模的情况下，当前基于深度神经网络的方法可能无法通过简单地训练以填充随机掩模来准确地预测孔内部的结构。为此，我们提出了一个前景感知图像-5841输入显著性图不完全完成我们的结果部分转换GatedConv轮廓轮廓图1.我们的结果与PartialConv [17]和GatedConv [28]进行了比较。从左到右是：具有孔洞的图像，显著性图，由我们的模型生成的不完整轮廓和完整轮廓，我们的模型在其上具有完整轮廓（绿色曲线）的修复结果，PartialConv的结果[17]，GatedConv的结果[28]。绘画系统，其明确地将前景对象知识结合到训练过程中。我们的系统将结构推理和图像完成分开，并利用精确的轮廓预测来指导图像完成。具体来说，我们的模型首先检测的前景轮廓的损坏的图像，然后完成丢失的轮廓的前景对象与轮廓完成模块。然后将完成的轮廓连同输入图像一起馈送到图像完成模块，作为预测孔中的内容物的指导。结构推理和图像补全的解纠缠在概念上简单而高效。图1表明，我们的模型大大受益于推断的轮廓。我们的轮廓补全模块能够在缺失区域推断出合理的结构。此外，图像完成模块将预测的轮廓作为指导，并在对象的边界周围生成更清晰的内容概括起来，我们的贡献如下：（1）我们提出明确地解开结构推断和图像完成，以解决图像修复中的具有挑战性的场景，其中孔与前景对象重叠或接触。据我们所知，我们的工作是少数几个研究之一，inpaint图像与明确的轮廓指导。(2)为了推断图像的结构，我们提出了一个轮廓完成模块明确训练，以指导图像完成。(3)为了有效地整合所有模块，我们建议在轮廓和图像完成模块上采用课程培训。(4)我们的实验表明，该系统产生更高质量的修补结果相比，现有的方法。2. 相关工作图像修复方法大致可以分为两类：传统的基于像素特性的方法图像匹配或补丁匹配，以及基于深度神经网络训练的最新方法。 传统的方法，如[3，4]通过传播基于等照度线方向场等技术的邻域应用来填充孔。这些方法对于小或窄的孔是相当有效的基于补丁的方法通过从图像的未损坏区域中搜索最相似和最相关的补丁来这些方法以迭代的方式工作，并且可以生成平滑和照片逼真的结果，但以高计算成本和内存使用为代价。为了减少运行时间并提高内存效率，提出了基于树结构的搜索[21]和随机化方法[5]。PatchMatch [5]是一种典型的基于面片的方法，它大大加快了传统算法的速度，并获得了高质量的修复结果。Patch- Match的一个主要缺点在于它从整个图像中搜索相关的补丁，而不使用任何高级信息来指导搜索。这些方法对于纯背景修补任务相当有效，其中孔仅被背景纹理包围，但如果孔与对象重叠或靠近对象，则很容易失败。最近，基于学习的修复方法[17，29，7]通过从大规模数据集学习语义来显着改善修复结果。这些方法通常将卷积神经网络训练为从受损图像到完整图像的端到端映射函数。这些方法相对于非学习方法的显著优点是学习和理解用于修复的图像的语义的能力，这在复杂场景、面部、对象和许多其他的情况下尤其重要。在这些方法中，上下文编码器是使用深度卷积神经网络来填补漏洞的第一次尝试之一[22]。它用一个正方形5842我们可以将一个洞转化为一个完整的图像，并使用像素空间中的L2损失和对抗性损失来训练模型，以生成更清晰的结果。类似地，Iizuka et al.[13]使用两个鉴别器来强制所生成的结果的全局外观（整个图像）和局部外观（孔中的内容）在视觉上是合理的。然而，该方法仍然严重依赖于完整图像的后处理，该后处理混合了来自神经网络和传统块匹配方法的结果Yu等人。[29]提出了上下文注意力来建模图像中的长距离依赖关系，并提出了一个细化网络来消除后处理，因此整个系统可以进行端到端的训练和测试。然而，这些基于深度学习的修复方法通常以有效像素和掩蔽孔中的替代值两者为条件来推断缺失像素，这可能导致伪影。Liu等人。[17]通过掩蔽卷积运算并更新每层中的掩码来解决这个问题，因此丢失像素的预测仅以原始图像中的有效像素为条件。Yu等人。[28]进一步提出使用门控卷积自动学习掩码，并实现更好的修复质量。此外，Song et al.[27]应用预先训练好的图像分割网络来获得受损图像的前景掩模，然后填充分割掩模并使用它来指导图像的完成然而，这些方法没有明确地对前景和背景边界进行建模因此，它们可能在被掩蔽区域覆盖前景和背景的图像中失败。3. 方法给定一个不完整的图像，我们的目标是输出一个完整的图像，具有视觉上令人愉快的外观。我们的修复系统的总体框架如图所示二、它由三个模块级联而成：不完整轮廓检测模块、轮廓补全模块和图像补全模块。我们使用轮廓检测模块自动检测不完整图像的轮廓。然后，我们使用轮廓补全模块来预测轮廓的缺失部分。最后，我们将不完整的图像和完整的轮廓输入到图像完成模块，以预测最终的修补图像。为了训练我们的前景感知模型，我们需要准备特定的训练样本和洞。在下面的章节中，我们首先介绍如何收集数据并生成针对我们的任务量身定制的特定孔掩模。然后介绍了修复系统的具体实现。3.1. 数据采集和孔生成图像采集和处理。 用于图像修复的现有数据集，如Places2 [30]，Paris [23]或CelebFace [18]不需要任何注释，并且训练数据对（带孔的图像和地面实况图像）通常通过在原始图像，并通过将掩模下的原始像素值设置为地面实况。我们提出的前景感知图像修复框架要求我们训练轮廓完成模块并自动推断轮廓，因此我们需要具有标记轮廓的训练数据集。一种可能性是直接使用轮廓检测数据集，例如BSD 500 [2]。然而，这样的数据集在尺寸上相当小，因此不足以训练图像修复模型。相反，我们使用显著对象分割数据集作为替代方案。我们从各种公共数据集收集了超过15，762张包含一个或多个显著对象的自然图像，包括MSRA-10 K [10]，手动注释的Flickr自然图像数据集等。该显著性数据集中的每个图像数据集的内容非常多样化，包含各种各样的对象，包括动物、植物、人、面孔、建筑物、街道等。每个图像中对象的相对大小都有很大的差异，这使得数据集非常具有挑战性。我们将所有样本分为12，609张训练图像和3，153张测试图像。然后，我们将Sobel边缘算子应用于分割掩模以获得显著对象的轮廓。具体来说，我们首先通过应用Sobel算子获得滤波后的掩码C f：C f=|G x|+的|G y|，其中Gx和Gy是垂直和水平导数近似的图像，分别。然后，我们用一个简单的阈值二值化过滤后的掩模，并获得最终的二值轮廓Cgt作为原始图像的地面真实轮廓。孔掩模采样。在现实世界的修复应用中，用户想要移除的干扰物通常是任意形状的，并且通常不是方形的。为了模拟真实世界的输入并学习实际模型，我们基于[28]中的采样方法，用画笔在每个图像上随机绘制具有任意形状的孔。我们生成两种类型的孔：①的人。可以出现在输入图像的任何区域中的任意形状的孔。在此设置下，孔具有与前景对象重叠的概率该场景设计用于处理不需要的物体位于前方物体内或部分遮挡显著物体的情况; 2）的情况。任意形状的孔，这些孔被限制，使得它们与前景对象没有重叠。生成这种类型的孔以模拟不需要的区域或分散注意力的对象位于显著对象后面的情况。为了处理第二种情况，我们首先随机生成任意形状的洞，然后我们删除与显著对象重叠的洞部分。3.2. 轮廓检测在推理阶段，我们没有输入图像的轮廓掩码。 因此，我们使用DeepCut [1]来自动检测图像中的显著对象5843C噪声去除边缘检测器不完整的图像DeepCut嘈杂的前景地图干净的前景图轮廓不完整轮廓检测模块房/假的不完全等高线粗网络+不完整的图像毛坯轮廓优化网络已完成轮廓判别器轮廓轮廓完成模块房/假的完成轮廓+不完整的图像粗略的网络粗略图像精化网络完备的图像鉴别器图像补全模块图2.我们的修复模型的整体架构。DeepCut使用基于CNN的架构，提取并组合高级和低级特征，以预测具有准确边界的显著对象掩码。由于输入的图像被破坏与孔，得到的分割图包含噪声。在某些情况下，洞甚至可以被视为显着的对象。为了解决这个问题，我们使用二进制孔掩模来去除分割图中可能被误认为显著对象的区域。然后，我们应用连通分量分析[25]进一步移动地图中的一些小集群，以获得前景蒙版。然后采用Sobel算子从分割图中检测出目标的不完整轮廓然后将不完整的轮廓馈送到轮廓完成模块以预测缺失的轮廓。3.3. 轮廓完成模块我们的轮廓完成模块的目标是完成输入图像的孔区域内的缺失轮廓给定不完整的图像Iin、不完整的轮廓Cin和指示丢失像素的位置的孔掩模H，我们的目标是预测完整的轮廓Cc为损坏的前景对象。Cc是与输入图像具有相同形状的二进制映射，1表示前景对象的边界，0表示图像中的其他像素。3.3.1架构轮廓完成模块由生成器和查询器组成该发生器是一个粗网络和细化网络的级联。为了训练，代替使用预测轮廓，我们直接从具有孔掩模H的地面真实轮廓Cgt提取前景对象的干净的不完整轮廓Cin，即，C in=HC gt.然后，我们将不完整图像、不完整轮廓图像和孔掩模输入到我们的粗网络，其输出粗的完整轮廓Ccos。粗网络是具有若干卷积层和扩张卷积层的编码器-解码器网络。粗略轮廓图是对缺失轮廓的粗略估计。孔周围的预测轮廓可能是模糊的，并且不能用作图像完成模块的有效指导。5844conCCCcosC为了得到更精确的轮廓，我们采用了细化-损失作为轮廓完成的内容损失LC. 的该方法以粗轮廓线为输入，输出更清晰、更精确的轮廓线Cref。精炼-粗轮廓的最终损失函数为：ment网络具有与粗网络类似的架构，除了我们使用上下文注意层[29]，在推断时，con（C，Cgt）λλ。cos=H[p]（C2cos[p]，CΣ[p]）缺失的价值观。 注意，预测的Npc[p] −Cgt[p]）Le（Cc gt轮廓Cref的范围从0到1，指示概率1 Σ。cos2科索这个像素在实际轮廓上。然后将细化的轮廓馈送到轮廓识别器进行对抗训练。轮廓掩码是一个完全卷积的PatchGAN掩码[14]，它输出一个分数图而不是单个分数，以便告诉生成的轮廓掩码的不同局部区域的真实性。与图像的鉴别器不同，我们发现，如果我们只将轮廓掩码（生成的或地面实况）输入到鉴别器中，对抗性损失很难消除。+N（1−H[p]）（Cc[p]−Cgt[p]）Le（Cc[p]，Cgt[p]）.p（一）其中[p]表示轮廓图的像素空间位置，N是轮廓图中的像素数量，Le（x，y）是二进制交叉熵损失函数，x和y分别是预测概率得分和地面真实概率是的。类似地，我们对细化轮廓使用内容损失优化和训练往往会失败。这可能是由于Ccon C参考，Cgt. 最后的内容损失函数，到轮廓数据的稀疏性质。 不像自然界旅游完成是：图像在每一个可以理解的分布，LC=LC（Ccos，Cgt）+LC（C ref，C gt）。（二）局部区域，轮廓掩模中的像素稀疏地分布。con孔c孔c并且包含较少的信息以供用户判断所生成的分布是否接近地面实况分布。为了解决这个问题，我们建议采用地面实况图像作为附加条件，并使用图像和轮廓对作为轮廓映射的输入通过这种设置，生成的轮廓不仅需要与地面实况轮廓相似，而且还需要与图像的轮廓对齐。然后，训练器获得足够的知识来区分生成的分布和真实分布之间的差异，并且训练变得稳定。焦点丢失有助于生成清晰的轮廓。然而，我们观察到，尽管我们能够在未损坏的区域中重建尖锐的边缘，但损坏区域中的轮廓仍然是模糊的。为了鼓励生成器生成清晰和干净的轮廓，我们使用轮廓线来执行对抗学习。具体来说，我们使用最近的技术称为谱归一化[20]来稳定GAN模型的训练。我们使用铰链损失函数来确定输入是真的还是假的。训练轮廓线和生成器的对抗性损失分别如下，其中σ表示ReLU函数。3.3.2损失函数为了训练轮廓完成模块，我们将最小化CAdv=E[σ（1 − D C（C gt））]+ E[σ（1 + D C（Cref）]。（三）所生成的等高线图Ccos、Cref之间的距离C C refc cLadv=−E[D（Cc ）]。（四）和地面实况等高线图Cgt。一个直截了当方法是最小化原始像素空间中掩模之间的L1或L2距离然而，这不是非常有效的，因为掩模中的轮廓是稀疏的，导致数据不平衡问题。确定每个像素的适当权重为了解决这个问题，我们建议利用轮廓掩模的固有性质，即，掩模中的每个像素可以被解释为该像素是原始图像中的边界像素的概率。因此，我们可以将等高线图作为分布的样本，并通过计算每个像素之间的二进制交叉熵来计算与地面实况等高线的距离。然后我们采用焦点损失[16]来平衡每个像素的重要性。由于我们的主要目标是完成缺失的轮廓，因此我们通过为孔中的像素分配更大的权重来更加关注我们用公式表示3.3.3课程培训完成轮廓是一项具有挑战性的任务。虽然我们已经采用了焦点损失来平衡稀疏数据，并采用了频谱归一化GAN来获得更清晰的结果，但我们观察到仍然很难训练整个轮廓完成模块。如果同时应用内容损失和对抗性损失，则训练往往失败，即使仔细调整了两种类型的损失之间的权重。为了避免这一问题，我们采用课程学习的方式逐步训练模型。在第一阶段，轮廓完成模块只需要输出一个粗略的轮廓，因此我们只训练模型的内容损失。然后在第二阶段，我们用对抗性损失微调预先训练好的网络，但是LLCL5845conCAdvCC与内容物损失相比重量非常小，即，0.01：1避免由于GAN图像内容损失是：轮廓预测的损失。在第三阶段，我们对整个轮廓完成模块进行微调，对抗损失和内容损失的权重为1：1。LI= 1 μ m。|Icos[p] − IconNcpΣgt[p]|+的|I ref[p] − I gt[p]|.（五）3.4. 图像补全模块3.4.1架构在完整轮廓的指导下，我们的模型获得了前景和背景像素位置的基本知识这些知识为图像的完成提供了强有力的线索。图像完成模块将不完整图像Iin、完成轮廓和孔掩模H作为输入，并输出完成图像Ic。它与轮廓完成模块共享类似的架构我们的图像完成模块的生成器还包含一个粗网络和一个细化网络。粗网络输出粗略完成的图像，该图像可能因缺少细节而模糊。然后，细化网络将粗图像作为输入，并生成更准确的结果。然而，通过将不完整的图像和完整的轮廓输入到粗网络，我们观察到生成器的最终输出倾向于忽略完整轮廓的指导。生成图像的形状与孔洞区域中的输入轮廓不一致。这个问题可能是由图像补全网络的深度引起的。经过多层映射后，由于误差的积累，轮廓所提供的知识可能被遗忘或削弱。为了解决这个问题，我们将完成的轮廓输入到粗网络和细化网络中，以增强条件的效果。以这种方式，在图像完成模块的第二阶段中，轮廓条件的影响所述识别器将所生成的图像/地面实况图像连同指示缺失像素的位置的孔掩模一起与轮廓完成模块类似，我们使用PatchGAN结构和铰链对抗损失来训练模型。3.4.2损失函数图像完成模块的损失函数还其中I cos、I ref和I gt分别是粗网络、细化网络和地面实况的输出。[p]表示图像的像素空间位置，N是图像中像素的数量3.4.3培训我们的图像完成模块首先在大规模Places2数据集上进行预训练，没有额外的轮廓图通道，然后在轮廓完成模块输出的指导下对显着性数据集进行微调。由于我们将在显着性数据集上微调的网络与我们在Places2数据集上预训练的网络相比采用不同的输入（采用额外的轮廓作为输入），因此在微调我们的网络时，我们保留了预训练网络中除第一层之外的所有层的参数，并随机初始化图像完成模块的第一层为了稳定训练，我们使用与轮廓完成模块的训练类似的课程训练策略。在我们的培训过程中有两种变化第一种方法是固定轮廓补全模块的参数，只对图像补全模块进行第二种方法是联合微调两个模块。在我们的实验中，我们观察到这两者之间存在微小的差异，因此我们将我们的方法固定为第二种设置。4. 实验4.1. 实现细节我们从我们的轮廓检测模块和预训练的DeepCut模型[1]中获得前景对象的不完整轮廓，而无需任何微调。然后，我们只在显着性数据集上训练轮廓完成模块在第三阶段，我们首先在Places2上训练图像完成模块，然后在显着性数据集上对其进行我们还在显着性数据集上对轮廓完成模块和图像完成模块进行端到端的微调。我们使用Adam作为优化器，轮廓完成模块和图像完成模块的学习式中的λ1由含量损失LI组成和对抗性损失LI。在训练轮廓完成模块时设置为5。对抗性损失的形式与轮廓完成，除了我们将损失应用于图像而不是轮廓。注意，对抗性损失仅适用于细化网络的结果。我们不将损失应用于粗网络的结果对于内容损失，我们使用L1损失来最小化生成图像与地面实况图像之间的距离的4.2. 与最先进方法的在这一部分中，我们将我们提出的模型与最先进的图像修复方法在显着性数据集的验证集上进行比较。我们将我们的完整方法（表示为5846输入PatchMatch全局局部上下文Attention PartialConv GatedConv我们的地面真实值图3.最先进方法之间的定性比较。行1-4是具有重叠孔的样品，而行5-8是具有非重叠孔的样品。请放大查看详细信息。PatchMatch [5]. 为 了 进 行 公 平 的 比 较 ， 我 们 还 与GatedConv [28]进行了比较，GatedConv [28]在我们的显着性数据集上进行了微调，这可以被视为基线-我们的 模 型 没 有 轮 廓 预 测 和 指 导 （ 表 示 为 “Ours NoGuide”）。4.2.1定量评价我们从测试显着性数据集中随机选择500张图像，并为每张图像生成重叠和非重叠孔然后我们在损坏的图像上运行每种方法以获得最终结果。我们使用普通的评估-测量度量，即，L1、L2、PSNR和SSIM，使用像素空间中的完整图像和地面实况图像计算， 表1示出了评价结果。在基于深度学习的方法中，我们的模型在所有四个指标上都优于所有其他方法。这是因为现有的方法只考虑了纹理的真实感，而忽略了图像的结构。此外，我们的模型与轮廓指导带来了一致的改善，在基线，5847表1.显着性数据集上的定量结果表2.用户对每种方法结果的偏好方法L1损失L2损失PSNRSSIM方法偏好计数PatchMatch [5]0.013860.00427826.940.9249PatchMatch [5]23全球本地[13]0.024500.00444525.550.9005全球本地[13]5[29]第二十九话0.021160.00741724.010.9035[29]第二十九话4PartialConv [17]0.010850.00243729.240.9333PartialConv [17]90[28]第二十八话0.0099660.00253129.260.9353[28]第二十八话100我们的没有向导0.0100020.00259729.350.9356我们没有指南146我们的向导0.0093270.00232929.860.9383我们的向导731指导，证明了我们提出的利用轮廓预测的想法的有效性。4.2.2定性评价图3显示了我们的方法与现有方法的视觉比较。从图中可以看出，PatchMatch [5]生成了非常平滑的纹理。然而，由于它缺乏对图像语义的理解，当孔靠近前景对象的边界时，所生成的图像在视觉上不真实。虽然Global Local [13]和ContextAttention [29]显示了处理具有任意形状的孔的潜力（例如，组合多个小的方形孔以形成任意形状的孔），由于它们不是专门针对任意形状的孔掩模训练的，因此它们可能产生使图像不真实的伪像PartialConv [17]、GatedConv [28]和我们的无轮廓引导模型（表示为此外，生成的对象的形状不像真实世界的对象那样自然。我们的全轮廓引导模型不仅生成具有较少伪影的完整图像，而且很好地完成了对象的缺失部分，使它们具有非常自然的边界。4.2.3用户研究为了在视觉质量方面对我们的方法进行更全面的评估具体来说，我们从测试数据集中随机选择50张图像，用随机孔破坏它们，然后获得每种方法的修复结果。我们将每张图像的结果显示给22个用户，并要求他们选择一个最佳结果。最后，我们从所有用户中收集了1，099张有效投票。我们统计每种方法被用户偏好的次数。表2显示了每种方法的用户首选项。我们的完整模型是首选的最，优于所有其他方法的一个大的margin。这证明了我们的前景感知模型在视觉质量方面的优越性。4.3. 消融研究我们还分析了如何我们的轮廓完成模块有助于图像修复的最终性能。我们将完整的模型与没有轮廓的模型进行比较图4.比较我们的模型与/无轮廓作为指导。从左至右：带孔的输入图像，我们的无轮廓引导模型，我们的完整模型，地面实况。如图所示，4.顶行示出了孔与前景对象没有重叠在这两种情况下，我们的模型没有轮廓指导周围的前景对象的边界产生明显的文物，而我们的模型与轮廓指导，可以正确地推断对象的边界，并产生现实主义的修复结果。结果表明，完整的轮廓线极大地提高了图像修复模型的性能，而轮廓线引导是模型成功的关键。5. 结论在本文中，我们提出了前景感知图像在绘画模型具有挑战性的情况下，涉及预测的前景和背景像素。我们的模型首先检测并完成图像中前景物体的轮廓，然后使用完成的轮廓作为指导来修补图像。它是在专门收集的显着性图像数据集上训练的。实验结果表明，该模型能够生成物体的自然轮廓，这对图像的完整性有很大的帮助。我们的模型在定量和定性上都显著优于各种最先进的模型。这表明，用结构来表示输入图像的前景和背景，然后明确地指导图像的完成是一个很有前途的方向。6. 确认这项工作得到了NSF奖项#1704309，#1722847和#1813709的部分支持。5848引用[1] 匿名的Deep y-net：一种用于精确图像分割的神经网络架构。2017年。[2] 巴勃罗·阿贝莱斯，迈克尔·梅尔，查利斯·福克斯，还有吉坦德拉·马利克.轮廓检测与分层图像分割。IEEE传输模式分析马赫内特尔，33（5）：898[3] 迈克尔·阿什赫敏合成自然纹理。在2001年交互式3D图形研讨会的序言中，第217-226页。ACM，2001年。[4] Coloma Ballester、Marcelo Bertalmio、Vicent Caselles、Guillermo Sapiro和Joan Verdera。通过矢量场和灰度级的联合插值来填充IEEE图像处理学报，10（8）：1200[5] Connelly Barnes ， Eli Shechtman ， Adam Finkelstein ，andDanBGoldman.Patchmatch ： Arandomizedcorrespondence algorithm for structural image editing.ACM Transactions on Graphics（TOG）（Proceedings ofSIGGRAPH 2009），2009年。[6] Marcelo Bertalmio，Luminita Vese，Guillermo Sapiro，and Stanley Osher.同时结构和纹理图像修复。IEEE图像处理学报，12（8）：882[7] Tali Dekel，Chuang Gan，Dilip Krishnan，Ce Liu，andWilliam T Freeman.稀疏的智能轮廓来表示和编辑图像。在IEEE计算机视觉和模式识别会议论文集，第3511- 3520页[8] Alexei A Efros和Thomas K Leung。基于非参数采样的纹理合成。计算机视觉，1999年。The Proceedings of theSeventh IEEE International Conference on，第2卷，第1033-1038页。IEEE，1999年。[9] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展，第2672[10] Qibin Hou ， Ming-Ming Cheng ， Xiaowei Hu ， AliBorji，Zhuowen Tu，and Philip Torr.具有短连接的深度监督显著在IEEE CVPR，第3203-3212页[11] Jia-Bin Huang，Sing Bing Kang，Narendra Ahuja，andJo- hannes Kopf.使用平面结构引导的图像完成。ACM图形交易（TOG），33（4）：129，2014。[12] Jason C Hung，Chun-Hong Huang，Yi-Chun Liao，NickC Tang，and Ta-Jen Chen.基于结构构造的样本图像修复。JSW，3（8）：57[13] Satoshi Iizuka，Edgar Simo-Serra，and Hiroshi Ishikawa.全局和局部 一致的图像完成。ACM Transactions onGraphics（TOG），36（4）：107，2017。[14] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。arXiv预印本，2017年。[15] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.为提高质量、稳定性和变异性而进行的干细胞生长。arXiv预印本arXiv：1710.10196，2017。[16] Tsung-YiLin ， Priyal Goyal ， Ross Girshick ， KaimingHe，and PiotrDoll a'r. 密集目标检测的焦面损失。IEEE关于模式分析和机器智能的交易，2018。[17] Guilin Liu，Fitsum A Reda，Kevin J Shih，Ting-ChunWang，Andrew Tao，and Bryan Catanzaro.使用部分卷积 的 不 规 则 孔 图 像 修 复 。 arXiv 预 印 本 arXiv ：1804.07723，2018。[18] Ziwei Liu ， Ping Luo ， Xiaogang Wang ， and XiaoouTang.在野外深度学习人脸属性。在2015年12月的国际计算机视觉会议（ICCV）的会议记录中[19] 大卫·G·洛从尺度不变关键点中提取独特的图像特征。国际计算机视觉杂志，60（2）：91[20] Takeru Miyato，Toshiki Kataoka，Masanori Koyama，and Yuichi Yoshida.生成式对抗网络的谱归一化。arXiv预印本arXiv：1802.05957，2018。[21] David M Mount和Sunil Arya。近似最近邻搜索库，1998年。[22] Deepak Pathak 、 Philipp Krahenbuhl 、 Jeff Donahue 、Trevor Darrell和Alexei A Efros。上下文编码器：通过图像 修 复 进 行 特 征 学 习 。 在 Proceedings of the IEEEConference on Computer Vision and Pattern Recognition，第2536-2544页[23] J. Philbin，O. Chum，M. Isard，J. Sivic，and A.齐瑟曼。量化损失：改进大规模图像数据库中特定对象的检索。IEEE计算机视觉与模式识别会议论文集，2008年。[24] Eftychios A Pnevmatikakis和Petros Maragos。一个带文字去除的自动图像结构纹理修复系统。图像处理，2008年。ICIP 2008。第15届IEEE国际会议，第2616-2619页。IEEE，2008年。[25] Hanan Samet和Markku Tamminen。用线性二叉树表示任意维图像的有效分量标记IEEE模式分析与机器智能学报，10（4）：579[26] Denis Simakov ， Yaron Caspi ， Eli Shechtman ， andMichal Irani. 使用双向相似性总结视觉数据计算机视觉和模式识别，2008年。CVPR 2008。IEEE会议，第1-8页。IEEE，2008年。[27] Yuhang Song，Chao Yang，Yeji Shen，Peng Wang，Qin Huang，and C-C Jay Kuo. Spg-net：图像修复的分割预测和指导网络。英国机器视觉会议（BMVC），2018年。[28] Jiahui Yu，Zhe Lin，Jimei Yang，Xiaohui Shen，XinLu，and Thomas S Huang.利用门控卷积进行自由形式图像修复。arXiv预印本arXiv：1806.03589，2018。[29] Jiahui Yu，Zhe Lin，Jimei Yang，Xiaohui Shen，XinLu，and Thomas S Huang.具有上下文注意的生成式图像修复。arXiv预印本，2018年。[30] Bolei Zhou ， Agata Lapedriza ， Aditya Khosla ， AudeOliva，and Antonio Torralba.地点：一个用于场景识别的1000 万 图 像 数 据 库 。 IEEE Transactions on PatternAnalysis and Machine Intelligence，2017。