没有合适的资源?快使用搜索试试~ 我知道了~
4170图像修复中的一致语义注意洪宇刘斌姜晓毅肖朝阳计算机科学与电子工程湖南大学{kumapower,jiangbin,yangchaoedu,yixiao−csee}@ hnu.edu.cn摘要最新的基于深度学习的方法已经在修复图像缺失区域这一具有挑战性的任务中显示出了有希望的然而,现有的方法往往产生与模糊的纹理和扭曲的结构,由于局部像素的不连续性。从语义层面来看,局部像素不连续主要是因为这些方法忽略了孔洞区域的语义相关性和特征连续性为了解决这个问题,我们研究了修复图片的人类行为,并提出了一种精细的深度生成模型 为 基 础 的 方 法 , 具 有 一 个 新 的 连 贯 语 义 注 意(CSA)层,它不仅可以保持上下文结构,而且通过建模孔洞特征之间的语义相关性来更有效地预测缺失的该任务分为粗、精两个步骤,在U-Net架构下用神经网络对每一步进行建模,其中CSA层嵌入到精处理步骤的编码器中。同时,我们进一步提出了一致性损失和特征补丁替换,以稳定网络训练过程并改善细节。在CelebA、Places2和Paris StreetView数据集上的实验验证了我们提出的方法在图像修复任务中的有效性,并且与现有的最先进的方法相比,可以获得具有更高质量的图像1。1. 介绍图像修复是对一个合理假设的缺失或损坏部分进行合成的任务,可以应用于去除不需要的对象、完成遮挡区域、恢复损坏或损坏的部分等许多应用中。图像修复的核心挑战是保持全局语义结构,并为缺失区域生成真实的纹理细节。*通讯作者1 代 码 将 在 https://github.com/KumapowerLIU/CSA-inpainting上提供。传统的著作[11,1,4,5,33]大多发展了纹理合成技术来解决孔填充问题在[4]中,Barnes et al.提出Patch-Match算法,从孔洞边界迭代搜索最佳拟合的补片来合成缺失部分的内容。Wilczkowiak等人[33]采取进一步的步骤并检测期望的搜索区域以找到更好的匹配块。然而,这些方法在理解高层次语义和重建这些局部唯一模式方面存在不足.相比之下,早期基于深度卷积神经网络的方法[16,22,27,26]学习数据分布以捕获图像的语义信息。虽然这些方法可以实现合理的修补结果,但它们不能有效地利用上下文信息来生成孔的内容,从而导致包含噪声模式的结果。最近的一些研究有效地利用了上下文信息,并获得了更好的修复效果。这些方法可以分为两类。第一种类型[40,35,30]利用空间注意力,其将周围图像特征作为参考来恢复丢失的区域。这些方法可以保证生成内容与上下文信息的语义一致性。然而,它们仅关注矩形形状的孔,并且结果显示像素不连续并且具有语义鸿沟(参见图1(b,c))。第二种类型[23,39]是对原始图像中的有效像素进行缺失像素条件的预测。这些方法可以适当地处理不规则孔,但是所生成的内容仍然遇到语义错误和边界伪影的问题(参见图1(g,h))。上述方法效果不佳的原因是它们忽略了生成内容的语义相关性和特征连续性,而这对于图像级的局部像素连续性至关重要。为了在居中和不规则的情况下获得更好的图像修复结果,我们研究了修复图像中的人类行为,发现这个过程包括两个步骤,即概念和绘画,以保证全局结构一致性和局部像素连续性的图片。说得更具体些,一个人首先观察到4171图1.我们的结果与上下文注意力[40],移位网[35],部分Conv [23]和门控Conv [39]进行了比较。第一行,从左到右分别是:具有居中掩码的图像,Shift-net [35],上下文注意力[40],我们的模型,地面真理。第二行,从左到右是:不规则掩模图像,部分Conv [23],门控Conv [39],我们的模型,分别为Ground Truth。图像大小为256×256。图像的整体结构,并在构思过程中构思缺失部分的内容,从而可以保持图像的全局结构一致性然后在绘画过程中将内容的想法填充到实际图像中。在绘制过程中,总是从先前绘制的线的结束节点继续绘制新的线和着色,这实际上确保了最终结果的局部像素连续性。受此启发,我们提出了一个连贯的语义注意层(CSA),它填充在未知区域的图像特征图与类似的过程。初始地,未知区域中的每个未知特征块用已知区域中的最相似特征块初始化。此后,通过考虑与相邻块的空间一致性因此,第一步保证了全局语义一致性,优化步骤保持了局部特征一致性。具体地说,类似于[40],我们将图像修补分为两个步骤。第一步是通过训练一个粗网络来粗化缺失的内容。在编码器中具有CSA层的细化网络引导第二步骤以细化粗略预测。为了使网络训练过程更加稳定,并激励CSA层更好地工作,我们提出了一个一致性损失,不仅测量VGG特征层和CSA层之间的距离,而且测量VG-G特征层和解码器中CSA的对应层之间的距离。同时,除了补丁鉴别器[17]之外,我们还通过引入特征补丁鉴别器来改进细节,该特征补丁鉴别器比传统的特征补丁鉴别器更简单、更快且更稳定。除了一致性损失之外,重建损失和相对论平均LS对抗损失[20]作为约束被纳入,以指导我们的模型学习有意义的参数。Eters我们在标准数据集Cele-bA [24],Places 2 [43]和Paris StreetView [8]上进行实验。 定性和定量的测试表明,我们的方法可以产生更高质量的修复结果比现有的。(See在图1(d,i)中)。我们的贡献总结如下:• 我们提出了一种新的连贯语义注意层,以构建洞区域的深层特征之间的相关性。无论是联合国-已知区域不规则或居中,我们的算法可以达到最先进的修复结果。• 为了提高CSA层的性能,保证训练的稳定性,我们引入了一致性损失来指导CSA层,并给出了相应的确定方法。编码器层来学习地面实况的VGG特征。同时,设计并加入了特征块判别器,以实现更好的预测效果。• 我们的方法与[40,35,23,39]的结果一致,并生成更多的连贯纹理。此外,即使是修复任务也是COM-分两个阶段完成,我们的整个网络可以以端到端的方式进行训练2. 相关作品2.1. 图像修复在文献中,以往的图像修复研究一般可以分为两类:非学习修复方法和学习修复方法。前者是传统的基于扩散或基于块的方法,具有低层特征。后者学习图像的语义以完成修复任务,并且通常4172图2.我们模型的架构我们在精化网络中添加了分辨率为32×32的CSA层训练深度卷积神经网络以推断缺失区域的内容。非学习方法,例如[11,1,3,5,6,9,15,2,32,18,34,28,12,29]通过传播相邻信息或从背景的类似块复制信息来填充缺失区域。Huang等人[14]将已知区域混合到目标区域中以最小化不连续性。然而,搜索最佳匹配的已知区域是非常昂贵的操作。为了解决这一挑战,Barnes et al.[4]提出了一种快速的最近邻场算法,促进了图像修补应用的发展。虽然非学习方法可以很好地用于表面纹理合成,但它们不能生成语义上有意义的内容,并且不适合处理大的缺失区域。学习方法[38,22,31,37,41,7,42]通常使用深度学习和GAN策略来生成孔的像素。上下文编码器[26]首先训练深度神经网络用于图像修复任务,该任务将对抗训练[13]带入新的编码器-解码器管道并输出丢失区域的预测。然而,它在生成精细纹理方面表现不佳。不久之后,Iizuka et al.[16]扩展这项工作,并提出局部和全局鉴别器,以提高修复质量。然而,它需要先前的处理步骤来加强孔边界附近的颜色一致性。Yang等人。[36]将上下文编码器[26]的结果作为输入,并逐渐增加纹理细节以获得高分辨率预测。但这种方法由于其优化过程而大大增加了计算成本。Liu等人。[23]更新每层中的掩码并使用掩码值重新归一化卷积权重,这确保卷积滤波器集中于来自已知区域的有效信息以处理不规则孔。Yu等人[39]进一步建议学习使用门控卷积自动屏蔽,并与SN-PatchGAN卷积结合以实现更好的预测。然而,这些方法没有明确地考虑有效特征之间的相关性,从而导致完成的图像上的颜色或不一致。2.2. 基于注意力的图像修复近年来,基于上下文区域和空洞区域之间关系的空间注意力常被用于图像修复任务。上下文注意力[40]提出了一个上下文注意力层,它搜索与粗略预测具有最高相似性的背景补丁的集合杨等人[35]介绍了一种由移位操作和引导损失供电的移位网络。移位操作推测编码器层中的上下文区域与解码器层中的相关联的空穴区域之间的关系。Song等人[30]介绍了一种补丁交换层,该层将特征图中缺失区域内的每个补丁替换为上下文区域上最相似的补丁,并通过VGG网络提取特征图。虽然[40]具有空间传播层以通过注意力分数的融合来鼓励空间相干性,但它未能对孔区域内的补丁之间的相关性进行建模,这也是其他两种方法的缺点。为此,我们提出了我们的方法来解决这个问题,并取得更好的结果,这是在第3节中详细介绍。3. 方法我们的模型包括两个步骤:粗糙修复和细化修复。如[40]所述,这种架构有助于稳定训练并扩大感受野我们的修复系统的整体框架如图2所示设Igt是地面实况图像,Iin是粗糙网络的输入我们先把粗糙的预-4173在粗略的修补过程中,然后,具有CSA层的精化网络将Ip和Iin作为输入对以输出最终结果Ir。最后,块和特征块鉴别器一起工作,以获得更高的分辨率的IR。在搜索过程期间,已知区域M初始化m,i然后,我们将mi设置为主要部分,并将所有先前生成的补丁(m1i−1)设置为次要部分,以在生成过程中恢复mi为了测量两个部分的权重,采用以下互相关度量:3.1. 粗糙修复粗网络I是一个3×256×256的图像Dmaxi =||Mi||.||mi||(一)有中心或不规则孔的,送去粗加工net来输出粗略预测Ip。 我们的结构爸爸我=||M||. ||m||(2)粗糙网络与[17]中的生成网络相同,它由具有跳跃连接的4×4卷积组成,以连接来自编码器的每一层和解码器的对应层的特征粗网络的训练与L1重建损失显式。3.2. 细化修复3.2.1改进网络我们使用以Iin为条件的Ip作为预测最终结果Ir的细化网络的输入。这种类型的输入堆叠已知区域的信息以促使网络更快地精化网络由编码器和解码器组成,并采用了类似于粗网络的跳跃连接。 在编码器中,每个层的卷积由一个3×3卷积和一个4×4扩张卷积组成。3×3卷积保持相同的空间大小,同时使通道数量加倍。层这样的大小可以提高获得深层语义信息的能力。4×4扩张卷积将空间大小减少一半,并保持相同的通道数。扩张的卷积可以扩大感受野,这可以防止过多的信息丢失。CSA层是嵌入在编码器的第四层中。解码器结构与编码器对称,没有CSA层,所有4×4卷积都是解卷积。3.2.2连贯语义注意我们认为,仅考虑特征图中M和M之间的关系来重建类似于[40,35,30]的M是不够的,因为忽略了生成的补丁之间的相关性,这可能导致最终结果中像素缺乏延展性和连续性。为了克服这一限制,我们考虑生成的补丁之间的相关性,并提出CSA层。我们以定心孔为例:CSA层在两个阶段中实现:搜索和生成。图3示出了CSA层的操作,其中M和M表示特征中的缺失区域和已知区域。地图分别。对于每个(1×1)生成的补丁mi,M(i∈(1<$n),n是补丁的数量),CSAi i−1其中Dmax,i表示m,i与上下文区域中最相似的块m,i之间的相似性,Dad,i表示两个相邻生成的块之间的相似性。Dmaxi和Dadi分别被归一化为上下文块的部分和所有先前生成的块的部分的权重。接下来,我们将详细描述这两个步骤。图3.CSA层的图示首先,我们在洞M中搜索每个生成的补丁mi的最相似的上下文补丁mi,并且用mi初始化mi。然后,将先前生成的补丁和最相似的上下文补丁组合以生成当前补丁。搜索:我们首先提取M中的补丁并将它们整形为卷积滤波器,然后在M上应用卷积滤波器。 通过该操作,我们可以获得表示M中的每个补丁与M中的所有补丁之间的互相关的值的向量。 在此基础上,对于每个生成的补丁mi,我们用最相似的上下文补丁mi对其进行初始化,并为其分配最大互相关值Dmaxi以用于下一操作。生成:M的左上方的补丁被作为生成过程的初始补丁(在图3中由m1 由于m1没有先前的补丁,所以Dad1为0,并且我们直接用m1替换m 1,m1=m1。虽然下一个补丁m2具有作为附加参考的先前补丁m1,但是我们因此将m1视为卷积滤波器以测量m1和m2之间的互相关度量Dad2。然后,将Dad2和Dmax2合并,分别归一化为m1和m2的权重,生成新的值m2=m2爸爸2×m1+Dmax2×m2。爸爸2+Dmax 2爸爸 2+Dmax 2总之,从m1到mn,生成过程可以是4174总结为:Mm1=m1,爸爸1= 0爸爸我=×m+ii∈(2<$n)爸爸我+Dmaxi(i−1)(三)Dmaxi×mDadi+Dmaxii如公式3所示,生成操作是一个迭代过程,每个mi都包含mi和m1的信息,当我们在mi和mi-1之间计算Dadi时,mi和m1i−1之间的相关性都被考虑在内。并且由于Dadi值的范围从0到1,因此相关性当前生成的斑块和先前生成的斑块之间的距离随着距离的增加而减小基于等式3,我们得到注意力图Ai,其记录了Dmaxi和Dadi× Ai−1for mi,则A1to图4.注意力地图的可视化。深红色表示关注值大,而浅蓝色表示关注值小。然后,我们重新设计的形式的感知损失,并提出了一致性损失来解决这个问题。如图2所示,我们使用ImageNet预训练的VGG-16来提取原始图像中的高级特征空间。接下来,对于M中的任意位置,我们将特征空间设置为目标Dadi+DmaxiDadi+Dmaxi对于CSA层和CSA的对应层An形成注意力矩阵,最后将提取的补丁中的每一个被重新用作去卷积滤波器以重构M。CSA层的过程如算法1所示。为了解释CSA层,我们在图4中可视化了一个像素的注意力图,其中红色方块标记了在解码器中分别计算L2距离。为了匹配特征图的形状,我们采用VGG-16的4-3层来处理一致性损失。一致性损失定义为:像素的位置,背景是我们修复的结果,ΣL=CSA(I)−Φ(I)2+深红色表示大的关注值,而浅蓝色表示小的关注值。Cy∈M伊比ngt y2(四)算法1CSA层输入:中的当前批次F输出:重构的特征图Fout1:搜索2:将M重塑为卷积滤波器并将其应用于M3:使用等式(1)计算Dmaxi并得到mi4:用mi初始化mi第五章: 结束搜索6:生成7:对于i=1 →n,8:使用等式(2)计算Dadi9:使用等式(3)来获得针对mi的注意力图Ai10:结束11:组合A1到An得到注意力矩阵十二: 重用M作为解卷积,以得到F13:结束生成14:返回F输出3.3. 一致性损失一些方法[27,23]使用感知损失[19]来提高网络的识别能力。然而,感知损失不能直接优化指定的卷积层,这可能会误导CSA层的训练过程。此外,感知损失不能确保CSA层之后的特征图与解码器中的对应层之间的一致性。41752CSAd(Iip)y−Φn(Igt)y<$2其中Φn是VGG-16中选定层的激活图。 CSA(. )表示CSA层之后的特征,CSAd(. )是解码器中的对应特征。在我们的生活中,有一种类似于“我”的“我”。他们将缺失部分的地面实况编码器功能视为稳定训练的指南。然而,通过移位网络提取地面真值特征是一个昂贵的操作,并且移位网络的语义理解能力不如VGG网络。此外,它不能同时优化编码器和解码器的特定卷积层总之,我们的一致性损失更符合我们的要求3.4. 特征块鉴别器以前的图像修复网络总是使用一个额外的本地鉴别器来改善结果。但是,对于任意位置、任意形状的不规则 孔洞, 局部插 值法并 不适用 。受 Gated Conv[39],Markovian Gans [21]和SRFeat [25]的启发,我们开发了一个特征补丁鉴别器,通过检查它们的特征图来区分完整的图像和原始图像。如图5所示,我们使用VGG-16在pool 3层之后提取特征图,然后将特征图视为几个下采样层的输入,以捕获Markovain补丁的特征统计[21]。最后,我们直接计算该特征图中的对抗损失,因为该特征图中每个点的感受野4176RR图5.我们的特征补丁鉴别器网络的架构。卷积层上方的数字表示特征图的形状仍然可以覆盖整个输入图像。我们的特征补丁鉴别器结合了传统特征鉴别器[25]和补丁鉴别器[17]的优点,不仅在训练过程中快速稳定,而且使细化网络合成更有意义的高频细节。除了特征块图像外,我们还使用70×70块图像,通过检查它们的像素值来区分IR和Igt图像,类似于[25]。同时,我们使用相对论平均LS对抗损失[20]我们的歧视者。这种损失可以帮助细化网络受益于对抗训练中生成数据和真实数据的梯度,这对训练稳定性是有益的。用于细化网络的GAN损失项DR和用于鉴别器的损失函数DF被定义为:4. 实验我们在三个数据集上评估 我们的方法:Places2[24]、CelebA [43]和Paris StreetView [8]。我们对这三个数据集使用原始的训练、测试和验证分割在训练过程中还采用了翻转等数据增强方法。我们的模型是由亚当算法优化[10]学习率为2×10−4,β1= 0.5。折衷参数设为λr=1,λc=0.01,λd=0.002.我们在单个NVIDIA 1080TI GPU(11 GB)上训练,批量大小为1。CelebA模型、Paris StreetView模型和Place2模型的训练时间分别为9天、5天和2天。我们将我们的方法与四种方法进行比较:-CA:上下文注意力,由Yu等人提出。[第四十届]-SH:Shift-net,由Yan等人提出。[35]第三十五届-PC:部分Conv,由Liu等人提出。[23日]-GC:Gated Conv,由Yu等人提出。[39]第三十九届为了公平地评价,我们对定心和不规则孔的设置进行了实验。我们从PC的工作中获得了不规则的掩模。这些掩模基于不同的孔-图像面积比(例如,0-10(% )、10-20(%)等)。对于定心孔,我们在CelebA [24]和Places2 [43]验证集的图像上与CA和SH进行了比较。对于不规则孔,我们使用Paris StreetView[8]和CelebA [24]验证图像与PC和GC进行比较所有用于训练和测试的掩码和图像都是大小为256×256,我们的完整模型在GPU上每帧图像运行0.82秒。4.1. 定性比较DR=−EIgtDF=−EIgt[D(Igt,Ir)2]−EI[(1−D(Ir,Igt))2](5)[(1−D(Igt,Ir))2]−EI[D(Ir,Igt)2](6)对于居中遮罩,如图6所示,CA [40]在语义修复中是SH [35]由于换档操作和制导损失,性能更好,但其预测性能更好。其中D代表鉴别器,EIgt/If [.] 表示对小批量中的所有真/假数据取平均值的操作。3.5. 目的根据[35],我们使用L1距离作为重建损失,以保证Ip和Ir应该近似地面实况图像的约束Lre=Ip−Igt1+Ir−Igt1(7)考虑到一致性、对抗性和重建损失,我们的细化网络和粗糙网络的总体目标被定义为:L=λrLre+λcLc+λdDR(8)其中λr、λc、λd分别是重构、一致性和对抗性损失在某种程度上,它是模糊的,缺少细节。对于不规则掩模,如图7所示,PC [23]和GC [39]可以得到平滑和合理的结果,但颜色和行的连续性不好,并且在生成的图像上仍然可以观察到一些伪影这主要是由于这些方法没有考虑空穴区域中深层特征之间的相关性与这些竞争方法相比,我们的模型可以更好地处理这些问题,并产生视觉上令人愉快的结果。此外,如图6和图7(f,g)所示,A1和A2是两个相邻像素的注意力图,第一行是左右相邻像素的注意力图,第二行和第三行是上下相邻像素的注意力图我们看到,两个相邻像素的注意力图基本相同,并且相关区域不限于最相关的上下文区域,注意力图中的弱相关区域是远离它的所生成的补丁的关注区域,强相关区域是相邻生成的补丁的关注区域,4177图6.定心面罩情况下的定性比较第一行是Celeba图像的测试结果,其他行是Places2图像的测试结果。图7.不规则面罩情况下的定性比较第一行是对Celeba图像的测试结果,其他行是对Paris StreetView图像的测试结果。最相关的上下文补丁。这些现象可以证明我们的方法比其他基于注意力的模型更好地对所生成的内容的一致性进行建模并且扩大每个所生成的补丁的感知范围[40,35]。4.2. 定量比较我们从Celeba验证数据集[24]中随机选择500张图像,并为每张图像生成不规则和居中的孔进行比较。在CA [40]之后,我们使用常见的评估指标,即:L1、L2、PSNR和SSIM来量化模型的性能。表1和表2分别列出了中心掩模和不规则掩模的评估结果。可以看出,我们的方法优于所有其他方法在这些测量与不规则的掩模或中心掩模。4.3. 消融研究CSA层的效果为了研究CSA的有效性,我们用传统的3×3L−(%)1L−(%)2SSIM+PSNR+CASH2.641.970.470.280.8820.92623.9326.38CSA1.830.270.93126.54表1. CA [40]、SH [35]和Ours之间带定心孔的Celeba的比较结果。- 越低越好。+越高越好层和上下文注意力层[40]进行比较。如图8(b)所示,当我们使用常规的- al conv时,掩码部分无法恢复合理的内容尽管与传统卷积相比,上下文注意力层[40]可以提高性能,但修复结果仍然缺乏精细纹理细节并且像素与背景不一致(参见图8(c))。与它们相比,我们的方法执行得更好(见图8(d))。这说明了全局语义结构和局部一致性由CSA层构造的事实。CSA层在不同位置的影响太深或4178以评估一致性损失的影响。我们添加和删除一致性损失Lc来训练修复模型。图10示出了比较结果。可以看出,在没有一致性损失的情况下,孔区域的中心呈现扭曲的结构,这可能是由训练不稳定性和对图像语义的误解引起的[参见图10(b)]。一致性损失有助于处理这些问题[参见图10(c)]。表2.在PC [23]、GC [39]和Ours之间使用不规则掩模对Celeba的比较结果。- 越低越好。+越高越好图8.CSA层的效果(b)、(c)是我们的模型的结果,其分别用常规层和CA层代替CSA层[40]。CSA层的过浅位置可能导致信息细节的丢失图9示出了第2、第3和第4层处的CSA层的结果。细化网络的下采样位置。当CSA层放置在第二个位置,尺寸为64×64时(见图9(b)),我们的模型性能良好,但需要更多的时间来处理图像。当CSA层以16×16尺寸放置在第4位置时(参见图9(c)),我们的模型变得非常有效,但往往会产生结果是粗糙的细节。通过在具有32×32大小的第三位置中执行CSA层,可以在效率(即,0.82秒/图像),并且性能可以通过我们的模型获得(参见图9(d))。图9. CSA层在细化网络的三个下采样位置上的结果:第二,第三,第四。一致性损失的影响我们进行进一步的实验-图10.一致性损失的影响(b),(c)是我们模型的结果,没有或有一致性损失如图11(b)所示,当我们只使用补丁的效果,结果表现扭曲的结构。然后,我们添加常规特征鉴别器[25],然而生成的内容看起来仍然模糊(参见图11(c))。最后,通过执行特征块鉴别器,可以获得精细的细节和合理的结构(参见图11(d))。此外,特征补丁处理每个图像的速度比传统的快0.2秒[25]。图11.特征块鉴别器的作用。给定输入(a),(b),(c)和(d)分别是当我们使用补丁判别器,补丁和SRFeat特征判别器[25],补丁和特征补丁判别器时的结果。5. 结论本文提出了一种基于精细深度生成模型的方法,该方法设计了一种新的相干语义注意层来学习图像修复任务中缺失区域特征之间的关系引入一致性损失以增强CSA层对地面真实特征分布和训练稳定性的学习此外,一个功能补丁的预测加入到我们的模型,以实现更好的预测。实验验证了我们提出的方法的有效性。在未来,我们计划将该方法扩展到其他任务,如风格转移和单图像超分辨率。6. 确认本 工 作 得 到 了国 家 自 然 科 学 基 金 项 目 的 资 助 .61702176和湖南省自然科学基金项目2017JJ3038。掩模PCGCCSA10-20%1.001.000.72L−(%)120-30%1.461.400.9430-40%2.972.622.1840-50%4.013.262.8510-20%0.120.080.04L−(%)220-30%0.190.120.0730-40%0.580.440.3740-50%0.760.500.4410-20%31.1331.6734.69PSNR+20-30%29.1029.8332.5830-40%23.4624.4825.3240-50%22.1123.3624.1410-20%0.9700.9770.989SSIM+20-30%0.9560.9640.98230-40%0.8970.9100.92640-50%0.8390.8600.8834179引用[1] Efros Alexei A和Leung Thomas K.非参数采样纹理合成。ICECCS,2001年。[2] Levin Anat,Zomet Assaf和Weiss Yair。学习如何从全局图像统计中进行图像修补。ICCV,2003年。[3] Coloma Ballester、Marcelo Bertalmio、Vicent Caselles、Guillermo Sapiro和Joan Verdera。通过矢量场和灰度级的联合插值来填充IEEE图像处理学报,10(8):1200[4] Connelly Barnes , Eli Shechtman , Adam Finkelstein ,andDanBGoldman.Patchmatch : Arandomizedcorrespondence algorithm for structural image editing.ACM Transactions on Graphics,28,2009。[5] Marcelo Bertalmio、Guillermo Sapiro、Vincent Caselles和Coloma Ballester。图像修复。SIGGRAPH,2000年。[6] Marcelo Bertalmio,Luminita Vese,Guillermo Sapiro,and Stanley Osher. 同 时结 构和 纹理 图像 修 复。 IEEETransactions on image processing,12(8):882[7] 克里斯蒂安·坎顿·费雷尔·布莱恩·多尔汉斯基。使用示例生成对抗网络进行眼睛修复。CVPR,2018年。[8] Doersch Carl , Singh Saurabh , Gupta Abhinav , SivicJosef,and Efros Alexei A.是什么让巴黎看起来像巴黎?ACM Transactions on Graphics,31(4),2012。[9] 安东尼奥·克里米尼斯帕特里克·佩雷斯和富山健太郎。基于样本的图像修补的区域填充和对象去除。IEEETransactions on Image Processing,13(9):1200[10] 金玛·迪德里克和巴·吉米。Adam:一种随机优化方法。ICLR,2015年。[11] Alexei A Efros和William T Freeman。图像绗缝纹理合成和转移。SIGGRAPH,2001年。[12] Selim Esedoglu和Jianhong Shen。基于mumfordcshah欧拉图像模型的数字内画。European Journal of AppliedMathematics,13(4):353-370,2002.[13] Ian Goodfellow 、 Jean Pouget-Abadie 、 Mehdi Mirza 、Bing X-u 、 David Warde-Farley 、 Sherjil Ozair 、 AaronCourville 和Yoshua Bengio 。生 成对 抗网络 。NIPS ,2014年。[14] Jia-Bin Huang,Sing Bing Kang,Narendra Ahuja,andJo- hannes Kopf.使用平面结构引导的图像完成。ACMTransactions on Graphics,33(4),2014。[15] Drori Iddo,Cohen-Or Daniel,and Yeshurun Hezy.基于片段的图像完成。ACM Transactions on graphics,22:303[16] Satoshi Iizuka,Edgar Simo-Serra,and Hiroshi Ishikawa.全局和局部 一致的图像完成。ACM Transactions onGraphics,36(4),2017。[17] Phillip Isola,Jun-Yan Zhu,Tinghui Zhou,and Alexei AE-fros. 使用条件对抗网络的图像到图像翻译CVPR,2017年。[18] Weickert Joachim相干增强扩散滤波。国际计算机视觉杂志,31(2):111[19] 贾斯汀·约翰逊,亚历山大·阿拉希,李飞飞。实时风格转换和超分辨率的感知损失。EC-CV,2016。[20] 阿莱克西亚·乔利库-马蒂诺。相对论鉴别器:标准GAN中缺少的关键元素。arXiv预打印arXiv:1807.00734,2018年。[21] Chuan Li和Wand Michael。利用马尔可夫生成对抗网络进行预计算实时ECCV,2016。[22] Yijun Li,Sifei Liu,Jimei Yang,and Ming-Hsuan Yang.创新型面部修复。CVPR,2017年。[23] Guilin Liu,Fitsum A Reda,Kevin J Shih,Ting-ChunWang,Andrew Tao,and Bryan Catanzaro.基于部分卷积的不规则孔洞图像修复。ECCV,2018年。[24] Ziwei Liu , Ping Luo , Xiaogang Wang , and XiaoouTang.在野外深度学习人脸属性。ICCV,2015年。[25] Seong-Jin Park、Hyeongseok Son、Sunghyun Cho、Ki-Sang Hong和Seungyong Lee。Srfeat:具有特征鉴别的单幅图像超分辨率。ECCV,2018年。[26] Deepak Pathak 、 Philipp Krahenbuhl 、 Jeff Donahue 、Trevor Darrell和Alexei A Efros。上下文编码器:通过图像修复进行特征学习。CVPR,2016年。[27] RaymondYeh , ChenChen , TeckYianLim , MarkHasegawa- Johnson,and Minh N.Do. 具有感知和上下文损 失 的 语 义 图 像 修 复 。 arXiv 预 印 本 arX- iv :1607.07539,2016年。[28] 丹尼斯·西马科夫,亚龙·卡斯皮,伊莱·谢赫特曼,和米哈尔·伊拉尼.使用双向相似性总结视觉数据。CVPR,2008年。[29] Darabi Soheil、Shechtman Eli、Barnes Connelly、Dan BGoldman和Sen Pradeep。图像融合:使用基于块的合成来组合不一致的图像。ACM Trans-actions on graphics,31(4),2012.[30] 宋宇航,杨超,林哲,刘晓峰,秦煌,李昊,周杰伦。基于上下文的图像内绘:推断、匹配和翻译。ECCV,2018年。[31] Yuhang Song,Chao Yang,Yeji Shen,Peng Wang,Qin Huang,and C C Jay Kuo. Spg-net:图像修复的分割预测和指导网络。BMVC,2018年。[32] Jian Sun,Lu Yuan,Jiaya Jia,and Heung-YeungShum.用结构传播完成图像。ACM Transactions on Graphics,24(3):861[33] 放 大 图 片 作 者 : Marta Wilczkowiak Brostow , BenTordoff,and Roberto Cipolla. 通过照片蒙太奇填补漏洞BMVC,2005年。[34] 徐宗本、孙坚。利用斑块稀疏性的图像修补方法。IEEE transactions on image processing,19(5):1153[35] 燕昭仪、李晓明、慕丽、左王梦、石光山。Shift-net:通过深度特征重排进行图像修复。ECCV,2018年。[36] Chao Yang,Xin Lu,Zhe Lin,Eli Shechtman,OliverWang,and Hao Lik.基于多尺度神经块合成的高分辨率图像修复。CVPR,2017年。[37] Chao Yang , Yuhang Song , Xiaofeng Liu , QingmingTang,and C C Jay Kuo.使用退火对抗对应物的块式过程训练的图像修复。arXiv预打印arXiv:1803.08943,2018年。4180[38] Raymond A Yeh , Chen Chen , Teck Yian Lim ,Alexander G Schwing , Hasegawa johnson Mark , andMinh N Do.语义图像修复与深生成模型。CVPR,2017年。[39] Jiahui Yu,Zhe Lin,Jimei Yang,Xiaohui Shen,XinLu,and Thomas S Huang.利用门控卷积进行自由形式图像修复。arXiv预印本arXiv:1806.03589,2018。[40] Jiahui Yu,Zhe Lin,Jimei Yang,Xiaohui Shen,XinLu,and Thomas S Huang.具有上下文注意的生成式图像修复。CVPR,2018年。[41] Haoran Zhang , Zhenzhen Hu , Changzhi Luo ,Wangmeng Zuo,and Meng Wang.渐进式生成网络的语义图像修复。MM,2018年。[42] Yinan Zhao,Brian Price,Scott Cohen,and Danna Gurar-i. 引导图像修复:通过从另一个图像中提取内容来替换图像区域。arXiv预打印arXiv:1803.08435,2018年。[43] Bolei Zhou , Agata Lapedriza , Aditya Khosla , AudeOliva,and Antonio Torralba.地点:一个用于场景识别的 1000 万 图 像 数 据 库 。 IEEE Transactions on PatternAnalysis and Machine Intelligence,2017。
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![txt](https://img-home.csdnimg.cn/images/20210720083642.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)