没有合适的资源?快使用搜索试试~ 我知道了~
7760图像修复中的递归特征推理李静媛1、王宁1、张乐飞 *1、杜波1、陶大成21武汉大学计算机学院、人工智能研究所多媒体软件国家工程研究中心2UBTECH悉尼人工智能中心,计算机科学学院,工程学院,悉尼大学,达林顿,新南威尔士州2008年,澳大利亚{jingyuanli,wang ning,zhanglefei,dubo}@ whu.edu.cn,dacheng. sydney.edu.au掩模图像重建图像注意力分数注意力分数注意力分数推理推理推理推理解码编码卷积特征图我们提出的修复方案的概述。掩码图像首先映射到卷积特征空间,并由共享的特征推理模块循环处理。在特征图被完全恢复之后,生成的特征图被合并在一起(在该图中省略),并且合并的特征被转换回RGB图像。摘要现有的修复方法已经实现了有希望的性能恢复规则或小的图像缺陷。然而,由于缺乏对孔中心的约束,填充大的连续孔仍然是困难的。本文设计了一个递归特征推理(RFR)网络,它主要由一个即插即用的递归特征推理模块和一个知识一致注意(KCA)模块构成。类似于人类如何解决谜题(即,首先求解较容易的部分,然后使用结果作为附加信息来求解困难的部分),RFR模块递归地推断卷积特征图的洞边界,然后将它们用作进一步推断的线索。该模块逐步加强了孔中心的约束,结果变得明确。为了在RFR的特征图中捕获来自远处的信息,我们进一步开发了KCA并将其纳入RFR。从经验上讲,我们首先将建议的RFR-Net与现有的主干进行比较,证明RFR-*通讯作者Net更有效(例如,相同型号的SSIM提高4%)。然后,我们将网络置于当前最先进的技术的背景下,在那里它表现出改进的性能。相应的源代码可从以下网址获得:https://github.com/jingyuanli001/1. 介绍图像修复的目的是恢复丢失的区域有真实内容的受损图像。这些算法在照片编辑,去字幕和其他场景中具有广泛的应用,其中人们可能想要从他们的照片中删除不需要的对象[23,22,1,4]。成功修复的图像应该在估计的像素和背景之间表现出结构和纹理的一致性[27,17]。最近,深度卷积网络已经被用于解决修复问题。大多数最先进的(SOTA)方法[29,17,25,30]利用编码器-解码器架构,并假设损坏的图像,一旦编码,7761掩模图像单次填充RFR-Net图1.现有的一次性修复方法所遭受的语义歧义的图示由于缺乏对孔洞中心的明确约束,直接在孔洞中心上进行网络修补具有挑战性。一次性填充的结果取自最先进的方法[11]。应该有足够的信息用于重建,然后在一次拍摄中进行修补。此假设对于小或窄缺陷是合理的,因为局部区域内的像素可具有强相关性,且因此可从其周围推断像素。然而,随着损伤区域变得更大并且已知和未知像素之间的距离增加,这些相关性减弱并且孔中心的约束松动。在这种情况下,已知区域中的信息对于恢复孔中心的像素来说并不具有信息性,并且网络生成语义模糊的结果(参见图1)。另一种方案是从孔边界到中心以渐进方式进行修补[31,9]。然而,这些方法不使用循环设计并且呈现冗余模型。而且,因为渐进式内绘是在图像级执行的,所以计算成本使得这些方法不太实用。此外,它们的内绘方案仅在一阶段方法中可行,但不适用于其子网络不能满足输入和输出在同一空间中表示的设计要求的多阶段方法(例如,RGB空间)。最后,将特征图映射回RGB空间的过程发生在每次迭代中,这导致每次递归中的信息失真(例如,将128×128×64特征图变换为256×256×3 RGB图像)。因此,它们要么表现不佳,要么具有不可接受的高计算成本。在本文中,我们提出了一种新的深度图像修复架构,称为递归特征推理网络(RFR-Net)。具体来说,我们设计了一个即插即用的递归特征推理(RFR)模块,用于递归地推断和收集编码特征图的孔边界。以这种方式,确定内部内容的约束逐步加强,并且模型可以产生语义上明确的结果。与现有的渐进方法不同,RFR模块在特征映射空间中执行这种渐进过程,这不仅确保了卓越的性能,还解决了网络的输入和输出需要在同一空间中表示的限制。循环设计重用这些参数,以提供更轻量的模型。此外,通过在网络中上下移动模块,可以灵活地控制计算成本。这对于构建高分辨率修复网络至关重要,因为避免计算第一层和最后几层可以消除大部分计算负担。为了进一步加强RFR然而,在RFR中直接应用现有的注意力设计是次优的,因为它们没有考虑不同重现中特征图之间的一致性要求。这可能导致恢复区域的纹理模糊。为了克服这个问题,我们设计了一个知识一致的注意力(KCA)机制,该机制共享递归之间的注意力分数,并自适应地将它们结合起来,以指导补丁交换过程。在KCA的辅助下,一致性水平得到了提高,模型的性能得到了改善。我们的主要贡献如下:• 我们提出了一个递归特征推理(RFR)模块,它利用广告像素之间的相关性,并加强了对估计更深的像素的约束。RFR模块不仅显著增强了网络性能,还克服了渐进式方法的几个局限性。• 我们开发了一个知识一致的注意力(KCA)模块,该模块自适应地结合了来自不同的复发的分数,并确保补丁交换过程之间的一致性复发,从而导致更好的结果与精致的细节。• 新的模块被组装并形成新的RFR网络。我们从效率和性能方面分析了我们的模型,并证明了RFR优于基准数据集中的几种最先进方法。2. 相关作品在这一节中,我们总结了一些以前的工作有关我们的方法。图像修复传统上,修复算法试图从背景区域中找到补丁来修复漏洞[1,2,3,5,12,23,7]。虽然这些传统方法对于简单的情况非常好,但是由于缺乏对图像的语义理解,它们不能在复杂的场景上进行修补。7762功能地图反馈输入特征鳍(F0)识别特征F_iden输出要素Fout有效像素?假有效像素?假是说属性分数反馈有效像素?真区域标识特征推理有效像素?真PConvConvKCA特征吸引力评分前进前进自适应特征融合生成的功能组{F0,F1,F2.Fn}图2.递归特征推理模块的图示。区域识别过程和特征推理过程被连续地执行。经过多次推理后,以自适应的方式合并特征图,并生成固定通道数的输出特征图该模块是即插即用型的,可以放置在现有网络的任何层为了对受损图像进行语义修补,最近使用了深度卷积 网 络 [28] , 特 别 是 生 成 对 抗 网 络 ( GAN ) [8] 。Context- Encoder [19]首先采用条件GAN [16]进行图像修复,并展示了CNN在修复任务中的潜力。Iizuka等人[10]前一个,为了确保局部图像的一致性,使用泊松混合[20]来细化图像,从而呈现更详细和更清晰的结果。 Yan等人[27]与等人[29]分别设计了特征转移和上下文注意力操作,以允许模型从图像的远处区域借用特征块。Liu等[13] Yuet al. [30]设计了特殊的卷积层,使网络能够在不规则的遮罩图像上进行修补。这些方法无法解决语义的歧义,因为他们试图恢复整个目标与不足的约束。渐进图像修补最近已经被研究。Xiong等[26]与纳泽里等人[17]用轮廓/边缘完成和逐步完成的图像填充图像,以确保结构一致性。Li等[11]增加了渐进重建的边界图作为额外的训练目标,以帮助U-Net的修复过程。这些方法试图通过添加结构约束来解决修复任务,但它们仍然缺乏用于恢复其骨干孔中的更深像素的信息。Zhang等人[31]使用级联发生器逐步填充图像。Guo等[9]使用单级前馈网络直接在原始大小的图像上进行修复。Oh等人[18]使用洋葱皮方案使用参考帧的内容逐步对视频数据进行修补,允许准确的内容借用。然而,这些方法通常受到介绍中描述的渐进式修复的限制。注意力修复图像修复模型可以采用注意力机制,从背景中借用特征地上Yu等人[29]利用同一图像中的纹理相似性,用背景区域中更逼真的纹理填充缺陷。Wang等人[24]设计了一个多尺度注意力模块,以提高补丁交换过程的精度。Liu等[14]使用连贯的语义注意层来确保交换特征之间的语义相关性。Xie等人[25]设计了一种双向注意力图估计模块,用于特征生成期间的特征重新归一化和掩模更新。尽管这些方法已经提供了相当大的改进,但是它们对于递归架构仍然是次优的,因为它们没有考虑来自不同递归的特征图之间的关系。3. 方法在本节中,我们首先介绍RFR模块,它构成了RFR-Net的主体。然后我们介绍了KCA方案,它利用了递归网络设计。最后介绍了系统的总体结构和相应的目标功能。3.1. 递归特征推理模块RFR模块是一种即插即用模块,具有可安装在现有网络的任何部分中的再流推理设计。RFR模块可分解为三个部分:1)区域识别模块,用于识别本次递归中待推断的区域;2)特征推理模块,用于推断识别区域的内容;以及3)特征合并操作器,其合并中间特征图。在模块内部,区域识别模块和特征推理模块交替循环工作。在填充孔之后,在推理期间生成的所有特征图被合并以产生具有固定通道编号的特征图。 我们在下面详细阐述这些过程。的7763x,y,zΣf'=i=1x,y,z我们的模块的模型流水线如图所示。二、3.1.1区域标识部分卷积[13]是一个基本模块,用于识别每次递归中要更新的区域。部分卷积层更新掩模并在卷积计算之后重新归一化特征图。更正式地,部分卷积层可以描述如下。令F表示由部分卷积生成的特征图,在推断特征值之后,特征图将被发送到下一个递归。由于RFR模式- ULE不约束中间结果的表示,更新的掩模和部分推断的特征图被直接发送到下一次递归,而无需进一步处理。3.1.3特征合并当地图被完全填满时(或在特定的时间之后),涡卷层f*表示位置处的特征值循环次数),则特征映射已通过第z个通道中的x,y。Wz是层中的第z个卷积核。fx,y和mx,y分别是以位置x,y为中心的输入特征片和输入掩码片(其大小与卷积核相同)然后,由部分卷积层计算的特征图可以由下式表示:、通过特征推理模块多次。如果我们直接使用最后一个特征图来生成输出,则可能发生梯度消失,并且在早期迭代中生成的信号被损坏。为了解决这个问题,我们必须合并中间特征图。但是,使用卷积运算来实现这一点会限制重复次数,因为级联WT(fx,y<$mx,ysum(1))+b,如果sum(mx,y)!= 0fx,y,z=zsum(mx,y)是固定的。 直接对所有特征图求和会移除图像0,否则(一)细节,因为不同特征图是不一致的,突出的信号被平滑。作为类似地,由生成的位置i,j处的新掩码值该层可以表示为: .1,如果sum(m x,y)!= 0M结果,我们使用一个自适应合并方案来解决这个问题。输出要素图中的值仅根据其对应位置x,y=0,其他(二)已经被填满了。形式上,让由特征推理模块和fx,y,z给定上述等式,我们能够在每个部分卷积层之后接收其孔更小的新掩码。对于RFR模块中的区域识别,我们级联几个部分卷积层一起更新作为特征图F中的位置x、y、z处的值。Mi是特征图Fi的二进制掩码。输出特征图F<$的值可以定义为:Nfi面具和特征图。在通过部分卷积层之后,特征图由x,y,zNi=1ix,y,z在被发送到特征推理模块之前,该特征推理模块包括归一化层和激活函数。我们将更新的掩码与输入掩码之间的差异定义为在此递归中要推断的区域。更新后的掩码中的孔在整个循环中被保留,直到在下一次循环中被进一步缩小。3.1.2特征推理待处理区域识别后,由特征推理模块估计该区域中的特征值。特征推理模块的目标是用尽可能高质量的特征值填充识别区域。高质量的特征不仅产生更好的最终结果,而且有利于后续推理。因此,特征推理模块可以被设计得非常复杂以最大化其推理能力。然而,在这里,我们只是简单地堆叠了一些编码层和解码层,并使用跳过连接将它们桥接起来,以便我们可以直观地显示特征推理模块的效率。其中N是特征图的数量。这样,特征可以合并任意数量的标测图,这使得RFR有可能填充更大的孔。3.2. 知识一致注意力在图像修复中,注意力模块用于合成质量更好的特征[29]。注意力模块在背景中搜索可能的纹理,并使用它们来替换孔中的纹理。然而,直接将现有注意力模块插入RFR是次优的,因为不同递归中的补丁交换过程是独立执行的。合成特征图的组件之间的差异可能会在合并时损坏特征图(参见第3.1.3节)。为了解决这个问题,我 们 设 计 了 一 个 新的 注 意 模 块 , 知 识 一 致 性 注 意(KCA)。与以往注意力机制的注意力得分独立计算不同,我们的KCA中的注意力得分是由以前递归的注意力得分按比例累积而成的。因此,两者之间的不一致性M∗(三)7764Σ评分f′′我^sim=′ ′p,q∈{−k,..,k}我x为ohx,y,x,y x,y,x,yx,y,x,yF评分i-1得分我得分我提取像素...i x',y'...计算分数自适应组合自适应组合得分i+1特征重构......i x',y'Conv菲图3.知识一致性注意的例证。KCA的注意力分数是自适应地从先前的和当前的计算,以确保一致的特征成分。可以控制注意力特征图。注意力机制的说明见图。3,详细信息如下。最后,利用注意力得分重建特征图。具体地,位置(x,y)处的新特征图计算如下:在我们的设计中,每个像素的最终分量决定如下。 让我们将输入特征映射表示为第i次递归F i。首先,我们测量余弦相似度ix,y=x′∈ 1,. W y′∈ 1,.H我x,y,x,y我x为oh(八)在每对特征像素之间:在重构特征图之后,输入特征Fsimx,y,x′,y′=fx,y 、||f x,y||fx′,y′||fx′,y′||中国(4)和重构的特征图F被连接并发送到卷积层:伊其中simi"表示孔F=φ(|F^,F|)(9)x,y,x,y在位置(x,y)处的特征和在位置(x′,y′)处的特征。后我们通过对相邻区域中的目标像素的相似性求平均来平滑注意力分数。其中F'是重构的特征图,并且φ是逐像素卷积。3.3. 模型架构损失函数伊x,y,x,ysimx+p,y+q,x′,y′(五)k×k在我们的实现中,我们分别在RFR模块之前和之后放置2和4个卷积层我们男人-然后,我们生成组件的比例,使用softmax函数在位置(x,y)处的像素。该Gen-标准化的分数图表示为分数′。为了计算像素的最终注意力分数,我们首先决定是否将参考先前复发中的像素的分数。给定一个被认为有效的像素,其在当前递归中的注意力分数然后被计算为分别来自当前和先前递归的原始和最终分数的加权和。形式上,如果位置(x,y)处的像素是最后一次递归中的有效像素(即,掩模值mi-1为1),我们自适应地将来自最后一次重现的像素的最终得分与在该重现中计算的得分组合,如下所示,其中λ是可学习的参数:评分i′ ′=λscore′i“”+(1−λ)得分i−1“”(六)否则,如果该像素在上一次递归中无效,则不执行额外的操作,并且该像素在当前递归中的最终注意力得分将计算如下:算法1RFR修复网络输入:图像输入:输入图像掩码输入:输入掩码输出:图像重建:重建图像开始算法一曰: F0,M0←Encoding(Imgin,Maskin)2:用户组← {F0}3:i←0第四章: 而i小于Iterm5:Fi+1,Mi+1←面积Iden(Fi,Mi)6:Fi+1←原因(Fi+1)7:PunureGroup←PunureGroup+{F8:i←i+1第九章: end while十:Fmerged←合并合并(合并组)十一:Imgrec←Decoding(Fmerged)i+1}评分i=score′i(七)12:returnImgrecƒƒ^F7765x,y,x′,y′x,y,x′,y′7766感知H W C池i池i1通常将递归数IterNum选择为6以简化训练。KCA模块被放置在RFR模块的特征推理模块的倒数第三层之后。网络的流水线在Alg. 1.一、对于图像生成学习,使用来自预训练和固定的VGG-16的感知损失和风格损失。感知损失和风格损失比较所生成的图像的深度特征图与地面真相之间的差异。这样的损失函数可以有效地教导模型图像的结构和纹理信息。这些损失函数形式化如下。φ池i 在固定的VGG-16中,对来自第i个在下面的等式中,Hi、Wi和Ci分别用于表示第i个特征图的高度、权重和通道大小。然后,感知损失可以写成如下:Nλ感知,λ风格为180。所有实验都是在Ubuntu 17.10系统 上 使 用 Python 进 行 的 , 具 有 i7-6800K 3.40GHzCPU和11 G NVIDIA RTX 2080 TiGPU。4.2. 数据集我们使用三个常用的图像修复任务和一个遮罩数据集[13]来验证我们的模型。Places2 Challenge Dataset[33]:麻省理工学院发布的数据集,包含来自超过365个场景的超过8,000,000张图像,非常适合构建修复模型。因为它使模型能够从许多自然场景中学习分布。CelebA Dataset[15]:一个专注于人脸图像的数据集,包含超过180,000张训练图像。在此数据集上训练的模型可以很容易地转移到L=1|φgt-φpred|(十)面临编辑/完成任务。Paris StreetView Dataset[6]:包含14,900个i=1我我我训练图像和100张测试图像,类似地,样式损失的计算如下:巴黎的景色。该数据集主要集中在城市中的建筑物。φstyle=φpoolφT(十一)池iNi池i4.3. 比较模型我们将我们的方法与几种最先进的L=0.1 。1(φst ylegt−φst ylepred)。方法. 这些模型被训练,直到收敛,风格i=1 Ci×CiHiWi池i池i1(十二)和我们的实验设置一样这些模型是:PIC [32],PConv[13],GatedConv [30],EdgeConnect [17],此外,计算L1差异的Lvalid和Lhole在我们的模型中还分别使用了未掩蔽区域和掩蔽区域。总的来说,我们的总损失函数是:L总=λ孔L孔+λ有效L有效+λ样式L样式”[11]《明史》:“。5. 结果我们在这三个数据集上进行了实验,+λ感知L知觉(十三)确定定性和定量的结果,比较我们的模型与以前的方法。然后,我们比较裸我们模型中的损失函数组合类似于[13]在以前的作品中已经被证明是有效的[11]。这种损失函数组合也可以实现有效的训练,因为要更新的参数数量较少。4. 实验在本节中,我们提供了详细的实验设置,以帮助重现性。4.1. 培训设置我们使用Adam优化器训练批量大小为6的模型。由于我们只有一个发电机网络要更新,所以不需要优化器来更新.首先,我们使用1e−4的学习率来训练模型,然后使用1e−5来微调模型。在微调过程中,我们冻结所有的批处理归一化层。对于超参数,我们对λhole使用6,对λvalid使用1,对λ valid使用0.1。RFR-Net(无注意力模块)与现有骨干网络的模型大小和定量性能,以证明我们提出的方法的有效性。此外,我们进行烧蚀研究,以检查胺的设计细节,我们的模型。5.1. 与最先进方法的比较在这一部分中,我们将我们的RFR-Net与上一节中提到的几种最先进的方法进行了比较。通过定性分析和定量分析的对比,证明了该方法的优越性.定性比较图图4、5和6分别在Places2、CelebA和ParisStreetView数据集上将我们的方法与五种最先进的方法进 行 了 比 较 。我 们 的 修 复 结 果 明 显 减 少 了明 显 的Incon,在大多数情况下,特别是对于大孔,与其他方法相比,我们所提出的算法生成的结果在语义上更合理、更优雅。7767屏蔽输入PIC PConv EdgeConnect PRVS RFR-Net图4.位置2上的结果掩蔽图像GatedConvEdgeConnectPRVSPConvRFR-Net掩蔽图像GatedConvEdgeConnectPRVSPConvRFR-Net图5.关于CelebA定量比较我们还比较了我们的模型定量结构相似性指数(SSIM),峰值信噪比(PSNR)和平均l1损失。表1列出了三个数据集具有不同比例的不规则掩模的结果。如表 1 所 示 , 我 们 的 方 法 在 Places2 、 CelebA 和 ParisStreetView数据集上产生了优异的结果和最高的SSIM、PSNR和平均l1损失。表中缺少的结果是由于计算资源的限制。5.2. 模型效率如表2所示,我们的裸RFR-Net(没有attention模块)的参数比广泛使用的Coarse-To-Fine [14]和PConv-UNet[13,21]主干少。图6.巴黎街景Paris StreetView我们在Paris StreetView上比较了这三个网络(表2)的定量性能,掩码比率为40%-50%。对于粗到细,我们使用CSA论文[14]中报告的数据,因为官方代码不可用。我们的裸RFR-Net产生了良好的结果,具有测试方法中最好的SSIM和PSNR。我们的模型对每个图像的推理时间通常在85 和95 ms,这也比几种现有技术的方法(例如,[30、14、11])。综上所述,我们可以得出结论,我们的方法可以达到更好的结果比方法与类似大小的模型,突出了我们提出的方法的效率。7768数据集地点2CelebA巴黎街景掩蔽比10%-20%30%-40%50%-60%10%-20%30%-40%50%-60%10%-20%30%-40%50%-60%PIC0.9320.7860.4940.9650.8810.6720.9300.7850.519PConv0.9340.8030.5550.9770.9220.7910.9470.8350.619SSIMsGatedConvEdgeConnect--0.933--0.802--0.5530.9730.9750.9140.9150.7670.7590.9530.9500.8490.8490.6210.646PRVS0.9360.8100.5740.9780.9260.7990.9530.8540.659RFR-Net(我们的)0.9390.8190.5960.9810.9340.8190.9540.8620.681PIC27.1421.7217.1730.6724.7419.2929.3523.9719.52PConv27.2922.1218.2932.7726.9422.1430.7625.4621.39峰值信噪比GatedConvEdgeConnect--27.17--22.18--18.3532.5632.4826.7226.6221.4721.4931.3231.1925.5426.0420.6121.89PRVS27.4122.3618.6733.0527.2422.3731.4926.1722.07RFR-Net(我们的)27.7522.6318.9233.5627.7622.8831.7126.4422.40PIC0.01610.04410.09440.01110.03140.07490.01400.03790.0799PConv0.01540.04090.08240.00830.02360.05240.01230.03130.0623平均值l†1GatedConvEdgeConnect--0.0157--0.0408--0.08210.00880.00880.02450.02470.05610.05720.01200.01100.03090.02860.06600.0582PRVS0.01480.03900.07780.00790.02240.05000.01110.02810.0562RFR-Net(我们的)0.01420.03810.07610.00750.02120.04700.01100.02750.0546表1.三个数据集的数值比较越高越好。*越低越好。伊泰尔什678SSIM/PSNR0.857/26.260.852/26.070.854/26.15表2.不同主干的模型大小及其在40%-50%掩码的ParisStreetView数据集上的定量性能表3.不同迭代次数的影响,指定所选的递归数从巴黎街景上的所有图像中计算出40%-50%的掩模比例。递归次数Iterm的影响表中给出了相同训练迭代后不同Iterm对应的Paris数据集上的结果。3 .第三章。这种消融研究表明,我们的方法对这种超参数结果还表明,与以前的方法相比,改进的性能不是来自于掩蔽图像现有关注度0.792/24.48/0.0388KCA0.799/24.69/0.0375更深的层,但从一个更有效的架构,因为更多的迭代并不能提高性能和我们的图7.不同注意方式的比较结果。从左到右是:(a)输入,(b)现有注意力,(c)持续的注意力。5.3. 消融研究在本节中,我们将分别验证我们的贡献的效果。本文主要说明KCA模的有效性和重现数Iterance的影响.由于篇幅限制,补充资料中放置了更多消融研究,包括1)移动RFR模块2)特征合并的影响和3)在其他模型中应用RFR模块。知识一致性注意力的影响如第3.2节所述,在RFR模块中直接使用[ 29 ]中的注意力模块会导致图像具有一些边界伪影,如图所示。7.第一次会议。这是因为特征图的不一致性可能在特征合并过程之后导致类似阴影的伪影。这些图像下面的SSIM、PSNR和Meanl1展示了注意模块之间这些数字被称为-型号的尺寸小于SOTA。6. 结论在本文中,我们提出了递归特征推理网络(RFR-Net),它逐步丰富的信息的掩蔽区域,并给出语义上明确的修复结果。此外,开发了知识一致性注意模块来辅助RFR模块的推理过程。进行了广泛的定量和定性比较、有效性分析和消融研究,证明了申报RFR-Net在性能和有效性方面的优越性。7. 确认这 项 工 作 得 到 了 国 家 自 然 科 学 基 金 61822113 和61771349、湖北省科技重大专项(下一代人工智能技术)2019 AEA 170和澳大利亚研究理事会FL-170100117项目的支持。骨干从粗到细PConv裸RFR-Net模型大小100M+33M31MSSIM0.7680.7590.796PSNR23.1023.6924.607769引用[1] Connelly Barnes,Eli Shechtman ,Adam Finkelstein,and Dan BGoldman. Patchmatch : A randomizedcorrespondence algorithm for structural image editing.ACM TOG,28(3):24,2009. 一、二[2] Marcelo Bertalmio,Luminita Vese,Guillermo Sapiro,and Stanley Osher.同时结构和纹理图像在绘画.IEEETIP,12(8):882-889,2003年。2[3] Tony F Chan和Jianhong Shen。基于曲率驱动扩散的非纹理修补JVCIR,12(4):4362[4] AntonioCriminisi,PatrickPe'rez,和KentaroToyama. 基于样本的图像补绘的区域填充和对象去除。IEEE TIP,13(9):1200-1212,2004年。 1[5] 丁丁,Sundaresh Ram和Jeffrey J Rodr 'ıguez。使用非局部纹理匹配和非线性滤波的图像修复IEEE TIP,28(4):1705-1719,2019。2[6] Carl Doersch 、Saurabh Singh 、 Abhinav Gupta 、JosefSivic和Alexei Efros。是什么让巴黎看起来像巴黎?ACM TOG,31(4):101,2012。6[7] 方 怡翔 ,俞 凯强 , 程伟 ,Laks V.S.Lak- shmanan 和Xuemin Lin。一种有效的确定子图发现算法。 在procVLDB,第1719-1732页,2019年。2[8] 伊 恩 ·J 放 大 图 片 作 者 : Goodfellow , Jean Pouget-Abadie , Mehdi Mirza , Bing Xu , David Warde-Farley , Sherjil Ozair , Aaron C.Courville 和 YoshuaBengio。生成性对抗网。在procNIPS,第26723[9] Zongyu Guo,Zhibo Chen,Tao Yu,Jiale Chen,andSen Liu. 渐进式全分辨率残差网络图像修复在Proc.ACM MM,第85-100页,2019年。 二、三[10] Satoshi Iizuka,Edgar Simo-Serra,and Hiroshi Ishikawa.全局和局部一致的图像完成。ACM TOG,36(4):107,2017。3[11] 李敬源,何凤新,张乐飞,杜波,陶大成。图像修复中视觉结构的渐进重建在proc ICCV,第6721-6729页,2019年。二三六七[12] 李康顺,魏云山,杨震,魏文华。基于TV模型和进化算法的图像修复算法。软计算,20(3):885-893,2016. 2[13] Guilin Liu,Fitsum A Reda,Kevin J Shih,Ting-ChunWang,Andrew Tao,and Bryan Catanzaro.使用部分卷积的不规则孔图像修复。Proc. ECCV,第85-100页,2018年。三、四、六、七[14] Hongyu Liu,Bin Jiang,Yi Xiao,and Chao Yang.图像修复中的相干语义注意 在proc ICCV,第4170-4179页,2019年。三、七[15] Ziwei Liu , Ping Luo , Xiaogang Wang , and XiaoouTang.在野外深度学习人脸属性。在Proc. ICCV,第3730-3738页,2015中。6[16] Mehdi Mirza 和 Simon Osindero 条 件 生 成 对 抗 网 。CoRR,abs/1411.1784,2014。3[17] Kamyar Nazeri , Eric Ng , Tony Joseph , FaisalQureshi,and Mehran Ebrahimi.边缘预测:使用边缘预测进行结构引导的图像在Proc. ICCV研讨会,2019年。一、三、六[18] 吴先生,李成浩,李俊英,金善珠。洋葱皮网络用于深度视频完成。在Proc. ICCV,第4403-4412页,2019年。 3[19] DeepakPathak,PhilippK raéhenbuéhl ,Je f fDonahue,Tr ev orDarrell和Alexei A.埃夫罗斯上下文编码器:通过图像修复进行特征学习。在Proc. CVPR,第2536-2544页,2016年。 3[20] 帕特里克·佩雷斯,米歇尔·冈内特和安德烈·布拉克。 泊松图像编辑。在Proc. SIGGRAPH,第313-318页,2003中。3[21] Olaf Ronneberger , Philipp Fischer , and ThomasBrox.U-网:用于生物医学图像分割的卷积网络在proc MICCAI,第234-241页,2015年。7[22] Rakshith Shetty,Mario Fritz和Bernt Schiele。对抗性场景编辑:从弱监督中自动删除对象在Proc. NeurIPS,第7717-7727页,2018年。1[23] 宋林森,曹杰,宋林晓,胡一波,何冉。几何感知的面部完成和编辑。CoRR,2018年。一、二[24] 王宁,李静媛,张乐飞,杜波。音乐剧:多尺度图像上下文注意学习用于修补。在Proc. IJCAI,第3748-3754页,2019年。3[25] Chaohao Xie , Shaohui Liu , Chao Li , Ming-MingCheng,Wangmeng Zuo,Xiao Liu,Shilei Wen,andErrui Ding.使用可学习的双向注意力地图进行图像修复在Proc. ICCV,第8858-8867页,2019年。第1、3条[26] Wei Xiong , Jiahui Yu , Zhe Lin , Jimei Yang , XinLu,Connelly Barnes,and Jiebo Luo.前景感知图像绘画。在Proc. CVPR,2019中。3[27] 燕昭仪、李晓明、慕丽、左王梦、石光山。Shift-net:通过深度特征重排进行图像修复。Proc. ECCV,第3-19页,2018年。第1、3条[28] Raymond A Yeh , Chen Chen , Teck Yian Lim ,Alexander G Schwing , Mark Hasegawa-Johnson , andMinh N Do.语义图像修复与深生成模型。在procCVPR,第54853[29] Jiahui Yu,Zhe Lin,Jimei Yang,Xiaohui Shen,XinLu,and Thomas S Huang.具有上下文注意的生成式图像修复在proc CVPR,第5505-5514页,2018年。一二三四八[30] Jiahui Yu,Zhe Lin,Jimei Yang,Xiaohui Shen,XinLu,and Thomas S.煌利用门控卷积进行自由形式图像修复。在Proc. ICCV,第4471-4480页,2019年。一、三、六、七[31] Haoran Zhang , Zhenzhen Hu , Changzhi Luo ,Wangmeng Zuo,and Meng Wang.渐进式生成网络的语义图像修复 在proc ACM MM,第770- 778页,2018年。二、三[32] Chuxia Zheng,Tat-Jen Cham,and Jianfei Cai.多元形象的完成。 在proc CVPR,第1438-1447页,2019年。6[33] BoleiZhou,A`gataLapedriza,AdityaKhosla,AudeOliva和Antonio Torralba。地点:一个用于场景识别的1000万图像IEEE TPAMI,40(6):14526
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功