基于并行解码网络的图像修复方法

1基于并行解码网络的快速图像修复Min-cheol Sagong1，Yong-goo Shin1，Seung-wook Kim1，Seung Park1，Sung-jea Ko2韩国大学1{mcsagong，ygshin，swkim，spark}@ dali.korea.ac.kr2sjko@korea.ac.kr摘要最近，一种基于生成对抗网络（GAN）的方法采用了由粗到细的网络与上下文注意模块（CAM）在图像修复中表现出了出色的结果。然而，这种方法需要大量的计算资源，由于其两个阶段的特征编码过程 为了解决这个问题，本文提出了一种新的网络结构，称为PEPSI：用于语义修补的并行扩展解码器路径。PEPSI通过采用由单个共享编码网络和具有粗略和修复路径的并行解码网络组成的结构，可以减少卷积运算的数量粗略路径产生初步修补结果，编码网络利用该初步修补结果来训练以预测CAM的特征。同时，内画路径使用CAM重建的精细特征创建更高质量的内画结果。与传统的粗到细网络相比，PEPSI不仅减少了几乎一半的卷积运算次数，而且在测试时间和定性分数方面表现出优于其他模型的性能1. 介绍图像修复技术已被广泛研究[1-在各种应用中移动不需要的对象或合成图像的缺失部分，例如照片编辑、基于图像的渲染和计算摄影[15，20，28]。图像修复方法可以分为两组[28]。基于扩散和基于块的方法属于第一组。基于扩散的方法从图像的现有区域传播像素信息，即，背景区域到缺失区域，即，空穴区域[2，5，19，28]。该方法在处理简单纹理和小孔洞时效果较好，但在处理复杂孔洞区域时，如人脸和具有非重复结构的物体时与基于扩散的方法相比，基于块的方法从图像中采样块。背景区域，然后将它们粘贴到孔区域[22，28]。Barnes等人[1]提出了一种快速的近似最近邻块搜索算法，称为Patch- Match，该算法在图像编辑应用（包括图像修复）中显示出显著的效果。然而，PatchMatch平滑地填充了空洞区域，而不考虑图像的视觉语义或全局结构。第二组是基于生成的方法，其应用深度卷积神经网络（CNN）来预测空穴区域的结构[13，16，24]。由于CNN十年来的进步，采用编码器-解码器结构的图像修复方法已经取得了重大进展[13，24]。然而，这些方法会产生具有伪影的图像，例如模糊图像和失真图像。为了解决这个问题，Pathaket al.[21]介绍了一种称为上下文编码器的方法，采用生成对抗网络（GAN）[7]。在这种方法中，它们利用了组合损失，l2像素重建损失和对抗损失，这有助于网络通过最小化参考图像和修复图像之间的差异来生成更自然的图像。然而，这种方法有一个局限性，它只能填充图像中心的方形孔。Iizuka等人[10]提出了一种改进的网络结构，该结构通过采用扩张卷积层有效地完成空洞区域，可以在更宽的感受野中提取特征。此外，他们使用两个兄弟姐妹判别器：全局和局部鉴别器。局部判别器主要针对局部纹理一致性进行判别，而全局判别器则主要针对整体纹理一致性进行判别。 Yu et al. [28]通过使用粗到细网络和上下文注意力模块（CAM）扩展了这项工作。CAM通过计算余弦相似度来学习背景和前景特征块之间的关系.该方法首先从粗略的完整图像中提取缺失区域的特征，然后提取缺失区域的背景特征。因此，他们设计了两级粗到精网络，以产生粗略恢复图像的中间结果这1136011361图1. PEPSI的架构。粗略路径和修补路径共享它们的权重以彼此改进。粗路径仅使用重建损失的101来训练，而填充路径使用重建损失和对抗损失方法显示了显着的性能相比，最近的国家的最先进的修复方法;然而，由于使用两级网络结构，它需要相当多的计算资源。本文提出了一种新的并行网络PEPSI：并行扩展解码器路径语义修补，它采用单级编码器-解码器网络来解决这个问题。如图1所示，PEPSI通过单个编码网络提取特征，并通过单个解码网络生成高质量的内绘结果。为了使单个共享编码网络处理两个不同的任务，即针对粗略完成的结果和针对高质量结果的特征生成，我们提出了一种使用具有粗略和绘画路径的并行解码网络的联合学习粗路径产生一个粗略的完成结果，编码网络被训练来预测CAM的特征同时，修复路径使用CAM重建的精细特征创建更高质量的修复结果。我们还对CAM进行了改进，用欧氏距离代替余弦相似度来更好地学习斑块之间的关系我们进行了大量的实验，以证明我们的方法在各种数据集上优于传统方法，例如Celeb-a [11，18]，place 2 [30]和Image-net[14]。我们同时使用了随机的正方形和自由形状的蒙版来模仿人类的画笔.实验结果表明，该方法不仅表现出优于传统方法但也大大减少了计算时间。总之，在本文中，我们提出：• 提出了一种新的生成式网络，通过统一粗到细网络和修改CAM。• 一种新的图像区域这更适合于实际用户应用。2. 预赛2.1. 生成对抗网络GAN最早由Goodfellow等人提出。[7]图像生成。在GAN中，同时训练两个网络：生成网络G被训练以创建与真实图像不可区分的新图像，而判别网络D被训练以区分真实图像和生成图像。这个关系可以被认为是一个两人的最小-最大博弈，其中G和D竞争。为此，G（D）试图最小化（最大化）损失函数，即。对抗性损失如下：最小最大Ex最大P数据（x）[logD（x）]G D+Ez<$Pz（z）[log（1−D（G（z）]，（1）其中z和x分别表示随机噪声矢量和从噪声Pz（z）和真实数据分布Pdata（x）最近，GAN已经应用于几种语义修复技术[10，21，28]，以便自然地完成孔区域。2.2. 粗到细网络Yu等人[27，28]提出了一种新的图像修复框架，由两个网络组成：粗网络和细化网络。这种两阶段网络称为粗到细网络，分别执行几项任务。首先，它产生一个初步的粗预测与粗网络，并细化网络通过提取的粗填充预测的特征，细化的结果。为了用生成网络产生更高质量的图像修复，网络应该理解11362′′图2.CAM的图示传统的CAM通过测量前景面片与背景面片的余弦相似度来重构前景面片相比之下，修改后的CAM使用欧几里德距离来计算相似性分数。背景和空穴区域之间的关系。精化网络通过使用CAM来学习关系，CAM计算这些区域之间的余弦相似性。如图2所示，CAM首先将特征划分为目标前景及其周围背景，并提取3×3块图像。然后，在（x，y）处的前景块fx，y与在（x，y）处的背景块bx′，y′之间的相似性得分s（x，y），（x′，y′）可以被获得为图3.粗糙网络的玩具例子。(a)地面实况（b）掩蔽的输入图像（c）来自粗到细网络的结果（d）没有粗结果的结果。方形掩码自由形式掩码时间PSNR SSIMPSNR SSIMGatedConv [27] 24.67 0.8949 27.78 0.9252 21.39msGatedConv23.500.8822 16.35 0.9098 14.28ms表1.粗糙网络的玩具例子。* 是指没有粗糙结果的模型。3.1. PEPSI架构如图1所示，我们提出的网络PEPSI将粗到细网络的两级级联网络统一为单级编码器-解码器网络。PEPSI由一个共享的编码网络和一个并行的解码网络组成，解码网络具有粗路径和修复路径。编码网络是联合学习的提取-s（x，y），（x′，y′）=∗fx，y，fx，ybx′，y′bx′，y′、（二）从具有孔洞区域的输入图像中提取特征，以及在没有粗糙结果的情况下完成缺失的特征。如表2所示，我们的特征编码网络是s（x，y），（x′，y′）=softmax（λs（x，y），（x′，y′）），（3）其中λ是scaledsoftmax的超参数。 通过使用由一系列3×3卷积层组成。在这个网络中，我们在第一个卷积层中使用5×5内核（s）′ ′）作为权重，CAM重建特征以充分利用输入图像中的潜在信息（x，y），（x，y）前景区域的加权和的背景补丁来了解它们之间的关系。由粗到细的网络在最先进的图像修复技术中表现出出色的性能3. 该方法如第2.2节所述，CAM通过计算块之间的相似性来学习从已知背景特征块中借用或复制特征信息的位置，以生成丢失的特征块。因此，有必要从粗略完成的图像中提取特征，即，粗糙的结果。如表1和图3所示，没有粗略结果的细化网络显示出比完整的粗略到精细网络更差的结果（这些结果是通过使用原始掩蔽图像作为输入来训练细化网络而获得的）。这意味着，如果孔洞区域的粗糙特征没有很好地编码，CAM会使用不相关的特征补丁生成缺失的特征，从而产生污染的结果，如图3（d）所示。换句话说，从粗到精的网络必须通过两级编码器-解码器网络，这需要大量的计算复杂度，特别是在高分辨率图像上。此外，我们采用膨胀卷积层，在最后四个卷积层中采用不同的膨胀率来提取具有大感受野的特征。表3示出了解码网络的详细架构。在所提出的方法中，并行解码网络由两个兄弟路径组成：粗糙和修补路径。粗略路径试图从编码的特征图中产生粗略的完整结果。另一方面，以编码的特征作为输入，修复路径首先通过使用CAM重建特征图。然后，对重构的特征图进行解码以生成更高质量的修补结果。通过共享两条路径的权值参数，我们尝试对解码网络的内绘路径进行正则化此外，两个不同的路径采用相同的编码特征图作为其输入，因此它们迫使单个编码器为两个不同的图像生成任务生成有价值的特征。请注意，我们在测试期间只使用修复路径，这大大减少了计算资源。在所提出的方法中，粗路径是用重建L1损失显式地训练的，而修复路径是用L1损失以及GAN损失训练的。更多详细信息将在第3.4节中描述。类似于传统的图像修复网络[10，21，.Σ11363˜表2.编码网络的详细架构类型内核扩张步幅输出卷积×23 ×311 ×1128最近邻（×2↑）----卷积×23 ×311 ×164最近邻（×2↑）----卷积×23 ×311 ×132最近邻（×2↑）----卷积×23 ×311 ×116卷积（输出）3 ×311 ×13表3.解码网络的详细架构输出层由一个卷积层组成，该卷积层的值被裁剪为[-1，1]。27，28]，所提出的网络将掩蔽图像和指示背景区域的二进制掩码作为输入对。掩模图像包括在每次迭代期间随机采样的具有可变数量、大小、形状和位置的孔。在层实现方面，我们对所有卷积层使用镜像填充，并使用指数线性单元（ELU）[4]作为激活函数，而不是ReLU，除了最后一层。另外我们利用256×256像素的[-1，1]归一化图像作为网络的输入图像，并生成输出im-通过将输出值裁剪为[−1，1]而不是使用双曲正切函数，以相同的分辨率老化3.2. 改良CAM传统的CAM [28]通过应用余弦相似性来测量相似性得分。然而，在（2）中对特征块向量进行归一化因此，我们提出了一个修改的CAM，直接测量e的距离相似性得分（d（x，y），（x′，y′））使用欧几里德距离。由于欧氏距离不仅考虑了两个特征块向量之间的夹角，而且考虑了它们的大小，因此更适合于重构。由于距离相似性分数很难应用，因此softmax具有输出在[0，∞]的范围内，我们定义类似的截断距离ity scores，d（x，y），（x′，y′），asd（x，y），（x′，y′）−m（d（x，y），（x′，y′））图4.余弦相似度和截断距离相似度之间的图像重建的比较：（a）原始图像，（b）掩蔽图像，（c）通过使用余弦相似性重建的图像，以及（d）通过使用截断距离相似性重建的图像。正方形掩模自由形式掩模PSNRSSIM PSNRSSIM余弦相似度25.16 0.8950 27.95 0.9218欧氏距离25.57 0.9007 28.59 0.9293表4.余弦相似性和欧氏距离在PEPSI上的应用性能比较在（4）中，截断距离相似性得分具有[-1，1]内的有限值。它像一个阈值一样工作，可以筛选出小于平均值的距离分数，因为tanh函数在零附近变化很快这意味着截断距离相似性得分有助于将背景块分为与前景块相关和不相关的两组我们表演玩具的例子比较所述余弦相似度和所述截断距离相似度。我们通过现有图像块的加权和来重建孔洞区域，其中权重是通过使用余弦相似性得分或截断距离相似性得分来获得的。如图4所示，应用截断距离相似性的重建可以收集比余弦相似性更多的相似块最后，我们评估了传统和改良CAMs的PEPSI之间的结果，以证实改良CAM的改善。如表4所示，与常规CAM相比，修改后的CAM提高了性能，这意味着修改后的CAM更适合于表达背景和空穴区域之间的关系与传统的CAM算法相似，改进后的CAM算法也采用scaledsoftmax对它们进行加权，最后用背景块的加权和重构出前地面块。因此，它支持模块从相关的补丁矢量组重建前景补丁。3.3. 区域包围鉴别器（红色）PEPSI是基于GAN学习的，GAN由生成器和CPU组成。在[27，28]中，传统的全局和局部鉴别器不仅针对整个图像中的相干性，而且针对孔区域的局部纹理。d（x，y），（x′，y′）=tanh（−（哪里σ（d（x，y），（x′，y′）））的情况下，）（四）gion。然而，局部插值只能处理具有固定大小的正方形形状的孔洞区域，而孔洞可以以任意位置、形状和d（x，y），（x′，y′）=<$fx，y−bx′，y′<$.（五）类型内核扩张步幅输出卷积5 ×511 ×132卷积3 ×312 ×264卷积3 ×311 ×164卷积3 ×312 ×2128卷积3 ×311 ×1128卷积3 ×312 ×2256辩证卷积3 ×321 ×1256辩证卷积3 ×341 ×1256辩证卷积3 ×381 ×1256辩证卷积3 ×3161 ×125611364实际应用中的尺寸。 因此，很难使用11365我C我我我GN我1AdvxPXL=X−Y，（9）λΣ类型内核步幅输出卷积5 ×52 ×264卷积5 ×52 ×2128卷积5 ×52 ×2256卷积5 ×52 ×2256卷积5 ×52 ×2256卷积5 ×52 ×2512FC1 ×11 ×11图5.红色的概述RED的目的是对图像中可能出现任何大小的任何区域的空洞区域进行局部判别器，用于训练不规则孔洞的修复网络。为了解决这个问题，我们将全局和局部判别器统一到区域集成判别器（RED）中，这是受到区域集成网络[8]的启发，通过单独处理多个特征区域来检测图像中任何地方出现的目标对象。如图5所示，RED将最后一层的特征划分为逐像素块，并通过完全连接的层单独区分每个特征是真的还是假的。由于RED试图分别对具有不同感受野的每个特征块进行分类，因此它假设不同的图像区域分别是真实的或虚假的与局部插值相比，RED可以处理可能出现在任何大小图像中任何位置的各种孔RED的详细架构如表5所示。3.4. 损失函数为了训练PEPSI，我们联合优化了两条不同的路径：修复路径和粗略路径。对于修复路径，我们采用（1）中的GAN [7]优化框架，如第2.1节所述。 众所周知，在原始GAN [7]中，生成器的梯度可以表5. RED的详细架构。在每个卷积层之后，除了最后一个，有一个泄漏ReLU作为激活函数。每一层都通过光谱归一化来归一化。全连接层应用于每个逐像素特征块。其中，X（n）和Y（n）分别是小批量中经由修复路径生成的图像及其对应的原始输入图像的第n个图像对，N是小批量中的图像对的数量，并且λi和λadv是用于在两个损失项之间平衡的超参数。如第3.3节所述，我们分别对最后一层中每个特征元素的对抗损失进行平均（7）。粗略路径损耗的作用是为CAM正确地完成缺失特征。因此，我们优化以下简单的l1损失函数，定义为：N1（n）（n）CNc1n=1其中X（n）和Y（n）分别是小批量中经由粗略路径生成的图像及其对应的原始输入图像的第n个最后，我们将PEPSI生成网络的总损失函数定义如下：K容易消失，这产生不令人满意的生成图像的结果为了解决这个问题，受[29]的启发，Ltotal=LG+λc（1−kMax）LC，（10）我们使用生成器和使用铰链损失和谱归一化的干扰器的对抗损失函数，其被定义为LG=−Ex<$PX[D（x）]，（6）LD=ExPY[min（0，−1+D（x））]−Ex<$PX[min（0，−1−D（x））]，（7）其中PXi和PY表示修补结果和输入图像的数据分布。由于图像修复的目标不仅是生成自然的孔洞填充，而且是准确地恢复原始图像的缺失部分，因此我们使用N1范数向（6）添加强约束，如下所示：NL=我<$X（n ）−Y（n ）<$−λE[D（x）]，（8）n=111366其中λc是控制贡献k和kmax分别表示学习过程的迭代和迭代的最大数目。在所提出的方法中，随着训练的进行，我们稍微降低了解码网络的粗路径损耗的权重，以专注于图像重建过程。4. 实验4.1. 实现细节如图7（b）所示，传统方法[10，21，28]通常采用规则掩码（例如，具有矩形形状的孔区域）。因此，当孔区域具有不规则形状时，用-10的常规掩码训练的网络产生视觉伪影，诸如颜色差异和模糊。到为了解决这个问题，Yuet al.[27]自由的形式11367图6.我们的方法和传统方法在随机方形掩码CelebA-HQ数据集上的比较（a）地面实况(b)网络的输入图像（c）上下文编码器的结果[21]（d）全局-局部的结果[10]（e）门控卷积的结果[27]（f）所提出的方法图7.（a）原始图像、（b）其正方形掩模图像和（c）自由形式掩模图像的示例在训练过程中使用掩模算法，其自动生成多个随机自由形式的孔，如图7（c）所示。特别地，该算法通过绘制多条不同的线并擦除距这些线比任意距离更近的像素来产生自由形式的掩模。为了公平的比较，我们采用相同的自由形式的掩码生成算法，我们的方法。培训程序以端到端的方式使用8个批量对PEPSI进行100万次培训。我们使用ADAM优化器[12]进行优化，这是一种具有自适应矩估计的随机优化方法Adam优化器的参数β1和β2分别设置为0.5和0.9。 受[9]的启发，我们采用了双时标更新规则（TTUR），其中学习器和生成器的学习率分别为0.0004和0.0001。此外，我们在90万次迭代后将学习率降低到1/10我们模型中的超参数设置为λi=10，λc=5，λadv=0。1.一、我们的实验是在CPU Intel （ R ） Xeon （ R ） CPU E3-1245 v5 和 GPUTITAN X（Pas.cal），并在TensorFlow v1.8中实现。4.2. 绩效评价对于我们的实验，我们使用CelebA-HQ [11，18]，ImageNet [14]和Place 2 [30]数据集，分别由人脸，事物和各种场景组成。在CelebA-HQ数据集中，我们随机抽取了27，000张图像作为训练集，3，000张作为测试集。我们还使用ImageNet数据集中的所有图像训练网络，并在Place2数据集上进行测试，以测量训练后的深度学习模型在其他数据集上的性能，以确认PEPSI的泛化能力。此外，为了证明PEPSI的优越性，我们将其定性、定量和运算速度结果与传统生成方法进行了比较：[ 21 ]，[22]，[23]，[24]，[26]，[ 27 ]，[ 28]，[29]，定性比较我们 比较 定性PEPSI的性能与传统的方法，我们-对用自由形式掩模以及用方形掩模掩模掩模的图像进行处理。常规方法通过遵循每篇论文中的训练过程来实现。如图6和图8所示，CE [21]和GL [10]显示了明显的视觉伪影，包括掩蔽区域中的模糊或失真图像，特别是在自由形式的掩模上。虽然GatedConv [27]显示出良好的性能，但它显示出孔与背景区域（例如眼睛的对称性）之间缺乏相关性与传统方法相比，PEPSI显示出视觉上令人愉悦的结果以及空穴和背景区域之间的高度相关性。此外，我们通过在具有挑战性的数据集ImageNet和Place2数据集上进行测试，展示了PEPSI的实际应用。我们比较了PEPSI与GatedConv和广泛使用的非生成方法PatchMatch [1]，11368自由曲面蒙版方法PSNRSSIMPSNRSSIM时间（ms）当地全球当地全球[21]第二十一话17.723.70.8729.716.30.7945.8[第10话]19.425.00.89615.121.50.84339.4GCA [28]19.024.90.89812.418.90.79822.5GatedConv [27]18.724.70.89521.227.80.92521.4GatedConv17.523.50.88219.826.40.91014.3百事可乐（我们的）19.525.60.90122.028.60.9299.2百事可乐19.225.20.89421.628.20.923表6.CelebA-HQ数据集上方形和自由形状掩码的全局和局部PSNR、SSIM和操作时间的结果* 是指没有粗糙结果的模型。图8.我们的方法和传统方法在自由形式掩蔽的CelebA-HQ数据集上的比较（a）地面实况（b）网络的输入图像（c）上下文编码器的结果[21]（d）全局-局部的结果[10]（e）GatedConv的结果[27](f)所提出的方法在Place2数据集上，图像分辨率为256×256。如图9所示，PatchMatch显示了性能，特别是在图像的边缘，因为它填补了洞区域，而不了解场景的上下文。GatedConv生成更真实的结果，没有颜色差异或边缘失真，但仍然生成错误的纹理。相反，对于实际应用中的各种内容和复杂场景，PEPSI可以生成最自然的图像，而不会出现伪影或失真定量比较我们评价一通过测量局部和全局区域的峰值信噪比（PSNR），即，孔洞区域和整个图像，以及结构相似性（SSIM）[23]。表6提供了CelebA上的PEPSI和常规性能之间的综合性能基准[10，21，27，28HQ数据集[11]。如表6所示，CE [21]、GL [10]和[28]有效地用正方形填充空穴区域但是它们不能完成具有不规则形状的孔区域。由于这些方法主要集中在填充矩形形状的孔，他们不能很好地推广到自由形式的面具。请注意，GL [10]仅在正方形掩模的局部区域中显示了与PEPSI竞争的PSNR值，因为它应用了图像混合技术作为后处理。然而，这种后处理产生如图6（d）所示的模糊结果，并且需要更多的计算时间。GatedConv [27]在方形和自由形状的孔上都表现出良好的性能，但也需要大量的计算时间。与传统方法不同，PEPSI可以完成任何形状的孔区，同时大大缩短了操作时间。为了进一步的研究，我们进行了一个实验，在这个实验中，GatedConv和PEPSI模型在不使用粗糙结果的情况下进行训练，即。不使用粗网络的GatedConv和不使用粗路径学习的PEPSI。如表6所示（没有粗糙结果的11369图9.在Place2数据集上比较我们的方法和传统方法（a）地面实况（b）网络的输入图像(c)非生成方法的结果，PatchMatch（d）GatedConv的结果[27]（e）所提出方法的结果掩码方法PSNRSSIM局部全局SquareGatedConv [27] 14.2 20.3 0.818百事可乐（我们的）15.2 21.2 0.832GatedConv [27] 17.4 24.0 0.875与Celeb-A数据集中的其他传统方法相比，GatedConv[27如表7所示，在Place2数据集上，PEPSI的自由形式百事可乐（我们的）18.2 24.8 0.882表明PEPSI可以持续产生高-表7. Places2数据集上的全局和局部PSNR和SSIM结果。由 * 表示），即使没有粗略的结果，由于修改的CAM和RED，与Gat-edConv的完整模型相比，PEPSI显示出更好的结果。通过粗路径学习，在所有定量度量方面，PEPSI表现出优于不使用粗结果的PEPSI，这指示粗路径驱动编码网络为CAM适当地产生缺失特征换句话说，PEPSI的单级网络结构可以通过并行学习方案克服两级粗到细网络的限制为了证明PEPSI的泛化能力，我们使用具有挑战性的数据集ImageNet [14]和Place2 [30]数据集进行了另一个实验。表7显示使用分辨率为256×256的输入图像进行测试的实验结果。 我们比较性能质量也来自于各种内容和复杂的场景。5. 结论本文提出了一种新的图像修复方法--PEPSI。实验结果表明，该方法不仅取得了优于传统方法的性能，而且通过重新设计将两级粗到细网络统一为有效的单级网络结构，并采用有效的联合学习方案来训练该结构，大大减少了运算时间.因此，可以预期的是，PEPSI可以广泛地应用于包括图像生成、风格转移和图像编辑的各种应用中。进一步的改进可以通过减少网络的参数来实现，这有助于应用于受限的硬件系统。11370引用[1] C. Barnes，E. Shechtman ，A. Finkelstein 和D. B.黄金人。补丁匹配：一种用于结构化图像编辑的随机对应算法 。 ACM Transactions on Graphics （ ToG ） ， 28（3）：24，2009。1、6[2] M. Bertalmio，G.萨皮罗河谷Caselles和C.巴列斯特图像修复。在第27届计算机图形和交互技术中，第417- 419页424. ACM出版社/Addison-Wesley出版公司2000. 1[3] N.蔡氏Z.苏，Z. Lin，H. Wang， Z. Yang和B. W.- K.凌使 用 全 卷 积 神 经 网 络 进 行 盲 修 复 。 The VisualComputer，33（2）：249-261，2017。1[4] D.- A. Clevert，T. Unterthiner和S. Hochreiter。通过指数线性单元（elus）进行快速准确的深度网络学习。arXiv预印本arXiv：1511.07289，2015。4[5] A. A. Efros和W. T.弗里曼。用于纹理合成和转移的图像绗缝。在第28届计算机图形和交互技术年会中，第341-346页。ACM，2001年。1[6] A. Fawzi，H.Samulowitz，D.Turaga，和P.弗罗萨德通过神经网络修复图像幻觉。在图像、视频和多维信号处理工作室（IVMSP）中，2016 IEEE第12版，第1-5页。IEEE，2016年。1[7] I. 古德费罗 J. 波吉特-阿巴迪 M. 米尔扎 B. 许、D. 沃德-法利，S。奥扎尔A.Courville和Y.本吉奥。生成对抗网络。在神经信息处理系统的进展，第2672-2680页，2014年。一、二、五[8] H. Guo，G.Wang，X.Chen C.，马缨丹属Zhang，F.Qiao和H.杨区域集合网络：改进卷积网络用于手势估计.在图像处理（ICIP），2017年IEEE国际会议上，第4512IEEE，2017年。5[9] M. Heusel，H. Ramsauer，T.翁特希纳湾Nessler和S. Hochreiter。两个时间尺度更新规则训练的甘斯收敛到一个局部纳什均衡。神经信息处理系统进展，第6626-6637页，2017年。6[10] S. Iizuka、E. Simo-Serra和H.石川全局和局部一致的图像完成。ACM Transactions on Graphics（TOG），36（4）：107，2017。一、二、三、五、六、七[11] T. Karras，T. Aila，S. Laine和J.莱赫蒂宁为提高质量、稳定性和变异性而进行的干细胞arXiv预印本arXiv：1710.10196，2017。二六七[12] D. P. Kingma和J. BA. Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。6[13] R. 科勒河，C. Schule r，B. Schoül k opf和S. 伤害。使用深度神经网络进行面具特定修复在German模式识别会议上，第523Springer，2014. 1[14] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。在神经信息处理系统的进展，第1097-1105页，2012年。二、六、八[15] A. Levin，A.Zomet，S.Peleg和Y.韦斯梯度域中的无缝图像拼接欧洲计算机视觉会议，第377-389页Springer，2004. 111371[16] C. Li和M.魔杖结合马尔可夫随机场和卷积神经网络进行图像合成。在IEEE计算机视觉和模式识别会议的Proceedings中，第2479-2486页，2016年。1[17] H. Li，G.利湖，澳-地Lin和Y. Yu.上下文感知语义修复。arXiv预印本arXiv：1712.07778，2017。1[18] Z. Liu，P.Luo，X.Wang和X.唐深度学习在野外面临挑战在IEEE计算机视觉国际会议论文集，第3730二、六[19] H. Noori，S.Saryazdi和H.内扎马巴迪-普尔一种基于卷积的图像修复方法。2010年第一届通信与工程国际1[20] E. Park，J. Yang，E. Yumer，D. Ceylan和A. C. 伯格。基于变换的新型三维视图合成图像生成网络。2017年IEEE计算机视觉与模式识别会议（CVPR），第702-711页。IEEE，2017年。1[21] D.作者：P. Krahenbuhl，J.多纳休，T. Darrell和A. A.埃夫罗斯上下文编码器：通过图像修复进行特征学习。在IEEE计算机视觉和模式识别会议论文集，第2536-2544页，2016年。一、二、三、五、六、七[22] D. Simakov，Y. Caspi，E. Shechtman和M. 伊拉尼使用双向相似性对可视数据进行 计算机视觉和模式识别，2008年。CVPR 2008。IEEE会议，第1-8页。IEEE，2008年。1[23] Z. Wang，中国山核桃A. C. Bovik，H. R. Sheikh和E.西蒙·切利。图像质量评估：从错误可见性到结构相似性。IEEE图像处理学报，13（4）：600-612，2004年。7[24] L. 徐，J.S. 伦角，澳-地Liu和J.贾用于图像去卷积的深度卷积神经信息处理系统进展，第1790-1798页，2014年。1[25] C. Yang，X. Lu，Z. Lin，E. Shechtman，O. Wang和H.李使用多尺度神经块合成的高分辨率图像修复。在IEEE计算机视觉和模式识别会议（CVPR），第1卷，第3页，2017年。1[26] R. A. 是啊C. 陈先生，T.- Y. 林A. G. 施温，M. Hasegawa-Johnson和M. N.做具有深层生成模型的语义图像绘画.在CVPR，第2卷，第4页，2017年。1[27] J. Yu，Z. Lin，J. Yang，X. Shen，X. Lu和T. S.煌利用门控卷积进行自由形式图像修复。arXiv预印本arXiv：1806.03589，2018。二三四五六七八[28] J. Yu，Z. Lin，J. Yang，X. Shen，X. Lu和T. S.煌具有上下文注意的生成式图像修复arXiv预印本，2018年。一、二、三、四、五、六、七[29] H.张岛Goodfellow，D. Metaxas和A. Odena自我注意生成对抗网络。arXiv预印本arXiv：1805.08318，2018。5[30] B. Zhou，中国古柏A.拉佩德里萨A.科斯拉A.Oliva和A.托拉尔巴地点：一个用于场景识别的1000万图像数据库。IEEE transactions on pattern analysis and machineintelligence，40（6）：1452-1464，2018。二、六、八