图像修复：基于内外学习和单色瓶颈的新框架改进当前修复方法

5120基于内外学习和单色瓶颈的图像修复王腾飞欧阳昊陈启峰香港科技大学摘要尽管最近的修复方法已经证明了深度神经网络的显著改进为了解决这些问题，我们提出了一个外部-内部修补计划，单色瓶颈，帮助图像修补模型删除这些文物。在外部学习阶段，我们在单色空间中重建丢失的结构和细节，以减少学习维度。在内部学习阶段，我们提出了一种新的内部颜色传播方法与渐进的学习策略一致的颜色恢复。大量的实验表明，我们提出的方案有助于图像修复模型产生更多的结构保留和视觉上引人注目的结果。1. 介绍图像修复是一项任务，其目的是用视觉上真实和语义上一致的内容来完成图像的图像修复可以使一般用户在各种实际应用中受益，包括从图像中去除不想要的对象、去除面部缺陷和图像编辑。虽然我们已经见证了图像修复的重大进展，但修复模型仍然会遭受突然的颜色伪影，特别是当缺失区域很大时。这项工作将分析国家的最先进的修复方法的弱点，并提出了一个新的框架，以改善现有的修复方法。最先进的修复方法大致分为两类：迭代最近邻搜索和 深 度 学 习 模 型 的 补 丁 匹 配 ， 各 有 优 缺 点 。PatchMatch [3]是一种免学习方法，仅利用单个图像的内部统计数据。如图1所示，它生成与非缺失区域一致的平滑图案和颜色，但它无法填充语义感知内容。基于深度学习的修补方法可以通过在大规模数据集上训练来学习语义感知模型。这些方法有前-平等贡献探索了从粗到细的不同风格的修复模型。他们可能首先生成边缘[20，17]，结构信息[24]，分割图[29]或模糊图像[37，38，36]，然后使用这些中间输出作为填充细节的指导然而，它们的结果仍然受到颜色和纹理伪影的影响。观察到的最常见的伪影之一是渗色，如图1所示。这些在大规模数据集上训练的方法往往会引入不一致的颜色，这些颜色不符合测试图像的颜色分布。另一方面，我们观察到，出血文物很少出现在内部的方法。基于以上的观察，我们提出了一个鲁棒的修复方法，通过结合两个世界的最佳。我们采用了一种新的外部-内部修复方案与单色的瓶颈：首先完成单色图像通过外部学习从大规模的数据集，然后着色完成的单色通过内部学习的单一测试图像。我们提出的方法与早期修复方法正交，因此可以很容易地应用于改进先前基于学习的修复模型，以获得更高质量的生成。在外部学习阶段，通过将重建网络的输出从多色图像改变为单色图像，我们将优化空间的维度从R3降低到R，从而实现更多的结构保留重建（第4.3节）。用这种方法训练的模型在跨数据集评估时也表现出更强的泛化能力。在着色阶段，受深度内部学习的最新进展的启发，我们提出了一种由完成的单色瓶颈指导的新的内部颜色传播然而，即使在一张图像中，相似的单色值也可以映射到不同的因此，我们采用了一种渐进的恢复策略，结合本地和全球的颜色统计。我们的外部-内部学习方案不仅有利于结构重建，而且还确保颜色一致性。通过关注单个图像的内部颜色分布，我们可以消除突变颜色并产生视觉上令人愉悦的图像（第3.1.1节）。我们进行了大量的实验来评估性能-5121[32]第一届中国国际汽车工业展览会[20]第二届中国国际汽车工业展览会图1.通过传统和深度学习方法进行图像修复。放大查看详细信息。我们的 方法在四个 公共数据集 Places 2 [42]， ParisStreetView [21]，CelebA-HQ [15]和DTD [6]上的应用。我 们 将 我 们的 方 法 应 用 于 不 同 的 基线 网 络 （ Gat-edConv [38] ， EdgeConnect [20] ， HiFill [36] 和 GM-CNN [32]），并观察到在结构保留和颜色协调方面有意义的改进。此外，我们进行模型分析和消融研究，以验证我们的假设和修改。本文的主要贡献可以概括为：• 据我们所知，我们是第一个将外部-内部学习方法引入深度图像修复的人。它学习语义知识的外部-主要通过在大数据集上训练，同时充分利用单个测试图像的内部统计。• 我们设计了一个渐进的内部色彩恢复网络，实现了出色的彩色化性能，在我们的案例中，• 我们将我们提出的方法推广到几个深度修复模型，并观察到明显的改善，多个数据集上的视觉质量和模型泛化能力。2. 相关工作2.1. 图像修复传统的免学习图像修复方法大致可以分为两大类：基于扩散的方法和基于块的方法。基于扩散的方法[1，8，2，9]使用诸如等照度线方向场的技术传播相邻信息。这些方法在处理纹理数据或图像中有窄孔时效果较好，但在处理较大的掩模区域或包含有意义的结构时效果不佳。基于补丁的方法，如PatchMatch [3]用快速近邻算法搜索孔洞外的补片，填补缺失区域。然而，在图像中不能总是找到缺失区域中的图案，并且在重构图像中也倾向于出现重复图案。这些方法仅利用实现颜色一致性的内部信息，但在填充语义感知内容时失败。深度学习的最新发展极大地提高了图像修复的性能，特别是在人脸和复杂自然场景等图像类别修复模型受益于从大规模数据集学习和理解语义[7]。Pathak等人。[21]首先提出了利用编码器-解码器网络来提取特征并重建输出的上下文编码器。Iizuka等人。[14]使用全局和局部两种方法，Yu等人。[37]提出了检索远程特征和实现全局一致性的上下文Liu等人。[19]应用了部分卷积，Yu等人。[38]提出了门控卷积来克服香草卷积的弱点Yi等人[36]提出了上下文残差聚合模块，Zeng等人[39]采用了一种用于高分辨率图像修复的引导上采样网络。最新的方法首先预测粗糙结构，如边缘[20，17]，前景轮廓[34]，结构形状[24]和语义图[29]，然后提供ad-优先级以指导图像的完成。这些方法表明，以空间上由粗到细的方式进行修复将有利于训练过程。我们的方法也采用了类似的想法，同时不仅在空间上完成图像，而且通过外部-内部学习以通道方式从粗到精完成图像。5122第一阶段单色重建0级第二阶段。内部颜色恢复L0上采样下采样比例尺1…L1尺度n输入单色…重建网络L图2.我们的外部-内部修复方法概述。它通过在大型数据集上进行训练，从外部学习在单色空间中重建结构，同时通过内部学习在单个测试图像中隐式传播颜色。仅在未掩蔽的区域上计算着色损失L n。2.2. 引导着色用户引导的着色方法关注于局部输入，例如用户笔划或色点。使用基于亮度[16，13]、纹理[22]和固有距离[35]的低级相似性度量来传播颜色。 除了局部暗示，李等人。[18]利用颜色主题和张等人。[5]使用调色板表示全局颜色控制。Zhang et al. [41]还将低级线索与高级语义相似性结合起来。基于实例的方法将颜色从单个或多个参考图像转移到目标图像。这些方法，无论使用哪种技术（颜色转移[11，23]或图像类比[12]），都专注于找到参考图像和目标图像之间在我们的内部colorizarion，我们使用的单色输出从第一阶段作为一个条件输入，从而传播的内部颜色信息从非缺失区域的缺失区域。与用户引导和示例引导不同，本文中的引导不仅具有非常高的密集度，而且具有精确的一一对应性，可以提供足够的我们表明，现有的指导彩色化方法不能充分利用可靠的颜色信息的非缺失区域。2.3. 深度内部学习仅在单个图像上训练深度卷积神经网络已经在各种图像生成任务中显示出有效性，例如超分辨率，纹理合成等[28，4，43，27，25]。Ulyanov等人。[31]是第一个利用深度模型作为训练图像内部绘制的先验模型。他们在来自随机高斯噪声的单个图像的非缺失区域上训练了一个深度模型，并试图将类似的内容信息传播到缺失区域。然而，他们的模型无法在修复区域生成逼真Shocher等人。[27]介绍了用于条件图像生成的InternalGAN。不过，由于我们的地面实况图像只有部分可用（非缺失部分），很难应用对抗训练。考虑到我们的情况，我们精心设计了一个渐进的深度网络，用于内部图像着色。3. 方法在本节中，我们首先分析了最先进的图像修复方法的缺点和我们的外部-内部学习方案的动机。然后，我们提出了两个阶段的细节：外部单色恢复训练的大规模数据集，以生成语义正确的内容，和内部颜色恢复的一个单一的图像传播的颜色从非缺失部分缺失的地区。总体架构如图所示。二、所提出的方法不与现有的修复方法相冲突，而是完成了一个更粗到细的过程。3.1. 动机3.1.1彩色渗色去除早期在大数据集上训练的图像修复网络通常会受到“颜色出血”伪影的影响。如图3所示，先前方法[38，20]的修复区域中的颜色显示出与非缺失区域的突然差异。例如，第一图像中的绿色和粉红色以及第二图像中的紫色与非缺失部分的颜色分布非常不同这种分布差距表明通过消除缺失区域中的轮廓线颜色来提高修复质量的可能性。因此，我们的动机，以进一步提高-证明颜色一致性，通过学习只从非缺失部分的内部颜色分布。为了显示内部着色所带来的视觉质量增益，我们应用我们的方法来重新着色以前的修复方法的结果与图3、通过加强单幅图像内部颜色统计的影响，消除了突变颜色。5123[38]第一届中国国际机床展览会[20]第三届中国国际机床展览会将我们的内部着色方法应用于GatedConv（左）和EdgeConnect（右）的重新着色结果原始结果的颜色是有缺陷的和不一致的，而我们重新着色的结果在视觉上是协调的。Zhang et al.[41] Levin et al.[16] Gastal et al.[10]我们的图4.在修复的单色瓶颈（顶部）和自然（无修复）单色（底部）上用不同的引导着色方法进行视觉比较。放大查看详细信息。3.1.2外部-内部学习然而，由于外部信息对于内容感知的图像修复是非常重要的，因此只从内部统计信息中学习是不合适的.一个可行的解决办法是设置一个中间瓶颈，作为外部学习和内部学习之间的桥梁。在传统的图像重建任务中，许多研究人员利用单色来学习结构，然后直接将颜色信息添加回去[30，26]。受这些工作的启发，我们选择单色图像作为中间输出。这导致了另一个优点，即通过将输出维度从R3减少到R1，减轻了训练的复杂性。我们期望用单色瓶颈训练的模型可以重建比原始模型更高保真的结构。3.2. 外部单色重建我们的方法可以很容易地应用于提高基于学习的图像修复模型的重建质量。具体来说，我们串联的单色输入到原始RGB输入通道明智的，也修改了输出从多色单色图像。我们使用代表性的修复基线作为我们的重建网络进行实验：• GMCNN[32]：一种生成式多列模型，以并行方式合成不同的图像分量。• HiFill[36]：用于高分辨率图像的粗到细网络，具有轻量级门控卷积。• EdgeConnect[20]：一种两阶段对抗方法，首先将缺失的边缘作为图像完成的指导。• GatedConv[38]：一种基于门控卷积的粗到精网络，它通过自由形式的掩模实现了最先进的绘画性能。在我们的实现中，我们将RGB图像转换为单色图像。30R +0。59G +0。第11页B. 为了简单起见，我们将具有不同重建网络的模型表示为Ours（3.3. 内部颜色恢复3.3.1引导着色在该阶段中，着色网络的输入是来自第一阶段的完成的单色瓶颈，而目标是恢复与非缺失区域的多色分布我们首先测试了几种引导着色方法，包括：5124n0• Zhang et al.[41].一种基于深度学习的引导着色方法，可从大型数据集中学习语义相似性• Levin et al.[16].一种二次优化方法，根据相似的强度恢复颜色。• Gastal等人[10].提出了一种基于边缘保持滤波的免学习图像处理方法。然而，如图4所示，外部学习方法[41]倾向于放大单色中的不准确性并引入渗色伪影（例如，其中，n表示信道维度中的级联，↑表示双线性上采样。我们采用了一种类似ResNet的结构，具有框下采样和双线性上采样所有发电机。由于所有发生器都具有相同的感受野，因此当我们从粗到细处理时，模型逐渐捕获全局到由于地面实况像素仅在非缺失区域中可用，因此我们对每个生成器采用掩蔽重建损失，公式为：第一个例子中的红色）。相反，在内部利用来自同一图像的颜色提示往往会避免被Ln=||（In -Ic）n（1−Mn ）||第一条，第（三）项被外部颜色分布所迷惑以前的无学习方法[16，10]通常产生颜色一致的结果，但当掩模区域较大时，传播失败。我们分析了我们案例的特殊功能，这些功能与大多数以前的着色设置不同，如下所示：• 与传统的稀疏指导（如彩色笔画和调色板）不同，我们的指导是从单色到多到RGB。由于非缺失区域通常由大量的像素组成，因此对应关系非常密集并且覆盖了大部分模式。• 经修复的缺失区域I孔和非缺失区域I孔中的结构通常高度相关。受最近工作的启发[31]，我们建议利用深度神经网络f来隐式传播颜色信息，而不是通过特征匹配显式地探索相似性。具体而言，我们在内部学习非缺失区域I孔中的颜色映射函数f，并将其直接应用于缺失区域I孔以进行着色。然而，即使在单个图像中，类似的单色输入也可以映射到不同的多色值。因此，我们设计了一个渐进式着色网络，结合本地和全球的颜色背景。3.3.2渐进式色彩修复我们的模型由一个条件生成金字塔{G0，G1，...，GN}。 我们构建相应灰度图像金字塔{Ig，Ig，...，I g}，彩色图像Pyra-其中，π表示Hadamard乘积。我们在构建掩码pyra时使用最大池进行下采样mid以确保不包括来自缺失区域的像素。4. 实验4.1. 数据集我们在四个公共数据集上评估我们的方法Places2 Standard包含来自365个场景类别的超过1800万张自然图像。我们对所有类别进行了实验，并使用原始分裂进行训练。测试时，所有图像均调整为512×640巴黎街景[21]包含15，000个户外建筑图像.我们使用原始分割进行训练。测试时，所有图像均调整为256×256CelebA-HQ[15]包含30，000张人脸图像。 我们跑-首先选取3,000幅图像进行测试，然后选取其他图像进行训练。测试时，所有图像均调整为256×256DTD[6]包含5，640个纹理图像。我们随机选择-选择840个图像用于测试，其他图像用于训练。测试时，所有图像的大小均调整为512×512我们通过算法生成密集的不规则掩模Rithm在[38]中提出。 在实际使用情况下，用户通常-我喜欢使用橡皮擦或画笔来遮盖不需要的区域以进行修补。该算法通过随机画线和旋转角度来模拟这种情况，这是公平的，适合我们的评估。4.2. 评价0 1Nmid{I c，I c，...， I c}和掩模金字塔{M0，M1，...， M N}定量比较如前所述，0 1N内部学习。着色过程开始于粗略地缩放，并依次进入最精细的缩放。在粗尺度下，模型仅采用下采样的灰度图像：I=G0（Ig）.（一）在更精细的尺度中，生成器从较低级别获取灰度[37]没有合适的客观指标，绘画任务由于模糊的地面真相。尽管如此，我们仍然报告了PSNR、SSIM [33]和学习感知度量LPIPS [40]方面的评估结果。如表1所示，对于不同的骨干网络，所提出的外部-内部方案一致地提高了不同数据集上的定量性能。I=G（IgI↑），n = 1，.，N（2）定性比较如图5所示，nnnn−1方法可以生成语义合理的内容，5125Places 2巴黎街景名人A-HQ DTD方法PSNRSSIM低压脉冲电源峰值信噪比SSIM低压脉冲电源PSNRSSIM 低压脉冲电源PSNRSSIM低压脉冲电源GMCNN [32]22.180.8490.14625.10 0.8560.10426.890.9310.03527.580.9320.071我们的（GMCNN）22.650.8580.13325.67 0.8590.09727.030.9330.03028.300.9450.057[20]第二十话23.610.8740.12526.05 0.8630.08827.240.9440.02728.350.9550.055我们的（EdgeConnect） 23.900.8760.11726.36 0.8650.08427.330.9470.02628.970.9630.038HIFIL [36]24.350.8670.10726.24 0.8660.09227.200.9360.02829.140.9500.046我们的（HiFill）24.520.8810.10226.47 0.8660.08827.310.9400.02629.380.9530.039GatedConv [38]23.940.8710.11226.32 0.8610.09027.360.9380.02828.540.9470.052我们的（GatedConv）24.580.8800.09826.75 0.8680.08227.510.9450.02529.310.9610.032表1.不同数据集的定量比较。最好的结果是粗体。输入HiFill [36] Ours（HiFill）EdgeConnect [20] Ours（EdgeConnect）GatedConv [38] Ours（GatedConv）图5.不同方法的视觉比较掩蔽区域以红色显示我们的方法重建相干结构具有更少的颜色伪影。放大查看详细信息。小洞，但仍然显示生硬的细节和突然的颜色。当洞变大时，它们往往不稳定。相比之下，我们观察到，对于每个基线网络，我们的方法产生了引人注目的结果，具有更清晰的结构和更一致的颜色。这表明所提出的方法不限于一个特定的修复架构，但可以很容易地推广到改善现有的修复模型。用户研究除了数值指标，我们还在Amazon MechanicalTurk上对最具挑战性的数据集Places2进行了人类感知研究。参与者会立即看到一对随机图像（我们的和基线），并被要求从两张图像中选择一张在颜色一致性和结构方面真实的保存所有图像都以相同的分辨率在一个洗牌顺序，没有时间限制。如图6，用所提出的方案训练的模型在感知上大大优于相应的基线。4.3. 单色瓶颈4.3.1跨数据集分析在自然数据集上训练的修复模型通常在来自其他领域的图像上显示出巨大的性能下降（例如，由于分布间隙，纹理。虽然一些常见的模式（例如，线）在自然场景中也是普遍存在的，但由于某些颜色模式在自然数据集中很少出现，因此在多色空间中的分布仍然存在很大差异。而在单色5126图6.用户研究结果。报告值表示我们（“基线”）相对于相应基线的合格率火车测试基线我们火车测试基线我们地点2DTD21.8523.16DTD地点221.7622.10地点2对26.2426.57DTD巴黎24.6224.85地点2CelebA-HQ27.3527.38DTDCelebA-HQ26.8326.86表2.跨数据集评估的定量结果空间，这种差距大大缩小。我们进行了跨数据集的评估，以显示单色瓶颈带来的泛化能力增益。如图7所示，先前的方法在缺失区域中显示出明显的结构失真和颜色差异，而我们的模型生成更清晰的线条和更一致的颜色，具有无缝的边界。通过学习在单色空间中重建结构，缩小了不同类型数据集之间的我们还发现，如果两个数据集之间的域间隙很大（例如，CelebA-HQ和其他），我们的模型未能提高跨数据集测试性能。除此之外，表2中有持续的改进。4.3.2降维的有效性如在上述实验中观察到的，通过我们的方法完成的结构和形状比以前的方法更尖锐。直观地说，学习单色图像的重建比学习多色图像的重建容易，因为RGB优化空间R3比R的单色空间大得多。为了更好地体现这种降维带来的质量增益，我们对DTD进行了进一步的分析由于该数据集包含数千个简单的纹理图像，如线，圆，棋盘格具有极其多样化的颜色，它是一个恰当的例子来证明结构重建的质量。如图8，原始基线模型在直线中产生弯曲和钝的细节原始模型在填充不同颜色的区域时也不能产生一致的颜色和无缝的边界。然而，在单色空间上训练的模型能够捕捉到结构的本质并完成正确的形状。这表明，忽略颜色干扰可以降低学习的复杂性，有利于结构重建。[38]第38话：我的世界图7.跨数据集评估的结果我们将在Places2上训练的模型应用于看不见的DTD图像。输入GatedConv Ours GatedConv Ours图8. DTD上重建质量的视觉比较。我们在第二列中显示了从门控- Conv结果转换的灰度图像，以便更好地进行比较。4.4. 内部颜色恢复分析4.4.1掩模比的烧蚀研究可能影响内部着色方法性能的一个关键因素是已知像素对应的数量。在图9中，我们将I孔的掩模比从22增加。5%至73。4%，并恢复一个自然的单色与我们的方法的颜色。即使在最棘手的情况下，73。4%的像素丢失，模型仍然以与I孔协调的风格对I孔着色，没有明显的伪影。由于在图像修复中，I孔通常占整个图像的不到70%，因此所提出的内部方案在大多数情况下是可行的。4.4.2渐进性修复的消融研究我们进行消融研究，以了解渐进式修复策略如何有助于内部着色。图10显示，在没有渐进方案的情况下，我们的模型仅关注局部颜色映射，并生成明显的伪影和硬边界。4.4.3与其他着色方法的比较正如我们上面所讨论的，修复后的单色可能与地面实况不同，这是由于双色调。5127输入我们输入我们22.第二十二章百分之五48. 百分之九七十三。图9.我们内部着色方法的可行性。我们将I孔的掩模比从22提高到25。5%至73。4%，用我们的方法对自然单色进行着色。输入Ours（base）Ours（full）图10.渐进性修复策略的消融研究。我们用我们的方法对修复后的单色瓶颈进行着色。我们的（基地）是我们的模式，没有渐进的设计。输入我们的（用户引导的多样化输出）图11.图像编辑、外推和用户引导的图像修复的示例。用户可以通过提供额外的颜色提示来控制使用我们的方法修复的内容的风格掩码类型Zhang等人Gastal等人Levin et al. Ours（base）Ours（full）矩形36.1229.3536.6837.0438.45不规则38.7739.2639.2439.2139.50表3.结果：不同引导彩色化方法对不同类型掩模的单色图像的峰值信噪比（PSNR）.我们的（基地）是我们的模式，没有渐进的设计。修复任务的正确性。通过比较彩色修复单色和不完美的地面真实值来评价彩色化方法是不合适的。为了避免单色差异的影响并单独评估着色，我们应用随机矩形和不规则掩码来对来自最具挑战性的数据集Places2的地面实况图像进行通过这种方式，我们模拟了修复遮罩的行为，同时拥有完美的地面实况彩色图像用于度量计算。所提出的方法实现了表3中的稳定性能。4.5. 扩展在图11中，我们展示了所提出的方法的一些应用。我们展示了一个用户引导的修复示例，用户可以通过交互式地提供一些颜色提示来我们利用一个额外的色点作为指导，以不同的颜色修补眼睛4.6. 失败案例图12示出了所提出的修复方法的失败情况。在第一个例子中，当掩码非常大时，我们的方法无法重建部分掩码的总线图12.失败案例。我们展示了重建和着色的失败案例。与以前的修复方法类似，我们的方法很难完成大范围掩蔽的前景对象，因为这些类别的结构非常复杂和多样。在第二个例子中，由于缺乏着色提示，我们的模型错误地为嘴着色。在这种情况下，我们可以考虑给出一个额外的色点作为指导，以促进颜色恢复。5. 结论在本文中，我们提出了一个通用的外部-内部学习修复方案与单色瓶颈。它首先利用从大型数据集外部学习的语义知识重建单色，然后从单个测试图像内部恢复颜色。与以前的方法相比，我们的方法可以产生更连贯的结构和更视觉上协调的颜色。大量的实验表明，我们的方法可以导致稳定的改善定性和定量的几个骨干模型。我们的方法的主要限制由于着色需要额外的阶段，因此我们的方法比最先进的方法慢。在未来，我们计划进一步加速彩色化过程，并将所提出的方案扩展到其他低级别的视觉任务，如超分辨率。输入我们5128引用[1] 迈克尔·阿什赫敏合成自然纹理。SI3D，1：217[2] Coloma Ballester、Marcelo Bertalmio、Vicent Caselles、Guillermo Sapiro和Joan Verdera。矢量场和灰度级联合插值填充IEEE图像处理学报（TIP），10（8）：1200[3] Connelly Barnes ， Eli Shechtman ， Adam Finkelstein ，andDanBGoldman.Patchmatch ： Arandomizedcorrespondence algorithm for structural image editing. 在ACM Trans-actions on Graphics（ToG），第28卷，第24页中。ACM，2009年。[4] Caroline Chan ， Shiry Ginosar ， Tinghui Zhou ， andAlexei A Efros.大家一起跳IEEE International Conferenceon Computer Vision（ICCV），2019。[5] Huiwen Chang ， Ohad Fried ， Yiming Liu ， StephenDiVerdi，and Adam Finkelstein.基于调色板的照片拼接 。 ACM Transactions on Graphics （ TOG ） ， 34（4）：139[6] M. Cimpoi，S.马吉岛Kokkinos，S. Mohamed和A.维达尔迪描述野外的纹理。 IEEE计算机视觉与模式识别会议（CVPR），2014年。[7] 贾登、魏东、理查德·索彻、李力佳、李凯、李菲菲。Imagenet：一个大规模的分层图像数据库。2009年[8] Iddo Drori，Daniel Cohen-Or，和Hezy Yeshurun.基于片段 的 图 像 完 成 。 在 ACM Transactions on Graphics（TOG），第22卷，第303-312页中ACM，2003年。[9] Selim Esedoglu 和 Jianhong Shen 。 基 于 mumford-shah-eastern图像模型的数字修复欧洲应用数学杂志，13（4）：353[10] Eduardo SL Gastal和Manuel M Oliveira。用于边缘感知图像和视频处理的域变换。ACM SIGGRAPH 2011论文，第1-12页。2011年。[11] Mingming He，Jing Liao，Lu Yuan，and Pedro V Sander.图 像 之 间 的 神 经 颜 色 传 递 。 arXiv 预 印 本 arXiv ：1710.00756，2017。[12] Aaron Hertzmann ， Charles E Jacobs ， Nuria Oliver ，Brian Curless，and David H Salesin.形象类比。计算机图形学与交互技术会议，2001年。[13] Yi-Chin Huang，Yi-Shin Tung，Jun-Cheng Chen，Sung-Wen Wang，and Ja-Ling Wu.一种基于边缘检测的自适应彩色化算法及其应用。ACM International Conferenceon Multimedia（MM），2005年。[14] Satoshi Iizuka，Edgar Simo-Serra，and Hiroshi Ishikawa.全局和局部 一致的映像完成。ACM Transactions onGraphics（ToG），36（4）：107，2017。[15] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.GAN的逐步增长，以提高质量，稳定性和变化 。 2018 年 国 际 学 习 表 征 会 议 （ InternationalConference on Learning Representations，ICLR）[16] Anat Levin，Dani Lischinski，和Yair Weiss。使用优化着色。在ACM SIGGRAPH中。2004年[17] Jingyuan Li，Fengxiang He，Lefei Zhang，Bo Du，andDacheng Tao.视觉结构图像修复。在IEEE国际计算机视觉会议（ICCV）的会议记录中，2019。[18] Xujie Li，Hanli Zhao，Guizhi Nie，and Hui Huang.基于测 地 线 距 离 的 颜 色 协 调 图 像 Computational VisualMedia，1（2）：143[19] Guilin Liu，Fitsum A Reda，Kevin J Shih，Ting-ChunWang，Andrew Tao，and Bryan Catanzaro.基于部分卷积的 不规 则孔 洞图 像修 复。欧洲 计算 机视 觉会 议（ECCV），2018年。[20] Kamyar Nazeri ， Eric Ng ， Tony Joseph ， FaisalQureshi，and Meidan Ebrahimi. Edgeconclusion：使用对抗边缘学习的生成图像修补。在2019年IEEE计算机视觉国际会议（IC-CVW）上的研讨会上[21] Deepak Pathak ， Philipp Krahenbuhl ， Jeff Donahue ，Trevor Darrell，and Alexei A Efros.上下文编码器：通过图像修复进行特征学习。在IEEE计算机视觉和模式识别（CVPR）会议录中，2016年。[22] Yingge Qu，Tien-Tsin Wong，and Pheng-Ann Heng.漫画着 色 。 ACM Transactions on Graphics （ TOG ） ， 25（3）：1214[23] 埃里克·莱因哈德，迈克尔·阿迪赫明，布鲁斯·古奇和彼得·雪莉。图像之间的颜色转移。IEEE计算机图形学与应用，21（5）：34[24] Yurui Ren，Xiaoming Yu，Ruonan Zhang，Thomas HLi，Shan Liu，and Ge Li. Structureflow：通过结构感知的外观流进行图像修复。IEEE International Conferenceon Computer Vision（ICCV），2019。[25] 塔玛·罗特·沙汉姆，塔利·德克尔，托莫·麦克利。从单一自然图像学习生成模型. IEEE International Conferenceon Computer Vision（ICCV），2019。[26] Qi Shan，Zhaorong Li，Jiaya Jia，and Chi-Keung Tang.快速图像/视频上采样。ACM Transactions on Graphics（TOG），27（5）：1[27] Assaf Shocher 、 Shai Bagon 、 Phillip Isola 和 MichalIrani。Ingan：捕捉并重新绘制自然图像的“DNA”。IEEEInternationalConferenceonComputerVision（ICCV），2019。[28] Assaf Shocher，Nadav Cohen，and Michal Irani. 在IEEE计算机视觉和模式识别会议（CVPR）上，2018年。[29] Yuhang Song，Chao Yang，Yeji Shen，Peng Wang，Qin Huang，and C-C Jay Kuo. SPG-net：Segmentationpredition and guidance network for image inpainting. 英国机器视觉会议（BMVC），2018年。[30] Jian Sun，Zongben Xu，and Heung-Yeung Shum. 基于梯度轮廓先验的图像超分辨。在IEEE计算机视觉和模式识别会议（CVPR）上，第1-8页。IEEE，2008年。[31] 德米特里·乌里扬诺夫，安德烈·维达尔迪，维克多·伦皮茨基。深层图像先验。在IEEE计算机视觉和模式识别会议（CVPR），2018年。5129[32] Yi Wang，Xin Tao，Xiaojuan Qi，Xiaoyong Shen，andJiaya Jia.通过生成式多列卷积神经网络进行图像修复。神经信息处理系统进展（NeurIPS），2018年。[33] Zhou Wang，Alan C Bovik，Hamid R Sheikh，and EeroP Si-moncelli.图像质量评估：从误差可见性到结构相似性。IEEE Transactions on Image Processing（TIP），13（4）：600[34] Wei Xiong，Jiahui Yu，Zhe Lin，Jimei Yang，Xin Lu，Connelly Barnes，and Jiebo Luo.前景感知图像绘画。在IEEE计算机视觉和模式识别会议（CVPR）上，2019年。[35] Liron Yatziv和Guillermo Sapiro。使用色度混合的快速图 像 和 视 频 彩 色 化 。 IEEE Transactions on ImageProcessing（TIP），15（5）：1120[36] Zili Yi，Qiang Tang，Shekoofeh Azizi，Daesik Jang，and Zhan Xu.用于超高分辨率图像修复的上下文残差聚合在IEEE计算机视觉和模式识别会议（CVPR），第7508-7517页[37] Jiahui Yu，Zhe Lin，Jimei Yang，Xiaohui Shen，XinLu，and Thomas S Huang.具有上下文注意的生成式图像修复。在IEEE计算机视觉和模式识别会议（CVPR）上，2018年。[38] Jiahui Yu，Zhe Lin，Jimei Yang，Xiaohui Shen，XinLu，and Thomas S Huang.自由形式图像修复与门控卷积。在IEEE计算机视觉国际会议（ICCV）中，2019年。[39] 曾宇，林哲，杨继梅，张建明，伊莱·谢克特曼，卢沪川.具有迭代置信度反馈和引导上采样的高分辨率图像修复。欧洲计算机视觉会议（ECCV），第1-17页施普林格，2020年。[40] 理查德·张、菲利普·伊索拉、阿列克谢·埃弗罗斯、伊莱·谢克特曼和奥利弗·王。深度特征作为感知度量的不合理有效性。在IEEE计算机视觉和模式识别会议，2018年。[41] Richard Zhang ， Jun-Yan Zhu ， Phillip Isola ， XinyangGeng，Angela S Lin，Tianhe Yu，and Alexei A Efros.实时 用 户 引 导 的 图 像 着 色 与 学 习 深 度 先 验 。 ACMTransactions on Graphics（TOG），9（4），2017。[42] Bolei Zhou ， Agata Lapedriza ， Aditya Khosla ， AudeOliva，and Antonio Torralba.地点：一个用于场景识别的 1000 万 图 像 数 据 库 。 IEEE Transactions on PatternAnalysis and Machine Intelligence（PAMI），2017。[43] Yang Zhou，Zhen Zhu，Xiang Bai，Dani Lischinski，Daniel Cohen-Or，and Hui Huang.基于对抗扩展的非平稳 纹 理 ACM Transactions on Graphics （ ToG ） ， 37（4）：49：1