生成对抗网络应用于草图识别和完成的方法

5830SketchGAN：使用生成对抗网络的联合草图完成和识别中国科学2中国科学院大学3卡迪夫大学4清华大学摘要手绘草图识别是计算机视觉中的一个基本问题，广泛应用于基于草图的图像和视频检索、编辑和重组。以前的方法通常假设使用完整的草图作为输入;然而，在常见的应用场景中，手绘草图往往是不完整的，这使得草图识别成为一个具有挑战性的问题。在本文中，我们提出了SketchGAN，这是一种新的基于生成对抗网络（GAN）的方法，可以联合完成和识别草图，从而提高这两项任务的性能具体来说，我们使用级联编码解码器网络，以迭代的方式完成输入草图，并采用辅助草图识别任务来识别完成的草图。在Sketchy数据库基准测试上的实验表明，与现有的方法相比，我们的联合学习方法实现了具有进一步的实验使用几个基于草图的应用程序也验证了我们的方法的性能。1. 介绍素描是一种直观表达抽象概念的自然符号，广泛应用于计算机视觉[14，27，45]、多媒体重组[7，31]和人机交互[39]。手绘草图识别是许多基于草图的应用中的一个基本问题。然而，它们往往是不完整的，例如，快速过渡草图和多个重叠对象的草图，其中一些对象被部分遮挡。本文对草图自动完成问题进行了研究，对草图识别、草图编辑和基于草图的图像检索等相关研究具有一定的参考价值。草图补全的目的是推断出合理的线条来填充草图中缺失的笔画一个理想的草图包含每-*通讯作者图1.我们的联合草图完成和识别管道的插图。我们使用草图完成作为识别不完整草图的中间步骤。实验结果表明，该方法能有效地提高草图识别性能.概念上闭合轮廓，并使用一组稀疏的线来捕获主要形状特征。尽管素描识别[17]和分类[47，54]在过去十年中取得了很大的进展，但很少有人关注素描完成。手绘草图缺乏纹理和上下文信息，并且通常被认为比自然图像更逼真。因此，为彩色图像设计的图像完成方法不能很好地直接用于草图。此外，由于手绘草图的性质，同一对象的草图可能会以不同的风格绘制，这使得草图完成非常具有挑战性。Sketch与Contour密切相关，两者都是使用黑白像素的对象的视觉闭合轮廓。素描与等高线的主要区别在于等高线总是与相应的真实图像保持一致，而素描在外观上具有更多的多样性[13]和在轮廓完成方面已经做了很多努力[34，42，50]，旨在从图像中提取感知突出的轮廓或找到场景中物体和表面的边界。轮廓补全方法不能直接应用于草图补全，因为轮廓补全强制与原始图像中的对象边界精确对齐，而草图不与特定图像相关联。5831另一个相关的问题是图像完成。然而，即使是最先进的基于卷积神经网络（CNN）的方法[18，20]，由于缺乏颜色和纹理上下文，设计用于图像完成的草图完成性能较差在本文中，我们提出了一个生成对抗网络（GAN）的草图完成，称为SketchGAN。我们的方法不针对特定的类别，可以完成不同类别的输入草图.我们的核心思 想 是 共 同 进 行 草 图 完 成 和 识 别 任 务 。 我 们 的SketchGAN的生成器由一个多级级联网络组成，其中每一级都由一个条件GAN [21]组成第一阶段使用不完整的草图作为输入，并将其转换为大致完成的输出。后一阶段将原始输入和前一阶段的所有输出草图连接起来，并将它们馈送到当前阶段的生成器网络。由于我们的目标是设计一个通用的草图完成框架，适用于多类别的草图完成，多任务学习的动机，其中辅助任务往往可以提高主任务的性能，我们采用草图识别作为辅助任务。从概念上讲，高级识别任务受益于草图完成结果的全局上下文结构，反过来，将它们一起训练可以促进更好的草图完成。在一个广泛使用的数据集上的实验表明，该方法优于现有的方法，草图完成和识别任务相互受益。我们的联合草图完成和识别的一个例子如图1所示，它展示了同时处理这两个任务的共同好处。我们进一步证明了该方法对于改善不完整草图识别和草图编辑等下游应用的性能是非常有帮助的我们的贡献总结如下。1. 据我们所知，我们是第一个解决草图完成的问题，这可以启发进一步的基于草图的研究。2. 我们提出了一个新的网络架构的草图完成，即SketchGAN，它处理不同类别的草图。我们的方法共同进行草图完成和辅助草图识别任务，我们发现，草图完成和识别任务相互受益。3. 实验表明，Sketch-GAN的输出可以提高典型草图应用程序的性能，如不完整草图识别和草图编辑。2. 相关工作轮廓完成。轮廓补全在视觉感知中起着重要作用，其目的是将碎片化的低级别边缘元素分组为感知上连贯和突出的轮廓[34]。最近提出了几种基于学习的边缘检测方法[2，57]。Xie等人。 [48]使用卷积网络从整个图像中汇集信息。这些局部[23]或中级轮廓检测模型[34，42，50]通常忽略轮廓闭合的重要问题，最近已对其进行了广泛研究[35]。他们提出了一种新的轮廓完成方法，而不是使用分割，该方法在轮廓域中产生闭合轮廓。本文研究的是草图修复技术，其目的是修复损坏的草图或手绘线条中缺失的线条，而不是在轮廓修复中从自然图像中提取边缘。由于草图的模糊性、差异性和抽象层次的不同，草图的完成比轮廓的完成更具图像完成。另一个与草图完成相关的问题是图像完成，两者都旨在填充缺失的笔画或区域。现有的图像修复方法可以分为基于扩散的图像合成方法和基于扩散的图像合成方法。论文和基于补丁的方法。基于扩散的方法应用过滤器来传播目标区域附近的局部图像外观以填充它们[4，25]。提出了基于补丁的方法用于较大的缺失区域和复杂的图像完成[12，18，24]。遗憾的是，依赖于手工制作的特征，这些传统的图像完成方法只能修复小的损坏区域，并且不能生成在原始损坏图像中不存在的新对象。最近，卷积网络已被应用于图像完成[37，51]。已经提出了一种联合多平面自回归和基于低秩的方法，用于从随机采样中完成图像[26]。Beak等人 [3]提出了一种多视图图像完成方法，该方法通过传播空间结构来提供不同视图之间的几何草图补全和图像补全都属于生成式模型。与图像完成相比，草图完成更具挑战性，因为手绘草图缺乏用于草图理解的颜色和上下文信息。虽然这些图像完成方法在不完整的自然图像上工作得很好，但由于自然图像和草图之间的风格和内容差距，生成 对抗性 网络 （GAN）。GANs [15]在图像生成方面取得了令人印象深刻的结果[5]，年龄完成[20]和图像编辑[38]。GAN训练两个网络，生成模型G和判别模型D。在收敛时，D可以拒绝看起来假的图像，G可以产生高质量的图像，这可以欺骗D。已经提出了各种各样的GAN用于IM-5832图2.SketchGAN架构概述我们的网络建立在具有级联编码解码器架构的条件GAN该网络使用不完整的草图作为输入，并预测完成的草图及其草图分类标签。我们说明了一个三级网络，这是所选择的架构。在第一阶段，我们使用原始的不完整草图x作为输入，并得到一个大致完成的草图输出y1。 在下一级中，我们将x和y1馈送到生成器，并获得第二级联级的输出y2。最后，所有先前级联级y1和y2的输出与原始x一起被馈送到发生器。我们将输出的最后级联级Y3到该分类器和草图分类器。年 龄 转 换 问 题 ， 如 DA-GAN [32] ， TP-GAN [19] 和starGAN [10]。Pix2Pix [21]研究了使用条件对抗网络作为图像到图像翻译问题的通用解决方案。CycleGAN[56]引入循环一致性损失以在没有配对训练示例的情况下学习从源域到目标域的映射。条件GAN已应用于文本[55，41]，图像[1]和草图[29]。在草图理解领域，条件GAN被成功应用于增强草图识别[11]，SBIR [16]和基于草图的图像生成[8]的性能多任务网络。多任务CNN模型广泛用于各种图像处理[28，6，49]和计算机视觉[22，30，49]应用。受最佳任务估计器可以根据任务本身而变化的想法的启发，Mejjati等人。 [33]提出了一种新的多任务学习方法，可以应用于多个异构任务估计器。Kiran等人。 [45]提出SketchParse用于自动解析手绘对象草图。该架构采用对象姿态预测作为一种新的辅助任务，以提高整体草图解析性能。在本文中，我们探索学习草图完成使用草图类别识别作为辅助任务。我们的方法在几个方面不同于以前的工作。据我们所知，我们是第一个进行系统的研究，素描完成，不能很好地解决现有的图像完成方法。耗氧物质我们进一步提出了一种用于生成对抗网络的级联策略，该策略迭代地细化草图完成结果。最重要的是，我们共同解决了草图完成和草图识别问题，实验表明这两个任务可以相互受益3. 方法草图完成网络SketchGAN的架构如图2所示。简而言之，给定一个不完整的草图x作为输入，我们的架构通过多个阶段（图中的3个阶段）迭代地细化它。在每个阶段，生成器G从先前的阶段（如果适用的话）获取输入x和输出，并且产生更好的完成的草图G（x）。最后一级的生成的草图图像G（x）由伪网络D判断是真还是假。最后，我们设置了一个草图识别网络作为辅助网络，以提高草图完成的主要指标。3.1. GAN和确认损失我们的方法基于生成对抗网络（GAN）[15]。GAN是一种生成模型，它学习从随机噪声向量z到输出图像y的映射：G：z→y。相反，条件GAN学习从观察图像x和随机噪声向量z到输出图像y的映射：G：{x，z} →y。表示5833cGAN通过pz和p数据，z和实际数据X.条件GAN的目标可以被公式化为：LcGAN（G，D）=Ex，ypdata（x，y）[logD（x，y）]+Expdata（x），zpz（z）[log（1−D（x，G（x，y））]，其中，生成器G被训练以最小化该目标，对抗试图最大化该目标的对抗D，即，G=arg min max L（G，D）.连同原始的被破坏的草图图像X和第一级联级Y1的输出。在Sketchy数据库[44]上进行了级联级数的网络实验这个级联网络可以被看作是一个循环完成过程，因为原始输入x和中间输出都被重复地馈送到生成器。直到最后一个级联阶段，输出才被馈送到判别器或分类网络。G D我们进一步利用Pix2Pix [21]提出的改进的损失，其中，GAN不观察x，并且l1距离与GAN目标混合以鼓励更少的模糊：LcGAN（G，D）=Eypdata（y）[logD（x，y）]+3.3. 草图识别我们采用草图识别网络C作为草图完成的辅助网络。图2中右上方的框中显示了C的体系结构。使用草图识别作为辅助任务的动机如下。ExBracket数据 （x），z<$pz（z）[log（1−D（x，G（x，y））]，一方面，完成的草图有助于提高草图识别性能 尽管草图识别具有L L1（G）= E x，y，z[||y − G（x，z）||1]中。辅助草图识别损失最大化预测标签和地面实况标签之间的L ac（C）= E[log P（C = c|y）]并且生成器最大化相同的对数似然Lac（G），其中分类器和分类器是固定的。我们的总损失函数定义如下：虽然对草图识别的研究已经比较广泛，但对草图识别中的误识问题正如我们稍后将在第4节中展示的那样，我们的草图完成方法的输出提高了现有草图识别算法的性能。另一方面，由于正确完成的草图更容易分类，这反过来又促进了更好的草图完成。实验结果表明，辅助草图识别任务的完成效果优于没有草图识别任务。G=argmin maxLcGAN（G，D）+λ1LL1（G）+λ2Lac（G），3.4. 网络架构G D生成器. 根据这些生成器架构，其中λ1和λ2是平衡不同损失项的权重我们根据经验设定λ1=100，λ2=0。5、性能好。此外，我们让我们的最终网络学习从x到y的映射，而不需要z，这与Pix2Pix [21]一致。我们只在生成器的几个层上以dropout的形式应用噪声3.2. 级联策略我们提出了一个级联模块，以进一步细化已完成草图的轮廓闭合，并提高基线性能，该模块可以以多阶段的方式进行训练，并在准确性和效率之间保持良好的平衡。我们的方法使用顺序迭代进行细化，从初始模型输出开始，然后通过迭代使用原始输入和前一阶段的所有输出来细化输出。每个级联级建立在条件GAN网络上，但不共享不同级联级的网络参数。更具体地说，第一级联级y1的输出与原始损坏的草图图像x一起被馈送到下一级联级。第二级联级y2的输出被馈送到第三级联级，在[21]中，编码器和解码器堆栈中的镜像层之间的跳过连接已经被添加到生成器，遵循“U形网”的一般形状我们的输入是原始输入和前几级输出的融合信息。输入被馈送到由两个卷积层组成的预处理网络。我们使用8个上卷积层，内核大小为4，步幅为2。在所有层中使用批量归一化层和整流线性单元（ReLU）激活在Pix 2 Pix的输出层中，我们使用tanh激活，然后将其映射到输出中的[0，1]，而不是使用鉴别器。 受工作的启发[20]，我们使用两个COM-网络中的ponents。地方歧视--Tor算法只关注局部区域的完整性来区分伪草图图像和真草图图像，而全局Tor算法则关注整个图像的一致性和轮廓闭合效应。网络的输出通过级联层融合在一起，然后是完全连接的最后，我们使用tanh激活，然后将结果映射到输出中的[0，1]，其中0表示假，1表示真。分类器我们已经采用Sketch-a-Net作为我们的5834草图识别辅助网络C. Sketch-a-Net是一种用于手绘草图识别的最先进的CNN模型C的网络架构如图2右上方的方框所示草图识别辅助网络与SketchGAN的其余部分一起以端到端的方式使用交叉熵损失进行训练。4. 实验和结果4.1. 数据集和评估指标数据集。Sketchy数据库（Sketchy）[44]是第一个大规模的素描-照片对集合。从125个类别中选取了特定的该数据库广泛用于与细粒度草图相关的应用程序。数据预处理。我们通过为每个类别随机绘制损坏的草图来对Sketchy数据库进行数据增强。该数据集被随机分为训练集和测试集，分别包含80%和20%的草图。对于每个草图，我们生成一个随机大小和随机位置的空白矩形掩码来删除原始草图并得到损坏的草图。如果原始草图和损坏的草图之间的差异在10%-40%范围内，则将损坏的草图保存在数据库中，来模拟草图上典型的缺失内容。 我们一般-吃一个损坏的草图为每个草图，并最终获得约500损坏的草图为每个类别。我们的草图完成网络设计是灵活的，以应付任意数量的草图类别。我们对Sketchy的11个草图子类别（汽车（轿车），牛，马，猫，狗，羊，飞机，摩托车，自行车，鸣禽，皮卡）进行了消融实验并与最先进的方法进行了比较[44]。这些子类别与SKETCHPARSE网络[45]中为一般草图解析工作设计的子类别一致。1此外，我们还对大量的草图类别进行了草图完成，实验表明，我们的模型即使对来自Sketchy数据库的所有125个类别也具有稳定的性能评估指标。首先，我们采用一种直接的像素到像素的比较方法。我们只计算损坏掩码内的度量。四种广泛使用的度量，即，计算完成的黑色像素的精确度Precision、完成的黑色像素的召回率Recall、F度量F-Measure和准确度Accuracy这种逐像素比较的方法对于测量草图完成的性能并不完美，因为适当的草图不可避免地会发生变化。最终，草图完成的目标是使生成的草图[1]实际上，SKETCHPARSE使用的数据来自TU-Berlin，而巴士和鸟这两个类别在Sketchy中找不到。在这里，我们使用汽车（轿车）和鸣禽代替。对人类来说是合理的如果生成的草图与用于生成它们的原始草图不匹配，则其精度或召回率相对较因此，我们还对结果进行了目视检查，并进行了两项用户研究（参见第4.5节）。图3.损坏的草图及其相应的已完成草图和原始地面实况草图的示例我们表明，完成的草图看起来不错，但它们是从地面真相不同，从而导致低精度和召回。4.2. 草图完成结果比较结果。在本节中，我们将展示上述11个对象类别的草图完成结果。表1显示了Sketchy数据库中不同类别的定量性能每个类别包含大约550个草图，我们为每个原始草图制作一个损坏的草图。因此，所有11个类别的训练和测试损坏草图的总数分别为6，196和1，184。表1.在Sketchy数据库里找到了结果我们同时使用11个类别进行实验，并报告单个类别的性能。实验结果表明，该方法在各种草图类别的草图完成任务中是有效的，性能稳定。草图类别精密度（%）召回率（%）F-测量值（%）精度（%）牛76.7449.7760.3892.30马72.7747.2257.2790.61猫75.5648.2358.8791.25狗73.2444.9355.6991.26羊77.7550.2361.2892.35皮卡74.8651.6461.1289.82车75.3351.9061.4691.45自行车76.4760.4767.5388.32摩托车79.5661.6869.4989.87飞机77.4155.8564.8892.85鸣禽70.7548.3257.4293.00消融研究。与传统的面向照片的DNN（如Pix2Pix和DCGAN）相比，我们的SketchGAN具有两个明显的特征（见第3节）：（i）级联网络架构，（ii）利用辅助草图的策略5835图4.消融研究的结果显示了我们方法中各个组件的贡献表2.我们方法中不同组分组合的比较。结果表明，所提出的两种策略都有助于SketchGAN的最终强劲表现。方法精密度（%）召回率（%）F-测量值（%）精度（%）SketchGAN75.6252.0761.6791.09无级联79.7948.8160.5791.05无分类器56.1236.2244.0289.48识别网络在本节中，我们将评估每个功能的贡献。具体来说，我们检查我们的完整模型的三个烧蚀版本：具有所有特征但没有级联的SketchGAN（无级联），具有所有特征但没有辅助草图识别网络的SketchGAN（无分类器），即没有类别标签，11个类别一起训练和测试，Sketch- GAN具有所有功能。我们在图4中显示了草图完成结果，以进行可视化分析。表2中的结果表明，这两种策略都有助于SketchGAN的最终特别是，（i）从视觉结果来看，在没有所提出的级联策略的情况下，可能会产生更多的虚线和中间完成的草图，并且级联策略在大的损坏区域上导致更好的完成结果（ii）辅助草图识别网络通过提供强类别先验，在多类对象存在时大大提高了草图实验结果表明，该方法能够得到可靠的草图完成结果.级联策略有助于使完成的草图保持轮廓闭合，在没有草图识别辅助网络的情况下，完成结果容易失真由于网络直接输出修补的草图而不是填充孔，因此输出草图可能与非缺失区域的输入不同。我们对非缺失区域进行评估。我们的Sketch-GAN的实验表明，非缺失区域得到了很好的保留，93。46%的精确度和85。72%的回忆。网络性能分析。 我们进行了实验，以评估不同的收入，有很多被破坏的草图本实验在相同的条件下，用不同的不完全率进行一系列的比较。表3表明，我们的算法在不同的不完整程度下都有很好的草图完成性能。如果草图的不完整率达到40%，我们的草图完成方法表现良好。当不完全率超过40%时，这在实际应用中是相当极端的，我们的模型的性能下降。表3.不同的不完整率，其完井精度也不同我们的草图完成方法表现良好时，在-完成率低于40%，完成能力下降当缺失区域较大时。损坏草图0%- 10%10%- 20%20%- 30%30%- 40% 40%- 50%精密度（%）93.1991.0087.5785.3467.43召回率（%）78.4983.5774.8665.4731.84F-测量值（%）82.2287.1380.7274.1043.26此外，我们还进行实验，以评估性能与不同数量的草图categories。在实验中，我们在相同的条件下进行了一系列的比较，但逐渐增加素描类别。表4表明，我们的算法在不同数量的草图类别下都有很好的草图完成性能，我们的方法甚至对草图数据库中的所有125个草图类别都表现良好。因此，我们的方法也具有良好的泛化能力。表4.完成精度随草图类别数量的不同而变化。我们的方法表现良好，甚至与所有的125个类别从Sketchy数据库，证明了generalizability的方法。草图类别1481150125精密度（%）67.2371.6572.2175.6282.9179.66召回率（%）41.9048.9450.4852.0759.4254.32F-测量值（%）51.6358.1659.4261.6769.2364.604.3. 与现有技术方法的我们将我们的方法与最先进的方法进行比较：Pix 2Pix [21]，DCGAN [40]，GlobalLocalImageComple- tion[20]，生成图像修复[52]。Pix2Pix和5836图5.与最先进方法的比较。表5. 与最先进方法的比较。 我们的方法比最先进的方法取得了更好的结果：Pix2Pix [21]，DCGAN [40]，全局和局部一致的图像完成[20]和生成图像修复[52]。方法精密度（%）召回率（%）F-测量值（%）精度（%）我们的方法75.6252.0761.6791.09[21]第二十一话33.1711.9917.6185.52DCCAN [40]14.9624.2718.5174.34[20]第二十话22.4918.2578.4820.15[52]第五十二话64.2511.4119.3889.17DCGAN 是 基 于 GAN 的 方 法 ， 而 GlobalLocalImage-Completion和Generative Image Inpainting是图像修补方法。表5显示了我们的方法和最先进方法的定量评价图5显示了用于视觉比较的示例。在草图绘制方面，我们的网络在完成性能和视觉效果方面优于基线。与Pix2Pix [21]相比，我们的方法在轮廓连通性方面产生了更好的结果DCGAN [40]通常产生模糊的草图。两种最先进的图像修复方法经常产生错误的笔画。4.4. 应用不完整的草图识别。我们设置我们的草图完成作为一个有效的中间步骤，以解决不完整或损坏的草图识别的问题。草图完成在草图识别之前进行。如第1节所述，图1显示了不完整的草图识别过程，其中有和没有我们的草图完成作为中间步骤。此外，我们还发现，草图识别率的提高在很大程度上受到损坏数据的当不完整率较低时，现有的草图识别方法可以很好地处理这类输入数据，但随着不完整率的增加，这些方法不能保持同样的性能水平。在这种情况下，我们的草图完成有助于显着提高识别性能。在这里，我们使用两种众所周知的草图识别方法进行不完整的草图识别实验：[46]第53话，我的朋友图6显示了草图识别性能w.r.t.不同的草图不完整率，表明我们的不完整草图识别方法是通用的，5837提出了一般的草图识别方法。使用我们的草图补全方法作为不完整草图识别任务的中间步骤，可以显著提高识别的准确率，特别是对于严重损坏的草图。图6.根据草图的不完整率提高草图识别率。这里使用的草图识别方法分别是Sketch-a-net [53]和Sketch-object- recognition[46]。草图编辑。手绘草图通常在场景中是不完整的，例如具有多个对象的场景、中间草图或由于图像分割而损坏的草图。无论是著名的sketch2photo问题[7]还是目前的草图识别研究都没有考虑或处理提供损坏草图的情况，这给后期草图应用带来了巨大的障碍和限制。在这里，我们使用我们的草图完成方法作为中间步骤，它提供了一种新的草图应用模式（见图7）。图7.草图编辑。当分析或分割草图场景时，会出现损坏的草图。以草图完成为关键步骤，我们可以更容易地处理草图后的应用，包括草图重组，着色，SBIR，基于草图的图像生成等。4.5. 用户研究由于像素级的比较并不总是给草图完成质量的有意义的措施，我们进一步设计用户研究，以评估我们的草图完成方法。用户研究I. 我们询问了15名用户（8名男性和7名女性）来评估我们完成草图的自然度，因为没有标准化的标准来评估草图质量[9]。参与者的平均年龄为24.5岁。在实验前，我们向参与者解释了实验的目的和过程。每个实验持续约15分钟。在我们的测试中，用户会看到随机选择的草图，无论是来自数据集的原始草图还是通过我们的方法完成的损坏草图，并要求他们评估草图是实际的手绘草图还是完成的草图。结果显示，我们的草图完成结果平均有38%欺骗了人们，56%的手绘草图被视为手绘。这表明，从用户的角度来看，我们完成的用户研究II. 接下来，我们分析了主观质量判断的完成草图处理我们的方法和其他图像完成方法。我们采用了一种简单可靠的在心理学研究中广泛使用的两种备选力选择（2AFC）方案。20名参与者被要求在我们的方法和Pix 2 Pix或GlobalLo-calImageCompletion的结果之间选择一个更好的。图像以随机顺序显示，以避免偏差。结果表明，超过76%和84%的用户认为我们的方法 的 完 成 结 果 优 于 Pix 2 Pix 和 GlobalLocal-ImageCompletion，证明我们的方法优于从用户角度来看最先进的方法5. 结论本文提出了一种新的草图自动补全与识别方法，采用级联网络和条件GANs相结合的补全模型实验表明，该模型在各种草图完成任务中表现良好虽然已经取得了良好的性能，但在未来的工作中仍然有许多问题需要解决，例如处理不同风格的草图和同时处理多个对象等。此外，在我们目前的实验设置中，草图的缺失区域被限制在50%以内.然而，用户可能在触摸屏设备上用更少且不准确的笔画绘制非常粗略的草图。我们将在未来扩展该框架以完成缺失率较大的草图。致谢：这工作是支持国家重点研究发展计划 （ 2016YFB1001200 ） 、 国 家 自 然 科 学 基 金（61872346、61725204、61473276）、北京市自然科学基金（L182052）、英国皇家学会牛顿高级院士（NA150431）。5838引用[1] 格里高利·安提波夫，莫埃斯·巴库什，让·吕克·杜日莱.用条件生成对抗网络来面对衰老。在IEEE图像处理国际会议上，第2089-2093页[2] 巴勃罗·阿贝雷斯，迈克尔·梅尔，查利斯·福克斯，还有吉滕·德拉·马利克.轮廓检测和分层图像分割。IEEETransactions on Pattern Analysis Machine Intelligence ，33（5）：898[3] Seung Hwan Baek、Inchang Choi和H.基于空间结构传播的多视点图像完成.在IEEE计算机视觉和模式识别会议上，第488-496页[4] Coloma Ballester，M Bertalmio，V Caselles，GuillermoSapiro，and Joan Verdera.矢量场和灰度级联合插值填充IEEE Transactions on Image Processing，10（8）：1200[5] Jianmin Bao，Dong Chen，Fang Wen，Houqiang Li，and Gang Hua.CVAE-GAN：通过非对称训练生成细粒度图像。在IEEE计算机视觉国际会议上，第2764-2773页[6] Jiajiong Cao，Yingming Li，Zhongfei Zhang.局部约束部分共享多任务卷积神经网络人脸属性学习。在IEEE计算机视觉和模式识别会议上，第4290- 4299页[7] Tao Chen ， Ming-Ming Cheng ， Ping Tan ， ArielShamir，and Shi-Min Hu.草图2照片：互联网图像蒙太奇。ACM Transactions on Graphics，28（5）：124：1[8] 陈文玲和詹姆斯·海斯。SketchyGAN：走向多样化和现实主义的素描图像合成.在IEEE计算机视觉和模式识别会议上，第9416-9425页[9] Yajing Chen，Shikui Tu，Yuqi Yi，and Lei Xu. Sketch-pix 2seq ： 一 个 生 成 多 个 类 别 草 图 的 模 型 arXiv ：1709.04121，2017年。[10] Yunjey Choi，Minje Choi，Munyoung Kim，Jung-WooHa，Sunghun Kim，and Jaegul Choo. StarGAN：用于多域图像到图像翻译的统一生成对抗网络在IEEE计算机视觉和模式识别会议上，第8789-8797页[11] Antonia Creswell和Anil Anthony Bharath。草图检索的对抗训练。欧洲计算机视觉会议，第798-809页。施普林格，2016年。[12] Soheil Darabi，Eli Shechtman，Connelly Barnes，Dan BGoldman，and Pradeep Sen.图像融合：使用基于块的合成 来 组 合 不 一 致 的 图 像 。 ACM Trans-actions onGraphics，31（4）：82：1[13] Mathias Eitz，James Hays，and Marc Alexa.人类如何绘制物体？ACM Transactions on Graphics，31（4）：1[14] Mathias Eitz，Kristian Hildebrand，Tamy Boubekeur，and Marc Alexa.基于草图的图像检索：基准和特征袋描述符。IEEE Transactions on Visualization and ComputerGraphics，17（11）：1624[15] Ian J Goodfellow，Jean Pouget-Abadie，Mehdi Mirza，Bing Xu ， David Warde-Farley ， Sherjil Ozair ， AaronCourville，还有约舒亚·本吉奥生成对抗网络。Advances in NeuralInformation Processing Systems，3：2672[16] Longteng Guo ， Jing Liu ， Yuhang Wang ， ZhonghuaLuo，Wei Wen，and Hanqing Lu.使用生成对抗网络进行基于草图的图像检索。在ACM国际多媒体会议上，第1267-1268页[17] 何君燕、小舞、姜玉刚、赵波、彭强。基于深度视觉-序列融合模型的草图识别。在ACM国际多媒体会议上，第448-456页[18] 何开 明和 孙健 。图 像完 成的补 丁偏 移量 统计 。在European Conference on Computer Vi-sion，第16-29页[19] 黄锐，张舒，李天宇，何冉，等.超越面旋转：全局和局部感知GAN用于照片真实感和身份保持的正面视图合成。在IEEE计算机视觉国际会议上，第2458-2467页[20] Hiroshi Ishikawa ， Hiroshi Ishikawa ， and HiroshiIshikawa. 全 局 和 局 部 一 致 的 图 像 完 成 。 ACMTransactions on Graphics，36（4）：107：1[21] Phillip Isola，Jun Yan Zhu，Tinghui Zhou，and Alexei A.埃夫罗斯使用条件对抗网络的图像到图像翻译。在IEEE计算机视觉和模式识别会议上，第5967-5976页[22] Alex Kendall Yarin Gal和Roberto Cipolla使用不确定性来权衡场景几何和语义损失的多任务学习。在IEEE计算机视觉和模式识别会议上，第7482-7491页[23] R.肯尼迪和J.加利尔轮廓切割：通过求解厄米特特征值问题识别图像中的显著轮廓。在IEEE计算机视觉和模式识别会议上，第2065-2072页[24] Marin Kppel，Mehdi Ben Makhlouf，Karsen Mller，andThomas Wiegand.基于块偏移统计的快速图像补齐方法。IEEEInternational Conference on Image Processing，第1795-1799页[25] Anat Levin，Assaf Zomet和Yair Weiss。学习如何从全局 图 像 统 计 中 进 行 图 像 修 补 。 IEEEInternationalConference on Computer Vision，第1卷，第305[26] Mading Li，Jiaying Liu，Zhiwei Xiong，Xiaoyan Sun，and Zongming Guo. Marlow：一种联合多平面自回归和低秩图像完成方法。欧洲计算机视觉会议，第819-834页[27] Liu，Fumin Shen，Yuming Shen，Xianglong Liu，andLing Shao.深度草图散列：基于手绘草图的快速图像检索。IEEE计算机视觉与模式识别会议，第2298[28] Yang Liu，Zhaowen Wang，Hailin Jin，and Ian Was-sell.多任务对抗网络用于解纠缠特征学习。在IEEE计算机视觉和模式识别会议上，第3743-3751页[29] 卢永义、吴尚哲、戴玉荣及邓志强。使用深度上下文完成的草图到图像生成。2018年欧洲计算机视觉会议。5839[30] Diogo C Luvizon，David Picard，and Hedi Tabia.使用多任务深度学习进行2D/3D姿态估计和动作识别。在IEEE计算机视觉和模式识别会议上，2018年。[31] 马翠霞，刘永进，付秋芳，刘烨，付小兰，戴国忠，王宏安。视频小品的归纳、互动与认知分析。ScientiaSinica，43（8）：1012，2013.[32] Shuang Ma，Jianlong Fu，Chang Wen Chen，and TaoMei. DA-GAN：深度注意生成对抗网络的实例级图像翻译。在IEEE计算机视觉和模式识别会议上，第5657-5666页[33] Youssef A Mejjati，Darren Cosker和Kwang In Kim。通过最大化统计相关性的多任务学习在IEEE计算机视觉和模式识别会议上，第3465-3473页[34] Yansheng Ming，Hongdong Li，and Xuming He.连接的轮廓：一种新的考虑闭合效应的等高线完井模型。在IEEE计算机视觉和模式识别上，第829-836页[35] Y. Ming，H. Li和X.他外不带区域分割的轮廓完成。IEEE Transactions on Image Processing ， 25 （ 8 ） ：3597，2016。[36] Umar Riaz Muhammad，Yongxin Yang，Yi-Zhe Song，Tao Xiang，and Timothy M Hospedales.学习深度素描抽象。在IEEE计算机视觉和模式识别会议上，第8014-8023页[37] DeepakPathak，Phi lippKr aühenbuühl ，Jef fDonahue，Trev orDarrell和Alexei Efros。上下文编码器：通过修复进行特征学习。在IEEE计算机视觉和模式识别会议上，第2536-2544页[38] Guim Perarnau、Joost Van De Weijer、Bogdan Raducanu和Jose M.阿尔瓦雷斯用于图像编辑的可逆条件GAN。arXiv：1611.06355，2016年。[39] Tiziano Portenier ， Qiyang Hu ， Attila Szabo ， SiavashBigdeli ， PaoloFavaro ， andMatthiasZwicker.Faceshop：基于深度草图的面部图像编辑。arXiv预印本arXiv：1804.08972，2018。[40] 亚历克·雷德福卢克·梅斯和苏米特·钦塔拉深度卷积