使用对抗式解析学习进行时尚编辑

8120使用对抗式解析学习进行时尚编辑董浩业1，2，梁晓丹3，张逸轩5，张旭杰1，沈晓辉4，谢振宇1，吴博文1，尹建1，2，张晓1中山大学数据与计算机科学学院2广东省大数据分析与处理重点实验室，广州5100063中山大学智能系统工程学院4字节跳动人工智能实验室，5Petuum Inc.donghy7@mail2.sysu.edu.cn，issjyin@mail.sysu.edu.cnxdliang328@gmail.com，shenxiaohui@bytedance.com摘要交互式服装图像处理是一个很有应用价值的研究课题，它使用户能够用草图和颜色笔画来编辑图像。现有的作品往往把它作为一个一般的修复任务，并没有充分利用语义结构信息的时装图像。此外，它们直接利用传统的卷积和归一化层来恢复不完整的图像，这往往会洗掉草图和颜色信息。在本文中，我们提出了一种新的时尚编辑生成对抗网络（FE-GAN），它能够通过自由形式的草图和稀疏的颜色笔画来操纵时尚图像。FE-GAN由两个模块组成：1）自由形式的句法分析网络，它通过操纵草图和颜色来学习控制人类句法分析生成; 2）解析感知修补网络，其利用来自人类解析图的语义指导来渲染详细纹理。一个新的注意力归一化层被进一步应用在多个尺度上的嵌入式网络的解码器中，以提高合成图像的质量。在高分辨率时尚图像数据集上的大量实验表明，所提出的FE-GAN在时尚图像处理上明显优于现有的方法1. 介绍服装图像处理的目标是利用用户提供的草图和颜色笔划生成高分辨率的逼真的服装图像。它在各种应用中具有巨大的潜在价值。例如，时装设计师可以轻松编辑不同风格的服装设计;电影制作人可以通过控制面部表情来设计角色，通讯作者是殷健男演员或女演员的年龄、发型和体型。在本文中，我们提出了FE-GAN，一个时尚图像处理网络，使灵活和有效的用户交互，如简单的草图和一些稀疏的颜色笔画。FE-GAN的一些交互操作结果如图1所示，这表明它可以生成具有令人信服的和所需细节的逼真图像。总的来说，由于神经网络技术的显著改进，图像处理已经取得了很大的进展[2，6，7，14，17，21，34]。然而，以前的方法通常将其视为端到端的一阶段图像完成问题，而没有灵活的用户交互[12，16，19，20，25，31，32]。这些方法通常不显式地估计然后利用图像中的语义结构信息。此外，它们过度使用传统的卷积层和批量归一化，这在传播期间显著地从输入中溶解了草图和颜色信息结果，生成的图像通常包含不真实的伪影和不期望的纹理。为了解决上述挑战，我们提出了一种新的时尚编辑生成对抗网络（FE-GAN），它由一个自由形式的解析网络和一个具有多尺度注意力归一化层的解析感知修复网络组成与以往的方法不同，我们不直接在一个阶段生成完整的图像相反，我们首先从不完整的输入中生成一个完整的解析图，然后在从生成的解析图中导出的布局上渲染详细的纹理。具体而言，在训练阶段，给定从图像、草图、稀疏颜色笔划、二进制掩码和从高斯分布采样的噪声获得的不完整解析然后，解析感知修复网络将8121图1.我们的FE-GAN的一些交互式结果。输入包含自由形式的蒙版、草图和稀疏颜色笔划。图像分辨率为320×512。请放大以便更好地查看。生成的解析图、残缺图像和合成后的蒙版作为编码器的输入，合成最终的编辑图像。为了更好地捕获草图和颜色信息，我们设计了一个注意力归一化层，它能够学习注意力图，以选择基于草图和颜色的更有效的特征。注意力归一化层以多个尺度插入修复网络的解码器中。此外，我们为修复网络开发了一个前景感知的部分卷积编码器，该编码器仅以前景的有效像素为条件，以实现更准确和有效的图像特征编码。我们在新收集的时尚数据集FashionE和两个具有挑战性的数据集DeepFashion [35]和MPV [4]上进行实验。结果表明，将多尺度注意力归一化层和自由形式解析网络结合起来，可以帮助我们的FE-GAN在定性和定量上显著优于最先进的图像处理主要贡献概述如下：• 我们提出了一个自由形式的解析网络，使用户能够控制解析生成灵活地通过manip- ulating的草图和颜色。• 我们开发了一种新的注意力归一化方法，用于有效地提取基于学习的注意力的特征。电子地图• 我们设计了一个具有前景感知部分卷积层和多尺度注意力归一化层的解析感知修复网络，它可以生成高分辨率的逼真编辑时尚图像。2. 相关工作图像操作。使用遗传对抗网络（GANs）[ 6 ]进行图像处理是计算机视觉中的一个热门话题，包括图像翻译，图像完成，图像编辑等。基于条件GAN [18]，Pix2Pix [11]被提出用于图像到图像的翻译。针对合成高分辨率照片级逼真图像，Pix2PixHD [27]提出了一种具有粗到细生成器和多尺度鉴别器的新框架。[22]设计框架来重新存储原始（方形）蒙版的低分辨率图像，当面对自由形式的蒙版时会产生一些伪影，并且不允许图像编辑。为了弥补这些缺陷，Deepfillv2 [12]利用用户在Deepfillv2之上，Xiong et al.[30]进一步研究了一种前景感知图像修补方法，该方法8122图2.我们FE-GAN的概述我们首先将不完整的人类解析、草图、噪声、颜色和掩码输入到自由形式解析网络中，以获得完整的合成解析。然后，不完整的图像，合成掩模，并合成解析送入解析感知修复网络，通过使用草图和颜色的图像操作。理清结构推理和内容补全解释。Faceshop [25]是一个以草图和颜色作为输入的面部编辑系统。然而，合成的图像会有模糊的边缘上恢复的区域，它会得到不理想的结果，如果太多的区域删除。最近，提出了另一种面部编辑系统SC-FEGAN [31]，当用户提供自由形式作为输入时，该系统生成高质量的图像。然而，SC-FEGAN是为面部编辑而设计的。本文提出了一种基于草图和稀疏颜色的服装编辑系统，该系统利用了以往方法中忽略的解析图中的特征。 此外，我们引入了一种新的多尺度注意力归一化，以提取更重要的特征的条件下的素描和颜色。归一化层。规范化层已经成为现代深度神经网络中不可或缺的组成部分。Inception- v2网络中使用的批量归一化（BN）[9]，使深度神经网络的训练更容易。其他流行的标准化层，包括实例标准化（IN）[3]，层标准化（LN）[13]，权重标准化（WN）[24]，组或归一化（GN）[33]被归类为无条件归一化层，因为在归一化过程中不使用外部数据。与上述归一化技术相反，条件归一化层需要外部数据。具体地，层激活首先被归一化为零均值和单位偏差。然后，从外部数据推断学习的仿仿射变换在不同的任务中是不同的。对于样式转换任务[26]，仿射参数是空间不变的，因为它们仅控制输出图像的全局样式。对于语义图像合成任务，SPADE [23]应用空间变化仿射变换来保留语义信息。但对于时尚编辑，稀疏的草图和颜色笔画将逐渐消失在深SPADE块中，因为归一化往往会洗掉这些稀疏的特征。在本文中，我们提出了一种新的规范化技术命名为注意力规范化层。注意力归一化层不是直接学习仿射变换，而是学习注意力图来提取重要信息。8123M=（1−M）M+β从正常化激活。注意规范化层具有更紧凑的结构，占用更少的计算资源。合成掩码可以表示为：′前景、（1）3. 时尚编辑提出了一种新的服装图像编辑方法，允许用户在感兴趣的区域上用少量的草图和稀疏的颜色笔划编辑图像。FE-GAN的概述如图2所示。我们的FE-GAN的主要组件包括一个自由形式的解析网络和一个解析感知修复网络与多尺度注意力归一化层。我们首先讨论自由形式解析网络。它可以操纵由自由形式的草图和颜色引导的人类解析，并且对于帮助解析感知修复网络产生令人信服的交互结果至关重要。然后，我们描述了在修复解码器中插入多个尺度的注意力归一化层，该注意力归一化层可以选择性地提取有效特征并增强视觉质量。最后，我们给出了一个详细的描述，在我们的FE-GAN的学习目标函数3.1. 自由形式解析网络与直接恢复不完整的图像相比，从不完整的解析图预测解析图更可行，因为解析图中的细节较少。同时，解析图中的语义信息可以指导精确绘制图像各部分的细节纹理。为此，我们提出了一个自由形式的解析网络，在给出一个不完整的解析图和任意的草图和颜色笔画时，可以合成一个完整的解析自由形式解析网络的体系结构在图2的左上部分示出。它基于像U-net这样的编码器-解码器架构[21]。编码器接收五个输入：不完整的解析图、描述被移除区域的结构的二进制草图、从高斯分布采样的噪声、稀疏的颜色笔划和掩模。值得注意的是，给定相同的不完全句法分析图，不同的草图和颜色笔画，自由形式句法分析网络可以合成不同的句法分析图，这表明我们的句法分析生成模型是可控的。这对于我们的服装编辑系统有着重要的意义，因为不同的解析映射指导着在编辑图像中呈现不同的内容。其中M′、M和M前景分别是合成掩模、原始掩模和前景掩模。表示逐元素相乘。除了部分卷积编码器外，我们还介绍了一种标准的卷积编码器，从合成的解析图中提取语义特征。人类解析图具有将指导修复的语义和位置信息，因为具有相同语义的区域中的内容应该是相似的。给定语义特征，网络可以更精确地渲染特定区域上的纹理。两个编码的特征图以通道方式连接在一起。然后，连接的特征图经历几个扩张的残留块。在上采样过程中，引入了设计良好的多尺度注意力归一化层来获得注意力地图，该注意力地图以草图和颜色笔画为条件。学习的注意力地图有助于在前向活动中选择更有效的特征。我们将在下一节中解释细节。3.3. 注意力规范化图层受SPADE [23]的启发，我们设计了一种条件归一化的变体，称为注意力归一化层（ANL）。然而，ANL不是直接从外部数据推断仿射变换，而是学习用于提取早期归一化激活中的重要信息的注意力图图2的右上部分说明了ANL的设计。ANL的详细信息如下所示。令xi表示深度神经网络中第i层的激活设N表示一个批次中的样本数量。设Ci表示xi的通道数。设Hi和Wi分别表示第i层激活图的高度和宽度当激活xi通过ANL时，它们首先以通道方式被归一化然后通过学习的注意地图和偏见来调制归一化的激活最后，调制的 激 活 通 过 整 流 线 性 单 元 （ RECITED LINEARUNIT）和卷积层，并与原始的归一化激活级联。最终确认前的激活值在位置（n∈N，c∈Ci，h∈Hi，w∈Wi）处的连接被标记为：3.2. 解析感知修复网络解析感知修复网络的架构在图2的底部示出。受启发[16]，ic，h，w （d）其他事项in，c，h，wIc我Cic，h，w（d））、（2）我们引入部分卷积编码器来提取FEA，其中f（x）表示卷积和卷积运算，从不完整图像中的有效区域中提取真实图像。而不是in，c，h，w是之前直接使用掩模，我们利用合成掩模，标准化，μi和σi是平均值和标准差。C c使网络仅聚焦于前景区域。通道c的激活作用。 与BN [9]相同，我们Xf（ασ-µX8124CCc，h，w图3.与Deepfill v1 [32]，Partial Conv [16]和Edge-connect [19]的定性比较将其表述为：µi=1µxi（三）Lfeat[27]和总变差损失LTV[14]来规范训练。我们定义了一个面电视损失，以消除文物的在人脸区域上使用LTV进行人脸识别我们定义一个面具丢失cNHi Win，h，wn，c，h，w通过在掩码区域上使用L1范数，令IGen是gener-.设I为真实，M为掩模，σi=1NHiWiΣin，c，h，wn，h，w）2−（µi）2（4）其计算为：L掩码=||IgenM−IrealM||第1条，第（5）项ic，h，w（d）和βi（d）学习注意力地图，我们还定义了前景损失来增强前景用于调制归一化层的偏置，其与本文主要介绍了外部数据D，即素描、色彩笔画和噪声我们的实现质量.设M前景为前景部分的掩模，则L前景可以正式计算为：IN，H，WIN，H，W都很简单。外部数据L前景=||Igenpumpingforeground−Irealpumpingforeground||第一条第（六）项首先通过卷积投影到嵌入空间中，层然后由另一个卷积层产生偏差ANL的有效性是由于其固有的特性。与SPADE [23]类似，ANLs也可以避免在激活中冲走语义信息，因为注意力地图和偏见是空间变化的。此外，多尺度ANL不仅可以在上采样时适应不同尺度的激活，还可以从外部数据中提取由粗到细的语义信息，从而更精确地指导服装编辑。3.4. 学习目标函数由于残缺图像的纹理复杂、草图和颜色笔画的多样性，自由形式解析网络和解析感知修复网络的训练是一项具有挑战性的任务。To address these problems, weapply several losses to make the training easier and morestable in different aspects.具体来说，我们应用adversar-ial lossLadv [6]，perceptual lossLperceptual [14]，style lossL风格[14]，解析损失L解析[5]，多尺度特征损失类似于L前景，我们提出了一种人脸损失L人脸，以提高人脸区域的质量。用于自由形式解析网络的总体目标函数Lfree-form-parser被公式化为：L自由形式解析器=γ1L解析+γ2L特征+γ3Ladv，（7）其中超参数γ1、γ2和γ3是每个损失的权重。用于解析感知修补网络的总体目标函数L修补器被写为：L内画=λ1L蒙版+λ2L前景+λ3L人脸+λ4LfaceTV+λ5L知觉+λ6L风格+λ7Ladv，（八）其中，超参数λ i（i=1，2，3，4，5，6，7）是每个损失的权重。（xαα和β81254. 实验4.1. 数据集我们在DeepFashion[35]上从Fashion Image Synthesis轨道进行实验。它包含38，237张图像，分为训练集和测试集，其中29，958张图像，8126图4.输入示例自由形式解析网络的输入包括不完整解析、草图、颜色、遮罩和噪声;解析感知修复网络的输入包括不完整图像和合成遮罩。注意力标准化层的输入是草图、颜色和噪声。我们首先使用第一行第三列中显示的Canny [1]生成草图然后，我们使用人类解析器[5]来提取人的每个部分的中值颜色，如第一行的第5列所示8,279张图片。MPV[4]包含35，687个图像，分为训练集和测试集，29，469和6，218个样本。 为了更好地为时尚编辑社区做出贡献，我们收集了一个新的时尚数据集，名为FashionE。它包含7，559张图片，大小为512×320。 在我们的实验中，我们把它分成一组6,106张图片和1,453张图片的测试集数据集将在本作品出版后发布。所有数据集的图像大小为512×320我们在实验中使用了[16]提供的不规则掩码数据集。原始数据集包含55,116个用于训练的掩码和24,866个用于测试的掩码。我们随机选择了12，000张图像，将其分为一个9，600个面具的训练集为了模拟自由形式的颜色笔划，我们利用[10]中的一个不规则掩码数据集作为不规则笔划数据集。在我们的实验中，掩模区域代表中风。在我们的实验中，我们将其分为50，000个面具的训练集和10，000个面具的测试集。所有的面具都被调整为512 ×320。4.2. 度量. 我们评估了我们提出的方法，以及三个指标的比较方法，PSNR（峰值信噪比），SSIM（结构相似性指数）[28]和FID（Fre'chetInceptionDistance）[8]。我们申请亚马逊机械土耳其人（AMT）评价定性结果。4.3. 实现细节培训程序。训练过程分为两个阶段.第一阶段是训练自由格式句法分析网络。我们在损失函数中使用γ1=10，γ2= 10，γ3第二阶段是训练解析感知修复网络。我们使用λ1= 5.0，λ2= 50，λ3= 1.0，λ4= 0.1，λ5= 0.05，损失函数中λ6= 200，λ7对于这两个训练阶段，我们使用Adam [15]优化器，β1= 0.5，β2= 0.999，学习率为0.0002。阶段1的批量为20，阶段2的批量为8。在每个训练周期中，我们训练一个发电机一步，稳压器一步所有的实验都是在4个Nvidia1080 Ti GPU上进行的。草图颜色域。从图像中提取草图和颜色域的方法类似于SC-FEGAN。代替使用HED [29]，我们通过Canny边缘检测器[1]生成草图。根据人工分析的结果，我们使用每个分割区域的中值颜色来表示该区域的颜色更多细节见图4。如图1所示，所有的草图输入都是由人绘制的。随机蒙版裁剪边缘、颜色和噪波。注意，输入包括高斯噪声，这增强了模型的鲁棒性，允许生成8127图5.与Deepfill v1 [32]，Partial Conv [16]和Edge-connect [19]的一些交互式比较图像与实际草图绘制。鉴别器。在自由形式解析网络中使用的多尺度分解具有与Pixel 2 PixelHD [27]中的多尺度分解类似的结构，其具有两个Patch-GAN鉴别器。在解析感知修复网络中使用的修复器具有与Edge-connect [19]中的修复器类似的结构，具有五个卷积和谱范数块。比较方法。为了对我们提出的方法进行全面评估，我们根据图像修复的最新技术方法进行了三次比较实验[32，16，19]。重新实现遵循作者提供的官方源代码和相同的输入来训练基线。为了进行公平的比较，所有输入都包括所有比较实验中的不完整图像、遮罩、草图、色域和噪声。4.4. 定量结果PSNR计算图像之间的峰值信噪比。SSIM测量两个图像之间的相似性PSNR和SSIM的值越高，结果越好。FID倾向于取代Inception Score，成为衡量生成图像质量的最重要指标之一。它计算两个多变量高斯之间的Fre'chet距离，越小越好。如[28]所述在图像修补中没有好的数值度量。我们的关注点甚至超出了常规的修复。我们可以从表1中观察到，我们的FE-GAN实现了最佳的PSNR，SSIM和FID分数，并且在三个数据集中优于所有4.5. 定性结果除了数值评估之外，我们还对三个数据集和四种方法之间的图像完成任务进行了视觉比较，如图3所示。从上到下的三行是来自DeepFashion、MPV和Fash-ionE的结果。这些方法的交互结果如图5所示。图5的最后一列是自由格式解析网络的我们可以观察到，自由形式解析网络可以通过操纵草图和颜色来获得有希望的解析结果。由于多尺度注意力规范化层和来自自由形式解析网络的合成解析结果，我们的FE-GAN在视觉比较上优于所有其他基线4.6. 人工评价为了进一步证明我们提出的FE-GAN的鲁棒性，我们 在 DeepFash-ion [35] ， MPV [4] 和 FashionE 上 的Amazon Mechanical Turk平台上进行了人类评估。在每个测试中，我们提供8128表1.DeepFashion [35]，MPV [4]和FashionE数据集的定量比较[4]第35话：我的世界模型PSNRSSIMFIDPSNRSSIMFIDPSNRSSIMFID[32]第三十二话16.8850.78160.99418.4500.80858.74219.1700.81456.738部分转化[16]19.1030.82717.72820.4080.85022.75120.6350.84820.148边缘连接[19]26.2360.90112.63327.5570.9247.88829.1540.9265.182FE-GAN（我们的）29.5520.9283.70030.6020.9443.79630.9740.9383.246表2.与其他方法成对比较的人体评价结果比较方法对[35]第三十五话商务车[4]FashionE[32]第32话0.849vs0.1510.845vs0.1550.857vs0.143[16]第十六话0.917vs0.0830.864vs0.1360.799vs0.201[19]第十九话0.790vs0.2100.691vs0.3090.656vs0.344表3. FashionE的消融研究方法PSRN SSIM FID全额30.035 0.932 4.092无注意标准无解析不带L型面罩不带L前景两个图像，一个来自比较的方法，另一个来自我们提出的方法。工人们被要求从两张照片中选择更真实的一张。在评估期间，从每个数据集中选择K个图像，并且n个工作人员将仅评估这K个图像。在我们的例子中，K=100，n=10。我们可以从表2中观察到，我们提出的方法在其他基线上具有出色的性能。这证实了我们的FE-GAN的有效性， 一个自由形式的解析网络和一个解析感知网络，它可以生成更逼真的时尚图像。4.7. 消融研究为了评价FE-GAN的拟议组件的影响如表3所示，我们报告了不同版本FE-GAN的结果。我们首先将使用注意力归一化的结果与不使用注意力归一化的结果进行比较。我们可以了解到，将注意力规范化层合并到修复模块的解码器中可以显着提高图像完成的性能。然后，我们验证了建议的免费从解析网络的有效性。从表3中，我们观察到，如果不使用解析，性能会急剧下降，解析可以描述用于指导具有更高级别结构约束的图像操作的人类布局注意，w/o attention norm表示所提出的模型的无注意如表3所示，结果报告了主要的改进性能，通过注意力规范化和人工解析来实现我们还探讨了我们设计的目标函数的影响，即每一个损失都可以大大改善结果。FashionE数据集上的消融研究表明，所提出的方法具有优于其他方法的性能，并证实了结果的质量。5. 结论在本文中，我们提出了一种新的时尚编辑生成对抗网络（FE-GAN），它使用户能够使用任意草图和一些稀疏的颜色笔画来操纵时尚图像。为了实现逼真的交互效果，FE-GAN结合了一个自由形式的解析网络来预测完整的人类解析图，以指导时尚图像操作，这对于帮助产生令人信服的结果至关重要。此外，我们开发了一个基于前景的部分卷积编码器，并设计了一个注意力归一化层，用于时尚编辑网络的解码器的多尺度层我们为时尚编辑任务构建了一个新的数据集，用更具挑战性的风格覆盖人物图像。在三个时尚数据集上的大量实验表明，我们的FE-GAN优于最先进的方法，并通过控制草图和颜色笔画来实现具有令人信服的细节的高质量性能。确认资助项目 通过 的 国家 Nat 国家自然科学基金项 目 （ U1711262 、 U1611264 、 U1711261 、U1811261 、 U1811264 ） ， 国 家 自 然 科 学 基 金 项 目（U1711262、U1611264、U1711261、U1811264），国 家 自 然 科 学 基 金 项 目 （ U1711261 、 U1811261 、U1811264），国家自然科学基金项目（U1711262、U1611264、U1711261、U1811261、U1811264）国家自然科学基金项目U19A2073，国家自然科学基金项 目 61976233 ， 国 家 重 点 研 发 计 划 项 目（ 2018YFB1004404 ） ， 广 东 省 重 点 研 发 计 划 项 目（2018B010107005）。8129引用[1] John F.精明边缘检测的计算方法IEEE模式分析和机器智能学报，PAMI-8：679-698，1986年。6[2] Yunjey Choi，Minje Choi，Munyoung Kim，Jung-WooHa，Sunghun Kim，and Jaegul Choo. Stargan：用于多域图像到图像翻译的统一生成对抗网络。在CVPR，2018年。1[3] 维克多·伦皮茨基·德米特里·乌里扬诺夫，安德烈·维达尔迪.实例规范化：快速风格化缺少的成分。arXiv预印本arXiv：1607.08022，2016。3[4] Haoye Dong，Xiaodan Liang，Bochao Wang，HanjiangLai，Jia Zhu，and Jian Yin.多姿态引导虚拟试穿网络。arXiv预印本arXiv：1902.11026，2019。二、六、七、八[5] 龚克，梁晓丹，沈晓慧，林亮。看人：自我监督结构敏感学习和人类解析的新基准。在CVPR中，第6757-6765页，2017年。五、六[6] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。在NIPS，第2672-2680页一、二、五[7] Xintong Han，Zuxuan Wu，Zhe Wu，Ruichi Yu，andLarry S Davis.Viton：一个基于图像的虚拟试穿网络。arXiv预印本arXiv：1711.08447，2017。1[8] Martin Heusel、Hubert Ramsauer、Thomas Unterthiner、Bernhard Nessler和Sepp Hochreiter。两个时间尺度更新规则训练的甘斯收敛到一个局部纳什均衡。在NIPS，2017年。6[9] Sergey Ioffe和Christian Szegedy。批次标准化：通过减少内部协变量偏移来加速深度网络训练。在ICML，第448-456页，2015中。三、四[10] 卡扎特河伊斯卡科夫半参数图像修复。arXiv预印本arXiv：1807.02855，2018。6[11] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。在CVPR，2017年。2[12] 集美杨晓辉沈鑫陆。黄继辉，余哲林.利用门控卷积进行 自 由 形 式 图 像 修 复 。 arXiv 预 印 本 arXiv ：1806.03589，2018。一、二[13] 杰弗里·E辛顿吉米雷巴杰米瑞恩基罗斯。层归一化。arXiv预印本arXiv：1607.06450，2016。3[14] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。ECCV，第694-711页，2016年。一、五[15] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。6[16] Liu Guilin ， Fitsum A. 凯 文 · 瑞 达 Shih ， Ting-ChunWang，Andrew Tao，and Bryan Catanzaro.基于部分卷积的不规则孔洞图像修复。在ECCV，2018。一、四、五、六、七、八[17] 马丽倩、徐佳、孙倩茹、Bernt Schiele、Tinne Tuyte-laars和Luc Van Gool。姿势引导的人物图像生成。在NIPS，2017年。18130[18] Mehdi Mirza和Simon Osindero条件生成对抗网。arXiv预印本arXiv：1411.1784，2014。2[19] 放大图片创作者：David R.库雷希和穆罕默德·易卜拉欣。边缘连接：具有对抗边缘学习的生成式图像修复。arXiv预印本arXiv：1901.00212，2019。一、五、七、八[20] DeepakPathak、PhilippKr aühenbuühl 、Jef fDonahue、TrevorDarrell和Alexei Efros。上下文编码器：通过修复进行特征学习。在CVPR，2016年。1[21] Olaf Ronneberger ， Philipp Fischer ， and ThomasBrox.U-网：用于生物医学图像分割的卷积网络在MICCAI，第234-241页，2015中。1、4[22] 石川浩饭冢智埃德加·西莫·塞拉全局和局部一致的图像完成。ACM Transactions on Graphics（TOG），36（4）：107，2017. 2[23] 王廷春，朱泰成，刘明玉具有空间自适应归一化的语义图像合成在CVPR，2019年。三、四、五[24] Diederik P. Kingma Tim Salimans.权重归一化：一个简单的重新参数化，以加速深度神经网络的训练。在NIPS，2016年。3[25] 阿特我拉 Szabo'-Siav ash 阿若芒 Bigdeli-Paolo 作者Matthias Zwicker Tiziano Portenier，胡启阳. Faceshop：基于深度草图的面部图像编辑。ACM Transactions onGraphics（TOG），37（4）：99，2018。第1、3条[26] Manjunath Kudlur Vincent Dumoulin，Jonathon Shlens.对艺术风格的博学的表现。ICLR，2016年。3[27] Ting-Chun Wang ， Ming-Yu Liu ， Jun-Yan Zhu ，Andrew Tao，Jan Kautz，and Bryan Catanzaro.基于条件gans的高分辨率图像合成与语义处理。arXiv预印本arXiv：1711.11585，2017。二、五、七[28] Zhou Wang，Alan C Bovik，Hamid R Sheikh，and EeroP Simoncelli.图像质量评估：从错误可见性到结构相似性。TIP，13（4）：600-612，2004. 六、七[29] 谢赛宁、涂卓文。整体嵌套边缘检测。在ICCV，第5505-5514页，2015年。6[30] 熊伟，余家辉，李哲。Lin，Jimei Yang，Xin Lu，Connelly Barnes，and Jiebo Luo.前景感知图像绘画。arXiv预印本arXiv：1901.05945，2019。2[31] 朴英珠Sc-fegan：使用用户的草图和颜色进行面部编辑的生成对抗网络。arXiv预印本arXiv：1902.06838，2019。第1、3条[32] 余家辉，李哲. Lin，Jimei Yang，Xiaohui Shen，XinLu，and Thomas S.煌具有上下文注意的生成式图像修复。在CVPR中，第5505-5514页，2018年。一、五、七、八[33] 吴开明。组归一化。在ECCV，2018。3[34] Jun-Yan Zhu，Taesung Park，Phillip Isola，Alexei AEfros.使用循环一致对抗网络的不成对图像到图像翻译。InICCV，2017. 1[35] 施秋晓刚，王紫薇，罗萍，唐晓鸥。Deepfashion：通过丰富的注释实现强大的服装识别在CVPR中，第1096-1104页，2016年。二、五、七、八