基于条件GAN的掩码引导人像编辑

3436使用条件GAN进行谷曙阳1鲍建民1杨浩2陈冬2方文2陆远21中国科学技术大学2微软研究院{gsy777，jmbao}@ mail.ustc.edu.cn{haya，doch，fangwen，luyuan}@ microsoft.com(a)Mask2image（b）元件编辑（c）元件转移图1：我们提出了一个基于条件GAN的框架，用于掩码引导的肖像编辑。(a)我们的框架可以使用一个输入目标掩码（第一张图像的左下角）生成多样化和逼真的人脸（b）我们的框架允许我们编辑面具以改变面部组件的形状，即，嘴巴眼睛头发（c）我们的框架还允许我们转移肖像的每个组件的外观，包括头发颜色。摘要人像编辑是照片处理中的一个热门课题。生成对抗网络（GAN）推进了真实人脸的生成，并允许更多的人脸编辑。在本文中，我们讨论了现有技术中的三个问题：多样性，质量和可控性的por-性状合成和编辑。为了解决这些问题，我们提出了一个新的端到端学习框架，该框架利用条件GAN，由提供的面部面具引导，用于生成面部。该框架学习每个面部组件的特征嵌入（例如，嘴、头发、眼睛），这有助于图像转换和局部面部编辑的更好对应。有了面具，我们的网络可用于许多应用程序，如面具驱动的人脸合成，人脸交换+（包括头发交换），和本地操作。它还可以提高面部解析的性能，作为数据增强的一种选择。1. 介绍由于人像编辑在电影、游戏、照片处理和共享等方面的潜在应用，人像编辑在视觉和图形社区中引起了极大的兴趣。Peo-请享受使脸看起来更有趣的魔法，有趣，和美丽，这出现在大量流行的应用程序，如Snapchat，Facetune，等.最近，生成对抗网络（GAN）[16]的进步在合成逼真的人脸[1，29，25，12]方面取得了巨大进展，如人脸老化[46]，姿势[44][21][44][21][45][46][47][48]][49][49][49] 然 而 ， 这些现有的方法仍然受到一些质量问题的困扰，如缺乏皮肤中的精细细节，难以处理毛发和背景模糊。这些瑕疵会导致生成的面看起来不真实。为了解决这些问题，一个可能的解决方案是使用面膜来指导生成。一方面，面具提供了一个很好的几何约束，这有助于合成逼真的脸。另一方面，每个面部部分的精确轮廓（例如，眼睛、嘴巴、头发等）是本地编辑所必需的。基于面具，一些作品[40，14]在por-trait风格化方面取得了非常有前途的结果。然而，这些方法集中于转换视觉风格（例如，B W、颜色、绘画）从参考面到目标面。它似乎是不可用的合成不同的脸，或改变脸的组成部分。一些种类的GAN模型开始整合面部掩模/骨架以更好地进行图像到图像的转换，3437例如，pix2pix [24]，pix2pixHD [45]，其中面部骨架在产生逼真的面部和实现进一步编辑方面起着重要作用然而，它们合成的面部的多样性是如此有限，例如，输入和输出对可能不允许情绪的明显变化。质量问题，特别是头发和背景，使生成的图像无法逼真。最近的工作BicycleGAN [48]试图从一个输入掩码中生成不同的人脸，但多样性受到颜色或照明的限制。我们必须重新研究和仔细设计图像到图像的翻译模型，解决三个问题多样性要求学习图像对之间的良好对应关系，这些图像对可能经历姿势、光照、颜色、年龄和性别的变化，以用于图像翻译。质量应进一步提高精细的面部细节，头发和背景。对局部面部组件的更多控制也是关键。在本文中，我们提出了一个基于条件GAN的框架[33]，用于由面具引导的肖像编辑该框架由三个主要部分组成：局部嵌入子网络、掩模引导生成子网络和背景融合子网络。这三个子网络是端到端训练的。局部嵌入子网络包括五个自动编码器网络，其重新编码五个面部分量的嵌入信息，即，“left eye”, “right eye”,“mouth”, “skin 面部掩模用于帮助指定学习中每个组件的区域。面具引导生成子网络将局部嵌入和目标人脸面具重新组合在一起，产生前景人脸图像。面罩有助于在组件级建立对应（例如，嘴对嘴、头发对头发等）在源图像和目标图像之间。 最后，背景融合子网络根据目标人脸模板对背景和前景人脸进行融合，生成自然人脸图像。为了引导，面罩辅助所有三个子网络中的面部生成。有了掩码，我们的框架允许许多应用程序。如图1（a）所示，我们可以生成由面部掩模驱动的新面部，即，面具对脸，以及骨架对脸[24，45]。我们还允许更多的编辑，如删除头发，放大或缩小眼睛，并使其微笑，如图1（b）所示。此外，我们可以局部修改现有面部的外观，例如改变每个面部组件的外观，如图1（c）所示实验表明，我们的方法优于国家的最先进的人脸合成驱动的面具（或骨架）的多样性和质量。更有趣的是，我们的框架可以帮助提高人脸分析算法的性能，因为数据增强。总体而言，我们的贡献如下：1. 我们提出了一个新的框架，基于掩码引导的条件GAN，它成功地解决了人脸合成中的多样性，质量和可控性问题。2. 该框架是通用的，可用于大量的应用程序，如面具到面部合成，面部编辑，面部交换+，甚至数据增强面部解析。2. 相关工作生成对抗网络 生成式对抗网络（GAN）[16]在许多方面都取得了令人印象深刻的成果。它通过引入一个对抗性的随机变量来迫使生成的样本与目标分布不可区分。GAN系列实现了各种各样的计算机视觉应用，例如图像合成[2，36]，图像翻译[24，47，45，48]和[22，4，44]等。受条件GAN模型[33]的启发，从面具中生成图像，我们提出了一种用于面具引导的肖像编辑的新框架。我们的方法利用单个面部组件的本地嵌入信息，生成具有更高多样性和可控性的人像图像，而不是现有的基于全局的方法，如pix2pix [24]或pix2pixHD [45]。深度视觉操作图像编辑从深度神经网络的快速发展中受益匪浅，包括图像完成[23]，超分辨率[28]，深度类比[30]和基于草图的肖像编辑[39，34]，仅举几例。其中，最相关的是掩模引导的图像编辑方法，该方法训练深度神经网络将掩模转换为逼真的图像[11，8，24，45，47]。我们的方法还涉及视觉属性转移方法，包括风格转移[15，17]和颜色转移[19]。最近，已经提出了用于化妆转移的Paired-CycleGAN [9]，其中化妆转移函数和化妆去除函数被成对训练。虽然相似，但我们的方法解开的面部实例的外观与化妆不同例如，我们可以转移的头发的颜色和卷曲类型绝对不是化妆品。此外，还有一些工作集中在编辑面中的特定组件（例如，眼睛[13，41]）或编辑面部的属性[35，42]。利用所提出的将面部实例嵌入与面部掩模分离和重新组合的结构，我们的方法还通过支持显式面部和头发交换来增强面部交换方法[5，26]。非参数化视觉操作非参数化图像合成方法[18，6，27]通常通过扭曲和拼接数据库中的现有补丁来Qiet.3438我当地al. [37]其结合神经网络以提高质量。虽然乍一看相似，但我们的方法与非参数图像合成有本质的不同：我们的xs，i ∈ {0，1，2，3，4}，即， 对于每个面部分量，我们使用对应的自动编码器网络{E i，本地嵌入子网络将面部实例编码为我当地 }，i∈ {0，1，2，3，4}，将其分量嵌入到-嵌入而不是图像补丁。 中的新面孔图像我们的方法是通过掩模引导的生成子网络生成的，而不是将图像块扭曲和拼接在一起。通过联合训练所有子网络，我们的模型生成的面部图像质量高于非参数方法，这对它们来说也很困难e.G.从具有隐藏所有牙齿的闭合嘴的源面合成具有显示牙齿的张开嘴的面。3. Mask-Guided Portrait编辑框架我们提出了一个基于条件GAN的框架，用于掩模引导的肖像编辑。我们的框架需要四个输入，源图像xs，源图像的掩码ms，目标图像xt和目标图像的掩码mt。可以通过面部解析网络来获得掩模m_s和m_t如果我们想改变遮罩，我们可以手动编辑mt。利用源掩码xs，我们不能得到每个面部分量的外观，例如，“left eye”, “right eye”,利用目标掩模mt，我们可以从目标图像xt获得背景。我们的框架首先将来自xs的每个分量的外观和目标遮罩重新组合在一起，产生前景人脸，然后将其与来自xt的背景融合，输出最终结果G（xs，ms，xt，mt）。G表示总体的生成框架。如图2所示，我们首先使用局部嵌入子网络来学习输入源图像xs的特征嵌入。它涉及五个自动编码器网络，分别为五个面部组件编码嵌入信息。与文献[45，48]中学习全局嵌入信息的方法相比，该方法能保留更多的源人脸细节.然后，掩模引导生成子网络指定每个嵌入分量特征的区域，并将五个局部分量的所有特征与目标掩模连接在一起以生成前景面部。最后利用背景融合子网络对前景人脸和背景进行融合，生成自然的人脸图像。3.1. 框架架构本地嵌入子网。为了使我们的框架组件级的可控性，我们提出了学习特征嵌入的每个组件的脸。我们首先使用人脸解析网络PF（详见第3.2节），这是一个在Helen数据集上训练的全卷积网络（FCN）[43]，以获得源图像xs的源掩码ms。然后，根据人脸模板，将前景人脸图像分割为五个分量mation 有了五个自动编码器网络，我们就可以-即时改变生成的面部图像中的任何一个面部成分或重组来自不同面部的不同成分。以前的作品，例如，pix2pixHD [45]也训练了一个自动编码器网络来获得与图像中的每个实例相对应的特征向量。为了保证适合不同实例形状的特征，他们将实例平均池层添加到编码器的输出中，以计算对象实例的平均特征。尽管这种方法允许对生成的结果进行对象级控制，但由于两个原因，它们生成的面部仍然存在质量低下的问题。首先，他们使用全局编码器网络来学习图像中不同实例的特征嵌入。我们认为，仅仅是一个全球性的网络是非常有限的学习和恢复每个实例的所有本地细节其次，实例平均池化将在重建中去除许多特征细节。掩码引导生成子网络。 为了使目标面具能够指导面具等变人脸生成，我们采用了一种直观的方法将五个分量特征张量与面具特征张量融合在一起。如图2（b）所示，局部嵌入子网络提取五个分量特征张量，掩码特征张量是编码器Em的输出。首先，我们得到中心位置{c i}i=1. 来自目标掩模的每个组分的5倍xt。 然后我们准备5个3D张量，所有张量都填充0，i。例如， {fi}i=15。每个张量都有与掩模特征张量相同的高度和宽度，以及相同的通道号与每个组件特征tensor。接下来，我们复制五个已学习的组件fea中的每一个-真张量到以ci为中心的全零张量fi，根据目标掩模（例如，嘴对嘴、眼对眼等）。之后，我们连接所有3D和掩码特征张量以产生融合特征张量。最后，将融合后的特征张量送入神经网络Gm，生成人脸的预处理图像.后台融合子网。为了将生成的前景人脸粘贴到目标图像的背景中，直接的方法是从目标图像xt复制背景，并根据目标人脸掩模将其与先前的人脸组合。然而，这会在最终结果中导致明显的边界伪影可能有两个原因。首先，背景包含颈部皮肤部分，因此源面部xs中不匹配的面部皮肤颜色和目标图像xt中的颈部皮肤颜色导致伪影。其次，头发部分的分割蒙版并不总是完美的，所以后面的头发G3439我局部嵌入子网源掩码Source imageL掩码引导生成子网络目标掩码目标图像后台融合子网结果（，）LL L图2：面具引导的肖像编辑的建议框架。 它包括三个部分：局部嵌入子网络，掩码引导生成子网络和背景融合子网络。局部嵌入子网络学习源图像局部分量的特征嵌入。面具引导子网络结合学习的组件特征嵌入和面具，以生成前景人脸图像。背景融合子网络根据前景人脸和背景生成最终的融合结果。损失函数用蓝色虚线表示。地面也会产生伪影。为了解决这个问题，我们提出了使用背景融合子网络来消除融合中的伪影。我们首先使用人脸解析网络PF（详见3.2节）来获得目标人脸掩码xt。根据人脸模板，从目标图像中提取背景部分，然后将背景部分送入编码器Eb，得到输出的背景特征张量。之后，我们将背景特征张量与前景面部连接，并将其馈送到生成网络Gb，生成面部结果G（xs，ms，xt，mt）。3.2. 损失函数当地重建。我们使用输入实例和重构实例之间的MSE损失来学习每个实例的特征嵌入。全球重建。我们在训练中考虑了重建误差。当输入的源图像xs与目标图像xt相同时，生成的结果G（xs，xs，xt，mt）应该与xs相同。基于该约束，重建损耗可以通过以下方式来测量L= 1 ||G（xs，ms，xt，mt）− xs||第二章全球22对抗性损失。为了产生真实的结果，我们在框架之后添加了网络D。与GAN类似，整体框架G与网络D进行极大极小博弈。从一张简单的网-作品D不适合于分辨率为256×256的人脸图像合成。遵循pix2pixHD [45]中的方法，我们还使用多尺度鉴别器。我们使用2个具有身份网络结构但在不同图像尺度下操作的判别器。我们对真实样本进行下采样1siis2使用平均合并，将样本按系数2进行Llocal=2||xi−Glocal（Elocal（xi））||第二条第一款其中xs，i∈ {0，1，2，3，4}表示层. 此外，生成的样本应该是条件-在目标掩模Mt上施加。因此，鉴别器Di，i∈1，2的损失函数为：3440EE我F，M，I，Jt tLDi=−xt<$Pr[logDi（x，m）]s s t t txt，xsPr[log（1−Di（G（x，m，x，m），m）]，（三）框架G的损失函数为：s s t t tLsigmo id=−xt，xs<$Pr[log（Di（G（x，m，x，m），m）].（四）G的原始损失函数可能会导致不稳定的梯度问题。受[3，45]的启发，我们还为生成器使用了成对特征匹配目标为了生成逼真的人脸图像质量，我们在真实和虚假图像之间匹配网络D 的特征 设fD（x，mt）表示鉴别器中间层上的特征，则成对特征匹配损失为欧几里德源图像 目标掩模/图像设置1设置2我们的特征表示之间的距离，即、1s s t t tt t2图3：我们提出的框架及其变体。LFM =||二、||2,2（五）3.3. 培训战略其中我们使用网络Di的最后一个输出层作为我们实验的特征fDi总的损失，从中央电网到框架G是：LGD=Lsigmoid+λFMLFM。（6）其中λ FM控制两项的重要性。面部分析丢失。为了生成面具等价的面部图像，我们需要使生成的样本具有与目标面具相同的面具，以及面部配对网络PF来约束生成的面部，遵循先前的方法[32，38]。我们在Helen Face Dataset [43]上使用U-Net网络结构预训练面部解析网络PF网络PF的损失函数LP是像素交叉熵损失，该损失检查每个像素个别地，比较类预测（深度方面pix elvector）到我们的one-hot编码的tar get vectorpi，j：LP=−ExPr[logP（pi，j|PF（x）i，j）]。（七）i、j这里，（i，j）指示像素的位置在我们得到预训练的网络PF。我们用PF鼓励生成的样本具有与目标掩码相同的掩码，因此我们对生成网络使用以下损失函数：Σt s s t t在训练期间，输入掩码ms、mt总是使用源图像xs和目标图像xt的解析结果。 我们在训练中考虑两种情况：1）xs和xt相同，称为配对数据; 2）xs和xt不同，称为非配对数据。受[4]的启发，我们将这些设置合并到训练阶段，并采用（1 + 1）策略，一步用于配对数据训练，另一步用于非配对数据训练。然而，这两种设置的训练损失函数应该不同。对于配对数据，我们使用LG中的所有损失，但对于未配对数据，我们在LG中设置λglobal和λFM为零。4. 实验在本节中，我们验证了所提出的方法的有效性。我们在Helen数据集上评估我们的模型[43]。Helen数据集包含了2330张人脸图像（2000张用于训练，330张用于测试），并标注了像素级的蒙版标签。但是2000张人脸图像的多样性有限，所以我们首先使用这2000张人脸图像来训练人脸解析网络，并使用解析网络从VGGFace2中获得另外20000张在实验中，我们总共使用了22000张对于所有的训练面，我们首先LGP = −ExPr[i、jlogP（mi，j|PF（G（x，m，x，m））i，j）]，（八）使用JDA人脸检测器[10]检测面部区域，然后定位五个面部标志（两只眼睛，鼻尖和两个其中mt是位于（i，j）处的xt的地面真值标签。P（G（xsi，js，xt，mt））是位于（i，j）。整体损失函数。G的最终损耗是等式1、2、6、8中的上述损耗的总和。LG=λlocalLlocal+λglobalLglobal+λGDLGD+λGPLGP，（九）其中λlocal、λglobal、λGD和λGP是平衡不同损失的权衡。在我们的实验中，λlocal，λglobal，λGD和λGP分别设置为{10，1，1，1}。- -E3441嘴角）。在此基础上，利用相似变换基于面部标志将面部对准到规范位置。最后，我们裁剪了一个256×256的人脸区域进行实验。在我们的实验中，五个实例（左眼，右眼，嘴巴，皮肤和头发）的输入大小由每个组件的最大大小决定。 特别地，我们使用48×32，左眼48×32、144×80、256×256、256×256，右眼眼睛、嘴巴、皮肤和头发。用于网络有关Elocal、Glocal、Em、Gm、Eb和Gb以及培训设置的详细信息，请参阅补充材料。3442表1：我们的框架及其变体的定量比较，设置1，2在第4.1节中定义。设置12我们FID11.0211.268.92目标掩膜目标图像图4：使用pix2pixHD [45]和BicycleGAN[48]的面具到面部合成结果的比较，目标面具和目标面部图像位于左侧。第一行和第二行分别是从pix2pixHD和BicyleGAN生成的结果。生成的样本的多样性主要来自肤色或光照。第三行是我们的方法生成的结果。我们可以生成更逼真和多样化的fa-cial图像。4.1. 对拟议框架的分析我们的框架旨在解决三个问题-多样性，质量和可控性在面具引导的面部合成。为了验证这一点，我们进行了一步一步的消融研究，以了解我们提出的框架如何帮助解决这三个问题。我们执行三个逐渐改变的设置来验证我们的框架：1）我们使用全局自动编码器来训练框架以学习源图像的全局嵌入，然后我们将全局嵌入与目标掩码连接以生成前景人脸图像，损失Lglobal、LGP和LGD。然后，我们从目标图像中裁剪背景，并直接将其粘贴到生成器中。然后，我们将前景人脸进行了分割，得到了结果。2）我们使用一个局部嵌入子网络来训练另一个框架来学习源图像的每个分量的嵌入，然后我们将局部嵌入与目标掩码连接起来以生成前景人脸。然后，我们用与1）相同的方法3）充分利用局部嵌入子网络、掩模引导生成子网络和背景融合子网络对框架进行训练，得到最终结果。图3显示了上述三种设置的定性结果。比较设置2和1，我们看到使用局部嵌入子网络有助于生成的结果保持细节（例如，眼睛的大小，皮肤颜色，头发颜色）。这使得我们的框架能够控制生成的人脸的每个组件。通过向局部嵌入子网络提供不同的组件，我们可以生成不同的结果，这表明我们的框架处理了多样性问题。比较这两个变量设置与我们的方法，回-表2：使用和不使用的面部解析结果的比较面部分析网络方法avg.每像素精度w/o人脸解析网络0.946w面解析网络0.977直接从目标图像复制的背景导致可注意到的边界伪影。在我们的框架中，背景融合子网络有助于去除伪影并生成更真实的人脸，证明我们的框架可以生成高质量的人脸。为了定量评估每个设置，我们为每个设置生成5000张面部图像，并计算生成的面部和训练面部之间的FID[20]在表1中，我们报告了每个设置的FID局部嵌入子网络和背景融合子网络有助于提高生成样本的质量同时，较低的FID分数表明我们的模型可以从面具中生成高质量的人脸。为了验证我们的面部解析损失是否有助于保持生成的样本的掩码，我们进行了一个实验来验证这一点。我们训练另一个框架，而不使用面部解析损失。然后我们从这个框架中生成5000个接下来，我们使用另一组人脸解析网络来获得平均每像素精度，目标掩码作为所有生成的人脸的基础事实。表2报告了结果，表明面部解析损失有助于保留生成的面部的掩码。4.2. Mask to Face合成本节介绍面具脸合成的结果。面具到人脸合成的目标是从给定的目标面具生成真实的、多样的和面具等变的人脸图像。为了证明我们的框架有能力从一个输入的面具，我们选择一些面具和随机选择一些面部图像作为源图像和合成的面部图像生成逼真和多样化的脸。图5显示了输入面具的面部合成结果.第一列是目标蒙版，右侧的人脸图像是在目标蒙版上我们观察到生成的同时，生成的面部图像在多样性方面表现良好，例如肤色，头发颜色，眼妆，甚至胡子。此外，生成的人脸图像也保持了面具。以 前 的 方 法 也 尝 试 进 行 面 具 到 面 部 的 合 成 ，BicycleGAN [48]是一种图像到图像的翻译模型，可以生成连续和多模态的输出。自行车GAN我pix2pixHD3443图5：我们的框架可以从一个目标面具合成现实的，多样的和面具等变的面孔把分布。pix2pixHD允许高分辨率图像到图像的转换。在图4中，我们显示了定性比较结果。我们观察到BicycleGAN和pix2pixHD生成的样本显示出有限的多样性，多样性在于肤色或光照。其原因是它们使用全局编码器，因此生成的样本无法利用面部组件的多样性相比之下，我们的方法生成的结果看起来真实，清晰和多样。我们的模型还能够保留掩码信息。它显示了拟议框架的力量。4.3. 面部编辑和面部交换+我们的框架的另一个重要应用是fac- cial编辑。利用可变的目标蒙版和源图像，我们可以通过编辑目标蒙版或替换源图像中的面部组件来编辑生成的人脸图像。我们进行了两个实验：1）改变目标掩模以改变所生成的面部的外观; 2）用来自其他面部的新分量替换目标图像的面部分量以显式地改变所生成的面部的对应分量。图6显示了更改目标掩码所生成的结果我们用皮肤标签代替前额的头发区域标签，得到了前额没有头发的逼真人脸图像此外，我们可以改变面具中的嘴，眼睛，眉毛区域的形状，并得到一个输出的面部图像，即使有新的情绪。这表明了我们的模型在生成掩模等效和现实的结果的有效性图7显示了更改生成的面的各个部分的结果。我们可以通过将目标皮肤部分替换为具有胡须的面部的皮肤部分来我们还通过改变局部嵌入部分来改变嘴部颜色、这表明我们的模型在图6：我们的框架允许用户局部改变面具标签，以明确地操纵面部组件，如使短发变得更长，甚至改变情绪。生成局部实例等变和真实的结果。图8显示了face swap+的结果。与传统的人脸交换算法不同，该框架不仅可以交换人脸的外观，而且可以保持组件的形状。更重要的是，与以前的方法相比，我们可以显式地交换此外，图9显示了极端条件下输入面的更多结果。在前两行中，输入3444图9：在极端条件下（大姿势，极端照明和戴眼镜的脸）输入面部的生成结果。表3：添加生成的面部图像的面部解析的结果。图7：我们还可以编辑实例在脸上的外观例如，添加胡须和改变嘴、头发和眼妆的颜色。图8：我们的框架可以增强现有的面部交换，称为faceswap+，以显式交换头发。面部图像具有大的姿态和极端的照明。我们的方法得到了合理和现实的结果。此外，如果输入的脸有眼镜，我们发现，结果依赖于分割掩模。如果眼镜被标记为背景，则可以通过我们的背景融合子网络进行重建，生成的结果显示在最后一行。4.4. 用于人脸分析的合成人脸我们进一步表明，从我们的框架合成的人脸图像我们使用Helen Face Dataset的训练图像的2，000个掩码作为目标掩码，并从CelebA Dataset [31]中随机选择人脸图像作为源图像来生成人脸图像，然后我们去除这些不同性别的人脸图像。然后我们进行了三个实验：1）我们只使用Helen Face Dataset的训练集来训练人脸解析网络，而不使用数据扩充2）利用He-len人脸数据集的训练集，采用数据增强策略（翻转、几何变换、缩放、旋转）训练人脸分析网络; 3）我们将生成的面部图像添加到HelenFace Dataset训练集，使用目标掩码作为地面真实值和相同的数据增强策略。我们使用来自Helen Face Dataset的100张测试图像进行测试。表3显示了三种不同设置下的面部解析准确度。有了新生成的面孔，我们得到0。与未生成人脸图像相比，准确率提高8%这说明我们的生成框架具有一定的外推能力.5. 结论在本文中，我们提出了一种新的端到端框架的基础上面具引导的条件GAN，它可以合成不同的，高质量的，可控的面部图像从给定的面具。通过可变的输入面具和源图像，我们的框架允许用户进行高级肖像编辑，例如：明确地编辑所生成的面部中的面部成分，并将局部外观从一个面部转移到所生成的面部。我们甚至可以通过利用来自输入掩码的合成的面部数据来获得更好的面部配对模型我们的实验证明了我们的框架的优异性能。海伦0.728Helen（使用数据增强）0.863Helen +生成（带有数据扩充）0.8713445引用[1] G.安提波夫Baccouche和J. - L.杜杰雷用条件生成对抗网络面对衰老。在图像处理（ICIP），2017年IEEE国际会议上，第2089-2093页。IEEE，2017年。[2] M. Arjovsky，S.Chintala和L.博图Wasserstein ganarXiv预印本arXiv：1701.07875，2017。[3] J. Bao，D. Chen，F.温氏H. Li和G.华Cvae-gan：通过非对称训练生成细粒度图像2017年IEEE国际计算机视觉会议（ICCV），第2764-2773页IEEE，2017年。[4] J. Bao，D. Chen，F.温氏H. Li和G.华开集保同一性人脸合成.在IEEE计算机视觉和模式识别会议集，第6713-6722页[5] D.比图克河库马尔，S。Dhillon，P. Belhumeur，and S.K.纳亚尔面孔交换：自动替换照片中的面孔在ACM图形学报（TOG），第27卷，第39页中。ACM，2008年。[6] P. P. 布斯托角Eisenacher，S.Lefebvre，M.Stamminger等人，通过数字进行即时纹理合成。在VMV，第81-85页，2010中。[7] Q.曹湖，加-地沈，W。Xie，O. M. Parkhi和A.齐瑟曼。Vggface2：一个用于识别跨姿势和年龄的人脸的数据集。在自动人脸和手势识别国际会议上，2018年。[8] A.尚潘达 语义风格转换和把不起眼的涂鸦变成精美的艺术品。arXiv预印本arXiv：1603.01768，2016。[9] H. Chang，J. Lu，F. Yu和A.芬克尔斯坦PairedCycle-GAN：不对称的风格转移应用和卸妆。2018年IEEE计算机视觉和模式识别会议（CVPR），2018年。[10] D. Chen，S.任，Y. Wei，X. Cao和J. Sun.联合级联人脸检测和对齐。欧洲计算机视觉会议，第109-122页。Springer，2014.[11] Q. Chen和V. Koltun.使用级联细化网络的摄影图像合成。在IEEE计算机视觉国际会议（ICCV），第1卷，第3页，2017年。[12] Y.崔，M。崔，M。金，J. - W.哈，S。金和周杰伦Stargan：用于多域图像到图像翻译的统一生成对抗网络。arXiv预印本，1711年，2017年。[13] B. Dolhansky和C.费雷尔县。使用示例生成对抗网络进行眼睛修复。在IEEE计算机视觉和模式识别会议论文集，第7902-7911页[14] J.FisBeschier ， O.JamrisReplika ， D.Simons ，E.Shechtman，J.鲁智深道：P. 阿森特湾 Luk a'cdamn，和D. 是的。基于实例的风格 化 面 部 动 画 合 成 。 ACM Transactions on Graphics（TOG），36（4）：155，2017。[15] L. A. Gatys，A.S. Ecker和M.贝丝使用卷积神经网络的图像风格在2016年IEEE计算机视觉和模式识别会议（CVPR）上，第2414-2423页。IEEE，2016.[16] I. 古德费罗 J. 波吉特-阿巴迪 M. 米尔扎 B. 许、D. 沃德-法利，S。奥扎尔A.Courville和Y.本吉奥。生成对抗网络。在神经信息处理系统的进展，第2672-2680页[17] S. 古角，澳-地陈，J.Liao和L.元任意风格转移与深度功能洗牌。在IEEE计算机视觉和模式识别会议论文集，第8222-8231页[18] J. Hays和A. A.埃夫罗斯使用数百万张照片完成场景。ACMTransactions on Graphics（TOG），第26卷，第4页。ACM，2007年。[19] M.何俊仁、廖俊仁、李志华。Yuan和P. V·桑德图像之间的神经颜色传递。arXiv预印本arXiv：1710.00756，2017。[20] M. Heusel，H. Ramsauer，T.翁特希纳湾Nessler和S. Hochreiter。两个时间尺度更新规则训练的甘斯收敛到一个局部纳什均衡。神经信息处理系统进展，第6626-6637页，2017年[21] R. Huang，S. Zhang，T.利河，巴西-地He等人，Beyondface rotation：用于真实感和身份保持正面视图合成的全局 和 局 部 感 知 。 arXiv 预 印 本 arXiv ： 1704.04086 ，2017。[22] X. 黄文Y. Liu，S.Belongie和J.考茨多模态无监督图像到图像翻译。arXiv预印本arXiv：1804.04732，2018。[23] S. Iizuka、E. Simo-Serra和H.石川全局和局部一致的图像完成。ACM Transactions on Graphics（TOG），36（4）：107，2017。[24] P. Isola，J.- Y. Zhu，T. Zhou和A. A.埃夫罗斯使用条件对抗网络的图像到图像翻译。arXiv预印本，2017年。[25] T. Karras，T. Aila，S. Laine和J.莱赫蒂宁为提高质量、稳定性和变异性而进行的干细胞arXiv预印本arXiv：1710.10196，2017。[26] I. Korshunova，W. Shi，J. Dambre，and L.他们。利用卷积神经网络快速换脸。在IEEE计算机视觉国际会议上，第3697- 3705页[27] J. - F. 拉隆德湾Hoiem，A.A. 埃夫罗斯角罗瑟，J。Winn和A. 天 啊照 片 剪贴 画 。ACM 图 形交 易 （TOG ） ， 26（3）：3，2007年。[28] C. 莱迪格湖Theis，F.Husza'r，J.Caballero，A.坎宁安A.阿科斯塔A. P. Aitken，A. Tejani，J. Totz，Z. wang等人使用生成对抗网络的照片级真实感单幅图像超分辨率。在CVPR，第2卷，第4页，2017年。[29] M. Li，W. Zuo和D.张某卷积网络用于属性驱动和身份保持的人脸生成。arXiv预印本arXiv：1608.06434，2016年。[30] J. Liao，Y.尧湖，澳-地Yuan，G. Hua和S. B.康通过深层意 象 类 比 实 现 视 觉 属 性 转 移 arXiv 预 印 本 arXiv ：1705.01088，2017。[31] Z. Liu，P. Luo，X. Wang和X.唐在野外深度学习人脸属性。在国际计算机视觉会议（ICCV）的会议记录中，2015年。[32] J.朗，E. Shelhamer和T.达雷尔。用于语义分段的全卷积网络。在IEEE计算机视觉和模式识别会议论文集，第3431-3440页3446[33] M. Mirza和S.奥辛德罗条件生成对抗网。arXiv预印本arXiv：1411.1784，2014。[34] T.波特尼耶角Hu，黄毛菊A. Szabo，S.比格德利山口法瓦罗，以及M.兹维克Faceshop：基于深度草图的人脸图像编辑。arXiv预印本arXiv：1804.08972，2018。[35] A. Pumarola，A. Agudo，A. M.马丁内斯A. Sanfeliu，以及F.莫雷诺诺格尔Ganimation：从单个图像中获得解剖感知面部动画。在欧洲计算机视觉会议（ECCV）的会议记录中，第818- 833页[36] G.- J. Qi。基于Lipschitz密度的损失敏感生成对抗网络。arXiv预印本arXiv：1701.06264，2017。[37] X.齐，阿根-地Chen，J. Jia，and V.科尔顿。半参数图像合成。在IEEE计算机视觉和模式识别会议论文集，第8808- 8816页[38] O.龙内贝格山口Fischer和T.布洛克斯U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234-241页。施普林格，2015年。[39] P. Sangkloy ， J. Lu ， C. Fang ， F. Yu 和 J. Hays.Scribbler：使用草图和颜色控制深度图像合成。在IEEE计算机视觉和模式识别会议，第2卷，2017年。[40] Y.施，S.巴黎角Barnes，W. T. Freeman和F. 杜兰德风格转 移 头 像 肖 像 。 ACM Transactions on Graphics（TOG），33（4）：148，2014。[41] Z. Shu、E. Shechtman，D. Samaras和S.哈达普大开眼界：在野外编辑眼睛。ACM Transactions on Graphics（TOG），36（1）：1，2017。[42] Z. Shu 、 E. Yumer ， S. 哈 达 普 湾 Sunkavalli 、 E.Shechtman和D.萨马拉斯神经人脸编辑与内在的im-年龄解开。在IEEE计算机视觉和模式识别会议论文集，第5541- 5550页[43] B. M.史密斯湖，澳-地Zhang，J. Brandt，Z. Lin，and J.Yang.基于示例的人脸解析。在IEEE计算机视觉和模式识别会议论文集，第3484-3491页[44] L. Tran，X. Yin和X。刘某用于姿态不变人脸识别的解纠缠表示学习。在CVPR，第3卷，第7页，2017年。[45] T.- C.王兆国Y.刘杰- Y. Zhu，中国茶青冈A. Tao，J. Kautz和B.卡坦扎罗用条件gans进行高分辨率图像合成和语义操作。arXiv预印本arXiv：1711.11585，2017。[46] H. Yang，杨氏D. Huang，Y.黄氏Y. Wang和A. K.贾恩。学习面年龄进程：甘斯的金字塔建筑。arXiv预印本arXiv：1711.10352，2017。[47] J. - Y. Zhu，T.帕克山口Isola和A.A. 埃夫罗斯使用循环一致对抗网络的不成对arXiv预印本，2017年。[48] J. - Y. 朱河，巴西-地Zhang，L.Pathak，T.Darrell，A.A. 埃夫罗斯O. Wang和E.谢克特曼走向多模态图像到图像翻译。神经信息处理系统的进展，第465-476页，2017年