基于条件CycleGAN的属性引导人脸生成方法

基于条件CycleGAN的属性引导人脸生成永义路1[0000−0003−1398−9965]、戴玉荣2[0000−0002−3148−0380]、邓志强1[0000−0001−6495−3685]1香港科技大学2腾讯优图{yluaw，cktang}@ cse.ust.hk，yuwingtai@tencent.com抽象。 我们对属性引导的人脸生成感兴趣：给定低分辨率人脸输入图像、可以从高分辨率图像（属性图像）中提取的属性向量，我们的新方法为满足给定属性的低分辨率输入生成高分辨率人脸图像。为了解决这个问题，我们对CycleGAN进行了调节，并提出了条件CycleGAN，该条件CycleGAN被设计为1）处理不成对的训练数据，因为训练低/高分辨率和高分辨率属性图像可能不一定彼此对齐，以及2）允许简单的条件CycleGAN。通过输入属性控制生成的面部的外观。我们在属性引导的条件CycleGAN上展示了高质量的结果，它可以合成逼真的人脸图像，其外观可以通过用户提供的属性（例如，性别、化妆、头发颜色、眼镜）。使用属性图像作为身份来产生相应的条件向量，并通过结合面部验证网络，属性引导的网络成为身份引导的条件CycleGAN，其在身份转移上产生高质量和有趣的结果。我们展示了在身份引导的条件CycleGAN上的三个应用：保持身份的人脸超分辨率，人脸交换和正面人脸生成，这些都显示了我们新方法的优势。关键词：人脸生成·属性·GAN.1介绍本文提出了一种实用的方法，属性引导的人脸生成，自然的人脸图像生成，面部外观可以很容易地控制用户提供的属性。图1示出了通过简单地提供伊万卡·特朗普的高分辨率图像，我们的面部超分辨率结果保留了她的身份，这不一定由常规面部超分辨率保证（图1：顶行）。当输入属性/身份图像是不同的人时，我们将该人的身份识别信息传递到高分辨率的图像，其中低分辨率的输入是从女性的面部中提取的或基本上是从女性的面部中提取的（图1：底部）。* 这项工作部分是在卢永义在腾讯优兔实习时完成的2Y. Lu，Y. W. Tai和C. K. 唐（一）（b）（c）（d）其他事项（e）（f）第（1）款（g）（h）㈠图1.一、身份引导的面部生成。顶部：身份保留面部超分辨率，其中（a）是身份图像;（b）输入照片;（c）以低分辨率从（b）裁剪的图像;（d）我们生成的高分辨率结果;（e）地面实况图像。底部：面部转移，其中（f）是身份图像;（g）另一个人的输入低分辨率图像提供了整体的图像质量;（h）当转移该人的身份时，提供了高分辨率的图像质量。为了产生低分辨率输入（g），我们从（i）下采样，这是一个woman的面部。我们建议使用条件循环GAN来解决我们的人脸生成问题原始的无条件CycleGAN [23]，其中强制循环一致性已经证明了摄影图像合成中的最新结果，被设计为处理未配对的训练数据。放松对成对训练数据的要求特别适合于我们的情况，因为训练低/高分辨率和高分辨率属性图像不需要彼此对齐。通过强制循环一致性，我们能够学习双射映射，或者与来自相同/不同域的未配对数据的一对一对应。通过简单地改变属性条件，我们的方法可以直接应用于生成高质量的面部图像，其同时保留低分辨率输入中给出的约束，同时将面部特征（例如，性别、发色、情绪、太阳眼镜）。基于CycleGAN，我们在属性引导和身份引导的人脸生成方面都取得了显著的成果，我们认为这是重要和及时的。从技术上讲，我们的贡献包括新的条件CycleGAN，通过嵌入复杂属性来指导单图像超分辨率过程，以生成具有高水平照片真实感的图像：首先，在我们的属性引导条件CycleGAN中，对抗性损失被修改为包括条件特征向量作为生成器和鉴别器的层内输入的一部分。使用经过训练的网络，我们展示了令人印象深刻的结果，包括性别变化，头发颜色和面部情绪的转移其次，在我们的身份引导条件CycleGAN中，我们结合了一个人脸验证网络来产生条件向量，并在辅助鉴别器中定义了建议的身份损失，以保留面部身份。使用经过训练的网络，我们展示了真实的身份转移的结果，这是强大的姿态变化和部分遮挡。我们展示了三个AP-基于条件CycleGAN的属性引导人脸生成3身份引导的条件CycleGAN的应用：身份保留的人脸超分辨率、人脸交换和正面人脸生成。2相关工作最 近 的 最 先 进 的 图 像 生 成 技 术 已 经 利 用 了 深 度 卷 积 神 经 网 络（CNN）。例如，在单图像超分辨率（SISR）中，[8]中提出了用于SISR的深度递归CNN学习放大滤波器提高了精度和速度[3，16，17]。在[2]中提出了一种使用双三次插值的深度CNN方法ESPCN [16]通过替换去卷积层代替放大层来执行SR。然而，许多现有的基于CNN的网络仍然生成模糊的图像。SRGAN [10]使用从VGGNet提取的特征图之间的欧氏距离来代替无法保留纹理细节的MSE损失。SRGAN提高了生成 的 SR 图 像 的 感 知 质 量 。 在 [10] 中 提 出 了 一 种 深 度 残 差 网 络（ResNet），它在放大因子高达4时产生了良好的结果在[7]中，感知/特征损失和像素损失都用于训练SISR。现有的GAN [4，1，21]已经为自动图像生成了最先进的结果。它们成功的关键在于对抗性损失，这迫使生成的图像与真实图像无法区分。这是通过两个竞争的神经网络，生成器和判别器。特别是，DCGAN [14]将深度卷积神经网络集成到GAN中，并生成了一些迄今为止最令人印象深刻的逼真图像。然而，GAN是出了名的难以训练：GAN被形成为一个由两个网络组成的最小“游戏”。在实践中，必须在不同的技术中，条件GAN [6]通过强制执行前向-后向一致性来解决这个问题，这已经成为训练GAN的最有效方法之一。前向-后向一致性已经在计算机视觉算法中强制执行，例如图像配准、形状匹配、共分割等。在使用深度学习生成图像的领域中，使用未配对的训练数据，CycleGAN [23]被提出来学习从源域X到目标域Y的图像到图像的转换。除了标准GAN损失分别为X和Y，一对周期一致性损失（前向和后向），制定使用L1重建损失。在[9，20]中也可以找到类似的想法。对于前向循环一致性，给定x∈X，图像平移循环应再现x。反向周期一致性也是类似的。在本文中，我们提出了用于人脸图像生成的条件CycleGAN，以便图像生成过程可以保留（或转移）面部身份，其中结果可以由各种输入属性控制。保留面部特征在从单个侧视人脸图像合成相应的正面人脸图像[5]中也进行了探索，其中定义了身份保持损失4Y. Lu，Y. W. Tai和C. K. 唐基于Light CNN的最后两层的激活[19]。在从单个视图生成多视图图像[22]中，条件图像（例如，前视图）被用于将所生成的多个视图约束在它们的从粗到细的框架中。然而，在他们的结果中没有明确地保留面部身份，因此许多生成的面部看起来模糊，尽管作为来自单个图像的多个视图的第一生成结果，相关结果已经看起来相当令人印象深刻。虽然我们的条件CycleGAN是一个图像到图像的翻译框架，[13]使用它们各自的训练编码器将输入图像分解为潜在表示z和条件信息y通过将y变为y’，生成器网络然后将相同的z和新的y’组合以生成满足在y’中编码的新约束的图像。我们的灵感来自于它们的最佳条件定位，也就是说，y’应该在所有卷积层之间连接起来此外，对于SISR，z应该表示（无约束）高分辨率图像的嵌入，其中生成器可以与身份特征y组合以生成超分辨结果。在[11]中，作者提出学习一对输入源和参考之间的密集对应关系，以便视觉属性可以在它们之间交换或转移在我们的身份引导条件CycleGAN中，输入参考被编码为条件身份特征，使得输入源可以被转换为目标身份，即使它们没有感知相似的结构。3条件CycleGAN3.1CycleGAN生成对抗网络[4]（GAN）由两个神经网络组成，一个生成器GX→Y和一个鉴别器DY，它们以两人极小极大游戏的方式迭代训练。对抗损失L（GX→Y，DY）定义为：L（GX→Y，DY）= minmax.Ey[logDY（y）]Θg ΘdΣ（1）+Ex[log（1−DY（GX→Y（x）]其中Θg和Θd分别是生成器GX-Y和鉴别器DY的参数，并且X∈X和y∈Y分别表示源域和目标域中的不成对训练数据L（GY→X，DX）是类似定义的。在CycleGAN中，X和Y是两种不同的图像表示，CycleGAN同时学习平移X→Y和Y→X。与“p i x2p i x”[ 6]不同的是，在CycleGAN中的训练是不平衡的。通过引入循环一致性来增强前后向一致性，循环一致性可以看作是训练数据的“伪”对。利用周期一致性，CycleGAN的损失函数被定义为：L（GX→Y，GY→X，DX，DY）=L（GX→Y，DY）+L（GY→X，DX）+λLc（GX→Y，GY→X）（二）基于条件CycleGAN的属性引导人脸生成50黑发金发Z与X匹配10Z与Y匹配黑色头发金发黑色头发金发Z与X匹配图二、我们的条件CycleGAN用于属性引导的人脸生成。与原始CycleGAN相比，我们嵌入了额外的属性向量z（例如，金发）其与输入属性图像X相关联，以训练生成器GY-X，以及作为该生成器的GX-Y给定较低的输入Y和属性向量z，则可以将属性向量X转换为较高的属性向量。注意，为了简单起见，未示出鉴别器DX和DY。哪里Lc（GX→Y，GY→X）=||GY→X（GX→Y（x））−x||1+的||GX→Y（GY→X（y））−y||1（三）是循环一致性损失。在我们的实现中，我们采用CycleGAN的网络架构来训练我们的条件CycleGAN，并在下一小节中描述技术贡献。3.2属性引导的条件CycleGAN我们感兴趣的自然人脸图像生成用户提供的面部属性来控制高分辨率的结果。为了将条件约束包括到CycleGAN网络中，对抗损失被修改为包括条件特征向量z作为生成器和层内到鉴别器的输入的一部分，如L（G（X，Z）→Y，DY）=min max.Ey，z[logDY（y，z）]Θg Θd中国（4）+Ex，z[log（1−DY（G（X，Z）→Y（x，z），z））L（G（Y，Z）-X，DX）类似地定义使用条件对抗损失，我们修改了CycleGAN网络，如图2所示。我们遵循[13]选择18个属性作为我们的条件特征向量。请注意，在我们的条件CycleGAN中，属性向量为1106Y. Lu，Y. W. Tai和C. K. 唐Z与X匹配图3.第三章。我们的Conditional CycleGAN用于身份引导的人脸生成。与属性引导的人脸生成不同，我们将人脸验证网络作为条件向量z的来源和辅助判别器DXaux中的身份丢失。预训练网络DXaux。注意，为了简单起见，未示出鉴别器DX和DY与输入的高分辨率面部图像相关联（即，X），而不是输入低分辨率图像（即，例如， Y）。 在一个“对”的跟踪中，缓存功能将用于存储较高的数据面（即例如， X）。因此，图2的下部分支中的所生成的中间高分辨率面部图像将具有与对应的地面实况高分辨率图像不同的属性这是有目的的，因为条件递归网络将强制生成器网络利用来自条件特征向量的信息。如果条件特征向量总是接收正确的属性，则生成器网络将学习跳过条件特征向量中的信息，因为可以在低分辨率面部图像中找到一些属性。在我们的实现中，首先复制条件特征向量以匹配被下采样为低分辨率的输入图像的大小。因此，对于128× 128的低分辨率输入和18维特征向量，我们在调整大小后有18×128× 128的均匀特征图然后将调整大小的特征与生成器网络的输入层连接，以形成（18 + 3）×128×128张量，以将特征向量的推断传播到生成的图像。在鉴别器网络中，调整大小的特征（大小为18× 64× 64）与conv1层连接，形成一个（18 + 64）×64× 64张量。算法1描述了整个训练过程，网络如图2所示。为了训练条件GAN网络，仅正确的地面实况高分辨率面部图像对和相关联的属性特征向量被视为正例。生成的具有相关属性特征向量的高分辨率人脸图像和具有随机采样属性特征向量的地面真实高分辨率人脸图像都被处理Light-CNNZ与X匹配检定损失…Light-CNN256-d基于条件CycleGAN的属性引导人脸生成7算法1条件CycleGAN训练过程（使用minibatch SGD作为说明）输入：分别在目标域和源域中的小批量图像集x∈X和y∈Y，通过hx和mismatvectzmattz hed，numbertrai ng批量迭代S输出值：上数据量和方向取决于θg（X→Y）、θg（Y→X）、θd（X）、θd（Y）1：θg（X→Y），θg（Y→X），θd（X），θd（Y）←iitializenetworkparametrs2：对于n= 1到S，3：y←GX→Y（x）{ForwardcycleX→Y，fakey}4：x~←GY→X（y（，z）{ForwardcycleY→X，reconstrucedx~}5：x←GY→X（y，z）{BackwardcycleY→X，fakex（）}6：y~←GX→Y（x）{BackwardcycleX→Y，reconstructedy~}7：ρr←DY（y）{ComputeDY，realimage}8：ρf←DY（y）{ComputeDY，fakeimage}9：sr←DX（y，z）{ComputeDX，real image，rightattribute}10： sf←DX（y，z）{ComputeDX，fakeimage，rightattribute}11：sw←DX（y，z）{ComputeDX，realimage，wrongattribute}12：LDY←log（ρr）+log（1−ρf）{ComputeDY loss}13：θd（Y）←θd（Y）−α<$θd（Y）LDY{更新DY}14： LDX←log（sr）+[log（1−sf）+log（1−sw）]/2{计算DX损失}15：θd（X）←θd（X）−αθd（X）LDX{更新DX}16： Lc=λ1x−x1+λ2y−y1{Cycleconsistencyloss}17：LGX→Y←log（ρf）+Lc{计算GX→Yloss}18：θg（X→Y）←θg（X→Y）−αθg（X→Y）LGX→Y{更新于GX→Y}19： LGY→X←log（sf）+Lc{ComputeGY→Xloss}20：θg（Y→X）←θg（Y→X）−αθg（Y→X）LGY→X{更新于GY→X}21：结束作为反面例子。与传统的CycleGAN相比，我们使用条件对抗性损失和条件循环一致性损失来更新网络。3.3身份引导的条件CycleGAN为了证明我们的条件CycleGAN控制属性指导的有效性，我们专门将其用于身份指导的人脸图像生成。我们利用来自人脸验证网络的特征向量，即Light-CNN [19]作为条件特征向量。 身份特征向量是来自“Light CNN-9模型”的256-D向量。 与另一种最先进的FaceNet [15]相比，它为每个人脸图像返回1792-D人脸特征向量，light-CNN的256-D表示获得了最先进的结果，同时具有更少的参数并且运行速度更快。虽然Light-CNN是最好的单一模型之一，但它可以很容易地被FaceNet或VGG-Face等其他人脸验证网络所取代8Y. Lu，Y. W. Tai和C. K. 唐在我们的初始实现中，我们遵循相同的体系结构和训练策略来训练条件CycleGAN以用于身份引导的面部生成。然而，我们发现训练的网络没有产生良好的结果（图12（d）中所示的我们认为这是因为鉴别器网络是从头开始训练的，训练后的鉴别器网络不如从数百万对人脸图像中训练出来的light-CNN强大因此，我们在条件生成器GY→X 的顶部添加一个辅助的辅助函数DXaux，与条件生成器DX并行，因此GY→X有两个鉴别器，而GX→Y的鉴别器保持不变（见图3）。我们的辅助鉴别器的输入为thegeneratedhigh-resimageX或地面实况图像X，并输出特征嵌入我们将预训练的Light-CNN模型重新用于我们的辅助鉴别器，倒数第二层的激活：256-D向量与我们的条件向量Z相同。基于辅助鉴别器的输出，我们定义了身份损失，以更好地指导生成器的学习。这里，我们使用输出256-D向量的L1损失作为我们的恒等式损失。来自辅助鉴别器的验证误差与来自鉴别器网络的误差同时反向传播在人脸验证损失的情况下，我们能够生成与由条件假设给定的身份相匹配的高质量高分辨率人脸图像。 如在图3中所示的运行示例中，负载的面变化到由LIGHT-C_NN函数给出的人的面的选择。4实验我们使用两个图像数据集，MNIST（用于健全检查）和CelebA [12]（用于面部图像生成）来评估我们的方法。MNIST是60，000个训练图像和10，000个测试图像的数字数据集。每个图像是一个28×28的黑白数字图像，类别标签从0到9。CelebA是一个包含202，599张人脸图像的人脸数据集，有40个不同的属性标签，每个标签都是一个二进制值。我们使用对齐和裁剪的版本，其中182K图像用于训练，20K用于测试。为了生成低分辨率图像，我们对两个数据集中的图像进行了8倍的下采样，并且我们将图像分离，使得高分辨率和低分辨率训练图像不重叠。4.1MNIST我们首先评估我们的方法在MNIST数据集上的性能条件特征向量是数字的类别标签如图4所示，我们的方法可以从低分辨率输入生成高分辨率数字图像。注意，当低分辨率图像和特征向量之间存在冲突时，生成的高分辨率数字遵循给定的类标签这是期望的，因为条件约束在训练期间消耗大的权重。该健全性检查还验证了我们可以将条件约束施加到CycleGAN网络中。基于条件CycleGAN的属性引导人脸生成9（一）（b）第（1）款（c）第（1）款（d）其他事项（e）（f）第（1）款（g）（h）（一）（j）（k）（一）（b）第（1）款（c）第（1）款（d）其他事项（e）（f）第（1）款（g）（h）（一）（j）（k）图4.第一章从低分辨率数字图像（a），我们可以生成高分辨率数字图像（b）以(k)受到来自第一行中的数字类别标签的条件约束。图五.数字的插值结果。给定（a）中的低分辨率输入，我们随机采样两个数字（b）和（j）。(c)是根据（b）的属性从（a）生成的结果。在（b）和（c）的属性之间插值的相应结果(j)如（d）至（i）所示。我们在数字的二进制向量之间进行插值。除了基于高分辨率身份输入的标签变化之外，我们观察到生成的高分辨率图像继承了低分辨率输入中的外观，例如方向和厚度。对于图4中的在下一行中，输出采用输入的厚度，也就是说，由下一行“1”所表示的厚度。这是我们训练有素的生成器的能力的一个方面：基于作为身份属性呈现的高分辨率图像改变标签的自由度，同时保留由低分辨率输入呈现的基本外观特征。除了从低分辨率输入生成高分辨率数字图像外，我们还在两个高分辨率图像（作为身份特征）之间执行线性插值，以显示我们的模型能够学习数字表示。具体来说，我们在两个数字的相应二进制向量样品结果如图5所示。4.2属性引导的人脸生成图6示出了属性引导的面部生成的样本结果。回想一下，条件被编码为18-D向量。图中显示的10个结果是通过在其相应条件向量中翻转一个属性标签生成的在条件CycleGAN中。我们生成的结果以属性为条件，如刘海、刘海、胡须、眉毛、绅士、亲戚等都很有说服力。与Conditional GAN的比较我们首先在属性引导的人脸生成框架下与条件GAN框架[13]进行比较。 可视化如图7所示。一般来说，我们的方法可以产生很多10Y. Lu，Y. W. Tai和C. K. 唐见图6。属性引导的人脸生成。我们翻转一个属性标签为每个生成的高分辨率的脸图像，给定的低分辨率的脸输入。这10个标签是：秃头，刘海，金发，灰发，浓眉，眼镜，男性，苍白的皮肤，微笑，戴帽子。图7.第一次会议。[13]与[14]的比较，通过交换面部属性。示出了四个成对的示例通常，与[13]相比，我们的方法可以生成更好的图像与竞争对手相比，更好的图像，例如，我们的方法成功地重新移动了眼镜，并且生成了正确颜色的头发。请注意，[13]生成不同的人，而我们的人忠实于输入。与无监督GAN的比较。我们进一步与[9]进行比较，[9]也是一种不成对的图像到图像的翻译方法。比较结果示于图8中。请注意，我们仅根据他们的论文提供部分属性结果，以进行公平比较。定量比较。为了定量评估生成的结果，我们使用结构相似性（SSIM）[18]，这是一种广泛使用的图像质量度量，与人类视觉感知密切相关SSIM的范围从0到1，越高越好。我们的方法的SSIM，以及条件GAN [13]和无监督GAN [9]，如表1所示。我们的方法在两个方面优于[13]和[9]：（i）在无监督GAN设置中，与[9]相比，我们的方法显示出显着的性能增益基于条件CycleGAN的属性引导人脸生成11见图8。与[9]的比较结果。顶行中示出了四个源图像。带有蓝色和红色边界框的图像表示由[9]传输的结果和由我们的方法，分别。表1.CelebA测试集上的SSIM方法条件GAN [13]无监督GAN [9]条件CycleGANSSIM0.740.870.92与建议的属性指导框架。(ii)与条件GAN [13]相比，在我们的条件CycleGAN的循环网络架构的帮助下，性能增益甚至更大4.3身份引导的人脸生成图9和图10示出了其中身份面部特征分别来自相同和不同的人的样本面部生成结果。有两点值得注意：首先，所生成的高分辨率结果（c）与使用Light-CNN从其计算身份特征的目标身份图像（b）具有高度相似性。独特的身份特征可以很好地从(b) 至（c），例如，挑战图10的第二行中的性别变化 在最后一行中，面部属性，例如胡子（蓝色框中的示例）、眼镜（黄色框中的示例）被认为是身份的一部分，并且被我们的模型忠实地保留在高分辨率输出中，即使低分辨率输入不具有这样的属性。低分辨率输入中被遮挡的前额（绿色框中的示例）被恢复。第二，低分辨率输入提供整体形状约束。生成的高分辨率图像的头部姿势和面部表情(c) 采用低分辨率输入（a）中的那些具体地，参考图10的最后一行中的蓝色框内的示例，其中（b）示出了目标身份，即一个人微笑，而低分辨率输入（a）示出另一个人闭着嘴。（c）中生成的高分辨率图像保留（b）中的身份，而头部的姿势遵循输入并且嘴巴也闭合。4.4高分辨率域我们展示了一个有趣的应用程序面对交换的输入和身份的图像是高分辨率的图像。在这里，我们想交换身份12Y. Lu，Y. W. Tai和C. K. 唐(a)（b）（c）（d）（a）（b）（c）（d）（a）（b）（c）（d）图9.第九条。身份引导的面部生成导致同一人的低分辨率输入和高分辨率身份保持身份的人脸超分辨率。(a)低分辨率输入;（b）同一人的输入身份;（c）我们从（a）输出的高分辨率人脸（红框）;(d) （a）的高分辨率地面实况(a)（b）（c）（d）（a）（b）（c）（d）（a）（b）（c）（d）图10个。身份引导的人脸生成结果对不同的人。最后一行显示了一些具有挑战性的示例，例如，，恢复低分辨率输入中被遮挡的前额（绿框中的示例）。(a)低分辨率输入提供整体形状约束;（b）要传送的身份;（c）来自（a）的高分辨率面部输出（红色框），其中在（b）中的面部/面部的身份被传送;（d）来自（a）的高分辨率面部输出（红色框）。同时保留所有面部细节，包括细微的折痕线和表情，因此身份图像和输入图像都必须是高分辨率图像。我们采用我们的身份引导条件CycleGAN，并利用Light-CNN作为身份特征和人脸验证丢失的来源。我们的人脸交换结果如图11所示。如图所示，我们的方法通过转移眼睛、眉毛、头发等的外观来交换身份，同时保持其他因素完整，例如，头部姿势、面部形状和面部表情。没有多个步骤（例如，面部标志检测，然后进行扭曲和混合），我们的身份引导条件CycleGAN仍然可以实现面部交换图像的高水平的照片真实感。图12比较了在辅助鉴别器中使用和不使用面部验证损失训练的模型的面部交换结果。该差异易于识别，并且添加面部验证损失具有改善交换面部图像的照片真实感的感知效果。在该示例中，眉毛和眼睛被成功地变换为具有面部验证丢失的目标身份。基于条件CycleGAN的属性引导人脸生成13（c）（d）（c）（d）（c）（d）（c）（d）（c）（d）见图11。面部交换结果在高分辨率域中。（a）（c）是两个不同的人的输入;（二）（四）换脸结果。黑色箭头指示标识的引导，即（d）是在（a）的恒等式约束下从（c）变换而来的。类似地，（b）是在（c）的同一性下从（a）变换而来的。注意我们的方法是如何通过改变眼睛、眉毛、头发等的外观来改变身份的，同时保持其他因素不变，例如，头部姿势、面部形状和面部表情。见图12。没有（c）和具有（d）面部验证损失的结果。(a)是要转移目标身份图像，以及（b）是输入图像。 这种损失促进了照相现实主义的微妙而重要的改进，例如。通过添加面部验证损失，（c）中的眉毛和眼睛类似于（a）中的目标身份。4.5正面人脸生成我们的模型的另一个应用程序包括从其他方向的人脸图像通过简单地提供一个低分辨率的正面人脸图像，并采用我们的身份引导的条件CycleGAN模型，我们可以生成相应的高分辨率正面人脸图像给定的侧面人脸图像作为高分辨率的人脸属性。图13显示了我们的正面图像生成的样本结果。请注意，我们的正面人脸生成是端到端的，没有人为干预，因此将其与通过地标检测，扭曲和混合等进行正面化的相关工作分开。摆出正面的姿势4.6插值条件向量我们进一步探讨了条件属性向量之间的线性插值两个不同的属性向量。图14示出了所有内插的面部在视觉上是合理的，其中具有平滑过渡，这是模型很好地概括面部表示而不是仅仅直接记忆训练样本的有利证明。与插值属性向量类似，我们在身份指导条件下实验插值256-D身份特征向量（一）（b）第（1）款（一）（b）第（1）款（一）（b）第（1）款（一）（b）第（1）款（一）（b）第（1）款14Y. Lu，Y. W. Tai和C. K. 唐（a）（b）（c）（d）（e）（a）（b）（c）（d）（e）图十三岁正面人脸生成。给定低分辨率模板（a），我们的方法可以从不同的侧面生成对应的正面，例如，(b)至（c）、（d）至（e）。（（一）（b）第（1）款（c）第（1）款（d）（e）（f）（g）（h）（i）（j）（k）图14.属性向量的插值结果。(a)低分辨率人脸输入;（b）生成的高分辨率面部图像;（c）至（k）内插结果。源和目标的属性以文本形式显示。（一）（b）第（1）款（c）第（1）款（d）其他事项（e）（f）第（1）款（g）（h）（一）（j）（k）图十五岁身份特征向量的插值结果给定（a）中的低分辨率输入，我们随机采样两个目标身份面部图像（b）和（k）。（c）是以（b）中的恒等式为条件的从（a）生成的面，并且（d）至（j）是插值。模型我们随机抽取两个高分辨率的人脸图像，并在两个身份特征之间进行插值。图15表明，我们的模型适当地概括了给定条件特征向量的面部表示。5结论我们已经提出了用于属性引导和身份引导的人脸图像生成的条件CycleGAN我们的技术贡献包括条件CycleGAN，通过简单的用户输入复杂属性来指导面部图像生成过程，在属性引导的条件CycleGAN中，对抗性损失被修改为包括条件特征向量作为生成器和鉴别器网络的输入的一部分我们在身份引导的条件Cy-cleGAN中利用来自light-CNN的特征向量我们已经提出了第一个但重要的结果，身份引导和属性引导的人脸图像生成。在未来，我们将探索如何进一步改善结果，并将工作扩展到人脸视频生成。鸣谢本作品得到了腾讯优图的部分支持。基于条件CycleGAN的属性引导人脸生成15引用1. 崔，Y.，Choi，M.，Kim，M.，J.W. Kim，S.，Choo，J.：Stargan：用于多域图像到图像翻译的统一生成对抗网络。在：IEEE计算机视觉和模式识别会议（CVPR）（2018年6月）2. 董，C.，Loy，C.C.，他，K.，唐X：学习深度卷积网络实现图像超分辨率（2014）3. 董 ，C. ， Loy ， C.C. ， 唐X： 加速 超分 辨率 卷积 神 经网 络。 CoRRabs/1608.00367（2016），http://arxiv.org/abs/1608.003674. 古德费洛岛Pouget-Abadie，J.Mirza，M.，徐，B.，沃德-法利，D.，Ozair，S.，C〇urville，A.， Bengio，Y. ：Genertiveadve rsarialnets. ^^2672http://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf5. 黄河，巴西-地Zhang，S.，（1991），中国农业科学院，Li，T.，他，R.：超出面旋转：全局和局部感知GAN用于照片级真实感和身份保持正面视图合成。ArXiv电子版（2017年4月）6. Isola，P.， Zhu，J.， 周，T.， 埃夫罗斯A.A.：Image-to-Image条件 对 抗 网 络 的 翻 译 。 CoRRabs/1611.07004 （ 2016 ） ，http://arxiv.org/abs/1611.070047. 约翰逊先生，J.，阿拉希一、李鹏说，F.：感知损失为实 时风 格 转 换 和 超 分 辨 率 。 CoRR abs/1603.08155 （ 2016 ） ，http://arxiv.org/abs/1603.081558. 金，J.，Lee，J.K.，Lee，K.M.：用于图像增强的深度递归卷积网络。In：CVPR. pp. 16 379. 金，T.，Cha，M.，Kim，H.李，J.，Kim，J.：学习发现跨域关系与生成对抗网络。ICML（2017）10. 莱迪格角泰斯湖胡萨尔，F.卡瓦列罗，J.， Aitken，A.P.， Tejani，A.， 托茨，J.，王志，Shi，W.：使用生成对抗网络的照片逼真的单图像超分辨率。CoRRabs/1609.04802（2016），http://arxiv.org/abs/1609.0480211. Liao，J.，Yao，Y.，（1996 - 1997 ），美国，Yuan，L.Hua，G.，Kang ， S.B. ： 通 过 深 度 图 像 类 比 的 视 觉 属 性 传 递 电 影 SIGGRAPH（2017）12. 刘志，Luo，P.，王，X.，唐X：在野外深度学习人脸属性。CoRRabs/1411.7766（2014）13. Pernau，G.， VandeWeijer，J.， Raducanu，B. A'lvarez，J. M. ：IvertibleCon di-用于图像编辑的常规GAN。在：NIPS对抗训练研讨会（2016）14. Radford，A.梅斯湖Chintala，S.：使用深度卷积生成对抗网络进行无监督表示学习CoRR abs/1511.06434（2015），http://arxiv.org/abs/1511.0643415. Schroff，F.，Kalenichenko，D. Philbin，J.：Facenet：用于人脸识别和聚类的统一嵌入。在：CVPR（2015年6月）16. 施伟，卡瓦列罗，J.，胡萨尔，F.托茨，J.，Aitken，A.P.，毕晓普河，巴西-地吕克特D、Wang，Z.：使用有效的子像素卷积算法实现实时单图像和视频超分辨率。 In：CVPR. pp. 187417. 王玉，Wang，L.，美国，王，H.，Li，P.：端到端图像超分辨率通过 深 层 和 浅 层 卷 积 网 络 。 CoRR abs/1607.07680 （ 2016 ） ，http://arxiv.org/abs/1607.0768018. 王志，Bovik，A.C.，Sheikh，H. R.，Simoncelli，E.P.：图像质量评估：从错 误 可 见 性 到 结 构 相 似 性 。 IEEE Transactions on Image Processing13（4），60016Y. Lu，Y. W. Tai和C. K. 唐19. Wu，X.，中国农业科学院，他河Sun，Z.：用于深度面部表示的减轻的CNNCorrabs/1511.02683（2015），http://arxiv.org/abs/1511.0268320. Yi，Z.，张洪，龚医生等：Dualgan：图像到图像翻译的无监督双重学习。arXiv预印本arXiv：1704.02510（2017）21. 张洪，徐，T.，Li，H.，Zhang，S.，（1991），中国农业科学院，黄，X.，王，X.，Metaxas，D.：Stack- gan：使用堆叠生成对抗网络进行文本到照片级逼真图像合成。In：IEEEInt. Co n f. 来吧。Visi〇n（ICCV）。pp. 590722. Zhao，B.，Wu，X.，中国农业科学院，Cheng，Z.Q.，刘洪，Feng，J.：从单视图生成多视图图像。ArXiv电子版（2017年4月）23. Zhu，J.Y.，Park，T. Isola，P.，Efros，A.A.：使用周期一致对抗网络的不成对图像到图像翻译。在：计算机视觉（ICCV），2017年IEEE国际会议（2017）