基于姿势和表情鲁棒的空间感知GAN的可定制化妆转移

5194PSGAN：用于可定制化妆转移的姿势和表情鲁棒的空间感知GAN姜文涛1刘思1高晨2曹杰 4何冉4冯佳石5闫水成61北京航空航天大学2中国科学3中国科学4中国科学院大学5新加坡国立大学6依图科技{jiangwentao，liusi}@ buaa.edu.cn，gaochen@iie.ac.cn局部化妆转移（嘴唇，皮肤，眼睛）大的姿势和表情差异源参考结果图1.我们的模型允许用户控制化妆和面部部位的阴影转移。左侧的第一行显示仅从参考转移部分化妆样式的结果。第二行显示具有可控阴影的结果。此外，我们的方法可以在具有不同姿势和表情的图像之间执行化妆转移，如图的右侧部分所示。最好用彩色观看。摘要在本文中，我们解决的化妆转移任务，其目的是从一个参考图像的化妆源图像。现有的方法在受限场景中取得了令人鼓舞的进展，但在具有大姿态和表情差异的图像之间传输仍然具有挑战性。此外，它们不能实现可定制的转移，从而允许可控制的化妆阴影或指定要转移的部分，这限制了它们的应用。为了解决这些问题，我们提出了姿态和表情鲁棒空间感知GAN（PSGAN）。首先利用化妆提取网络将参考图像的化妆分解为两个空间感知的化妆矩阵。然后，在化妆变形模块中引入指定的化妆的源图像中的像素是如何从参考图像变形。使用化妆矩阵和源图像，化妆应用网络用于执行化妆转移。我们的PSGAN不仅实现了最先进的结果，即使在大的姿势和表达，*通讯作者存在着不同的选择，但也能够执行部分和色调可控的化妆品转移。代码和新收集的包含各种姿势和表情的面部图像的数据集都将在https：//github.com/wtjiang98/PSGAN网站。1. 介绍我们探讨了化妆转移任务，其目的是将化妆从任意参考图像转移到源图像。它在许多流行的por- trait应用中被广泛要求。大多数现有的化妆品转移方法[18，3，2，11]都是基于生成对抗网络（GAN）[10]。它们通常使用面部解析图和/或面部地标作为预处理步骤以简化后续处理，并采用CycleGAN [33]的框架，该框架在未配对的图像集上训练，即，非化妆图像和化妆图像。然而，现有的方法主要有两个局限性。首先，它们只适用于具有中性表情的正面人脸图像，因为它们缺乏专门设计的模块来处理图像的错位和过拟合。源淡妆浓妆参考5195正面图像而在实际应用中，理想的化妆转移方法应该是姿态和表情鲁棒的，即使源图像和参考图像表现出不同的姿态和表情，也能够生成高质量的结果。其次，现有的方法不能进行可定制的化妆转移，因为它们编码成低维向量，丢失了空间信息的化妆风格。一种理想的移妆方法需要实现局部的、色调可控的移妆。部分转移表示分别转移特定面部区域的化妆品，例如，眼影或口红。色调可控的转移意味着转移的化妆品的色调可以从浅到深进行控制。为了解决这些问题，我们提出了一种新的姿态和表情鲁棒的空间感知GAN（PSGAN），它由一个化妆提取网络（MDNet），一个attentive化妆变形（AMM）模块和化妆应用网络（MANET）。不同于以往的简单地将两幅图像输入网络的方法或者重新组合化妆潜码和身份潜码来执行转移，我们设计了PSGAN，通过缩放和移动特征图仅一次来转移化妆，灵感来自风格转移方法[14，5]。与一般的风格转移相比，化妆转移是更困难的，因为人类的感知系统是非常敏感的人脸上的文物。此外，化妆风格包含微妙的细节，在每个面部区域，而不是一般的风格。为此，我们提出MDNet将化妆从参考图像中分离为两个化妆矩阵，即，系数矩阵γ和偏置矩阵β具有相同的空间维度，具有视觉特征。这些矩阵嵌入的化妆信息，并作为移位和缩放参数。然后，γ和β通过AMM模块变形并适应于源图像，AMM模块计算关注矩阵A以产生适应的化妆矩阵γ′和β′。AMM模块利用人脸解析图和人脸特征点建立源图像和参考图像之间的像素级对应关系，解决了人脸错位问题。最后，建议的移动自组网进行化妆转移，通过应用-ing逐像素的乘法和加法的视觉特征，使用γ′和β′。由于化妆风格已经以空间感知的方式提取，因此可以通过根据面部解析结果逐像素地应用掩模来实现部分转移。例如，在图1的左上面板中，唇彩、皮肤和眼影可以从参考图像单独地转移到源图像。通过将组成矩阵的权值乘以[0，1]范围内的系数，可以实现阴影可控的传递.如图1的左下图所示，其中化妆阴影越来越重。此外，新颖的AMM模块有效地辅助姿态的生成表达稳健的结果，如图1的右侧部分所示。我们还直接应用转移到每一帧的fa-cial视频，仍然得到很好的和一致的结果。通过这三个新的组件，PSGAN满足了我们对理想的可定制化妆品转移方法的本文主要做了以下贡献• 据我们所知，PSGAN是第一个模拟实现局部，阴影可控，姿势/表情鲁棒化妆转移的产品，在现实世界中的应用程序。• 引入MDNet将化妆从参考图像中分离为两个化妆矩阵。空间感知的化妆矩阵使灵活的部分，和阴影可控制的转移。• 提出了一种自适应变形的化妆矩阵的AMM模块，源图像，这使得姿势和表情的鲁棒传输。• 一个新的化妆野生数据集包含不同的姿势和表情的图像收集更好的评估。2. 相关工作2.1. 化妆品转移近年来，化妆品转移已经被研究了很多[27，12，17，21，20，1]。BeautyGAN [18]首先提出了一种具有双输入和输出的GAN框架，用于同时进行化妆转移和卸妆。他们还引入了一个化妆损失，匹配面部不同部位的颜色直方图，用于实例级化妆转移。Beauty-Glow [3]在Glow框架上提出了类似的思想，并将化妆组件和非化妆组件进行了分解。PairedCycleGAN [2]采用了额外的识别器，使用通过将参考面扭曲到源面而生成的伪转印图像来引导化妆转印。LADN [11]利用额外的多个重叠局部鉴别器进行戏剧性的化妆转移。然而，上述方法通常在野外图像中的转印环上失败，并且不能精确地和部分地调整转印，这限制了它们的应用，例如视频中的化妆转印。2.2. 风格迁移风格转移已被广泛研究[8，7，15，22、26]。[9]提出从CNN中导出图像表示，可以分离和重组以合成图像。提出了一些解决快速风格转换问题的方法[5]发现了规范化在风格迁移网络中的重要作用，并通过条件实例规范化实现了快速的风格迁移而它们的方法只能传递一组固定的样式，不能适应任意的新样式。 然后，[14]提出了自适应实例5196化妆应用网络（MANET）结果Vx'：转移后的特征β'：1×H×Wγ'：1×H×W×w硬件×1硬件×1A：HW×HWsoftmax转置β：1×H×Wγ：1×H×WC×HW136×HW1×1转换1×1转换×wVy：参考特征图（C×H×W）Vx：传输前的特征C×HW136×HW逐元素乘法（B）注意化妆变形（AMM）模块来源x参考y源图像(with一个特定的红点）参考图像上的注意力图（softmax之前）参考图像上的注意力图（在softmax之后）(A) PSGAN（C）注意力地图（由A的特定行获得）图2. （A）PSGAN框架说明。MDNet从参考图像中提取化妆矩阵。AMM模块将调整后的补偿矩阵应用于第三瓶颈的输出特征图，实现补偿转移。（B）AMM模块的图示。具有136（68×2）通道的绿色块表示像素的相对位置特征，然后将其与C通道视觉特征连接。因此，通过相对位置和视觉外观。AMM模块生成自适应的组成矩阵γ′和β′图中的橙色和灰色块表示化妆和不化妆化妆. （C）源图像中特定红点的注意力地图请注意，我们只计算属于同一面部区域的像素的关注值因此，在参考图像的嘴唇和眼睛上不存在响应值。归一化（AdaIN）将内容特征的均值和方差与风格特征的均值和方差对齐，实现任意风格转换。在这里，我们提出了每个像素的空间感知化妆转移，而不是从[24]启发的参考中转移一般风格。2.3. 注意机制注意力机制已在许多领域得到利用[30，23，13，25，6]。[28]提出了自然语言处理领域的注意机制，利用自注意模块，通过关注所有位置并在嵌入空间中取其加权平均来计算序列中某个位置处的响应。[29]提出了非局部网络，它将一个位置的响应计算为所有位置的特征的加权和。受这些工作的启发，我们通过计算两个特征图之间的注意力来探索注意力模块的应用与只考虑视觉外观相似性的非局部网络不同，我们提出的AMM模块通过考虑视觉外观和位置来计算另一个特征图的加权和。3. PSGAN3.1. 制剂设X和Y为源图像域和参考图像域。此外，我们利用{xn}n=1，...，N，xn∈X且{y m}m=1，.，M，ym∈Y分别表示两个域的例子. 请注意，配对数据集是不是必需.也就是说，源图像和参考图像具有不同的身份。我们假设x是根据分布PX从X中采样的，y是从Y中采样的根据分布PY.我们提出的PSGAN学习传递函数G：{x，y}→x，其中，被传递的图像x具有参考图像y的标记样式，并且保持源图像x的身份。3.2. 框架总的来说。PSGAN的框架如图2（A）所示。在数学上，它被表示为x∈ G=G（x，y）。它可以分为三个部分。1)化妆品蒸馏网。MDNet从参考图像y中提取化妆风格，并将其表示为两个化妆矩阵γ和β，它们具有与特征图相同的高度和宽度。2）在─化妆品蒸馏网络（MDNet）AMM瓶颈3瓶颈2瓶颈1瓶颈1瓶颈2瓶颈3瓶颈4瓶颈5瓶颈65197XXǁpǁy我尝试化妆变形模块。由于源图像和参考图像在表达和姿态方面可能具有大的差异，因此所提取的化妆矩阵不能直接应用于源图像X。然后，我们提出了一个AMM模块，通过考虑源和参考像素之间的相似性，将两个化妆矩阵变形为两个新的矩阵γ′和β′，这两个新的矩阵3)化妆应用网络。将自适应补偿矩阵γ′和β′应用于移动自组网的瓶颈，通过逐元素乘和加的方式实现像素级指导的补偿传输。化妆品蒸馏网。MDNet利用此外，为了避免对具有相似相对位置但不同语义的像素进行不合理的采样，我们还考虑了像素之间的视觉相似性（例如，xi和yj），分别表示为从MANET和MDNet的第三个瓶颈中提取的vi和vj为了使相对位置成为主要关注点，我们在计算A时将视觉特征乘以权重。然后，调整相对位置特征的大小并将其与沿通道维度的视觉特征连接起来。如图2（B）所示，注意力值Ai，j是通过考虑视觉外观和相对位置的相似性来计算的，在[4]中使用的编码器瓶颈架构，没有去编码器部分它解开了与化妆相关的特征，例如，exp .Σ[wvi，pi ] T[wvj，pj ]的一种I（mi=mj）唇彩，眼影，从内在的面部特征，Ai，j=0.普岛p我不知道，pjj例如，在一个实施例中，脸型眼睛的大小化妆相关特征被表示为两个化妆矩阵γ和β，Jexp [wvi，我普岛]T[wvj，pjI（mi=my）（二）其用于通过像素级操作转移化妆品如图2（B）所示，MDNetVy∈RC×H×W的输出特征图被馈送到两个1×1卷积中，层产生γ∈R1×H×W和β∈R1×H×W，其中C、H和W是通道数量、高度和宽度的特征图。注意化妆变形模块。 由于源其中[·，·]表示级联运算，v∈RCp∈R136表示视觉特征和相对位置特征，w表示视觉特征的权重。 I（·）是一个指示函数，如果内部公式为真，则其值为1，m x，m y∈ {0，1，. . .，N-1}H×W是源图像x和参考图像y的面部解析图，其中N代表面部区域的数量（在我们的实验中，N是3，包括眼睛，嘴唇和皮肤），mi和mjindi-并且参考图像可以具有不同的姿态和表达式因此，所获得的空间感知γ和β不能直接应用于源图像。所提出的AMM模块计算关注矩阵A∈RHW×HW以指定源图像x中的像素如何从参考图像y中的像素变形，其中Ai，j指示关注矩阵A ∈ R HW × HW。图像x中的第i个像素xi和图像y中的第j个像素yj之间的有效值。直觉上，化妆应该在面部上具有相似相对位置的像素之间转移，并且这些像素之间的例如，应当从参考图像y的相应唇彩区域采样所传送的结果x的唇彩区域。为了描述相对位置，我们将面部标志点作为锚点。相对位置-像素xi的位置特征表示为pi∈R136，确定x i和x j所属的面部区域。注意我 们 只 考 虑 属 于 同 一 面 部 区 域 的 像 素 ， 即 ，mi=mj，通过应用指示函数I（·）。给定左下角用红色标记的特定点图2（C）的中间图像通过将注意力矩阵Ai：∈ R1×HW的特定行整形为H × W来示出其注意力图。我们可以看到，只有鼻子左角周围的像素值较大使用softmax后，注意价值观变得更加集中。这验证了我们提出的AMM模块能够找到语义相似的像素参加。我们将注意矩阵A与γ和β相乘，得到变形的补充矩阵γ′和β′。更具体地，矩阵γ′和β′通过下式计算：反映在像素xi和68个面部标志，计算如下：Σγ′=Ai，jγj;JΣ（三）p=[f（x）− f（l），f（x）− f（l），. - 是的- 是的 ，f（x）− f（l），β′=Ai，jβj，i i1i2i68ig（x i）− g（l1），g（x i）− g（l2），. -是的- 是的 ，g（x i）-g（l68）]，（一）其中f（·）和g（·）表示x和y轴上的坐标，li表示由2D面部标志检测器[31]获得的第i个面部标志，其在计算pi时用作锚点。为了处理在图像中占据不同大小的面，我们将p除以它的二范数（即，p）计算注意矩阵时。J其 中 i 和 j 是 x 和 y 的 像 素 索 引 。 然 后 ， 将 矩 阵γ′∈R1×H×W和β′∈R1×H×W沿信道维数进行复制和扩展，得到匹配张量Γ′∈RC×H×W和B′∈RC×H×W，作为移动自组网的输入.化妆应用网络。MANET利用与[4]类似的编码器-瓶颈-解码器架构。如图2（A）所示，MANET的编码器部分共享5198GGDDGDGGGGXY与MDNet相同的体系结构，但它们不共享参数。在编码器部分，我们使用没有仿射参数的实例归一化，使特征图成为正态分布。在瓶颈部分，将AMM模块得到的变形后的makeup张量Γ′和B′应用于源图像的特征映射Vx∈RC×H×W。已传输具体来说，我们分别对x和y的相同面部区域执行直方图匹配，然后重新组合结果，表示为HM（x，y）。HM（x，y）作为一种伪地面真值，保持了x的同一性，并具有与y相似的颜色分布。然后，我们计算补偿损失L，作为粗略的指导，特征图Vx”计算如下：Lmake=ExP，yPY[G（x，y）−HW（x，y）2]（八）′′ ′+E x<$PX，y<$PY[<$G（y，x）− HW（y，x）<$2]。Vx=ΓVx+ B。（四）当量（4）给出了化妆品转移功能。更新后的特征图Vx′然后被馈送到MANET的后续解码器部分以产生传输结果。3.3. 目标函数完全损失。我们的方法中，用于发电机和发电机的损耗LD和LG可以表示为LD=λadvLG=λadvLadv+λcycLcyc+λperLper+λmakeLmake，GG GG（九）对抗性损失。我们利用两个鉴别器DX和DY用于源图像域X和参考图像域X。年龄域Y，它试图区分生成的图像和真实图像，从而帮助生成器合成尺寸逼真的输出。因此，对抗性损失Ladv，针对发电机和发电机的Ladv计算如下：其中λadv、λcyc、λper、λmake是平衡多个目标的权重。4. 实验4.1. 数据收集Ladv=−ExP[logDX（x）]−Ey P[logDY（y）]—Ex<$PX，y<$PY[log（1−DX（G（y，x）]—Ex<$PX，y<$PY[log（1−DY（G（x，y）]（五）由于现有的化妆数据集只包含具有中性表情的正面人脸图像，因此我们收集了一个新的化妆野生数据集，该数据集包含具有各种姿势和表情以及复杂背景的Ladv=−ExP，yPY[log（DX（G（y，x）]在真实世界环境中测试方法。 我们收集数据从互联网上，然后手动删除图像-Ex<$PX，y<$PY[log（DY（G（x，y）]循环一致性损失。由于缺乏三元组数据（源图像，参考图像和传输图像），我们以无监督的方式训练网络。在这里，我们介绍了[33]提出的循环一致性损失。我们使用L1损失来约束重建图像，并将周期一致性损失Lcyc定义为正面或中性表情。之后，我们将图像裁剪并调整大小为256×256分辨率。最后，收集了403张化妆图像和369张非化妆图像以形成化妆-野生数据集。4.2. 实验设置和细节我们使用MT（Makeup Transfer）数据集的训练部分训练我们的网络[18，3]，并在测试中对其进行测试Lcyc=ExP，yPY[G（G（x，y），x）−x<$1]（六）部分MT数据集和Makeup-Wild数据集。 Mt+ExPX，yPY[G（y，x），y）−y<$1].数据集包含1，115张非化妆图像和2，719张化妆图像，大部分的化妆图像都是对齐的，感知损失。当转移化妆风格时，需要转移的图像以保持个人身份。我们没有直接测量像素级的差异，而是利用在ImageNet上预训练的VGG-16模型来比较源图像和隐藏层中生成图像的激活。设F1（·）表示VGG-16模型第1层的输出我们引入知觉L2损失来衡量它们之间的差异：361×361的解和相应的人脸解析结果。我们遵循[18]的分裂策略来形成训练/测试集，并在MT数据集的测试集中进行正面人脸实验，因为测试集中的示例是对齐良好的正面人脸图像。为了进一步证明PSGAN处理姿势和表情差异的有效性，我们使用Makeup-Wild数据集作为额外的测试集。请注意，我们只使用MT数据集的训练部分来训练我们的网络，以便进行公平的比较。Lper=ExPX，yPY[<$Fl（G（x，y））−Fl（x）<$2]XGXX5199（七）对于所有实验，我们将图像大小调整为256×256，+E x<$PX，y<$PY [<$F l（G（y，x））− Fl（y）<$2].化妆损失。为了给补给转移提供粗略的指导，我们利用[18]提出的补给损失。并利用VGG-16的relu4 1特征层进行计算，晚期知觉丧失不同损失函数的权值设为λ adv=1，λcyc=10，λ per=0。005，λmake=1，AMM中视觉特征的权重为5200x y1Xxy2Xy1xy2来源参考w.o. AMM PSGAN源W.O.视觉特征w.视觉特征W.视觉特征图3.如果没有AMM模块，（带红点）（w=0）（w=0.01）（w= 0.05）第3列）由于源图像和参考图像之间的姿势和表情差异而不好。设置为0。01.我们训练了Adam [16]优化的50个epoch的模型，学习率为0.0002，批量大小为1。4.3. 消融研究注意化妆变形模块。 在PSGAN中，AMM模块将提取的化妆矩阵γ和β变形为γ′，β′。它强调了姿势和表情的差异图4.皮肤上给定一个红点，相应注意示出了对视觉特征具有不同权重的地图。在没有使用视觉特征的情况下，注意力地图无法避开鼻孔（第1行，第2列），并且错误地越过面部边界（第2行，第2列）。而较大的权重会导致分散和不合理的注意力地图。在源图像和参考图像之间。AMM模块的有效性如图3所示。在第一排参考文献1源R2以外的R1的唇缘参考文献2源图像和参考图像的姿态非常不同。参考图像的刘海被转移到源图像的皮肤而没有AMM。通过应用AMM，很好地解决了位姿失准问题。在第二行中可以发现类似的观察结果：源图像和参考图像的表情分别是微笑和中性，而唇彩被应用于牙齿区域，而没有第三列中所示的AMM模块。整合后，INGAMM，唇彩适用于嘴唇区域，绕过牙齿区域。实验表明，AMM模块可以指定如何在源图像中的像素是更多，图5.给定源图像（第2列），通过转移来自参考1的唇膏和来自参考2的其他化妆品来生成转移4.4. 部分和内插补充转印由于补充矩阵γ和β是空间感知的，因此可以在测试期间实现部分和内插转移。为了实现部分化妆生成，我们计算新的化妆矩阵加权矩阵使用人脸解析结果。令x、y1和y2表示源图像并且两个表示参考图像。We可以得到Γ′，B′和Γ′，从参考的像素phed，而不是映射"“x x y1直接从同一个地方化妆在计算A. 在AMM模块中，我们通过考虑视觉特征v和相对位置p，使用等式2来计算注意矩阵A。（二）、图4表明，如果通过将权重设置为零仅考虑相对位置，则第二列中的注意力图类似于2D高斯分布。在图4的第一列中，源皮肤上的红点可能会错误地接收By1 以及Γy2，By2 通过把图像输入MDNet另外，我们可以获得x的面部解析掩码mx通过现有的深度学习方法[32]。假设我们要混合来自y1的口红和来自y2的其他化妆品，我们可以首先获得嘴唇的二元掩模，表示为ml∈ {0，1}H×W。然后，PSGAN可以通过分配不同的化妆参数来不同的像素。通过修改Eq.在等式（4）中，部分转移特征图Vx’可以通过以下公式计算：从参考图像（第一行）中的鼻孔区域化妆。注意力地图还跨越面部边界，Vx′=（mlΓ′ +（1−ml）Γ′）Vx+（mlB′+（1−m l）B′）。（十）覆盖耳环（第二排），这是不合理的。此外，更大的权重将导致分散和不合理的注意力地图，如上一栏所示。在通过设置重量为0。01，注意力地图更多地集中在皮肤上，也绕过鼻孔以及背景。图5显示了部分混合来自两个参考的化妆风格的结果。第三列的结果将参考1的唇部化妆和参考2的其他部分化妆重新组合，其是自然和逼真的。而且，可以实现仅从参考1转移唇膏而保持其它部分不变5201y1y2y1y2图6.内插化妆风格的结果。如果仅使用一个参考，则可以实现调整化妆的阴影（第1行）。如果使用两个参考（第1列和最后一列），则传输图像的构成从左到右（第2行）从参考1向参考2逐渐变化通过指定x=y2。部分化妆的新特性使PSGAN实现了灵活的部分化妆转移。此外，我们还可以用一个系数α∈[0，1]对两幅参考图像进行插值.我们首先求出两个参考点y1和y2的合成张量，然后用系数α对它们加权，计算新的参数。所得到的特征图Vx′由下式计算：方法阴影可控部分鲁棒BGAN [8]PGN [2]BGlow [3]CLADN [11]CPSGANC C CVx′=（αΓ′+（1−α）Γ′）Vx+（αB′+（1 − α）B′）。表1.分析现有的方法。 “robust” indicates（十一）图6示出了具有一个和两个参考图像的内插化妆转印结果通过将新的化妆张量送入MANET，我们可以在两种参考化妆风格之间实现平滑过渡。同样，我们可以通过指定x=y1来调整仅使用一个参考图像的转移阴影。生成的结果表明，我们的PS- GAN不仅可以控制色调的化妆转移，但也产生一个新的风格的化妆张量混合两种化妆风格。由于空间感知的化妆矩阵的设计，我们还可以通过利用面部解析图上述实验表明，PSGAN大大拓宽了化妆品转移的应用范围。4.5. 比较我 们 与 一 般 的 图 像 到 图 像 转 换 方 法 DIA [19] 和CycleGAN [33]以及最先进的化妆转移方法BeautyGAN（ BGAN ） [18] ， PairedCycleGAN （ PGAN ） [2] ，BeautyGlow（BGlow）[3]和LADN [11]进行比较。当前的化妆转移方法利用面部解析图[2，3，18]和面部标志[11]进行训练并实现不同的功能，如表1所示。定量比较。我们使用BGAN、CGAN、DIA和LADN作为基准，对Amazon Mechanical Turk进行用户研究以进行定量评估。为和表达鲁棒转移。测试集PSGANBGANDIACGANLADNMt61.532.53.252.50.25M-Wild83.513.51.751.250.0表2.选择最佳比率（%）。公平的比较，我们只与其代码和预训练模型被发布的方法进行比较，因为我们不能保证完美的重新实现。我们从MT测试集和Makeup-Wild（M-Wild）数据集中随机选择20幅源图像和20幅参考图像。在使用上述方法在这些图像之间执行化妆转印之后，我们获得了每种方法的800个图像。要求工作人员通过考虑图像真实性和与参考化妆风格的相似性来选择由五种方法生成的最佳图像表2显示了人体评价结果。我们的PSGAN在很大程度上优于其他方法，特别是在M-Wild测试集上。定性比较。图7示出了PSGAN与其他最先进的方法在中性表情的正面上的定性比较由于BeautyGlow和PairedCycleGAN 的 代 码 尚 未 发 布 ， 因 此 我 们 遵 循BeautyGlow的策略，即裁剪相应论文的结果。由于DIA在整个图像中执行转移，因此其产生的结果在头发和背景上具有不自然的颜色。CycleGAN只能合成一般的妆容风格，与不相似的α = 1α = 0.8α = 0.6α = 0.4α = 0.2α = 0参考文献1源结果参考文献2多参考单参考5202参考源DIACycleGANPairedCycleGANBeautyGlowLADNPSGAN参考源DIACycleGANBeautyGANBeautyGlowLADNPSGAN图7.定性比较。PSGAN能够生成与参考相同的化妆风格的逼真图像之前参考源BeautyGAN LADN PSGAN图8.M-Wild测试集的定性比较参考此外，BeautyGlow未能保留瞳孔的颜色，也没有相同的粉底妆容作为参考。我们还使用LADN作者发布的预训练模型，该模型产生模糊的转移结果和不自然的背景。与基线相比，我们的方法能够生成生动的图像与相同的化妆风格作为参考。我们还将M-Wild测试集与提供代码和预训练模型的最先进方法（BeautyGAN和LADN）进行了比较，如图8所示。由于目前的方法缺乏一个明确的机制来指导在像素级的转移方向，也过度拟合正面图像，化妆是在错误的区域中的脸时，处理不同的姿势和表情的图像。例如，唇彩被转移到图8的第一行上的皮肤上。在第二行中，其他方法无法对具有不同尺寸的面执行转印。然而，我们的AMM模块可以通过计算相似度来准确地为每个像素分配化妆，这使得我们的结果看起来更好。4.6. 视频化妆转移为视频中的人物化妆是一项具有挑战性和意义的工作，具有广阔的应用前景。然而，视频中人脸的姿势和表情为了检验我们方法的有效性，后图9. PSGAN的视频化妆转移结果我们简单地对视频的每一帧执行补偿传输，如图9所示。通过结合PSGAN的设计，我们得到了良好的和稳定的传输结果。5. 结论为了使化妆转移到现实世界中的应用，我们提出了PSGAN，首先从参考中提取化妆风格到两个化妆矩阵，然后利用注意化妆变形（AMM）模块来准确地进行化妆转移。实验结果表明，该方法在人脸正面图像和具有各种姿态和表情的人脸图像上都能获得最佳的图像转换此外，PSGAN还具有空间感知的化妆矩阵，可以部分转移化妆品，并调整转移的色调，这大大拓宽了化妆转移的应用范围。此外，我们相信我们的新框架可以用于其他条件图像合成问题，需要定制和精确的合成。鸣 谢 本 工 作 得 到 国 家 自 然 科 学 基 金 （ 61572493 ，61876177 ） ， 北 京 自 然 科 学 基 金 （ L182013 ，4202034）和基础研究基金的中央大学的资金。本工作也由浙江实验室（编号2019KD0AB04）资助。我们也感谢陈金玉的帮助。参考5203引用[1] Taleb Alashkar ， Songyao Jiang ， Shuyang Wang ， andYun Fu.用于化妆推荐的规则引导的深度神经网络InAAAI，2017. 2[2] 张 惠 文 ， 卢 静 万 ， 余 菲 ， 亚 当 · 芬 克 尔 - 斯 坦 .Pairedcyclegan：不对称的风格转移适用于应用和卸妆。在CVPR，2018年。一、二、七[3] 陈宏仁、许家明、王思水、曹立武、帅洪汉、郑文煌、国家交通。Beautyglow：具有可逆生成网络的按需化妆转移在CVPR，2019年。一、二、五、七[4] Yunjey Choi、Min-Je Choi、Munyoung Kim、Jung-WooHa、Sunghun Kim和Jaegul Choo。Stargan：用于多域图像到图像翻译的统一生成对抗网络。在CVPR，2017年。4[5] Vincent Dumoulin ， Jonathon Shlens ， and ManjunathKud-lur. 对 艺 术 风 格 的 博 学 的 表 现 。 ArXiv ，abs/1610.07629，2016年。2[6] 高晨，陈云鹏，刘思，谭震雄，严水城。不利因素：对抗 性 神 经 结 构 搜 索 gans 。 ArXiv ， abs/1912.02037 ，2019。3[7] 利昂·A Gatys，Matthias Bethge，Aaron Hertzmann，andEli Shechtman.神经艺术风格迁移中的色彩保存。ArXiv，abs/1606.05897，2016年。2[8] 利昂·A Gatys，Alexander S. Ecker，and Matthias Bethge.艺术风格的神经算法。ArXiv，abs/1508.06576，2015。2[9] 利昂·A Gatys，Alexander S. Ecker，and Matthias Bethge.使用卷积神经网络的图像风格转换。在CVPR，2016年。2[10] Ian J. Goodfellow，Jean Pouget-Abadie，Mehdi Mirza，Bing Xu，David Warde-Farley，Sherjil Ozair，Aaron C.Courville和Yoshua Bengio。生成性对抗网。NeurIPS，2014。1[11] Qiao Gu ， Guanzhi Wang ， Mang Tik Chiu ， Yu-WingTai，and Chi-Keung Tang.Ladn：局部对抗解缠网络，用于面部化妆和卸妆。在ICCV，2019年。一、二、七[12] 郭栋和沈泰伦。以数码脸部化妆为例。CVPR，2009。2[13] 杰虎，李申，孙刚。挤压-激发网络。在CVPR，2017年。3[14] Xun Huang和Serge J.贝隆吉实时任意样式传输，具有自适应实例规范化。InICCV，2017. 2[15] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。在ECCV，2016年。2[16] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。ArXiv，abs/1412.6980，2014年。6[17] 陈立，周坤，林志颖。通过对固有图像层的基于物理的操作来模拟化妆。CVPR，2015。2[18] 李婷婷、钱瑞和、董超、刘思、严琼、朱文武、林亮。Beautygan：实例级面部护理使用深度生成对抗网络进行化妆转移在ACM MM，2018年。一、二、五、七[19] Jing Liao，Yuan Yao，Lu Yuan，Gang Hua，and SingBing Kang.通过深层意象类比实现视觉属性转移。ACM TOG，2017年。7[20] 刘洛奇，邢俊良，刘思，徐慧，周曦，严水城。“哇！你今天真漂亮！“. InACM MM，2013. 2[21] 刘思，欧新宇，钱瑞和，王伟，曹晓春。像明星一样的化妆：深度本地化的化妆品转运网络。InIJCAI，2016.2[22] Fujun Luan，Sylvain Paris，Eli Shechtman，and Kavita Bala.深度照片风格转移。在CVPR，2017年。2[23] Volodymyr Mnih ， Nicolas Manfred Otto Heess ， AlexGraves，and Koray Kavukcuoglu.视觉注意的循环模型。NeurIPS，2014。3[24] Taesung Park ， Ming-Yu Liu ， Ting-Chun Wang ， Jun-Yan Zhu.具有空间自适应归一化的语义图像合成。在CVPR，2019年。3[25] Alexander M.拉什，苏米特·乔普拉，杰森·韦斯顿.抽象句子摘要的神经注意模型。在EMNLP，2015年。3[26] Yaniv Taigman Adam Polyak和Lior Wolf无监督跨域图像生成。ICLR，2016. 2[27] 唐伟顺，邓志强，杨伟.布朗，和Ying-Qing徐。基于实例的化妆品转移。在PG，2007年。2[28] 作者：Ashish Vaswani，Noam Shazeer，Niki Parmar，Jakob Uszko-reit，Llion Jones，Aidan N.戈麦斯，卢卡斯凯泽，伊利亚·波罗苏欣。注意力是你所需要的。NeurIPS，2017。3[29] 王 小 龙 ， Ross B. Girshick ， Abhinav Gupta ， andKaiming He. 非局部神经网络。 在CVPR，2017年。3[30] Kelvin Xu，Jimmy Ba，Ryan Kiros，Kyunhyun Cho，Aaron C. 放 大 图 片 作 者 ： Richard S. Zemel 和 YoshuaBengio。显示、出席和讲述：具有视觉注意的神经图像字幕生成。ICML，2015。3[31] Kaipeng Zhang，Zhanpeng Zhang，Zhifeng Li，and YuQiao.使用多任务级联卷积网络的联合人脸检测和对齐。信号处理快报，2016年。4[32] Hengshuang Zhao ， Jianping Shi ， Xiaojuan Qi ，Xiaogang Wang，and Jiaya Jia.金字塔场景解析网络。在CVPR，2016年。6[33] Jun-Yan Zhu，Taesung Park，Phillip Isola，and Alexei A.埃夫罗斯使用循环一致对抗网络的不成对图像到图像翻译。InICCV，2017. 一、五、七