4030学习残差图像的人脸属性操作刘伟申如杰富士通研究开发中心，北京，中国。{shenwei，rjliu}@ cn.fujitsu.com摘要人脸属性由于其对人脸的详细描述而非常有趣。不同于以往的研究工作的属性预测，我们解决了一个反向的和更具挑战性的问题，称为人脸属性操纵，它的目的是根据一个给定的属性值修改的人脸图像。而不是操纵整个图像，我们建议学习相应的残差图像，定义为图像之间的差异之前和之后的操作。以这种方式，可以利用适度的像素修改来有效地操作操纵。我们的方法的框架是基于生成的广告网络。它由两个图像变换网络和一个判别网络组成。变换网络负责属性操作及其对偶运算，判别网络用于区分生成的图像和真实图像。我们还应用双重学习来允许转换网络相互学习。实验表明，残差图像可以有效地学习并用于属性管理.生成的图像保留了属性无关区域的大部分细节。1. 介绍人脸图像处理已经取得了相当大的进展，如年龄分析 [22][26] ， 情 感 检 测 [1][5] 和 属 性 分 类[4][20][15][18]。 这些研究大多集中在从图像中推断属性。然而，我们提出了一个相反的问题，即我们是否可以操纵面部图像朝向期望的属性值（即，面属性操纵）。图中示出了一些示例。1.一、生成模型，如生成对抗网络（GAN）[7]和变分自编码器（VAE）[14]是能够生成图像的强大模型。从GAN模型生成的图像是清晰和逼真的。然而，它们不能编码图像，因为它是用于图像生成的随机噪声。与GAN模型相比，VAE模型能够编码(a) 眼镜：取下并添加眼镜(b) 嘴巴张开：闭上嘴，张开嘴(c) 无胡须：添加和删除胡须图1：面属性操作的图示。从上到下是眼镜的操作，嘴巴张开，没有胡子。将给定图像转换为潜在表示。然而，通过编码器-解码器流水线传递图像常常损害重构的质量。在面部属性操纵的场景中，这些细节可以是身份相关的，并且这些细节的丢失将导致不期望的改变。因此，很难直接采用GAN模型或VAE模型来进行人脸属性操作。另一种方法是将人脸属性操作视为一个变换过程，该过程将原始图像作为输入，然后输出变换后的图像，而无需显式嵌入。这种变换过程可以通过前馈卷积神经网络（CNN）有效地实现在处理人脸属性时，前馈网络需要修改属性特定区域并保持不相关区域不变，这两个都是具有挑战性的。在本文中，我们提出了一种新的方法，基于残差-4031用于人脸属性操作的人工图像学习。该方法将GAN模型的生成能力与前馈网络的效率相结合（参见图1B）。2）的情况。我们将操作建模为学习残余图像，残余图像被定义为原始输入图像和期望的操作图像之间的差异。与学习整个操作图像相比，只学习残差图像通过集中于本质的属性特定知识来避免冗余的属性无关信息。为了提高操作学习的效率，我们采用两个CNN来建模两个逆操作（例如，移除眼镜作为原始操作，并添加眼镜作为双重操作，图。2）在培训阶段采用双重学习策略。我们的贡献可以概括为以下几点。1. 我们建议学习残差图像的人脸属性操作。该方法的重点是特定的人脸区域，而不是整个脸，其中包含许多冗余的不相关的细节。2. 我们设计了一个对偶学习方案，同时学习两个逆属性操作（一个作为原始操作，另一个作为对偶操作）。3. 学习残差图像所提出的方法的架构在图中呈现。二、对于每个人脸属性操作，它包含两个图像变换网络G0和G1以及一个判别网络D.G0和G1分别模拟原始操作和对偶操作D将参考图像和生成图像分为三类。以下部分将首先简要介绍生成对抗网络，然后详细描述所提出的方法。3.1. 生成对抗网络生成对抗网络是由Goodfellow等人提出的。[7]的文件。 它是一个包含生成模型G和判别模型D的无监督框架。这两个模型是一个极大极小的二人博弈，G试图恢复训练数据，并欺骗D错误地判断数据是来自现实数据分布还是来自G。给定数据x的数据先验pdata和输入噪声变量pz（z）的先验，极大极小博弈的形式表达式如下：最小值最大值V（D，G）=Ex最大值数据（x）[logD（x）]是的我们证明了双重学习过程有助于生成高质量的图像。G D+ E z<$pz（z）[log（1 − D（G（z）]。（一）3.虽然很难定量地评估处理后的图像，但我们采用地标检测精度增益作为度量来定量地显示所提出的方法对眼镜去除的有效性。2. 相关工作近年来有许多图像生成技术[23][2][17][8][3][14]。Radford等人[23]应用深度卷积生成对抗网络（DC-GAN）来学习从对象部分到场景的表示层次，以生成一般图像Chen等人[2]引入了GAN的信息论扩展，能够学习解纠缠表示。Larsen等人[17]将VAE与GAN相结合，以学习嵌入，其中可以使用简单的算法修改高级抽象视觉特征。我们的工作与[19]一起是一项独立的工作。在[19]中，Liet al.提出了一种用于面部属性的身份感知传输的深度卷积网络我们的工作和[19]之间的差异在三个方面是明显的。(1)我们的方法使用与[19]不同的残差图像生成操纵图像。（2）我们的方法在一个单一的体系结构中通过共享相同的操作来模拟两个逆操作，而[19]中的工作独立地处理每个操作。(3)我们的方法不需要在[19]中必不可少的后处理。在训练过程中，G和D的参数都被迭代地更新。GAN框架提供了一种有效的方法来学习真实感图像的数据分布，并使生成具有期望属性的图像成为可能。在GAN框架的基础上，我们重新设计了人脸属性操作的生成器和查询器。3.2. 图像转换网络我们的方法的动机是，人脸属性管理通常只需要适当的修改特定的人脸区域，而其他部分保持不变。例如，当从面部图像中移除一副眼镜时，仅眼镜的区域应当被重新放置有面部皮肤或眼睛，而不应当涉及诸如嘴、鼻子和头发的其他面部部分的改变因此，我们将操作建模为学习针对特定属性区域的残差图像。如图2.利用图像变换网络G0和G1模拟了操纵及其对偶运算。给定具有负属性值的输入面部图像x0和具有正属性值的输入面部图像x1，学习后的网络G0和G1应用操纵变换以产生残差图像r0和r1。然后，将输入图像添加到残差图像，作为最终输出x0和x1：x∈i=xi+ri=xi+Gi（xi），i=0，1.（二）4032图2：所提出的方法的架构。两个图像变换网络G0和G1执行逆属性操作（即，添加玻璃和移除玻璃）。G0和G1都产生参考输入图像的残差图像。最终输出图像是残差图像和输入图像的逐像素相加。判别网络D是一个三类别分类器，它对来自不同类别的图像进行分类（即，从G0和G1生成的图像、具有正属性标签的图像以及具有负属性标签的图像）。为了使残差图像稀疏，我们应用L-1范数正则化为pix（r i）=||R i||1，i= 0，1。（三）给定判别网络D，图像变换网络G0和G1的GAN损失为.-log（D（Gi（xi）））i= 0，3.3. 歧视性网络GAN=-log（1−D（G i（x i）i=1。（六）给定具有已知属性标签0和标签1的真实图像x0和x1，我们将变换后的图像x0和x1记为具有标签2的extracategory。损失函数为：cls（t，p）=−log（pt），t= 0，1，2，（4）其中t是图像的标签，而pt是第t个标签的softmax概率在[25]中也采用了用于构建GAN损失的 类 似 策 略 。感知损失被广泛用于衡量不同图像之间的内容差异[10][6][17]。我们还应用这种损失来鼓励变换后的图像具有与输入面部图像相似的内容设φ（x）为D中第三层的激活。感知损失被定义为如：pe r（x，x||φ（x）−φ（x~）||1 .一、 （五）3.4. 双重学习除了在模型训练中应用对抗学习外，我们还采用了在机器翻译中广泛应用的双重学习[27]。现简要介绍如下。任何机器翻译都有双重任务，即源语言到目标语言（主语言）和目标语言到源语言（双语言）。双重学习的机制可以被看作是一个两人的交流游戏.第一个玩家将消息从语言A翻译成语言B，并将其发送给第二个玩家。第二个玩家检查它在语言B中是否自然，并通知第一个玩家。然后，他将消息翻译成语言A，并将其发送回第一个玩家。第一个玩家检查接收到的消息是否与他的原始消息一致，并通知种类#2+…输入图像…剩余图像…0图像变换网络G…输出图像���˜0+…第0课第1课……剩余图像…输入图像分类输入图像1 图像变换网络G11输出图像���˜1判别网络D…4033G1G0的g0G1图3：这项工作中的双重学习过程。第二个玩家来自双方的信息反馈信号可以通过闭环使彼此受益。在这项工作中的双重学习过程实现为图。3.第三章。 对于一个给定的图像x0，其属性值为负，我们将其通过变换网络G0。该OB-然后，将所获得的图像x∈0=G0（x0）馈送到变换网络G1。产生的图像是x0=G1（x0）=G1（G0（x0））。由于G0和G1是原始任务和对偶任务，因此x0和x0期望具有相同的属性值。类似的过程也适用于x1。该阶段中的变换网络的损失函数表示为：.-log（1−D（G1−i（x<$i） i=0，类创建一个平衡数据集。LFW数据集仅用于测试我们的方法的泛化。请注意，CelebA数据集中没有用于训练转换网络的地面实况操纵图像5. 实现细节G0、G1和D的详细结构见表1.1. 我们保持β=0。1α，并设置α=5e-4，用于局部面属性（即，眼镜、无胡须、张开嘴、微笑）操作，并且对于全局面部属性（即，男性、年轻）操纵。所有网络的权重都从标准差为0.02的零中心正态分布初始化。Adam优化器[13]用于训练阶段。变换网络和鉴别器的学习率是相同的2e-4。G0和G1都是同时训练的，没有任何阶段。6. 实验6.1. 局部和全局属性操作在这六个属性中，我们将眼镜，嘴巴张开，微笑和没有胡子作为局部属性，因为操作只对局部面部区域进行操作另外两个在-dual（x（七）-lo g（D（G1−i（x<$i）i=1。雄性和幼仔被视为全局属性。我们将我们的方法的结果与CelebA数据集上最先进的方法VAE-GAN [17]的结果进行了3.5.损失函数将损失函数放在一起，我们得到以下G0/G1的损失函数：其中，α和β是正则化项的常数权重。对于D，损失函数为（图4）。LFW数据集上的结果如图所示。五、我们首先给出了一个整体的观察结果。如图4、VAE-GAN模型[17]改变了许多细节，如发型、肤色和背景对象。相比之下，我们的方法的结果仍然是大部分的细节。比较第一行的原始图像和第三行的变换图像，我们可以4. 数据集D=CLS.（九）发现原始人脸图像中的细节在经过处理的人脸图像中除了与目标属性相对应的区域外，最后一行的残差图像也证明了这一点为当地在实验中我们采用了两个数据集，即。CelebA数据集[21]和Labeled Faces in the Wild（LFW）数据集[9]。CelebA数据集包含超过20万张名人图像，每张图像具有40个二进制属性。我们选择其中的6个，即。眼镜、嘴巴张开、微笑、没有胡须、年轻、男性来评价所提出的方法。CelebA数据集中对齐图像的中心部分被裁剪并缩放到128×128。尽管数据集中有大量图像，是有很大偏见的因此，对于每个属性，随机选择来自属性肯定类的1,000个图像和来自属性否定类的1,000个图像用于测试。从剩余的图像中，我们选择所有属于少数类别的图像，并从大多数图像属性操作时，对残留图像的强烈反应主要集中在局部区域。例如，当将太阳眼镜添加到面部图像时，对残差图像的最强响应是黑色太阳眼镜。类似地，移除眼镜将使得残留图像增强眼睛并且移除在原始面部图像中呈现的眼镜的任何暗示。局部面部属性操作是直接的并且显而易见的。此外，我们调查更多的inter-intensive任务，如嘴打开和微笑的操作。这两种操作都会引起下巴的从图4（c，d），我们可以观察到下巴的“移动”被图像变换网络捕获。当进行张口操作时，网-4034图像变换网络G0/G1判别网络D输入128×128彩色图像输入128×128彩色图像5×5转换64个漏水的水管。步幅1. batchnorm4×4转换64个漏水的水管。步幅2. batchnorm4×4转换128个泄漏的电池。步幅2. batchnorm4×4转换128个泄漏的电池。步幅2. batchnorm4×4转换256泄漏的电池。步幅2. batchnorm4×4转换256泄漏的电池。步幅2. batchnorm3×3转换128个泄漏的电池。步幅1.上采样batchnorm4×4转换512号漏水管道。步幅2. batchnorm3×3转换64个漏水的水管。步幅1.上采样batchnorm4×4转换1024号漏水步幅2. batchnorm4×4转换34×4转换1表1：图像变换网络G0/G1和判别网络D工作操纵，网络最具挑战性的任务将是操纵年轻和男性的全局属性。网络必须学习细微的变化，如皱纹，头发颜色，胡子等。图4（f），从年轻到年老的变化将导致更多的皱纹，双重操作将使头发颜色变暗从图1B中的残差图像。4（e），我们观察到男性和女性之间的主要区别是胡子，嘴唇和眼睛的颜色。对于这两种操作，残差图像中的强响应分散在整个图像上，而不是局限于局部区域内。6.2. 消融研究我们的模型由两个关键部分组成：残差图像学习和对偶学习。在本节中，我们将进一步验证其有效性。我们修改所提出的模型，以获得两个模型。一种是打破变换网络中的身份映射，以强制网络学习生成整个图像。另一个打破了数据馈送循环（即，G0和G1的输出将不被彼此馈送）。其他网络设置与建议模型的设置相同。我们以眼镜的操作为例，结果如图所示。六、我们观察到，在没有残差图像学习的情况下，该模型在引入大量噪声和一些相关特征（例如，在第二列和第三列中错误地添加了胡子），这表明任务变得具有挑战性。双重学习的下降也使图像质量恶化。我们注意到头发颜色的一些变化，这是由于转换网络的性能下降。双重学习的有效性可以从两个方面来解释1）从两个发生器生成的图像增加了数量-训练样本的BER。2)在双重学习阶段，已知G1（G0（x0））和G0（G1（x1））的真实图像，这简化了两个生成器的训练。因此，我们认为将残差图像学习与对偶学习相结合将导致更好的操作结果。图6：眼镜操作中的残差图像学习和双重学习的验证。第一行：原始输入图像。第二行：来自提议模型的结果图像。第三行：来自没有残差图像学习的模型的结果图像。最后一行：结果图像来自没有双重学习的模型。6.3. 视觉特征去相关以端到端的方式训练分类器并不能确保分类器能够精确地识别目标视觉特征，特别是当数据集高度偏差时。在[16]中观察到预测模型的盲点。例如，如果训练数据仅由黑狗图像和白猫图像组成。根据这些数据训练的预测模型在测试阶段会错误地将白狗标记为猫，并且具有很高的置信度。当分析CelebA数据集时，我们发现男性和无胡须是高度相关的（Pearson相关性为-0.5222）。这并不奇怪，因为只有男性的脸有胡子。用相关特征训练的分类器还可以将盲点传播回生成模型，这可以使生成器产生相关的视觉特征。为了证明所提出的方法可以学习相关性较低的特征，我们选择将beard添加到fe中，4035(a) 眼镜（b）无胡须(c) 张开嘴（d）微笑(e)男（女）Young图4：CelebA数据集上的Face属性操作。对于每个子图，第一行显示原始面部图像。第二行和第三行分别是使用VAE-GAN模型[17]和所提出的方法处理的图像最后一行示出了通过所提出的方法学习的残差图像。每个属性操作的主要/双重任务的结果显示在前三列/后三列中。4036(a) 眼镜（b）无胡须(c)张开嘴（d）微笑（e）男（f）青年图5：LFW数据集上的Face属性操作。对于每个子图，第一行显示输入图像，第二行显示操作图像。每个属性操作的主要/双重任务的结果显示在前三列/后三列中。男性面部图像由于在训练数据中不存在包含戴胡须的女性面部的图像，因此该操作可能引入其他相关的男性特征。 我们将我们的方法的操纵结果与图7中的VAE-GAN模型[17]的操纵结果进行了比较。我们展示了原始图像的VAE-GAN重建结果，以确保VAE-GAN模型能够很好地学习原始图像。然而，在操纵的图像中的头发长度明显短于在原始图像中的这可能是因为大多数男性面部都留着短发，而这种视觉特征与胡须特征相关。VAE-GAN模型错误地将短发特征视为胡须存在的证据。然而，所提出的方法成功地去相关这两个功能。变换后的图像中的头发与原始图像中的头发几乎相同我们将这种吸引人的特性归功于残差图像学习和对偶学习，它们有助于该方法集中于属性特定的区域。6.4. 去除眼镜的地标检测除了视觉检查的操作结果，我们量化的眼镜去除的有效性的每一个增益的人脸标志检测精度。地标检测算法是使用Dlib [12]实现的ERT方法[11]。我们在300-W数据集上训练了检测模型[24]。三个测试集被纳入考虑。它们是包含戴眼镜的图像的数据集D1、包含不戴眼镜的图像的数据集D0和包含与D1相同的图像的数据集D1m，而这些图像使用所提出的方法进行了眼镜去除处理。注意，D0和D1是与眼镜操作实验中的测试集相同的测试集。检测结果见表1。图2中示出。8. 虽然D0和D1中的身份不同，但我们仍然可以发现戴眼镜对地标识别的影响。比较第一列和第二列的眼睛标志点检测结果，发现检测误差增大。然而，D1m上的误差远小于D1上的误差，这证明了D1m的优点。4037地标D0D1D1m眼睛界标0.023410.035700.03048休息标志0.044240.046050.04608表2：在D0、D1和D1m上来自界标检测算法的平均归一化距离误差。“眼睛标志”是指左眼和右眼的标志。“Rest landmarks” indicates the landmarks of the nose andthe left and right corners of the图7：在属性no bear的操作中的视觉特征去相关。第一行：原始输入图像。第二行：来自VAE-GAN模型的重建图像[17]。第三行：来自VAE-GAN模型的操作图像[17]。最后一行：来自建议模型的操作图像。图9：由于大姿势导致的眼镜移除失败病例。第一行：原始输入图像。第二行：机械化图像。第三行：残留图像。图8：去除眼镜带来的地标检测性能提升。地面实况标志显示为绿点。在眼镜移除之前和之后检测到的地标分别显示为红色和黄色点。适合将眼镜移除应用于眼睛界标检测。比较选项卡中第二行中的结果。2.我们观察到D1和D1m上的误差几乎相同，这表明面部的其他部分几乎没有变化。7. 讨论在这项工作中，超参数α和β是手动设置的。我们的经验发现α=5e-6和α=5e-4分别适合于全局和局部属性操作。较大的α和β将阻止生成模型模拟操作，并将模型折叠为0。 在我们的工作中，只采用一个计数器主要是为了提高计算效率。可能会有身份重叠-因为身份的数量远小于所有图像的数量，所以用于测试的图像也是随机选择的然而，即使人脸身份可以是相同的，人脸姿势、照明条件和背景对象也几乎不可能相同。因此，很少有信息泄漏所造成的身份重叠的测试集。在图9中，我们显示了一些眼镜移除失败的案例。这些情况主要是由于大的构成。8. 结论在这项工作中，我们提出了一种基于GAN的方法来处理人脸属性操作的任务在我们的框架中，我们采用这些策略允许图像变换网络专注于特定属性区域并相互学习实验结果表明，该方法能够在保持属性无关区域大部分细节不变的情况下，对人脸图像进行无干扰的引用[1] C. F. 贝尼特斯基罗斯河Srinivasan 和A. M.马丁内斯Apritionet：一个精确的，实时的算法，用于自动注释野外的一百万个面部表情。4038在IEEE计算机视觉和模式识别会议（CVPR），2016。[2] X. Chen ，Y. 段 河 ，巴 西 - 地Houthooft ， J. 舒 尔 曼岛Sutskever和P.阿比尔Infogan：通过信息最大化生成对抗网 络 进 行 可 解 释 表 示 学 习 。 arXiv 预 印 本 arXiv ：1606.03657，2016。[3] E. L. Denton，S.钦塔拉河Fergus等人使用对抗网络的拉普拉斯金字塔的深度生成图像模型。神经信息处理系统的进展，第1486-1494页，2015年[4] M. Ehrlich，T. J. Shields，T. Almaev和M. R.使用多任务表示学习的美国属性分类。在IEEE计算机视觉和模式识别会议（CVPR）研讨会上，2016年6月。[5] S. Eleftheriadis，O. Rudovic和M.惊慌失措用于多视图和视图不变面部表情识别的鉴别共享高斯过程。IEEEtransactions on image processing，24（1）：189[6] L. A. Gatys，A.S. Ecker和M.贝丝使用卷积神经网络的图像风格在IEEE计算机视觉和模式识别会议集，第2414-2423页[7] I. 古德费罗 J. 波吉特-阿巴迪 M. 米尔扎 B. 许、D. 沃德-法利，S。奥扎尔A.Courville和Y.本吉奥。生成对抗网络。神经信息处理系统进展，第2672-2680页，2014年[8] K.格 雷 戈 尔 岛Danihelka ， A.格 雷 夫 斯 D.J.Rezeland，以及D.维尔斯特拉Draw：用于图像生成的递归神经网络。arXiv预印本arXiv：1502.04623，2015。[9] G. B. Huang，M. Ramesh，T. Berg和E.学习米勒。在野外贴上标签的脸：研究无约束环境下人脸识别的数据库。技术报告07-49，马萨诸塞大学，阿默斯特，2007年10月。[10] J. Johnson，A. Alahi和L.飞飞实时风格转换和超分辨率的感知损失。arXiv预印本arXiv：1603.08155，2016年。[11] V. Kazemi和J.苏利文用回归树的集合进行一毫秒人脸对齐。在2014年IEEE计算机视觉和模式识别会议集，第1867-1874页中[12] D. E. 王 Dlib-ml ： 一 个 机 器 学 习 工 具 包 。 Journal ofMachine Learning Research，10：1755[13] D. Kingma和J. BA. Adam：一种随机优化方法。arXiv预印本arXiv：1412.6980，2014。[14] D. P.Kingma和M.威林自动编码变分贝叶斯。arXiv预印本arXiv：1312.6114，2013。[15] N.库马尔A. C. Berg，P. N. Belhumeur和S. K.纳亚尔用于人脸验证的属性和明喻分类器。2009年IEEE第12届计算机视觉国际会议，第365-372页。IEEE，2009年。[16] H. Lakkaraju，E.卡勒河Caruana和E.霍维茨Dis-覆盖预测模型的盲点：指导勘探的代表和政策。arXiv预印本arXiv：1610.09064，2016年。[17] A. B. L. Larsen，S. K. Sønderby和O.温瑟使用学习到的相似性度量来自动编码超出像素arXiv预印本arXiv：1512.09300，2015。[18] J. Li，J. Chen和Z.气基于分层视觉特征的野外微笑检测 。 在2016 年 IEEE 图 像 处 理 国 际上 ， 第 639-643页IEEE，2016.[19] M. Li，W. Zuo和D.张某面部属性的深度身份感知转移。arXiv预印本arXiv：1610.05586，2016.[20] Z. Liu，P.Luo，X.Wang和X.唐深度学习在野外面临挑战在IEEE计算机视觉国际会议论文集，第3730-3738页[21] Z. Liu，P. Luo，X. Wang和X.唐在野外深度学习人脸属性。在国际计算机视觉会议（ICCV）的会议记录中，2015年。[22] Z.牛，M.周湖，加-地Wang，X. Gao和G.华基于多输出cnn的有序回归年龄估计。在IEEE计算机视觉和模式识别会议，第4920-4928页[23] A.拉德福德湖，澳-地Metz和S.钦塔拉使用深度卷积生成对抗网络进行无监督表示学习arXiv预印本arXiv：1511.06434，2015。[24] C.萨戈纳斯湾Tzimiropoulos，S. Zafeiriou和M.惊慌失措一个半自动的面部标志注释方法。在IEEE计算机视觉和模式识别研讨会会议论文集，第896[25] T. 萨利曼斯岛Goodfellow，W.扎伦巴河谷Cheung，A.Rad- ford和X.尘改进的gans训练技术。arXiv预印本arXiv：1606.03498，2016。[26] W. Wang， Z. Cui，Y. Yan，J. Feng，S. Yan，X. 舒和N. Sebe面部反复老化。 在IEEE计算机视觉和模式识别会议（CVPR）上，2016年6月。[27] Y. Xia，中国叶蝇D.他，T.钦湖，加-地Wang，N.Yu，T.Y. 刘和WY. MA.机器翻译的双重学习。arXiv预印本arXiv：1611.00179，2016。
我的内容管理
展开
