条件对抗自动编码器实现的人脸年龄进展和回归模型

5810查询进展/消退返回通过条件对抗自动编码器进行的Zhifei ZhangZhong，Yang SongZhong，Hairong Qi美国田纳西州诺克斯维尔田纳西大学{zzhang61，ysong18，hqi}@ utk.edu摘要“如果我给你提供一张我的人脸图片（不告诉你我拍照时的实际年龄）和我抓取的大量人脸图片（包含不同年龄的标记人脸，但不一定配对），你能告诉我我80岁时的样子吗？或者我5岁时的样子吗？”“答案很可能是“不”现有的人脸老化算法大多试图学习年龄组之间的变换，因此需要配对样本以及标记的查询图像。在本文中，我们从生成建模的角度来看这个问题，这样就不需要配对的样本。另外，对于未标记的图像，生成模型可以直接生成具有期望年龄属性的图像。我们提出了一个条件对抗自动编码器（CAAE），学习一个人脸流形，遍历平滑的年龄前进和回归，可以同时实现。在CAAE中，首先通过卷积编码器将面部映射到特征向量，然后通过解卷积生成器将向量投影到以年龄为条件的面部流形。潜在向量保留个人化的面部特征（即，性格）和年龄条件控制进展与回归分析两个对抗网络分别施加在编码器和生成器上，迫使生成更逼真的面部。实验结果表明，通过与最先进的和地面真理比较，所提出的框架的吸引人的性能和灵活性1. 介绍面部年龄进展（即，未来外观的预测）和回归（即，先前外貌的估计），也称为面部老化和复原，目的在于呈现具有或不具有“老化”效应的面部图像个性）。它对广泛的应用有着巨大的影响，通缉/失踪人员的面部预测，年龄不变的平等的贡献。图1. 我们假设人脸图像位于流形（M）上，并且图像根据他们的年龄和个性进行聚类，一个不同的方向给定一幅查询图像，首先将其投影到流形上，然后在流形上进行平滑变换后，将对应的图像投影回具有老化模式的图像。化、娱乐等。该领域一直吸引了大量的研究兴趣，尽管在这个问题本身的极端挑战。大多数挑战来自于对训练和测试数据集的严格要求，以及面部图像在表情，姿态，分辨率，光照和遮挡方面的大变化。对数据集的严格要求是指大多数现有作品需要配对样本的可用性，即，同一个人在不同年龄的人脸图像，有的甚至需要在很长的年龄跨度上配对样本，这是非常难以收集的。例如，最大的老化数据集“Morph”[ 12 ]仅捕获每个个体平均时间跨度为164天的图像。此外，现有的工作还要求查询图像被标记以真实年龄，这有时可能是不方便的。给定训练数据，现有的作品通常将它们划分为不同的年龄组，并学习组之间的转换，因此，查询图像必须被标记，以便正确定位图像。虽然年龄的增长和衰退同样不...5811重要的是，大多数现有的作品都关注年龄的发展。很少有作品可以实现良好的面部再生性能，特别是对于成人婴儿面部的渲染，因为它们主要是基于表面的建模，简单地从给定图像中去除纹理[18，15，7]。另一方面，研究人员在年龄增长方面取得了很大进展。例如，基于物理模型的方法[28，27，15，22]对生物面部随年龄的变化进行参数化建模，肌肉、皱纹、皮肤等。然而，它们的缺点是建模复杂，需要足够的数据集来覆盖长的时间跨度，并且计算昂贵;基于原型的方法[29，12，25，30]倾向于将训练数据划分为不同的年龄组，并学习组之间的转换。然而，有些可以保留个性，但会引起严重的重影伪影，其他平滑重影效果，但失去个性，而大多数放松配对图像的要求，在很长的时间跨度，和老化模式可以学习两个相邻的年龄组之间。尽管如此，他们仍然需要在短时间内配对样本。在本文中，我们研究的年龄进展-sion- sion/回归问题的角度生成建模。生成对抗网络（GANs）的快速发展在面部图像生成方面显示出令人印象深刻的结果[19，32，21，17]。在本文中，我们假设人脸图像位于一个高维流形上，如图所1.一、给定一个查询面，我们可以在流形上找到对应的沿着年龄变化的方向，我们将获得不同年龄的人脸图像，同时保留个性。我们提出了一个条件对抗自动编码器（CAAE）1网络来学习人脸流形。通过对年龄属性的控制，可以灵活地同时实现年龄的递增和递减由于很难在高维流形上直接操作，因此首先通过卷积编码器将面部映射到潜在向量，然后通过去卷积生成器将向量以年龄为条件投影到面部流形。两个对抗网络分别施加在编码器和生成器上，迫使生成更逼真的面部。建议的CAAE的好处可以从四个方面总结。首先，新的网络架构实现了年龄增长和回归，同时生成照片般逼真的人脸图像。其次，我们偏离了流行的基于组的学习，因此不需要训练数据中的配对样本或测试数据中的标记人脸，使所提出的框架更加灵活和通用。第三，在隐向量空间中年龄和个性的分离有助于保留个性，同时避免重影伪影。最后，CAAE对姿态、表情和遮挡的变化是鲁棒的。1Bitbucket：https://bitbucket.org/aicip/face-aging-caaeGithub网站：https://zzutk.github.io/Face-Aging-CAAE2. 相关工作2.1. 年龄增长和回归近年来，人脸年龄进程的研究非常热门，主要分为基于物理模型和基于原型两大类。基于物理模型的方法模拟老化的生物模式和物理机制，例如，肌肉[26]、皱纹[23，27]、面部结构[22，15]等。然而，为了更好地对微妙的衰老机制进行建模，它将需要具有长年龄跨度的大型人脸数据集（例如，从0岁到80岁），这是很难收集的。此外，基于物理建模的方法在计算上是昂贵的。另一方面，基于原型的方法[1，12]通常根据年龄将面孔划分为组，例如，每个群体的平均然后，将两个年龄组原型之间的差异视为老化模式.然而，由平均年龄原型生成的老化人脸可能会失去个性（例如，皱纹）。为了保留个性，[25]提出了一种基于字典给定的人脸将被分解为两部分：年龄模式和个人模式。通过子字典将年龄模式转换为目标年龄模式，然后综合个人模式和目标年龄模式生成年龄人脸。然而，该方法呈现严重的重影伪像。基于深度学习的方法[30]代表了最先进的技术，其中RNN应用于年龄模式转换的特征脸系数。所有基于原型的方法都执行基于组的学习，这需要测试面孔的真实年龄来定位可能不方便的过渡状态。此外，这些方法仅提供从年轻面部到老年面部的年龄进展。为了实现灵活的双向年龄变化，它可能需要反向重新训练模型。相对而言，预测年轻化结果的面部年龄回归更具挑战性。到目前为止，大多数年龄回归工作[18，7]都是基于物理模型的，其中纹理只是基于面部表面上的学习变换来移除因此，它们无法实现婴儿面部预测的照片逼真的结果。2.2. 生成对抗网络生成逼真的吸引人的图像仍然是一个挑战，直到生成对抗网络（GAN）的快速发展才取得了很大的成功。最初的GAN工作[8]引入了一个用于训练生成模型的新框架。它同时训练两个模型：1）生成模型G捕获训练样本的分布并学习生成新样本，5812识别训练，以及2）判别模型D从训练中判别所生成的样本。G和D使用最小-最大博弈相互竞争，如等式1，其中z表示从某个分布p（z）随机采样的向量（例如，高斯或均匀），并且数据分布是P数据（x），即，训练数据x=pdata（x）。最小最大E[logD（x）]+xp数据（x）G D （1）Ezp（z）[log（1 −D（G（z）]G和D两部分交替训练。GAN最大的问题之一是训练过程不稳定，生成的图像往往是嘈杂和不可理解的。在过去的两年中，已经提出了几种方法[21，20，9，3，4，10，19]来从不同的角度改进原始GAN。例如，DCGAN [21]分别采用去卷积和卷积神经网络来实现G和D。它还提供了关于如何建立稳定的GAN的经验指导，例如，用步长卷积代替池化并使用批量归一化。CGAN [20]将GAN从无监督学习修改为半监督学习，类标签）到数据中。生成图像的低分辨率是GAN的另一个常见缺点[4，10]将GAN扩展为顺序或金字塔GAN来处理这个问题，其中图像是逐步生成的，并且每一步都利用上一步的信息来进一步提高图像质量。一些GAN相关的作品已经展示了随机绘制人脸图像的视觉效果[31，19，32，21，17]。然而，GAN从随机噪声中生成图像，因此输出图像无法控制。这在年龄增长和回归中是不可取的，因为我们必须确保输出的面孔看起来像查询的同一个人。3. 流形上的遍历我们假设人脸图像位于一个高维流形上，在该流形上沿一定方向遍历可以在保持个性的同时实现年龄的增长/回归。这一假设将在第二节中进行实验证明。四点二。然而，高维流形的建模是复杂的，并且难以在流形上直接操作（遍历）因此，我们将学习流形和低维空间之间的映射，称为潜在空间，它更容易操作。如示于图2，面x1和x2通过E映射到潜在空间（即，编码器），其分别提取个人特征z1和z2。与年龄标签l1和l2连接，在潜在空间中生成两个点，即[z1，l1]和[z2，l2]。请注意，人格z和年龄l在潜在空间中是分离的，因此我们可以简单地修改年龄，2图2.面流形M上的遍历图示。 输入面x1和x2由编码器E编码为z1和z2，其表示个性。 由随机年龄标签l1和l2连接，潜在向量[z1，l1]和[z2，l2]被构造为由矩形点表示。颜色表明个性的对应。箭头和圆点分别表示遍历方向和步数。 实线箭头指示沿年龄轴的遍历，同时保留个性。 虚线箭头在年龄和个性轴上执行遍历。潜在空间中的遍历通过生成器G映射到面流形M，如具有对应标记和颜色的点和箭头所示M上的每一个点都是一个人脸图像，从而实现了年龄的递进和回归。保持个性。从红色矩形点[z2，l2]（对应于x2）开始，沿年龄轴（如红色实线箭头所示通过另一个映射G（即生成器），这些点被映射到流形M- 同样的道理，箭头表示基于学习的流形和映射的X1如果我们沿着潜在空间中的虚线箭头移动这个点，人格和年龄都会改变，就像M上反映的那样。我们将学习映射E和G，以确保生成的人脸位于流形上，这表明所生成的人脸对于给定的年龄是真实的和可信的。4. 方法在本节中，我们首先介绍了所提出的条件对抗自动编码器（CAAE）网络的流水线（第二节）。4.1），学习面流形（Sec. 4.2）。CAAE结合了两个神经网络，这是生成更真实面部的关键。第4.3节和第4.4分别证明其有效性。最后，第4.5节讨论了所提出的CAAE与其他生成模型的区别。4.1. 条件对抗自动编码器拟议的CAAE网络的详细结构如图所示。3.第三章。输入 和输 出的 人脸 图像是 128×128RGB 图像x∈R128×128×3。卷积潜在空间[1，1]G^2^1[2、2]Age（）标签1E个性（）5813数据∗128x128x64128x128x3 64x64x6432x32x1288x8x5128x8x102432x32x2566发生器128x128x316x16x2565016x16x512zLConv_3 Conv_4Conv_1Conv_2FC_1重塑FC_2重塑Deconv_1Deconv_2编码器EDeconv_Deconv_4二语损失1x1xn64z上的鉴别器调整为64x64x1064x64x（n+16）人脸图像鉴别器--32161128x128x332x32x3216x16x648x8x1281024z或p（z）FC_4FC_31FC_2标签FC_1入 射 /射出面FC_2Conv_3Conv_4FC_1z的先验分布（均匀分布）Conv_1Conv_2重塑输出脸34x64x128输入脸图3. 建议的CAAE年龄进展/回归网络的结构。编码器E将输入面部映射到向量z（个性）。将标签l（年龄）连接到z，新的潜在向量[z，l]被馈送到生成器G。编码器和生成器都基于输入面和输出面之间的L2损失进行更新。ZHD z在z上施加均匀分布，并且ZHDimg强制输出面对于给定的年龄标签是照片真实的和合理的。采用神经网络作为编码器。采用步幅2的卷积而不是池化（例如，最大池化），因为跨步卷积是完全可微的，并且允许网络学习其自己的空间下采样[21]。编码器E（x）=z的输出保留了输入面部x的高级个人特征。以一定年龄为条件的输出面可表示为G（z，l）=x∈（z，l），其中l表示单热点年龄标号。UnliK E同时，在z上施加均匀分布通过Dz我们将训练数据的分布表示为p data（x），则z的分布为q（z|X）。假设p（z）是一个先验分布，z<$p（z）表示从p（z）开始的随机抽样过程。最小-最大目标函数可用于训练E，DZ，∗最小最大Ez最小p（z）[logDz（z）]+现有的GAN相关作品，我们将编码器避免z的随机采样，因为我们需要生成具有结合在z中的特定个性的面部。此外，还分别在E和G上施加了两个网络。Dz将z正则化为均匀分布，平滑年龄变换。Dimg迫使G针对任意z和l生成照片般逼真和似真的面部。 两种判别法E DzExp（x）[log（1-Dz（E（x）]同样，具有条件l的人脸图像上的D和G可以通过以下方式训练：min maxEx，lpdata（x，l） [logDimg（x，l）]+GDimgEx，lpdata（x，l）[log（1−Dimg（G（E（x），l）））]（三）img，（四）将在各部门进一步讨论。分别为4.3和4.4。4.2. 目标函数最后，目标函数变为min maxλL（x，G（E（x），l））+γTV（G（E（x），l））E，G Dz，D img+Ezp（z）[logDz（z）]真正的面部图像应该是躺在脸上的人-ifoldM，所以输入人脸图像x∈ M。编码器E+Exp数据 （x）[log（1 −Dz（E（x）））]（五）将输入面x映射到特征向量，即，E（x）=z∈+Ex，lpdata（x，l）[logDimg（x，l）]其中n是面部特征的维度给定+Ex，lp数据 （x，l）[log（1−Dimg（G（E（x），l）]，z，并以一定的年龄标签l为条件，生成元G生成输出函数x=G（z，l）=G（E（x），l）。我们的目标是确保输出面x位于流形上，同时与输入面x共享个性和年龄（在培训）。因此，输入面和输出面被期望为类似于如在等式中所表示的。其中L（·，·）表示L2范数.minL（x，G（E（x），l））（2）E、G5814其中TV（·）表示在去除重像伪影方面有效的总变化系数λ和γ平衡了平滑度和高分辨率。请注意，年龄标签被调整大小并连接到Dimg的第一个卷积层，以使其对年龄和人脸都具有按顺序更新网络方程。2，3，4，我们终于可以学习流形M如图所示4.第一章58151没有图4. 学习面流形M的图示。横轴表示年龄的横向变化，纵轴表示不同的人格。4.3. z上的鉴别器由Dz表示的子z施加先验分布（例如，均匀分布）上。具体地，Dz旨在区分由编码器E生成的z。因此，E将被训练生成可以欺骗Dz的z.这种对抗过程迫使生成的z的分布逐渐接近先验分布我们使用均匀分布作为先验，迫使z均匀地填充潜在空间，没有明显的如图5，在Dz的正则化下，生成的z“洞”的展示例如，给定两个面x1和x2，如图所示。5中，我们分别在有和无Dz的条件下，用E得到了相应的z1和z2在z1和z2之间插值（图中的虚线箭头）。5），生成的脸预计将显示现实和顺利变形从x1到x2（图底部）。（五）。然而，没有Dz的变形实际上在中间呈现扭曲的（不现实的）面（由虚线框指示），这对应于插值的z4.4. 人脸图像的鉴别器继承了GAN的相似原理，人脸图像的鉴别器Dimg迫使生成器产生更真实的人脸。此外，年龄标签被强加在Dimg上，以使其对不自然的面孔具有歧视性，没有图5. D z的影响，它迫使z均匀分布。为了简单起见，z在2-D空间中示出。蓝点表示通过编码器从训练面映射的z。有了Dz，z的分布将趋于均匀。否则，z可呈现“孔”。矩形点表示从输入面x1和x2映射的相应z，虚线箭头表示从z1到z2的遍历。沿着遍历的中间点被假定为生成从x1到x2的一系列似然变形面。在没有Dz的情况下，学习的z沿着遍历路径呈现稀疏分布，导致生成的面部看起来不真实。下面的一系列图显示了有和没有Dz的导线测量。很小的年纪。虽然最小化了输入和输出图像之间的距离，如等式（1）所示2迫使输出面接近真实面，Eq.2不能确保框架从那些未采样的面部生成合理的面部。例如，给定在训练期间不可见的面部和随机年龄标签，像素级损失只能使框架以插值的方式生成接近训练的面部的面部D img将生成的人脸从真实性、年龄、分辨率等方面与真实人脸区分开来。图6显示了Dmg的效果。比较使用和不使用Dimg生成的人脸，很明显Dimg有助于框架生成更逼真的人脸。没有Dimg的输出也可以呈现老化，但效果不如Dimg明显，因为Dimg增强了纹理，特别是对于较老的面部。4.5. 与其他生成网络的区别在本节中，我们评论了所提出的CAAE与其他生成网络的相似性和差异，包括GAN [8]，变分自动编码器（VAE）[14]和对抗自动编码器（AAE）[19]。VAE vs. GAN：VAE使用识别网络来预测潜在变量的后验分布，而GAN使用对抗训练过程通过反向传播直接塑造网络的输出分布[19]。因为VAE遵循编码-解码方案，所以我们可以直接比较生成的122与1258160~53529816~2041~50 61~70在SEC成立。五点三。最后，在第二节中说明了对遮挡和姿势和表情变化的容忍度。5.45.1. 数据收集我们首先从Morph数据集[12]和CACD [2]数据集收集人脸图像Morph数据集[12]是其中最大的一个是每个人的多个年龄，包括13，000名16至77岁受试者的55，000张图像。CACD [2]数据集包含2，000名受试者的13，446张图像因为这两个数据集都有来自新生儿或非常老的面孔的有限图像，我们根据关键字从必应和谷歌搜索引擎中抓取图像，例如，婴儿、男孩、青少年、15岁等。由于所提出的方法不需要来自同一主题的多张人脸，我们只需从Morph和CACD数据集中随机选择约3，000张图像，并从网站上抓取7，670张图像。爬行面部的年龄和性别是图6. D img效果，强制生成的人脸在年龄和分辨率方面更加真实。第一列显示的是原始面孔，他们的真实年龄标在顶部。右边的四列是通过所提出的框架生成的面，没有（上面一行）或有（下面一行）Dimg。生成的人脸分为四个年龄组，如每列顶部所示。图像的输入，这是不可能的，当使用GAN。VAE的一个缺点是它在图像生成中使用均方误差而不是对抗网络，因此它往往会产生更模糊的图像[16]。AAE vs. GAN和VAE：AAE可以被视为GAN和VAE的组合，它保持了像VAE一样的自动编码器网络，但用像GAN一样的对抗网络取代了AAE不是像GAN那样从随机噪声中生成图像，而是利用编码器部分来学习在某些先验上近似的潜变量，从而使生成的图像的风格可控。此外，与VAE相比，AAE更好地捕获数据流形。CAAE与AAE：拟议的CAAE与AAE更相似。从AAE的主要区别是，建议CAAE施加歧视的编码器和发电机，tor，分别。该算法采用基于小波变换的编码器保证隐空间的平滑过渡，并采用判别器辅助生成逼真的人脸图像。因此，CAAE将产生比AAE更高质量的图像，如第2节所述。4.45. 实验评价在本节中，我们将首先阐明数据收集的过程（第二节）。5.1）和实施拟议的CAAE（第5.1节）。5.2）。然后，定性和定量的比较与以前的作品和地面真理是每-基于图像标题或来自年龄估计器的结果估计[24]。我们把年龄分为十类，070和71-80。因此，我们可以使用十个元素的one-hot向量来指示训练期间每个面部的年龄。最终的数据集由10，670张人脸图像组成，性别和年龄均匀分布。我们使用具有68个地标的人脸检测算法[11，5]来裁剪和对齐人脸，使训练更容易实现。5.2. CAAE的实施我们根据图1构建网络。3个，内核尺寸为5×5。输入图像的像素值被归一化为[-1，1]，并且E的输出（即，z）也被双曲正切激活函数限制为[−1，1]。 然后，期望的年龄标签，独热向量，连接到z，构造G的输入。为了进行公平的连接，label的元素也被限制为[-1，1]，其中-1对应于0。最后，输出为也在范围[-1，1]通过双曲正切函数，第 规范化输入可能会使训练过程收敛得更快。请注意，我们不会对E和G使用批量归一化，因为它模糊了个人特征，并使输出面孔在测试中远离输入。然而，批量归一化将使框架更稳定，如果它应用于Dimg。每个嵌段的所有中间层（即，E、G、Dz和Dimg）使用ReLU激活函数。在训练中，λ=100，γ=10，并且通过随机梯度下降求解器ADAM [13]（α=0. 0002，β1=0。（五）。人脸和年龄配对被输入网络。在大约50个时期之后，可以获得可信的生成的面部。在测试过程中，只有E和G处于活动状态。给定没有真实年龄标签的输入面部，E将图像映射到z。将任意年龄标签连接到z，G将5817输入我们的优先级7 16~205 58~688 31~400 15~2035 61~8045 60~805 69~803 69~800~5 6~10 11~15 16~20 21~30 31~40 41~50 51~60 61~70 71~800~5 6~10 11~15 16~20 21~30 31~40 41~50 51~60 61~70 71~80图7. 与以前的面部衰老作品比较。第一列显示输入的面孔，第二列是从以前的作品中引用的最佳年龄面孔。其余的列是我们从年龄增长和回归中得出的结果红框表示与先前工作的可比生成与年龄和个性相对应的照片般逼真的面部5.3. 定性和定量比较为了评估所提出的CAAE可以生成更逼真的结果，我们分别将我们的结果与地面实况和先前工作的最佳结果进行比较[30，12，25，27]。我们选择FGNET [15]作为测试数据集，其中包含82名年龄从0到69岁的受试者的1002张图像。与地面真相的比较：为了验证所提出的CAAE是否保留了个性，我们定性和定量地比较了生成的人脸和地面真实情况定性比较如图所示8，这表明有吸引力的相似性。为了定量评估性能，我们将生成的人脸与年龄差距大于20岁的地面真实情况配对。总共有856对我们设计了一个调查，比较63名志愿者的相似性-ticipate。向每个志愿者呈现三个图像，原始图像X、生成的图像A和同一组下的他们被问到生成的图像A看起来是否与地面实况B相似;或者不确定我们要求志愿者随机选择45个问题，其余的留空。我们总共收到了3208张选票，其中48.38%表示生成的图像A与地面真相是同一个人，29.58%表示不是，22.04%不确定。投票结果表明，我们可以有效地生成照片真实的脸在不同的年龄，同时保持他们的个性。与先前工作的比较：我们将我们的方法与一些先前工作[30，12，25，27]的性能进行了比较，用于面部年龄进展和面部Transformer（FT）[6]用于面部年龄回归。为了证明CAAE的优势，我们使用从以前的作品中收集的相同的输入图像，并执行长的年龄跨度进展。到5818输入我们的真实数据输入我们的真实数据图8. 与地面实况的比较。与前人的工作相比，我们引用了他们的结果，如图1所示。7 .第一次会议。 我们还比较了使用FT演示[6]的年龄回归作品，如图所示。9.第九条。我们的结果明显显示了更高的保真度，证明了CAAE在实现平滑面部老化和年轻化方面的能力即使年龄跨度很大，CAAE也能更好地保留个性。此外，我们的结果提供了更丰富的纹理（例如，皱纹的老面孔），使老面孔看起来更真实。进行一项其他调查，以统计评估与先前作品相比的性能，其中对于每个测试图像，志愿者从CAAE或先前作品中选择更好的结果，或难以分辨。我们从以前的作品中收集了79个主题的235对图像[30，12，25，27]。我们共收到47份回复和1508张选票，其中52.77%的人认为CAAE更好，28.99%的人认为先前的工作更好，18.24%的人认为两者相当。这一结果进一步验证了所提出的CAAE的优越性能。图9. 与之前的复兴工作进行比较。第一行显示了输入的人脸，中间一行显示了FT [6]生成的婴儿脸，最后一行显示了我们的结果。5.4. 对姿势、表情和遮挡如上所述，输入图像在姿态、表情和遮挡方面具有大的变化。为了证明CAAE的鲁棒性，我们选择具有表达式的面孔，分别为视向变化、非额位姿势和咬合图10. 对遮挡和姿势及表情变化的耐受性。最左边的一列显示了输入的人脸，右边的一列是由CAAE从年轻到年老生成的人脸第一输入面部呈现相对更戏剧性的表情，第二输入仅示出面部轮廓，并且最后一个被面部标记部分地遮挡。6. 讨论和未来的工作本 文 提 出 了 一 种 新 的 条 件 对 抗 自 动 编 码 器（CAAE），它首先在整体框架中实现人脸年龄的增长和回归。我们偏离了传统的基于组的训练程序，通过学习流形，使老化进程/回归更加灵活和可操纵-从任意查询的脸，而不知道其真实年龄，我们可以自由地产生不同年龄的脸，同时保留个性。我们证明了两个鉴别器分别施加在生成器和编码器上，该框架生成了更逼真的人脸。CAAE的灵活性，有效性和鲁棒性已经通过广泛的评估得到了证明。建议的框架有很大的潜力，作为一个通用的框架，面对年龄相关的任务。更具体地说，我们训练了四个子网络，即，E、G、Dz和Dimg，但在测试阶段仅使用E和G。Dimg是根据年龄训练的。因此，它能够判断给定的人脸是否对应于一定的年龄，这正是年龄估计的任务对于编码器E，它将面部映射到潜在向量（面部特征），该潜在向量与年龄无关地保留个性因此，E可以被认为是跨年龄识别的候选者。所提出的框架可以很容易地应用到其他图像生成任务，其中生成的图像的特征可以由条件标签控制。在未来，我们将把现有的工作扩展为一个通用的框架，同时实现年龄推进（E和G）、跨年龄识别（E）、人脸变形（G）和年龄估计（Dimg）。我们FT输入如图10个。值得注意的是，以前的作品[30，12]经常应用人脸归一化来缓解1531~40352231~4038从姿势和表情的变化，但他们可能仍然受到闭塞问题的困扰。 相比之下，亲设定的CAAE获得生成的面，而不需要1751~6050306~1007为了消除这些变化，为强大的性能铺平道路1831~40353521~3024在实际应用中。196~10074261~70615819引用[1] D. M. Burt和D. I.佩雷特对成年男性cau- casian面孔的年龄 感 知 ： 形 状 和 颜 色 信 息 的 计 算 机 图 形 处 理 。Proceedings of the Royal Society of London B：BiologicalSciences，259（1355）：1372[2] B.- C.陈春S. Chen和W. H. Hsu.用于年龄不变人脸识别和检索的跨年龄参考编码。在2014年欧洲计算机视觉会议上6[3] X. Chen ，Y. 段 河 ，巴 西 - 地Houthooft ， J. 舒 尔 曼岛Sutskever和P.阿比尔InfoGAN：通过信息最大化生成对抗网络进行可解释表示学习。神经信息处理系统进展，2016。3[4] E. L. Denton，S.钦塔拉河Fergus等人使用对抗网络的拉普拉斯金字塔的深度生成图像模型。神经信息处理系统的进展，第1486-1494页，2015年。3[5] Dlib C++库。http://dlib.net/网站。[联机]。6[6] Face Transformer（FT）演示。http://cherry.dcs的 网 站 。 aber.ac.uk/transformer/ 网 站 。 [ 联机]。七、八[7] Y. Fu和N.郑M-face：一种基于外观的照片真实感模型，用于多个面部属性渲染。IEEE Transactions onCircuits and Systems for Video Technology，16（7）：830-842，2006。2[8] I. 古德费罗 J. 波吉特-阿巴迪 M. 米尔扎 B. 许、D. 沃德-法利，S。奥扎尔A.Courville和Y.本吉奥。生成对抗网络。神经信息处理系统进展，第2672-2680页，2014年。二、五[9] K.格 雷 戈 尔 岛Danihelka ， A.格 雷 夫 斯 D.J.Rezeland，以及D.维尔斯特拉Draw：用于图像生成的递归神经网络。arXiv预印本arXiv：1502.04623，2015。3[10] D. J. Im，C.D. Kim，H.Jiang，和R.梅米塞维奇使用循环 对 抗 网 络 生 成 图 像 。 arXiv 预 印 本 arXiv ：1602.05110，2016年。3[11] V. Kazemi和J.苏利文用回归树的集合进行一毫秒人脸对齐。在2014年IEEE计算机视觉和模式识别会议集，第1867-1874页中。6[12] I. Kemelmacher-Shlizerman，S. Suwajanakorn和S. M.塞茨照明感知年龄进展。在IEEE计算机视觉和模式识别会议上，第3334IEEE，2014。一二六七八[13] D. Kingma和J.BA. 随机优化的一种方法arXiv预印本arXiv：1412.6980，2014。6[14] D. P.Kingma和M.威林自动编码变分贝叶斯。arXiv预印本arXiv：1312.6114，2013。5[15] A.拉尼蒂斯角Taylor和T. F.虱子人脸图像老化效应的自动 模 拟 . IEEE Transactions on Pattern Analysis andMachine Intelligence，24（4）：442-455，2002。二、七[16] A. B. L. Larsen，S. K. Sønderby和O.温瑟使用学习到的相似性度量来自动编码超出像素arXiv预印本arXiv：1512.09300，2015。6[17] M. Y. Liu和O.图泽尔耦合生成对抗网络。神经信息处理系统的进展，2016年。二、三[18] Z. Liu，Z. Zhang和Y.山.基于图像的表面细节转移。IEEE Computer Graphics and Applications，24（3）：30-35，2004. 2[19] A. 马赫扎尼J.Shlens，N.杰特利和我古德费罗对抗性自动编码器。在2016年的国际学习代表会议上。二三五[20] M. Mirza和S.奥辛德罗条件生成对抗网。arXiv预印本arXiv：1411.1784，2014。3[21] A.拉德福德湖，澳-地Metz和S.钦塔拉使用深度卷积生成式对抗网络进行无监督表示学习。在2016年国际学习代表会议上二、三、四[22] N. Ramanathan和R.切拉帕在年轻的面孔上模拟年龄的在IEEE计算机协会计算机视觉和模式识别会议上，第1卷，第387-394页。IEEE，2006年。2[23] N. Ramanathan和R.切拉帕模拟老化面部的形状和纹理变化在IEEE International Conference on Automatic FaceGesture Recognition中，第1IEEE，2008年。2[24] R.罗特河Timofte和L. V.Gool DEX：从单一图像中对明显年龄的深层预期。在IEEE国际计算机视觉研讨会（ICCVW）上，2015年12月。6[25] X. Shu，J. Tang，H.莱湖，澳-地Liu和S.燕.个性化的年龄增长与老化字典。在IEEE计算机视觉国际会议论文集，第3970二七八[26] J. Suo，X. Chen，S.山，W。Gao和Q.戴.一个简明的图演化老化模型. IEEE Transactions on Pattern Analysis andMachine Intelligence，34（11）：20832[27] J. Suo，S.- C. Zhu，S. Shan和X.尘面部老化的组成和动态 模 型 。 IEEE Transactions on Pattern Analysis andMachine Intelligence，32（3）：385 二七八[28] Y. Tazoe，H. Gohara，A. Maejima和S.森岛考虑几何形状和贴片纹理的人工老化模拟器。ACM SIGGRAPH2012海报，第90页。ACM，2012年。2[29] B. Tiddeman，M.Burt和D.佩雷特用于知觉研究的面部纹理的原型化和计算机图形学与应用，21（5）：42-50，2001. 2[30] W. Wang， Z. Cui，Y. Yan，J. Feng，S. Yan，X. 舒和N. Sebe 面部反复老化。在IEEE计算机视觉和模式识别会议上，第2378IEEE，2016. 二七八[31] X. Yu和F.波里克利用判别生成网络实现超分辨人脸图像。欧洲计算机视觉会议，第318-333页。施普林格，2016年。3[32] J. Zhao，M. Mathieu和Y.乐存。基于能量的生成对抗网络。2016年12月16日，北京市人民政府海淀分局备案（京公网安备1101010802015）二、三