基于年龄目标的改进IPCGAN-Alexnet人脸图像生成模型

沙特国王大学学报基于年龄目标的改进IPCGAN-Alexnet人脸图像生成模型Hady Pranotoa，b，Yaya Heryadia，Harco Leslie Hendric Spits Warnarsa，Widodo Budihartoba印度尼西亚Bina Nusantara大学计算机科学系，BINUS研究生课程-计算机科学b印度尼西亚雅加达Bina Nusantara大学计算机科学学院计算机科学系阿提奇莱因福奥文章历史记录：收到2021年2021年8月10日修订2021年9月2日接受2021年9月11日网上发售保留字：面部老化生成对抗网络A B S T R A C T随着年龄的增长，人脸识别能力在一定时间后会下降。将人脸老化体系结构生成的一定年龄的合成人脸图像加入到人脸识别中是提高交叉老化人脸识别性能的一种方法。合成的人脸图像可以使用基于生成对抗网络的架构来创建。目前基于生成对抗网络的人脸老化模型仍然需要高计算量来建立模型。基于这个原因，我们提出了一个新的身份保持条件生成对抗网络（IPCGAN）的最佳变体，以生成特定年龄组的合成在该体系结构中，对生成器模块、年龄分类模块的结构进行了改进，并改变了目标函数，以提高生成特定年龄段真实感合成人脸图像时的准确率，同时加快了训练时间。在建议的网络中对年龄分类器进行修改，迫使我们的架构在某些年龄组中生成更好的合成人脸。使用Facenet和年龄预测的评估表明，我们的方法准确率在k-NN分类中提高了4.2%，在SVM分类中提高了3.6%版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍交叉老化的人脸识别能力在一定时间后会降低其识别某人面孔的能力。这种认知能力的下降是由于那些希望被识别的人的面部变化，因为他们的面部老化或年龄增长。将人脸老化体系结构生成的一定年龄的合成人脸图像加入到人脸识别中是提高交叉老化人脸识别性能的一种方法。面部老化或年龄进展是用于描述在某些年龄组合成面部的过程的术语（Zhang等人， 2017年），定义为一个美学过程，用于渲染一个新的面孔，*通讯作者：印度尼西亚Bina Nusantara大学计算机科学系，BINUS研究生课程-计算机科学博士。电子邮件地址：hadypranoto@binus.ac.id（H.Pranoto）。沙特国王大学负责同行审查增加自然老化和恢复活力的效果。面部老化是在所需年龄合成新面孔的过程许多研究是在面部老化或年龄进展中进行的（Wang，2016;Kemelmacher-Shlizerman等人，2014年），但这项研究仍然具有挑战性，因为很难找到具有长年龄范围的同一个人的训练样本（Panis et al.，2016; Rothe等人，2018），并且当前的面部老化方法仍然需要高计算来创建模型。在面部衰老领域已经做了很多研究。他们的方法可以分为三类：传统方法，深度生成方法和生成对抗网络方法。传统的方法本身，分为三类：基于模型的，原型，和重建的方法。基于模型的方法是年龄进展研究的早期方法。主动外观模型（AAM）（Patterson等人，2006）、全球老化函数、外貌特定老化函数（ASA）、加权外貌焦虑函数（WAA）、加权个人特定老化函数（WSA）（Lanitis等人，2002）、老化模式子空间（AGES）（Geng等人，2010），以及面部老化的组成和动态模型（Suo等人，2010年）是基于模型的方法。这种方法通常利用一种外观模型来表示输入照片的人脸结构和结构https://doi.org/10.1016/j.jksuci.2021.09.0021319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comH. Pranoto，Y.Heryadi，Harco Leslie Hendric Spits Warnars等.沙特国王大学学报7237基于模型的人脸识别方法产生的人脸图像不真实，而且在生成人脸时往往会丢失身份。这种基于模型的方法使用面部形状，纹理变化，由于衰老过程，如皱纹，肌肉变化，头发颜色建模与参数（参数模型）。基于原型的方法（Kemelmacher-Shlizerman等人，2014）应用老化原型将年龄组之间的差异转移到输入面部图像中以生成特定年龄组中的新面部图像。该过程基于使用平均脸或平均脸（Rowland和Perrett，1995）来估计年龄模式的变化，平均脸或平均脸是每个预定义年龄组的模式（Liu等人，2008年）。对输入的人脸图像进行平均，以生成特定年龄组的合成人脸图像。当将模式实现到输入人脸图像中时，基于原型的方法需要输入图像与平均人脸之间的高精度对准，如果不是，则将产生合理的合成人脸图像。这种方法，这种方法限于对老化模式进行建模，并且缺少对人脸的整体理解，例如个性和表情，这是老化过程中的需要。基于重建的方法只注重找到每个年龄组的老化基础或基本模式，并将它们组合起来。该方法的结果是可以使用字典将输入图像变换成期望年龄的新合成图像Shu等人（Shu等人，2015）提出了耦合字典学习（CDL）来对个性化老化模式进行建模（Tanget al.，2018）通过保留每个个体的个性化特征。他们为短期面部老化照片制定了CDL，而不是长期老化照片，因为收集长期密集的面部序列很困难。另一种方法是基于深层生成的方法。这种方法比传统方法得到更好的结果。这种方法可以生成比以往任何时候都更逼真的合成面。使 用 深 度 生 成 方 法 的 示 例 实 验 是 使 用 时 间 限 制 玻 尔 兹 曼 机（TRBM）的年龄进展（Duong等人， 2016），其利用在序列面部图像之间嵌入时间关系、利用对数似然目标函数并且在训练期间忽略L2重建误差，有效地捕获非线性老化过程并且自动地合成来自每个年龄组的具有更详细信息的序列年龄进展。递归神经网络（RNN）（Wang，2016）和两个层门控递归单元（GRU）利用来自前一层的信息（记忆），并在合成图像时创建年龄组之间的平滑过渡。当发现生成对抗网络（GAN）方法时，面部老化或年龄进展显著改善（Goodfellow等人，2014年）。许多研究使用GAN方法可以创建假字符，假面孔和假图像。GAN方法已经被证明成功地生成了高质量的图像（Goodfellow等人，2014; Mirza和Osindero，2014），也可以用于将图像样式从一个域映射到其他域图像。例如，将自然风格的风景图像映射为摄影绘画风格的图像，从现实的人脸照片映射为素描图像（Zhuet al.，2017年）。GAN架构可以根据所提供的训练数据创建各种对象（Im等人， 2016年）。当引入条件GAN（cGAN）时，生成对抗网络得到了改进。cGAN可以基于给予架构的条件来创建期望的输出，并且可以通过在图像上实现某个特征条件来产生一个图像到另一个图像的转换（Isola等人，2017），并且还可以用于唤起特定年龄的面部图像（Antipov等人，2018年）。身份保留生成对抗网络（IPCGAN）（Wang等人， 2018年），成功地 产生了 一种 新的 合成在一定年龄的面部图像，也保持身份。生成新的合成人脸并保持身份是一项具有挑战性的计算任务。GAN存在的主要问题是其模型结构参数多、计算量大，需要大量的样本数据才能生成好的模型。IPCGAN作为基线架构，在训练方面需要较长时间才能收敛，保持输入图像身份的能力也可以得到提高。基于这个问题，我们提出了一个新的更优化的IPCGAN架构的变体，在一个更简单的架构和快速的过程中生成新的面孔在目标年龄，也保持身份。2. 相关工作面对老化或年龄增长，使用GAN借用游戏生成器和生成器，其中生成器学习如何区分从生成器给出的数据是否为真实样本，并且生成器学习如何产生真实样本，以使生成器无法区分。该学习过程将继续，直到某个点，该节点不能区分真实数据和由生成器生成的数据。在人脸老化的背景下，数据是人脸图像。这种方法的挑战是获得足够数量的个体的完整序列图像用于训练数据。GAN架构可以从给定的噪声中生成任何对象，并取决于给定的训练数据。如果用人脸数据集训练该体系结构，则可以通过GAN生成合成人脸。生成对抗网络将面部老化方法从逐步年龄进展方法改变为直接年龄进展（Zhang et al.，2017; Antipov等人，2018年; Li等人，2018年）。如添加皱纹、鬓角、白发、眼袋等衰老效果，以及改变头部结构、下巴缩小、眼睛放大等，直接模拟衰老或返老还童时添加的过程。可以向GAN提供特定条件以产生期望的图像（Isola等人，2017），这启发了研究人员产生具有某些年龄条件的面部图像（Antipov等人，2018），通过利用残差块，可以发生改变的过程（Liu，例如，2017年）。以前，GAN输入是从噪声中得到的，被输入图像所取代，这将缩短生成合成图像的过程，因为它消除了从头开始生成面部图像的过程。IPCGAN（Wang等人，2018年）使用这种方法来产生老化效果并保持身份。生成式对抗网络方法可以根据如何将生成的合成人脸图像分为三类：基于预处理的，基于序列的和基于条件的。一种基于预处理的方法是基于如何将风格从一组图像转换到另一组图像，从一个域转换到另一个域图像。Zhu等人介绍基于翻译的方法（Zhu等人，2017）在Cycle-GAN架构中从一组图像捕获风格特征并在另一组图像中实现。Cycle-GAN的优点是不需要两个集合域的配对。Cycle-GAN的这一优势可以用于面部老化。但Cycle GAN也有一个缺点.Cycle-GAN只能翻译两个域。Palsson等人（Palsson等人，2018年）通过采用来自cycleGAN的架构风格转移提出了一种面部老化架构（Zhuet al.，2017），并且使用输入面部图像和生成的合成图像之间的循环一致性，以在生成的合成图像中保留输入面部图像的身份。第二种方法是基于序列的，这种方法不是为了在不同年龄组之间进行直接翻译。它使用多个分别训练的网络，H. Pranoto，Y.Heryadi，Harco Leslie Hendric Spits Warnars等.沙特国王大学学报7238⁄ð Þ ð Þ在两个相邻的年龄组之间进行顺序翻译在该方法中，翻译顺序进行，并结合成一个完整的网络。第i个网络的输出将用作第i +1个网络的输入这种方法的挑战是获得一个完整的和有序的个人形象 根据Wang等人的说法，尽管深度学习方法已经很强大，但以“一次性”方式训练从某些年龄组到其他年龄组的年龄组转换仍然存在挑战（Wang等人，2019年）。 但是目前的面部老化方法使用“一次性”并达到最先进水平（ Despois 等人， 2020; Liu 等人， 2019 年 ; Fang 等人， 2020年）。使用基于序列的人脸识别GAN的研究：用于身份保留人脸合成的两阶段方法（Shen等人，2018）; D. Deb等人，具有通过深度特征老化的儿童面部轮廓-进展（Deb等人， 2020）来模拟孩子的脸;Q. Li等人（Li等人， 2019）与空间注意力模块的年龄增长和回归，利用空间注意力机制将图像修改限制在人脸图像中的区域，紧密关注年龄变化，以产生高视觉保真度的人脸图像; H. Fang等人的Triple-GAN：具有三重平移损失的进行性面部老化（Fang等人， 2020），采用三重翻译损失来模拟不同年龄组之间年龄模式的稳健相互关系。Duong等人（Duong等人，2019）引入反向强化（IRL）并实施受试者依赖的深度老化路径（SDAP）结构模型，并基于每个受试者都应该有其面部发育的假设，在TNVP结构中使用额外的老化控制器。多个训练对增加了学习模式和标签之间映射的能力。第三种方法是基于条件的，这种方法利用在GAN中有条件地（Mirza和Osindero，2014）控制建筑使用标签在特定年龄组中产生合成面部。该方法使用一个独热码张量来指导网络生成目标年龄组的合成人脸图像从几个现有的方法中，这个独热代码的位置各不相同。一些方法将该独热代码放置在生成器和判别器上（Tang等人，2018）部分，其他方法仅将独热代码放置在生成器部分上，该生成器部分是与输入图像相关的一个热代码。例如，Yao等人（Yao等人，2020）将年龄标签与潜在向量融合。总之，基于条件的方法是基于如何通过包括关于目标年龄组的额外信息来指导生成器的概念。基于条件的方法与基于推理的方法相比，使用基于条件的方法的实例研究是Zhang et al. 通过条件对抗自动编码器进行年龄进展/回归（Zhang等人，2017），W. Wang等人，复发性面部老化（Wang，2016），J. Song等人 使用双条件GAN进行面部老化和年轻化（Song等人，2018），G. Antipov等人的Face Aging usingConditional Generative Adversarial Networks （Antipov等人，2018），S. Liu等人，Face Aging与Contextual的关系某些条件或风格。使用这种方法的结果是在图像更真实，因为可以保持图像的结构条件GAN可以通过人脸数据集创建特定年龄段的人脸老化，并为每个年龄段添加老化条件Antipov 等 人 提 出 的 第 一 年 龄 条 件 GAN （ acGAN ） 架 构 。（Antipov等人， 2018），可以使用年龄条件在目标年龄组生成合成面部。该体系结构由两个步骤组成，重建和面部老化步骤。重构步骤是一个优化问题，以找到最佳的潜在近似z和面对老化步骤执行的一个简单的变化条件y在输入的发生器。在重建步骤中，潜在向量优化计算输入图像x和合成图像x之间的欧几里德距离，该欧几里德距离由FR x和FR x产生，以创建从输入图像到目标年龄组的面部老化图像，并且还保留原始人的身份。最小欧几里德距离表示两幅图像中的人是同一个人的概率人脸老化步骤是计算输入图像x和来自年龄组的图像之间的欧几里德距离的过程。2.2.使用身份保留条件生成对抗网络（IPCGANs）进行身份保留生成对抗网络（IPCGAN）（Wang等人， 2018）是一种架构，其成功地生成了特定年龄组的新合成人脸图像并验证了身份。IPCGANs具有三个模块：（1）条件模块，用于使用年龄条件Ct在目标年龄组t中从输入图像x生成真实合成和看起来逼真的面部x;（2）识别身份模块，用于生成面部合成x具有与输入图像x相同的身份;以及（3）分类器模块（Yang等人，2018），其强制合成在期望的年龄组创建的图像x。条件模块改编自cGAN架构（Isola等人，2017年）。在该模块中，生成器尝试使用条件特征从图像y生成特定年龄组的合成图像x。合成后的图像生成判别器部分强制生成的图像落入年龄目标群体，看起来像人脸一样真实。该条件模块有两个判别器，第一个判别器使用损失函数来判断生成器生成的图像是真是假。较小的损失值表示生成的图像看起来真实，反之亦然。第二校正器的任务是使用年龄条件ct将与来自目标年龄组t的图像对准的输出合成图像y对准。为了能够完成该任务，模块的目标函数用公式1表示。最小值最大值VD;GExpxx½logDxjCt]生成对抗网络（Liu等人， 2017），合成面GDAge GAN中的许多方法的图像显示，这些方法产生的图像更逼真，保真度更高，并且还保留了身份þEypyðyÞ½1-logDðGðyjCtÞÞÞ]ð1Þ从输入图像。2.1.条件GAN（cGAN）由Isola等人提出的条件GAN（cGAN）（Isola等人，2017）是一种基于GAN的架构，该架构通过在架构中实现条件来将图像从一个样式域转换为另一个样式域，以获得结果图像中的某些特征。一般情况下，模型条件遗传算法可以解决任何图像间的风格转换问题，不仅针对特定的风格域，该模型不仅可以将输入图像映射到输出图像，还可以为其中Pxx和Pyy是图像分布x和y。Expxx是期望分布数据x，Eypyy是期望分布数据y。损失函数为log DxjCt，生成元G为1-log DGyjCt。生成器GyjCt根据y和Ct给出的数据对数据分布进行建模。IPCGAN使用最小二乘生成对抗网络（LSGAN）（Shu等人，2015）模型，以推动生成的人脸图像看起来真实，并接近决策边界，并使人脸合成与真实人脸图像难以区分。LSGAN可以生成高质量的图像，训练过程更加稳定。用于IPCGAN中的面部生成任务的条件LSGAN在等式2中制定。H. Pranoto，Y.Heryadi，Harco Leslie Hendric Spits Warnars等.沙特国王大学学报7239吉吉Xð ÞXð-Þð Þ2吉吉xLD¼1Ex Px½DxjCt-121Ey Py½DGyjCt2]真实的面孔难以分辨。LSGAN公式化为等式32x100 mm1]2关于我们和Eqn 4。LG2EyPyyDGyjCt-1]2LD¼1Ez pxhDxjCt-12i1Ez pxh2DGyjCt2i3为了优化条件LSGAN，IPCGAN使用匹配2x100mm2x100 mm意识到有效调整条件与gener，过时的图像。LG¼1Ez pxhDGyjCt-12i4身份保存模块用于保存合成图像的身份信息。该模块是该体系结构的重要组成部分，用于保存合成人脸的身份信息。在此目标函数中使用感知损失而不是均方误差（MSE），因为如果使用MSE计算输入图像x和人脸年龄GxjC tx之间的差异（以像素平方为单位），则损失将迫使G xC t 与图像x相同。感知损失促使所生成的合成图像接近相同特征空间中的输入空间的特征IPCGAN使用较低的特征层来保持输入图像的内容或个性，并使用较高的特征层来帮助保持风格相关，例如颜色，纹理等。老化的面部必须在头发颜色，皱纹等方面发生变化。IPCGAN还使用Alexnet分类器来强制图像生成表单生成器，以合成面部图像在特定年龄组，通过将它们分类到年龄组类别中，当来自生成器的输出图像在分类时具有小的损失时，这意味着所得到的图像具有来自特定类别的年龄模式。架构使用此条件进行训练，直到从架构创建最佳结果模型，该架构被训练成最小特定损失值作为阈值。3. 研究方法3.1. 建议的体系结构所提出的架构是一个新的IPCGAN的最佳变体，具有改进的性能，以产生在一定年龄目标的人脸合成人脸图像，并保持从输入的人脸图像的身份。所提出的架构老化过程旨在从图像x生成位于目标年龄Ct的合成面部图像x，希望图像x具有以下特性：（1）人脸图像x看起来确实像真实的人脸图像;（2）x人脸图像与x图像具有相同的身份;（3）人脸图像x具有年龄组Ct中的年龄。模型的训练基于人脸图像x所属的年龄组与Cs的关系，模型Cs对应于配对列表中的任意目标年龄组Ct我们，不培训指定培训Cs年龄组到Ct年龄组。类似于IPCGAN，所提出的架构具有三个模块：（1）条件GAN（cGAN），其生成具有目标年龄Ct的合成大小的面部并且保证图像x看起来真实;（2）年龄分类器模块，其强制图像x落入期望年龄Ct;（3）身份保持模块，其保证图像x与x相同。条件输入生成器模块具有使用生成器G生成目标年龄的合成面部的任务。将x表示为源年龄组内的输入图像，将y表示为目标年龄组内的真实面部。我们将x和y的分布表示为px<$x <$和py y使用cGAN，具有年龄条件C t的合成人脸应该是不能区分为一个真正的形象，由D.对于从生成器G生成的真实人脸样本，属于真实人脸DxjCt的概率应该很高。鉴别器D还负责将输入标签Ct与生成的图像对准。当在标准GAN中使用优化时（Goodfellow等人，2014年），经验不稳定发生，后果总是产生一个坏的和不切实际的画面。所提出的架构使用最小二乘GAN（LSGAN）（Mao等人， 2017），与IPC- GAN相同。LSGAN试图将生成的人脸和真实人脸都推到同一个决策边界，并使生成的人脸和LSGAN条件优化的使用匹配感知判别器（Reed等人，2016年），其中，图像处理器仅检查针对相应年龄组生成的图像样本。为了生成某个年龄段的老化模式，所提出的方法使用IPCGAN中基于Alexnet年龄分类器的年龄分类模块，该模块具有生成某个年龄段的图像的任务。使用分类方法，年龄分类器保证生成的人脸G_（？）x_j_（？）C_t_（？）落在目标年龄C_t内。如果生成的人脸落在组C中，则年龄分类器将给予小的惩罚，反之亦然，年龄分类器将给予架构大的惩罚。这个年龄分类器试图得到最小的损失，以生成具有一定年龄组的老化模式的人脸。从目标函数损失这个年龄分类器迫使架构以在所得到的图像中生成老化模式。最小损失值使生成的图像具有来自每个年龄组的老化模式。所提出的方法中的年龄分类器被公式化为等式5：Lage<$lggxjCt;Ct 5xspxx其中l是softmax loss。通过反向传播，年龄分类损失迫使生成器的参数改变并生成位于正确年龄组中的面部为了在合成的人脸图像中保持输入图像的身份，提出了一种利用保身份模块的方法.该保持身份模块使用感知损失来保证所得图像具有年龄模式变化，但仍然具有来自输入图像的身份信息。身份保持模块在人脸生成过程中没有使用对抗性损失，对抗性损失迫使生成的合成人脸遵循目标数据分布。因此，生成的样本可以像任何年龄组的任何人一样，这意味着对抗性损失本身不能保证生成的样本可以从输入的人脸图像中保留身份信息。实际上，在IPCGAN或我们提出的网络中，年龄分类器和身份保持模块从第一层到第七层共享部分相同的架构该方法采用同龄分类器结构，使合成的人脸图像处于一定的目标年龄，避免了合成图像与输入图像的不一致性从特定的特征层hx中提取的特征空间对身份信息的保存有重要意义，而下层特征空间的保存性较好。实验风格转移（Gatys等人，2016;Johnson等人，2016）显示了较低的层，是很好的保持内容和较高的层是很好的保持风格相关的颜色，纹理等，即使是面部老化已经改变了方面的头发颜色，皱纹，身份信息必须保持或不改变。在此基础上，我们得出结论，人脸内容是一个较低的特征可以提供的身份信息的表示年龄分类h x。所提出的架构中的修改的年龄分类器使用与Alexnet年龄分类器相同的损失函数（等式6）：L恒等式<$jjh<$x<$-h<$G<$xjCt<$jj2<$6<$xspxx其中h（x）是由基于Alexnet年龄分类器架构的修改的保留身份层中的特定特征层提取的特征。在这一部分中，感知损失代替x与其年龄面G xCt之间的均方误差。使用交叉熵损失，该架构允许创建的图像仍然具有H. Pranoto，Y.Heryadi，Harco Leslie Hendric Spits Warnars等.沙特国王大学学报7240××吉吉×××××××××头发颜色、面包、皱纹、发际线方面的变化，并创建与输入面x不同的新生成的面。使用这种感知损失而不是使用均方误差损失作为损失函数。均方误差损失使得输入图像与生成图像具有很高的相似度或完全相同。正面G x Ct函数使用均方误差将强制生成的图像y与图像x相同。选择感知损失作为损失函数是正确的选择，感知损失促使生成的图像y在特征空间中与输入图像x的特征空间接近，但仍与图像有差异。为了确保所提出的架构成功地生成了某些年龄组的人脸，并且不会从输入图像中丢失身份，我们为所提出的架构制定了一个目标函数，如我们在等式7中所看到的：G损失1LGGG 2L身份识别 3L年龄7岁其中k1控制输入图像老化的程度。而k1和k3控制着我们想要在多大程度上保留身份信息，让生成的样本落入正确的年龄组。在第4节中，我们将根据经验找到最佳k1、k2和k3。在所提出的架构中，我们提高了年龄分类器模块的准确性。提高分类部分的准确性我们对分类部分进行了更改，以提高年龄分类精度，并将其用作引导架构生成所需年龄组中的人脸图像的部分。我们还对生成器进行了修改，以减少架构上的计算过程的数量，希望减少生成器上的残差数量将加快训练过程。IPCGAN中包含的年龄分类器和生成器部分的拟议架构更改见图。1.一、3.2. 架构该架构由三个网络组成，分别是生成器网络、分类器网络和年龄分类器网络，每个网络都有一个特定的任务，共同生成所需年龄段的新人脸图像生成器网络：我们的生成器接收128 128 3图像和128 128 5矩阵独热代码年龄条件作为输入。独热码矩阵是在年龄条件下将插入到体系结构中的。在独热代码中，只有一个特征映射层填充1，而其余的特征映射层都填充0。在训练时，输入图像和独热码在第一层卷积之前级联。在所提出的结构中，发电机剩余层的数量从6个剩余层减少到10个剩余层将IPCGAN中的Eers仅分为1层，以使所提出的架构在训练过程中具有更快的执行时间。我们的生成器架构如表1所示。面部老化架构中的残留层为架构提供了使用通过训练过程获得的权重参数来形成老化模式的机会，残留层提供了为预期年龄组产生合成图像的架构机会。然而，残留层具有缺点。增加剩余层的数量将增加架构中的参数的数量。增加参数的数量也增加了计算过程的数量，巨大的计算过程将加重计算机的负担并增加训练时间。为此，作者减少了结构中残差的数量，使参数的数量尽可能少，但仍然可以产生人脸老化模式。所提出的架构减少了所需的计算过程的数量，并且该架构可以更快地合成所需年龄目标的新面孔。鉴别器网络：我们的鉴别器由5层卷积网络组成。第一层是卷积层4 x4步幅2和激活函数leaky-ReLU。一个大小为64 64 5的热码矩阵年龄条件特征与输出的第一层连接在一起，此组合用作第二层的输入（表2）。年龄分类网络：我们提出的年龄分类网络是从Alexnet年龄分类架构修改而来的。在这个网络时代的分类器和身份保持部分，从第一层到第七层共享相同的架构。同一模块将用于生成特定目标年龄组的合成图像，并保留输入人脸图像的信息身份。该年龄分类网络从生成器接收227 227个3像素图像。生成器产生128个128 × 3像素的人脸图像，然后用于年龄分类网络。图像大小调整为227 227 3像素的图像使用图像双线性插值。该网络对图像进行卷积处理、激活、批量归一化、池化处理、线性化和丢弃。在分类结束时，我们使用softmax层对图像进行分类并防止过拟合。由于提出的网络使用年龄分类两个任务：（1）强制生成的图像具有老化模式和（2）保持身份，网络共享前七层。保存标识模块使用从该层输出的前七层，使用感知均方损失来计算，以强制所生成的图像与输入图像之间的相似性，通过这种方式，我们保存了来自输入图像的标识。第七层的产出继续按年龄组分类。如果输出Fig. 1.拟议的架构。H. Pranoto，Y.Heryadi，Harco Leslie Hendric Spits Warnars等.沙特国王大学学报7241我 我表1建议的架构生成器。输入：128× 128× 3人脸图像+128× 128× 5年龄条件1将128× 128× 3人脸图像与128× 128× 5人脸图像进行期条件参数，减少了内存需求，提供了一个强大的参数，并提高了统计效率。最大池化在等式8中计算。fmax最大值x最大值x最大值8Conv 7× 7，步幅= 1批次归一化32，eps = 0.001 ReLU2Conv 3× 3，步幅= 2批次归一化64，eps = 0.001 ReLU3Conv 3× 3，步幅= 2批量归一化128，eps = 0.001 ReLU4残余Conv 3× 3，步幅= 1，填充= 1批量归一化128，eps = 0.001 ReLUConv 3× 3，步幅= 1，填充= 1批量归一化128，eps = 0.001 ReLU5Deconv 3× 3，步幅= 2，填充= 1BatchNormalization 64，eps = 0.001ReLU6Deconv 3× 3，步幅= 2，填充= 1BatchNormalization 32，eps = 0.001ReLU7Conv 7× 7，步幅= 1Tanh然而，最大池化操作的最大缺点与最大池化操作的目的有关，它只传递最大的元素。如果池化区域中的大多数元素具有高量值，则辨别特征将在最大池化操作之后消失或被消除。这种情况的事实导致不可接受的结果，因为大量丢失的信息被传递到之后的层（Sharma和1xMehra，2019年）。在所提出的架构中，IPCGAN中的最大池化层替换为卷积层，直到所提出的架构中的最大池化层的数量保持为4个最大池化层中的仅1个层。在所提出的架构中，用卷积层取代这个最大池化层的目的是防止最大池化操作后的信息丢失。通过替换最大池层，所提出的架构将权重参数的数量从基线Alexnet分类器中的56，888，709个参数增加到85，908，293个参数。从逻辑上讲，增加参数的数量，将增加计算成本和处理时间。但这取代了，亲-输出：生成的人脸图像128 × 128 × 3表2建议的可扩展性架构。输入：128× 128× 3人脸图像+64× 64× 5年龄条件1Conv 4× 4，步幅= 2将64× 64× 64特征图与64× 64× 5年龄条件2Conv 4× 4，步幅= 2批次标准化64，eps = 0.001泄漏-ReLU（0.2）3Conv 4× 4，步幅= 2批次归一化128，eps = 0.001泄漏-ReLU（0.2）4Conv 4× 4，步幅= 2批次归一化128，eps = 0.001泄漏-ReLU（0.2）5Conv 4× 4，步幅= 2输出：特征图512 × 4 × 4图像被分类到错误的目标年龄组类，我们给一个大的惩罚架构，和一个小的惩罚，如果输入图像被分类到正确的目标年龄组类。建筑师使用这种方法来迫使生成的图像落入正确的目标年龄组类，这种方法有助于建筑师在指定的目标年龄产生合成人脸。为了提高年龄分类器的准确率，对Alexnet年龄分类器进行了部分修改。在所提出的架构中，Alexnet年龄分类器中的一些最大池化层被卷积层取代。在卷积神经网络中，最大池化层提供学习不变特征的能力，并充当调节器以减少训练过程中的过拟合问题。最大池化层，从来自前一层的卷积计算和激活单元中选择，并通过消除非最大分量来降低通过这种消除，在使用稀疏编码和线性分类器的架构上提供更好的性能。最大池化层还提高了训练速度，因为最大池化层减少了下一层的输入维度，而没有增加可变的权重提出的体系结构具有一定的优点，第一层信息在层与层之间的丢失减少，上一层的重要信息可以保留。这个重要的特征需要一个年龄分类器来进行分类过程，年龄分类器能够以更好的准确度将输入图像分类到年龄组中。用卷积层替换最大池也允许架构生成新的权重参数，这有利于提高准确性（Sharma和Mehra，2019）。在替换最大池化层之后，表3中的所提出的架构c。当用卷积层替换最大池化层时。我们必须考虑所提议的体系结构中的接收域的数量卷积神经网络中的感受野被定义为卷积神经网络中输入空间的重要区域感受野特征也可以定义为感受野的中心位置和大小，这一特征对CNN特征的生成非常重要。3.3. 数据集准备作者还观察了一些人脸老化数据集（带有年龄标签的数据集），如MORPH-Album 1数据集（Ricanek和Tesafaye，2006），MORPH-Album 2数据集（Ricanek和Tesafaye，2006），FG-Net（Lanitis，0000 ） ， AdienceFace 数 据 集 （ Eidinger et al. ， 2014;Levi 和Hassner，2015）、跨年龄名人数据集（CACD ）（Chen等人，2014）、IMDB-WIKI（Rothe等人，2018），CORDB（Moschoglou等人，2006）和UTKFace（Zhang等人，2017年）。在选择数据集时，必须考虑数据集的分布群体和每个年龄组所包含的图像数量，不均衡的数据集和数量较少或不足的图像使得体系结构很难找到人脸老化的年龄模式模型跨年龄名人数据集（CACD）（Chen等人，2014年）选择用于培训的架构，以生成模型和评估。CACD包含2000个名人的163，238张人脸图像，年龄范围从16岁到62岁，所有图像都标有年龄，而不是干净的标签。此图像数量小于原始数据集中的图像数量，因为某些图像用于清理。数据集中的姿势、照明、表情甚至样式都有很大的变化。该数据集还具有均衡的年龄组分布，这将有助于架构从数据集中找到年龄组模式。从数据集的分布可以看出，在图。 二、H. Pranoto，Y.Heryadi，Harco Leslie Hendric Spits Warnars等.沙特国王大学学报7242×××××××××图二. CACD数据集分布。在用于训练数据集预处理之前，对数据集中的每张图像进行裁剪，使人脸区域约占图像的80%，继续进行对齐过程，得到一张正面脸，关键点在左眼、右眼、鼻子、左嘴巴和右嘴巴上，并将其调整为400像素。数据集分为5个不重叠的年龄组，分别为11- 29岁、21-30岁、31-40岁、41-50岁和50岁以上，并以90：1的比例3.4. 训练过程为了训练，我们创建了一个包含40万对年龄标签的列表，使每个年龄组都有相同的训练机会。这个列表是根据数据随机创建的，但仍然考虑到每个年龄组都有相同数量的培训机会该列表包含源年龄条件Cs和目标年龄条件Ct。对于每个年龄条件Cs或Ct ，我们准备了一个一维hw 5的独热码矩阵，其中h是人脸图像的高度，w是人脸图像的宽度，以及来自5个年龄组的5个特征图。对于第一个年龄组的特征图，我们为第一个图填充1，为其余的图填充0，我们填充0。对于第二组特征图，我们在第二个图中填充1等体系结构训练生成的人脸合成年龄在一定的年龄，我们准备了一对集合的源人脸图像，并将源年龄条件作为一个热码矩阵，作为生成过程中的标签。我们使用两种图像尺寸作为输入，第一个128像素的人脸图像，用作生成器D的输入图像，第二个227像素的人脸图像用于年龄分类过程。对于年龄条件的独热码矩阵，我们准备了两种大小的独热码矩阵，大小为64 64 5的判别器和128128五是发电机。在每一批中，该模型使用32对人脸图像和一个独热码矩阵进行训练。使用Dataloarder，以9：1的比例准备训练数据和测试数据。我们的架构是通过使用训练标签年龄组对的训练对标签来训练的，以确保架构是平衡训练的，以产生能够在每个年龄组中以相同的良好质量生成年龄组中的合成人脸图像的模型。我们使用的随机梯度下降（SGD）的方法，因为建议的架构需要更新和exami-国对每个样本的错误SGD作为优化算法-rithm在学习过程中增加了更多的噪声，这有助于增加错误的泛化。Adam作为随机梯度下降（SGD）在许多深度学习架构中的选择，adam优化器可以直接实现，需要很少的内存，对梯度值的对角重新缩放不变，可以用于大型数据集或参数，适合非平稳目标，可以实现非常稀疏或有噪声的梯度和超参数，易于使用直观的解释实现，易于配置，只需要一点点调整。默认配置参数几乎可以很好地解决大多数问题（Xu等人，2015; Gregor等人，2015年）。AdaGrad和RMSProp算法中的最佳特性在Adam中结合。我们训练了两次，生成器训练了一次，以获得最佳的权重。我们改变了所提出的架构中的Alexnet分类器，任务是合成年龄变化，我们用卷积架构替换了Alexnet分类器中的最大池化层，继续进行批量归一化以稳定层，如Perarnau等人应用的类似方法（Perarnau等人，2016年）。 所提出的年龄分类器可以参见表3。我们将我们的方法与IPCGAN（Wang等人， 2018年）的条件GAN，实现了面部老化的最先进性能。对于训练提出的架构，我们使用的学习率为0.001，每个批次大小使用32张图像，整个训练过程每个epoch需要12，