没有合适的资源?快使用搜索试试~ 我知道了~
基于小波的生成对抗网络的属性感知人脸老化模型
11877基于小波生成对抗网络的属性感知人脸老化刘云帆1李琦1,2,3孙振安1,2,4中国科学院智能感知与计算研究中心2模式识别国家重点实验室3中国科学院人工智能研究所,青岛胶州4中国科学院脑科学与智能技术卓越中心刘云凡@ cripac.ia.ac.cn,{qli,znsun}@ nlpr.ia.ac.cn摘要由于很难收集同一个子的人脸图像,种族测试面输出测试面输出测试面输出针对年龄跨度大的问题,现有的人脸老化方法大多采用非配对数据集来学习年龄映射。然而,年轻人和老年人之间的匹配模糊性性别黑色的亚洲人白色黑色亚洲白人非配对训练数据所固有的人脸图像可能会导致人脸属性在老化过程中发生不自然的变化,这不能像大多数现有研究那样仅通过强制身份一致性来解决。在本文中,我们提出了一个基于小波的生成对抗网络(GANs)的属性感知人脸老化模型来解决上述问题。具体地说,我们将面部属性向量嵌入到生成器和生成器中。眼镜光头男性女性女性男性女性男性模型,以鼓励每个合成的老年人的脸图像是忠实于其相应的输入属性。此外,小波包变换(WPT)模块被incorporated通过捕获与年龄相关的纹理细节在频率空间中的多个尺度,以提高生成的图像的视觉保真度。定性结果证明了该模型在合成视觉上可信的人脸图像方面的能力,大量的定量评估结果表明,该方法在现有数据集上达到了最先进的性能。1. 介绍人脸老化,也称为年龄增长[16],旨在渲染具有老化效果的给定人脸图像,同时仍然保留个性化特征。人脸老化技术的应用范围从社会保障到数字娱乐,例如预测失踪儿童的当代外观和跨年龄身份验证。 由于面对衰老的实用价值,许多方法都有*作者贡献均等。图1.不含人脸属性嵌入的人脸老化模型生成的具有不匹配人脸属性的人脸老化示例考虑了四个属性(种族、性别、眼镜和秃头),并为每个属性提供了三个“种族”和“性别”的标签在过去的二十年里,人们提出了解决这个问题的方法[8,20,19,21,7]。随着深度学习的快速发展,深度生成模型被广泛用于合成老化的人脸图像[23,3,4]。然而,这些方法最关键的问题是在训练阶段需要多幅不同年龄的同一个人的人脸图像,这在实践中是非常昂贵的收集,因此它们的应用在很大程度上受到限制。为了解决这个问题,最近的许多研究采用未配对的人脸老化数据来训练模型[23,28,25,9]。然而,这些方法主要集中在人脸老化本身,而忽略了输入的其他关键条件信息(例如,面部属性),因此无法调节训练过程。因此,训练具有不匹配属性的人脸图像对会误导模型11878学习翻译而不是老化,导致严重的重影伪像,甚至在生成结果中不正确的面部属性。图1显示了一些具有不匹配属性的人脸老化结果。在“性别”下的最右边的面部老化结果中,胡须被错误地附加到输入的女性面部图像。这是因为模型了解到长胡子是衰老的典型标志,但没有办法要知道,这不会发生在一个女人身上,因为面对图像对年轻女子和老年男子可以治疗如果不考虑条件信息,则作为正训练样本。为了抑制在老化过程中语义信息的这种不期望的变化,许多最近的面部老化研究试图通过强制身份一致性来监督输出[28,1,25,9]。然而,如图1、所有样本结果的输出都很好地保留了个性化特征,但仍然观察到面部属性的明显不自然变化。换句话说,当使用未配对数据进行训练时,良好维护的身份相关特征并不意味着合理的老化结果。因此,仅仅强制身份一致性不足以消除未配对训练数据中的匹配歧义,从而无法获得令人满意的人脸老化性能。为了解决上述问题,在本文中,我们提出了一个基于生成对抗网络(GANs)的框架。与文献中已有的方法不同,我们通过在生成器和子空间中嵌入人脸属性向量来引入输入的语义条件信息,从而引导模型输出属性忠实于每个对应输入的老年人人脸图像.此外,为了增强衰老细节,基于观察到衰老的迹象主要由皱纹、笑纹和眼袋表示,这些可以被视为局部纹理,我们采用小波包变换在频率空间中有效地提取多个尺度的特征。主要贡献概括如下:• 面部属性作为条件信息被纳入面部老化的生成器和预处理器中,因为身份保留是不充分的产生合理的结果。• 采用小波包变换提取纹理细节在频率上的多尺度用于生成老化效应的细粒度细节的域。• 大量的实验证明了该方法的绘制能力准确的老化效果和保留身份和面部属性的信息。定量结果表明,我们的方法达到国家的最先进的性能。2. 相关工作在过去的几十年里,人脸老化一直是一个非常热门的研究课题,已经提出了大量的算法来解决这个问题。一般而言,这些方法可分为三类:基于物理模型的方法、基于原型的方法和基于深度学习的方法。基于物理模型的方法机械地模拟面部外观的变化。通过对人脸的解剖结构进行建模,Todd等人[22]通过修正的心轴应变转换对面部外观的平移进行了建模。随后的工作从各种生物学方面研究了这个问题,包括肌肉和整体面部结构[8,20]。然而,基于物理模型的算法是计算昂贵的,并且需要相同主题的大量图像序列来模拟老化效应。数据驱动的原型方法[19,21,7]接下来进入视野,其中面部被划分为年龄组,并且每个组由从训练数据计算的平均面部(原型类型)表示。之后,原型之间的翻译模式被认为是老化的影响。原型方法的主要问题是在计算平均人脸时,个性化特征被排除,从而不能很好地保留身份信息。近年来,采用具有时间架构的深度生成模型来合成老年人面部的图像[23,3,4]。然而,在大多数这些作品,人脸图像序列在很长的年龄跨度为每个主题,因此,他们的潜力在实际应用中是有限的。随着GAN [5]在生成视觉上吸引人的图像方面的成功,已经做出了许多努力来使用基于GAN的框架解决面部老化的问题[28,25,9,17,24,10]。Zhang等人[28]提出了一种条件对抗自动编码器(CAAE),通过在低维流形上遍历来实现年龄的推进和回归。与我们最相似的工作是[25],其中提出了一种基于GAN的金字塔架构模型,并采用身份丢失来实现持久性。除了保留身份信息外,我们还通过在模型中嵌入人脸属性向量来减轻不成对训练样本匹配歧义的影响,并确保属性一致性。3. 方法在未配对的人脸老化数据集中,在训练过程中,每个年轻的人脸图像可能映射到许多老年人的人脸候选者,并且具有不匹配的语义信息的图像对可能会误导模型学习除老化以外的翻译。为了解决这个问题,我们提出了一个基于GAN的人脸老化模型,11879AceAce真正的老年人面对相同属性小波系数图2.概述了拟议的人脸老化框架。沙漏形状的生成器G学习年龄映射并输出逼真的老年人面部图像。基于小波包变换模块计算的多尺度小波系数,采用一种新的人脸识别方法来区分合成的人脸图像和一般的人脸描述输入面部图像的p维属性向量被嵌入到生成器和训练器两者中,以减少不成对训练数据固有的匹配模糊性以及它们的语义信息(即,面部属性)作为输入,并相应地输出视觉上合理的老化面部。网络由两部分组成:一个面部属性嵌入式生成器G和一个基于小波变换的ARMD。生成器网络将面部属性嵌入到年轻的面部图像中,并合成年老的面部。该方法利用神经网络使生成结果与一般结果不可区分,并使生成结果具有与输入相同的属性。拟议框架的概述见图1。二、3.1. 面部属性嵌入生成器现有的人脸老化研究[9,25,28]仅将年轻的人脸图像作为输入,然后使用基于GAN的网络直接学习年龄映射。尽管通常会对身份信息和像素值施加约束,以限制对输入图像进行的修改,但面部属性仍可能发生不自然的平移(如图所示)。①的人。与以前的工作不同,我们建议将低级别的图像信息(像素值)和高级别的语义信息(面部属性)纳入到人脸老化模型中,以正则化图像平移模式,并减少未配对的年轻人和老年人之间的映射的模糊性。具体地说,该模型以年轻人脸图像及其对应的属性向量作为输入,并生成具有与输入属性一致的属性的老年人脸图像。我们在生成器中嵌入了属性向量,从而在生成过程中充分考虑了人脸的语义信息,并鼓励模型更有效地生成具有一致属性的人脸图像,而不是简单地采用额外的损失项来监督生成结果的属性。具体来说,我们采用沙漏形的完全卷积网络作为生成器,它在以前的图像翻译研究中取得了成功[6,29]。它由一个编码器网络,一个解码器网络,和四个残差块之间的瓶颈。输入面部属性向量被复制并连接到最后一个残差块的输出斑点,因为它们都包含高级语义特征。在组合之后,解码器网络将关联的特征斑点变换回图像空间。由于人脸老化可以被认为是以输入的年轻人脸图像为条件的渲染老化效果,因此我们将输入图像添加到解码器的输出以形成残差连接。与合成整个人脸图像相比,该结构自动地使生成器更专注于建模输入和输出人脸图像之间的差异,即衰老的代表性迹象,并且不太可能被无关的视觉内容分散注意力如背景等。最后,通过双曲正切(tanh)映射对所得张量的数值尺度进行归一化,从而获得生成的老年人面部图像。3.2. 基于小波的鉴别器为了迫使生成器吸收输入人脸图像的语义信息,被雇用。该传感器有两个主要功能:1) 将合成的人脸图像与一般的人脸图像区分开;2) 检查每个生成结果的属性是否忠实于相应输入的属性。具体来说,考虑到皱纹、笑纹和眼袋等典型的衰老迹象可以被视为局部图像纹理,我们采用小波包变换(WPT,见图2)。3)捕捉与年龄相关的文本-像素丢失身份损失残差连接p小波包变换鉴别器Dp编码器...解码器输入面发电机G假老年人脸0级pGAN损失1级面部属性真正的年轻f cepp载体性别:女性人种:白人...L vel 2真正的老年人面临着同样的属性小波系数…11880伊伊英F(一)0级1行2级sionp,记为(xi,αi)Pyoung(x,α),并将它们作为模型的输入。只有一般的老年人的脸与属性相同的输入,即。(xi,αi) 和(xi,αi)都被认为是正样本,而真正的年轻面孔,即(xi,αi)和Pyoung(x,α)作为负样本,帮助D获得对老化效应的判别能力数学上,G和D的目标函数可以写成如下,LGAN(G) =E(x,α)P(x,α)[(D(G(xi,αi),αi)−1)2](一)(b)第(1)款LGAN(D)=E(x,α)P(x,α)[(D(xi,αi)−1)2]+i i老i图3.小波包变换演示。 (a)低-通和高通分解滤波器(h低和h高)是ap。E(xi,αi)∈Pyoug(x,α)D(G(xi,αi),αi)2+迭代地施加到第k层上的输入以计算下一层上的小波系数;(b)具有不同分解层上的小波系数的样本人脸图像E(xi,αi)y(x,α)D(xi,αi)2(二)ral特征。具体而言,执行多级WPT以提供对给定图像中的纹理的更全面的分析,并且每个分解级别的小波系数被馈送到判别器的卷积路径中。请注意,这与[9]不同,因为小波系数仅用于我们工作中的区分,其中,Pyoung和Pold表示一般分布年轻人和老年人的面部图像。此外,采用像素丢失和身份丢失来保持图像级和个性化特征级的一致性。具体来说,我们利用VGG-Face描述器[14](由φ表示)来提取人脸图像的身份相关语义表示。这两个损失项可表述为,不涉及预测或重建。让孩子们获得讲述Lpix=E (xi,αi)|Pyoung(x,α)||2||2(三)属性是否保留在生成的图像中,Lid=E(x,α)P(x,α)||φ(G(xi,αi))−φ(xi)||2(四)输入属性向量也被复制并连接到每个路径的中间卷积块的输出。在最后,所有路径的相同大小的输出被融合以形成单个张量,然后针对标签张量估计对抗损失。与[25]中通过一系列卷积层提取多尺度特征相比,使用WPT的优点是计算成本显著降低,因为计算小波系数可以被视为通过单个卷积层转发。因此,WPT大大减少了每个转发过程中执行的卷积数量。虽然这部分模型已经被简化,但它仍然利用了多尺度图像纹理分析的优势,这有助于提高生成图像的视觉逼真度。3.3. 总体目标函数GAN模型的训练模拟了生成器G和BND之间的最小最大二人博弈的优化过程。与常规GAN [5]不同,我们采用最小二乘损失而不是负对数似然损失,因为生成的样本与特征空间中的决策边界之间的边缘也被最小化,这进一步提高了合成图像的质量[12]。实际上,我们把年轻的面孔图像 xi和它们对应的维度属性向量αi,i iyoungF总之,所提出的模型的总体目标函数可以写成如下,LG=LGAN(G)+λpix Lpix+λid Lid(5)LD=LGAN(D)(6)其中λid和λpix分别是平衡批评者对身份和像素我们通过交替地最小化LG和LD来优化模型,直到达到最优。4. 实验4.1. 数据集MORPH[15]是一个大型的老化数据集,包含超过13,000名受试者的55,000张人脸图像。MORPH中的数据样本是在均匀和中等光照下具有简单背景的近正面人脸的中性表情的彩色图像。CACD[2]包含了2,000位名人的163,446张人脸图像,这些照片是在不太受控制的条件下拍摄的。除了姿势、照明和表情(PIE变化)的大变化之外,CACD中的图像通过Google图像搜索收集,由于每个图像中呈现的实际面部与提供的相关标签(姓名和年龄)之间的不匹配,使其成为非常具有挑战性的数据集。h低2 ↓ I(k+1)h低2 ↓列行h低2 ↓ IH(k+1)h高2 ↓柱H高2 ↓ID(k+1)I(kIV(k+12 ↓h高11881试验面3122岁27岁26岁27岁29岁21岁图4. Morph(第一行)和CACD(第二行)上的示例结果。每个结果中的第一个图像是输入的测试面部图像,随后的3个图像分别是年龄组31-40、41-50和51+的同一对象的合成老年人面部图像检测面18先前工作48我们工作成果(翻译51+)2650岁以上图5.与先前Morph工作的性能比较(放大以更好地查看老化细节)。第二行显示了先前工作的结果,其中考虑了四种方法,并为每种方法提供了两个样本结果这四种方法(从左到右)是:CONGRE [18],HFA [26],GLCA-GAN [9]和PAG-GAN[25]。最后一行显示了我们方法的结果至于面部属性,MORPH为研究人员提供了包括年龄,性别和种族在内的标签。 我们选择“性别”和“种族”作为属性 这是因为这两个属性在自然老化过程中保证保持不变,并且与流行的面部特征数据集CelebA [11]中使用的诸如“有吸引力”或“丰满”的属性相比相对客观。对于CACD,由于具有非“白人”种族的人脸图像仅占整个数据集的一小部分,因此我们仅选择“性别”作为要保留的属性。具体来说,我们浏览名人的名单,并相应地标记相应的图像。由于注释名称与每个图像中呈现的实际面部之间的不匹配,这在性别标签中引入了噪声,这进一步增加了我们的方法在该数据集上实现良好性能的难度。值得注意的是,所提出的模型是高度可扩展的,因为研究人员可以简单地通过将它们合并到条件面部属性向量中来选择要保留的任何属性,并相应地安排训练图像对。4.2. 实现细节所有面部图像都根据MTCNN检测到的五个面部标志进行裁剪和对齐[27]。遵循[25,9]中的惯例,我们将人脸图像分为四个年龄组,即,30-,31-40,41-50,51+,仅为对照组从30岁到其他三个年龄段的翻译。为了客观地评估所提出的方法的性能,所有度量测量都通过Face++的稳定公共API进行[13]。在我们的人脸验证实验中采用的阈值(阈值=76.5,FAR= 1 e-5)与[25]中使用的阈值相同。因此,我们实验的定量结果与[25]中报道的结果相当。我们选择Adam作为G和D的优化器,学习率和批量大小分别设置为1e−4和16。每5次迭代应用一次像素级评论器,并且在每次迭代时更新D至于权衡参数,首先设置λpix和λid,使Lpix和Lid与LGAN(G)具有相同的数量级,然后除以10以强调对抗性损失的重要性所有实验都在Nvidia Titan Xp GPU上进行5倍交叉验证4.3. 面部老化的定性结果Morph和CACD的样本结果如图所示。4.第一章很明显,我们的方法能够模拟年龄组之间的翻译,并合成具有高视觉逼真度的老年人面部图像。此外,我们的方法对种族、性别、表情和遮挡方面的变化具有鲁棒性与先前Morph工作的性能比较如图所示。5.传统的面部老化方法,CON-GRE [18]和HFA [26],只能呈现微妙的老化效果222142[51-60]2827[51-60]51+292851+50岁以上11882表1.Morph和CACD的年龄估计结果(平均年龄的差异以绝对值衡量变形CACD年龄组31 - 40四十一比五十51 +年龄组31 - 40四十一比五十51 +估计年龄分布估计年龄分布通用38.6047.7457.25通用38.5146.5453.39合成38.4747.5556.57合成38.8847.4254.05平均年龄差异CAAE10.0815.4921.42CAAE5.7611.5317.93GLCA-GAN0.233.618.61GLCA-GAN1.722.072.85PAG-GAN0.380.521.48PAG-GAN0.700.220.57我们0.130.190.68我们0.370.580.66(一)(c)第(1)款(b)第(1)款(d)其他事项以年龄小于等于30岁的人脸图像为测试样本,合成其对应的其他三个年龄组的老化人脸。我们使用Face ++ API估计了数据集中生成结果和自然人脸图像的表观年龄,以进行公平比较。Morph和CACD的年龄估计结果见表1和图2。6.我们比较我们的方法与以前的作品之间的差异平均年龄。在Morph上,可以看出,合成老年人面部图像的估计年龄分布与所有年龄组的自然图像的估计年龄分布很好地匹配。我们的方法在所有三个老化过程中始终优于其他方法,证明了我们的方法的有效性。CAAE结果老化迹象不够明显,导致图6.估计年龄的分布(a)合成面Morph;(b)CACD上的合成面孔;(c)Morph上的通用面孔(d)CACD上的通用面孔在紧密的面部区域内,这不能准确地模拟老化过程。相比之下,基于GAN的方法,GLCA-GAN [9]和[25]中提出的具有金字塔架构的GAN,称为PAG-GAN,已经在生成结果的质量上取得了显着的改进。然而,我们的方法进一步生成人脸图像,与GLCA-GAN相比,具有更高的分辨率(2倍),增强了细节,并减少了结果与PAG-GAN(例如,头发和胡须的细节4.4. 老化准确性和身份保护在本小节中,我们报告了老化准确性和同一性保留的评估结果。 将所提出的模型的性能与先前最先进的方法CAAE [28]、GLCA-GAN [9]和PAG-GAN [25]进行比较,以证明其有效性。老化精度:在每个年龄组的通用和合成的脸的年龄分布估计,其中真实和虚假的图像之间的差异较小,表明更准确的模拟老化的影响。在Morph和CACD上,年龄估计误差大。在CACD上,由于人脸图像和相关标签之间存在不匹配,可以观察到轻微的性能下降。尽管如此,所提出的方法实现了与先前的现有技术相当的结果。这表明我们的方法对属性标签中的噪声具有相对鲁棒性,从而降低了对先验属性检测过程的准确性要求。身份保护:进行人脸验证实验,以检查在人脸老化过程中身份信息是否得到保留。与以前的文献类似,还进行了来自同一受试者的不同年龄组的合成老年人面部图像之间的比较,以检查三个单独训练的年龄映射之间的身份信息是否一致面部验证实验的结果如表2所示。在Morph上,我们的方法在所有三种翻译上都达到了最高的验证率,并且明显优于其他方法,特别是在最困难的情况下(从30到51+)。这表明该方法成功地实现了人脸老化过程中的身份持久性。在包含不匹配标签的更具挑战性的数据集CACD上,我们的方法的性能与PAG-GAN相当,差异很小。值得注意的是,随着单个受试者的两张人脸图像之间的时间间隔增加,验证的置信度和准确性都增加了。11883表2.Morph和CACD上的面部验证结果变形CACD年龄组31 - 40 41 - 50 51+年龄组31 - 40 41 - 50 51 +验证确认验证确认表3.Morph和CACD上“性别”和“种族”的面部属性保留率“性别”保留率(%)"种族变形CACD变形年龄组31 - 40四十一比五十51 +31 - 40四十一比五十51 +31 - 40四十一比五十51 +GLCA-GAN96.3095.4395.7787.2786.7985.8991.7989.5289.34PAG-GAN95.9693.7792.4783.9781.2870.0595.8388.5187.98我们97.3797.2196.0790.7187.6387.1995.8694.1093.22这是合理的,因为随着时间的推移,面部外观可能会发生更大的变化。4.5. 面部属性一致性我们通过比较年龄增长之前和之后估计的面部属性来评估面部属性保留的性能,结果列于表3中。在Morph上,大多数测试样本的面部属性(高达97.37%的“性别”和95.86%的“种族”)在老化过程中得到了很好的保留。此外,我们的方法通过对所有年龄组的翻译进行明确的边界,胜过GLCA-GAN和PAG-GAN。 在CACD上,由于错误标记的数据样本的影响,与Morph上的结果相比,可以观察到明显的每单位下降。然而,我们的方法仍然给出了更好的性能比其他方法的面部属性的保留。随着年龄差距的增加,我们的方法在保留“性别”属性方面的优势变得越来越大,最终达到17.14%(87.19%超过70.05%),当转换到51岁以上的最大年龄组时。从表3中,我们可以得出结论,随着年龄差距的增加,面部属性的不期望的变化更有可能发生,并且纳入条件信息有利于在衰老过程中保持目标面部属性的一致性。4.6. 消融研究在这一部分中,我们通过实验来充分地研究人脸属性嵌入(FAE)对人脸识别的贡献.测试面woFAE_woWPTwFAE_wWPTwFAE_woWPT建议1952504353黑人女性黑人男性黑人男性黑人女性黑人女性92.7891.08(一)92.8789.943065655264白人女性白人男性白人男性白人女性白人女性90.0376.85(b)第(1)款87.1681.66图7.消融研究的样本目视结果对于每一张脸,下面列出了估计的年龄(第一行)和检测到的属性(第二最后一行中的值是生成结果与测试面之间的面验证置信度和小波包变换(WPT)来模拟精确的年龄平移。我们研究了包含/排除属性嵌入(w/wo FAE)和小波包变换(w/wo WPT)对年龄分布、人脸验证率和属性保留率的影响。本小节中的所有实验仅在Morph上进行,因为CACD数据集上的标签具有噪声。由所提出的模型的变体生成的人脸图像的视觉图示如图 所 示 。 7.很 明 显 , 当 FAE 和 WPT 都 不 涉 及 时(woFAE woWPT),发电结果受到严重的影响。三十-95.7794.6487.53三十-93.6791.5490.3231 - 40-95.4789.5331 - 40-91.7490.54四十一比五十--90.50四十一比五十--91.12核实率(%)核实率(%)CAAE15.0712.028.22CAAE4.663.412.40GLCA-GAN97.6696.6791.85GLCA-GAN97.7294.1892.29PAG-GAN100.0098.9193.09PAG-GAN99.9999.8198.28我们100.00100.0098.26我们99.7698.7498.4411884表4.所提出的模型的变体之间的面部属性保存和老化准确性的结果比较(平均年龄的差异以绝对值测量)。性别保持率(%)种族保持率(%)估计年龄年龄组31-4041-5051+31-4041-5051+31-4041-5051+woFAE /woWPT95.7294.2193.6095.0493.5590.830.441.723.03wFAE/wWPT96.1594.9093.6193.8988.6390.210.680.412.31wFAE /woWPT97.2196.9195.8595.2294.3591.430.820.524.82我们97.3797.2196.0795.8694.1093.220.130.190.68表5. Morph上拟议模型变体的人脸验证率(%)年龄组31-40 41-50 51+woFAE/woWPT 100.00 99.92woFAE/wWPT 100.00 99.88 98.06wFAE/woWPT 100.00 98.86我们的100.00 100.00 98.26鬼影艺术品由于非配对训练数据固有的匹配二义性,没有FAE的模型错误地将胡子附加到输入的女性人脸图像上,以显示年龄效应。值得注意的是,留胡子不会降低面部验证的置信度,因为生成的面部图像仍然与输入共享类似的身份相关特征。这再次证实了我们的观察,即强制身份一致性不足以获得满意的面部老化结果。相反,结合FAE通过减少匹配歧义来抑制不期望的面部属性漂移。具体来说,在图中。7、采用FAE后生成的结果中不再有小胡子,从而实现了人脸属性的一致性。不幸的是,去除mous-tache也会消除与衰老相关的纹理细节(皱纹,笑纹和眼袋),导致相对不准确的衰老结果(比预期的年轻得多)。为了解决这个问题,并生成更逼真的人脸图像与生动的老化迹象,WPT被用作初始层的人脸。通过比较在设 置 “woFAE / woWPT” 和 “woFAE /wWPT " 以 及 "wFAE/ woWPT”和“Ours”下获得虽然在设置“woFAE /wWPT”下获得的结果消融研究的定量结果如表4和表5所示。根据表4中的结果,引入面部属性嵌入(wFAE)增加了在所有三个年龄映射下的“性别”和“种族”的保留率,特别是在转换为51+的情况下。这证明了属性嵌入的有效性,因为它根据面部属性对齐未配对的年龄数据,从而重新减少了数据映射中固有的二义性。此外,很明显,在所有情况下,采用WPT减少了通用图像和合成图像的年龄分布之间的差异。然而,WPT在保持面部属性一致性方面几乎没有帮助。这是因为WPT只捕获基于低层视觉数据的特征,无法弥合语义鸿沟,因此框架仍然存在数据样本不匹配的问题。结合表4和表5中的结果,可以看出,虽然属性保存率仍有改进的空间,但验证率即将达到完美。这一观察结果验证了我们的说法,即身份保留并不能保证面部属性在衰老过程中保持稳定。因此,除了身份约束外,对人脸属性的监督也有助于减少非配对数据的内在匹配二义性,获得满意的人脸老化结果。5. 结论在本文中,我们提出了一个基于GAN的框架来合成老化的人脸图像。由于身份约束在减少未配对老化数据的匹配歧义方面的无效性,我们建议采用面部属性来解决这个问题。具体而言,我们将面部属性向量嵌入到生成器和解码器中,以确保生成的图像忠实于相应输入图像的面部属性。为了进一步提高生成的人脸图像的视觉逼真度,引入小波包变换,在多尺度上有效地提取人脸的文本特征。在Morph和CACD上进行了大量的实验,定性的结果表明,我们的方法可以合成逼真的人脸图像鲁棒PIE变化和噪声标签。此外,通过公共API获得的定量结果验证了该方法在老化准确性以及身份和属性保护方面的有效性。鸣谢。本工作得到了国家自然科学基金项目(批准号:61702513,U1836217,61427811)的资助。11885引用[1] 格里戈里·安提波夫、莫埃斯·巴库什和让-吕克·杜格莱。用条件生成对抗网络面对衰老IEEE图像处理国际会议(ICIP),第2089-2093页[2] Bor-Chun Chen,Chu-Song Chen,and Winston H Hsu.使用跨年龄参考编码和跨年龄名人数据集的人脸识别和检索。IEEE Transactions on Multimedia(TMM),17(6):804[3] Chi Nhan Duong , Khoa Luu , Kha Gia Quach , andTien D Bui. 基于时间深度限制玻尔兹曼机的纵向人脸建 模 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议 论 文 集(CVPR),第5772-5780页[4] Chi Nhan Duong , Kha Gia Quach , Khoa Luu , THoang Ngan Le,and Marios Savvides.人脸年龄增长和年龄不变人脸识别的时间非体积建模方法。在IEEE计算机视觉国际会议(ICCV)中,第3755[5] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。神经信息处理系统(NIPS)进展,第2672- 2680页,2014年[6] 贾斯汀·约翰逊,亚历山大·阿拉希,李飞飞。实时风格转换和超分辨率的感知损失。在欧洲计算机视觉会议(ECCV),第694-711页[7] Ira Kemelmacher-Shlizerman,Supasorn Suwajanakorn,and Steven M Seitz.照明感知年龄进展。在IEEE计算机视觉和模式识别会议(CVPR)的,第3334-3341页,2014年[8] 放大图片作者:Christopher J.作者声明:John W. 自动模 拟 人 脸 图 像 上 的 老 化 效 应 IEEE Transactions onPattern Analysis and Machine Intelligence(TPAMI),24(4):442[9] Pepeei Li,Yibo Hu,Qi Li,Ran He,and Zhenan Sun.全球和局部一致的年龄生成对抗网络。在国际模式识别会议(ICPR),第1073-1078页[10] Qi Li,Yunfan Liu,Zhenan Sun.空间注意模块的年龄进展和回归在arXiv预印本arXiv:1903.02133,2019。[11] Ziwei Liu , Ping Luo , Xiaogang Wang , and XiaoouTang.在野外深度学习人脸属性。IEEE InternationalConference on Computer Vision(ICCV),2015年。[12] Xudong Mao , Qing Li , Haoran Xie , Raymond YKLau,Zhen Wang,and Stephen Paul Smolley.最小二乘生成对抗网络。在IEEE国际计算机视觉会议(ICCV)的会议中,第2813[13] 迈 格 维 公 司 Face++ 研 究 工 具 包 。 http : //www.faceplusplus.com的网站。[14] Omkar M Parkhi,Andrea Vedaldi,Andrew Zisserman等人。英国机器视觉会议(BMVC),第41.1-41.12页,2015年[15] Karl Ricanek和Tamirat TesafayeMorph:正常成人年龄进展的纵向图像数据库在国际自动面部和手势识别会议,第341-345页[16] Xiangbo Shu,Jinhui Tang,Hanjiang Lai,Luoqi Liu,and Shuicheng Yan.个性化的年龄增长与老化字典。IEEEInternationalConferenceonComputerVision(ICCV),第3970-3978页,2015年[17] Jingkuan Song,Jingqiu Zhang,Lianli Gao,XianglongLiu,and Heng Tao Shen.双条件甘斯面对老化和振兴。在第二十七届国际人工智能联合会议(IJCAI)的会议中,第899-905页[18] 索金丽,陈西林,山世光,高文,戴琼海.一个级联图演化老化模型。IEEE Transactions on Pattern Analysisand Machine Intelligence(TPAMI),34(11):2083[19] 索金丽,朱松春,Shiguang Shan,陈西林。面部老化的 组 成 和 动 态 模 型 。 IEEE Transactions on PatternAnalysis and Machine Intelligence ( TPAMI ) , 32(3):385[20] 田藏雄介,五原浩明,前岛昭信,森岛志夫。面部老化 模 拟 器 考 虑 几 何 尝 试 和 补 丁 平 铺 纹 理 。 ACMSIGGRAPH,2012年。[21] 伯纳德·提德曼,迈克尔·伯特,大卫·佩雷特。用于知觉研究的面部纹理的原型化和变换。IEEE计算机图形学与应用,21(5):42[22] James T Todd,Leonard S Mark,Robert E Shaw和JohnB Pittenger。对人类成长的感知Scientific American,242(2):132[23] 王维、崔真、严严、冯佳石、严水城、舒祥波、NicuSebe。面部反复老化。在IEEE计算机视觉和模式识别会议(CVPR)中,第2378[24] Z. Wang,W.罗X Tang和S.高.用保持身份的条件生成对抗网络面对衰老。在IEEE计算机视觉和模式识别会议(CVPR)上,2018年。[25] Hongyu Yang,Di Huang,Yunhong Wang,and Anil K.贾恩。学习面年龄进程:甘斯的金字塔建筑。在IEEE计算机视觉和模式识别会议(CVPR)中,第31[26] 杨红玉,黄迪,王运宏,王恒,唐元炎。人脸老化效果 仿 真 采 用 隐 因 子 分 析 联 合 稀 疏 表 示 。 IEEETransactions on Image Processing(TIP),25(6):2493[27] Kaipeng Zhang,Zhanpeng Zhang,Zhifeng Li,and YuQiao.使用多任务级联卷积网络的联合人脸检测和对齐IEEE Signal Processing Letters,23(10):1499[28] 张志飞、杨松、齐海荣。通过条件对抗自动编码器的年龄进展/回归。在IEEE计算机视觉和模式识别会议(CVPR)中,第435211886[29] Jun-Yan Zhu,Taesung Park,Phillip Isola,and AlexeiA.埃夫罗斯使用循环一致对抗网络的不成对图像到图像翻译。在IEEE计算机视觉国际会议(ICCV)的会议记录中,第2242-2251页
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功