没有合适的资源?快使用搜索试试~ 我知道了~
面部动态解释器网络:面部特征的估计与动力学关系
面部动态解释器网络:面部特征估计的局部动力学之间的重要关系是什么?Seong Tae Kim和Yong Man Ro*大韩民国大田KAIST电气工程学院{stkim4978,ymro}@ kaist.ac.kr抽象。人脸分析是计算机视觉中的一项重要任务。根据认知心理学研究,面部动态可以为面部分析提供关键线索。面部表情中一个面部局部区域的运动与其他面部局部区域的运动相关。本文提出了一种新的深度学习方法,称为面部动态解释器网络,用于解释局部动态之间的重要关系,以从表情序列中估计面部特征。面部动态解释器网络被设计为能够对关系重要性进行编码,该关系重要性用于解释面部局部动态和估计面部特征之间的关系。 通过对比实验,验证了该方法的有效性。提出的面部动力学解释器网络在性别分类和年龄估计中研究了面部局部动力学之间的重要关系。此外,实验结果表明,该方法优于国家的最先进的方法在性别分类和年龄估计。关键词:面部动态·可解释的深度学习·局部动态之间的关系·面部特征估计1介绍人脸分析一直是计算机视觉中的一项重要任务,因为它在软生物识别和人机交互中起着重要作用[33,7]。已知面部行为有利于身份的感知[34,32]。特别地,面部动态对于提高面部特征估计(诸如年龄估计或性别分类)的准确性起着至关重要的作用[9,6]。在深度学习的最新进展中,卷积神经网络(CNN)在计算机视觉的许多领域都表现出了出色的性能一些研究工作已经致力于在各种应用中开发时空特征表示,例如动作识别[21,40,13,23]和活动解析[42 , 26] 。 在 [23] 中 , 在 CNN 特 征 之 上 设 计 了 一 个 长 短 期 记 忆( LSTM ) 网 络 来 编 码 视 频 中 的 动 态 LSTM 网 络 是 递 归 神 经 网 络(RNN)的变体,其被设计为2S.T. Kim和Y.M. Ro捕获序列数据中的长期时间信息[19]。通过使用LSTM,CNN特征的时间相关性被有效地编码。最近,已经进行了一些关于用于面部分析的面部动态特征编码的研究工作[9,25,6,24] ο通常已知局部区域的动态特征对于面部特质估计是有价值的[9,6]。通常,面部表情中面部局部区域的运动与其他面部区域的运动有关[39,43]。然而,据我们所知,有没有研究,利用面部运动之间的关系,并解释的重要关系,局部动态面部特征估计。本文提出了一种新的深度网络,用于解释面部特征估计中局部动态之间的为了解释面部局部动态之间的通过面部动力学解释器网络,编码的关系,估计面部特征的重要性。本研究的主要贡献概括为以下三个方面:1. 我们提出了一种新的深度网络,它通过使用面部局部动态微笑表情之间的关系来估计面部特征。2. 所提出的深度网络被设计为能够解释面部特征估计中的局部动态之间的关系为此,设计了相对重要性。关系的重要性编码从面部局部动态的关系特征。关系重要性用于解释面部特征估计中的重要关系3. 为了验证该方法的有效性,对两个人脸特征估计问题(即年龄估计和性别分类)进行了比较实验。在所提出的方法中,进行面部特征估计的基础上的关系重要性,通过组合的关系特征。通过利用关系特征并考虑关系的重要性,所提出的方法可以更准确地估计面部特征相比,国家的最先进的方法。2相关工作年龄估计和性别分类。大量的研究工作致力于从人脸图像中开发自动年龄估计和性别分类技术[16,2,38,29,4,22,28,41,38,29,4]。最近,深度学习方法在各种人脸分析任务中显示出显着的潜力这些方法的主要焦点之一是为一些特定的任务设计合适的深度网络结构。Parkhi等人[31]报道了VGG风格的CNN从大规模静态人脸图像中学习已经报道了基于深度学习的年龄估计方法和性别分类方法,但它们主要是在静态人脸图像上设计的[22,28,41,27]。面部动态分析。人脸的时间动态特性在年龄估计和性别分类中一直被忽视。最近的研究已经报道,面部动态可能是面部特质估计的重要线索[17,8,10,9,10]。面部动力学解释器网络36]。随着年龄的增长,面部失去肌肉张力和底层脂肪组织,这会产生皱纹,凹陷的眼睛并增加眼睛周围的鱼尾纹[9]。衰老也会影响面部动态以及外观。随着年龄的增长,面部的弹性纤维会出现磨损。因此,面部局部区域的面部动态特征在认知心理学研究中[5,18,36,1],已经报道了人类表达中性别二态性的证据与男性相比,女性表达情感的频率更高男性倾向于表现出受限制的情绪,不愿意自我表露亲密的感情[6]。在[6]中,Dantcheva et al.使用从面部标志提取的动态描述符进行性别分类。然而,目前还没有研究动态特征在面部特征估计中的学习关系。关系网络。在本文中,我们提出了一种新的深度学习架构,用于分析面部特征估计中面部动态特征的关系在视觉问答(VQA)中已经报道了关系网络在[35]中,作者将对象定义为从CNN获得的特征图上的神经元,并设计了一个用于关系推理的神经网络。但是,它是为基于图像的VQA设计的。在本文中,所提出的方法自动编码的重要性的关系,考虑到位置信息的通过利用关系的重要性,所提出的方法可以解释面部特征估计中的面部动态之间的关系。3面部动力学解释器网络所提出的面部动态解释器网络的总体结构如图1所示。所提出的方法的目的是解释的重要关系,在面部表情序列特征估计的局部动态该方法主要由面部局部动态特征编码网络、面部动态解释器网络和面部局部动态之间重要关系的解释组成。详细信息在以下小节中描述。3.1人脸局部动态特征编码网络给定一个人脸序列,CNN在每一帧上计算外观特征出于外观特征提取的目的,我们采用了VGG-face网络[31],该网络是用大规模人脸图像训练的。在本研究中,预训练的VGG人脸模型用于获得现成的CNN特征 。 与 给 定 的 CNN 功 能 , 建 议 的 面 部 动 力 学 解 释 器 网 络 已 被investigated。VGG-face网络中卷积层的输出被用作面部外观表示的特征图。基于特征图,将人脸划分为N0个局部区域。确定局部区域的位置以基于语义上有意义的面部局部区域(即,局部区域)来解释局部动态的关系。 左眼、前额、右眼、左脸颊、鼻子、右脸颊、左嘴侧、嘴和右嘴侧)。请注意,每个面序列都是基于4S.T. Kim和Y.M. Ro阶段1:面部局部动态特征编码网络时间……外观特征表示:CNN外观特征表示:CNN…外观特征表示:CNN外观特征表示:CNN局部外观特征……FC……LSTM局部动态特征编码fD()…LSTM…LSTM阶段2:面部动态解释器网络对象对r1,2i,jri,j关系特征聚合fagg=∑λi,jri,ji、jr(N-1),NOO:面部局部动态特征:位置特征年龄/性别左眼前额右脸颊嘴右口侧面部特征估计k关系特征编码关系特征编码关系重要性编码hI关系特征编码LSTMLSTMLSTMLSTMLSTMFCFCFC我第三阶段:面部局部动力学图1.一、所提出的面部动力学解释器网络的总体结构。地标检测[3]。令Xt表示第i个面部局部在第t个时间步长处的局部外观特征为了对局部动态特征进行编码,LSTM网络-w或k-h为bee_n。使用本地应用程序的fulΣy-connectlayerontolol特征Xi= xi,.,x t,…,x T如下:我我我di =fφD(Xi),(1)其中di表示第i个局部部分的面部局部动态特征,并且是具有可学习参数φD的函数。fφD由全连接层和LSTM层组成,如图所示。1. T表示面序列的长度。LSTM网络可以处理不同长度的序列。各种动态相关特征,包括外观变化、am-…………面部动力学解释器网络5可以从局部外观特征序列中对振幅、速度和加速度进行编码。实验中使用的网络的详细配置将在第4.1节中给出。3.2面部动力学解释器网络我们提取对象对的对象特征(即面部局部动态特征和位置位置特征被定义为对象的中心位置(即面部局部区域)。为了向面部动态解释器网络告知对象的位置信息,嵌入局部动态特征和位置特征,并将其定义为面部动态解释器网络的对象特征。对象特征可以写成oi = [di,pi,qi],(2)其中[pi,qi]表示第i个对象的归一化中心位置所提出的面部动力学解释器网络的设计理念是使神经网络的功能形式,其捕获用于面部特征估计的核心对于每对对象特征,关系的重要性可以不同。建议的面部动力学解释器网络的目的是在面部特征估计编码的关系的重要关系重要性可以用来解释面部特征估计中局部动态之间的关系。令λi,j表示第i个和第j个对象特征之间的关系重要性表示用于面部特质估计的两个对象之间的潜在关系的关系特征可以被写为ri,j =gφR(si,j),(3)其中gφR是具有可学习参数的函数。ersφR。si,j =(oi, oj)是Σi on关系从第i和第j个S= s1,2,· ··,si,j,· · ·, s(N0−1),N0为一组关系对,其中N0表示面中对象的数量oi和oj分别表示第i个和第j个关系的重要性用于两个对象特征(〇i,〇j)之间的关系的λi,j被编码为:λi,j=hφI(ri,j),(4)其中h是φi。这是一个有趣的我对他的。rna bl e param e t e rsφI。InΣtΣhispaper,hφisdefin ed其中φI=(W1,2, b1,2),· · ·,W(N0−1),N0,b(N0−1),N0如下:h(r)=Σexp(Wi,j ri,j+ bi,j).(五)φIi,ji、j exp(Wi、jri,j+ bi,j)聚合的关系特征fagg表示为Σfagg=i、jλi,j ri,j.(六)6S.T. Kim和Y.M. RoPPP12算法一:计算N-I对象的关系重要性输入λ。:两个表的相关信息输入的集合λ1,2,···, λi,j,···, λ(N0−1),N0NI:用于解释的对象的数量输出:χ:Nl个对象的关系重要性设NR表示与NI个对象的关系的总数NR=NoCNI对于从1到N的P,R做LetXNIdenoteP-NIobj etata tionanc e en Ni i Iobjop1,op2,···,op(NI−1),opNI)计算χNIχNI=λp,p最后,+···+λρ1,ρΝ1、+···+λp(NI−1),pNIχ=χΝΙ,···,χΝΙ,···,χΝΙ1P NR最后,面部特征估计可以用y =kφE(fagg),(7)其中y表示估计结果,并且kφE是具有参数φE的函数。kφE和gφR由全连接层实现。3.3面部局部动力学重要关系的解释所提出的方法是有用的解释的关系,面部特征估计。在等式中计算的关系重要性(4)用于解释面部局部动力学的关系。注意,高的关系重要性值意味着对应的面部局部部分的关系特征对于估计面部特质是重要的。算法1给出了计算NI个对象的关系重要度的伪代码通过分析关系重要性,可以解释估计面部特征的重要关系。在4.2节和4.3节中,我们分别讨论了年龄估计和性别分类的重要关系4实验4.1实验设置数据库为了评估所提出的面部动力学解释器网络的有效性,进行了比较实验。为了推广的目的,我们验证了所提出的方法在年龄估计和性别分类任务。年龄和性别被认为是代表性的面部特征[28]。公共UvA-NEMO Smile数据库用于这两项任务[10,11]。面部动力学解释器网络7nUvA-NEMO微笑数据库被称为最大的微笑数据库[12]。该数据库包括从400名受试者收集的1,240个微笑视频。在400例受试者中,185例受试者为女性,其余215例受试者为男性。受试者的年龄范围为8至76岁。为了评估年龄估计的性能,我们使用了[9-11]中定义的实验方案。使用10倍交叉验证方案来计算所提出的方法的性能。以无受试者重叠的方式划分每个折叠[9-11]。每次分离独立的测试折叠,并且其仅用于计算性能。剩下的9个折叠用于训练深度网络和优化超参数。进行绩效评价性别分类,我们遵循[6]中使用的实验方案评估指标。对于年龄估计,使用平均绝对误差(MAE)[41]进行评价。MAE可以测量预测年龄与地面实况之间的误差。MAE计算如下:ΣNtesty -y=n=1nn1,(8)N个测试whereynn和ydydd分别不包含n个数据样本。N测试表示测试样品的数量对于性别分类的情况我们报告的MAE和分类精度平均在所有测试倍。实施详情。实验中使用的面部图像基于通过面部标志检测[3]检测到的两个眼睛位置自动对齐。将面部图像裁剪并调整大小为96×96像素。 对于外观表示,使用VGG-面部网络的前10个卷积层和4个最大池化层。结果,从每幅人脸图像中得到6×6×512大小的特征图 每个面部局部区域被定义在尺寸为2×2×512的特征图上。换句话说,在人脸序列中有9个对象(N0= 9)。具有1024个单元的全连接层和堆叠的LSTM层用于fφD。 我们堆叠了两个LSTM,每个LSTM有1024个存储单元。每层由4096个单元(具有dropout [37])组成的双层全连接层用于具有RELU [30]的g φ R。 hφI由全连接层和softmax函数实现。由2048、1024个单元组成的两层全连接层(具有dropout、RELU和批量归一化[20])和一个全连接层(1个神经元用于年龄估计,2个神经元用于性别分类)用于kφE。均方误差用于在年龄估计中训练深度网络交叉熵损失用于训练性别分类中的深度网络。4.2年龄估计年龄估计中面部局部动力学之间关系的解释。为了理解所提出的面部动力学解释器网络在年龄估计中的机制,分析了从每个序列计算的关系重要性 图2示出了重要关系,其中对应对具有高关系重要性值。我们展示了8S.T. Kim和Y.M. Ro时间额颊关系眼额关系颊鼻关系左右眼时间time额、颊、口侧关系眼、额、鼻的关系颊、鼻、口侧关系双眼与面颊的关系(a)(b)(c)(d)图二. 年龄估计中的面部动态解释示例。最重要的关系用黄色框可视化,用于上部中2个对象之间的关系侧和3个对象之间的关系在底部侧。(a)年龄组[13-19],(b)年龄组[20-36],(c)年龄组[37-66],(d)年龄组66+。通过呈现各年龄组的重要关系,确定不同年龄组的重要区域。根据[15]将年龄分为5个年龄组(8-12、13-19、20-36、37-65和为了解释每个年龄组之间的重要关系,从测试集编码的关系的重要性值在每个年龄组,分别平均。使用示例面部图像对4个组进行可视化([8-12]年龄组中不允许报告受试者如图所示,当估计[66+]的年龄组时,两个眼睛区域之间的关系是重要的。两眼区之间的关系可以根据鱼尾纹和眼窝凹陷来表示有区别的动态特征此外,当考虑三个对象时,左眼、右眼和左脸颊之间的关系在[66+]年龄组中具有最高的关系重要性。有一种倾向,对称的关系的重要性。例如,在[66+]年龄组的84个关系中,左眼、右眼和右脸颊之间的关系被包括在前5个高关系重要性中。虽然已经报道了用于确定特定面部表情的动作单元(AU)的关系[14],但是没有研究用于估计年龄或分类性别的运动的关系在这项研究中,面部动力学解释器网络的设计,以解释面部特征估计的运动之间的关系。发现与AU 2和AU 6相关的动态特征的关系被深度网络高度用于估计范围[66+]的年龄。此外,为了验证重要关系的影响,我们对动态特征进行了扰动,如图3所示对17岁受试者的序列,将左颊区的局部动态特征与73岁受试者的时间时间时间时间时间面部动力学解释器网络9人脸局部动态特征编码网络左额头右眼左鼻右颊左口右口嘴侧人脸局部动态特征编码网络左额头右眼左鼻右颊左口右口嘴侧左额头右眼左鼻右颊左口右口嘴侧左眼额头 右眼左鼻右颊左口右口嘴侧左眼额头 右眼左鼻右颊左口右口嘴侧时间年龄时间用其他年龄组的受试者替代对局部动态特征的扰动图3.第三章。 通过用另一年龄组受试者的局部动态特征(例如,较老的受试者)。时间年龄对物体动态特征的扰动图4.第一章通过用零向量替换它来扰动局部动态特征。在实验中的年龄。请注意,脸颊构造了用于估计[13-19]年龄组的重要对,如图2(a)所示。通过扰动,绝对误差由0.41变为2.38。以同样的方式,我们改变了其他两个区域(左眼和右眼)的动态特征逐一。其他两个区域构建相对不太重要的关系,并实现了1.40和1.81(左眼和右眼,分别)的绝对误差绝对误差的增加小于在左颊面进行扰动的情况。结果表明,在[13-19]年龄组中,与左颊的关系比与眼睛的关系对年龄的估计对于相同的序列,面部动力学解释器网络,而不使用的关系重要性进行了分析。对于没有使用关系重要性的面部动力学解释器网络,通过对左脸颊局部动力学特征的扰动,估计年龄的绝对误差从1.20增加当对左眼和右眼进行微扰时,绝对误差分别为1.87和4.21。在左颊面进行扰动时,绝对误差的增加幅度更大。此外,当面部动力学在-面部动力学解释器网络面部动力学解释器网络人脸局部动态特征编码网络10S.T. Kim和Y.M. Ro表1. [37-66]年龄组受试者扰动不同位置扰动位置MAE(标准误差)未污染5.05(±0.28)次要部位(左眼、前额、右眼)7.56(±0.35)重要部位(右颊)9.00(±0.41)表2.UvA-NEMO微笑数据库年龄估计的平均绝对误差(MAE),用于分析位置特征和关系重要性的有效性。L.F. 和R.I. 分别表示位置特征和关系重要性方法MAE(年)设定的自发所有基于区域重要性4.27 4.25 4.26L.F.R.I.4.054.074.06面部动力学✔3.954.054.00解释器网络✔✔3.833.903.87terpreter网络没有使用关系重要性。换句话说,具有关系重要性的面部动态解释器网络对特征污染更鲁棒,(四)、为了统计分析所提出的面部动力学解释器网络中的污染特征的影响,我们还评估了当对具有零向量的面部局部部分的每个动态特征进行扰动时的MAE,如图1所示4.第一章对于从UvA-NEMO数据库中[37-66]年龄组受试者中收集的402个视频,计算MAE,如表1所示。如表中所示,与在不太重要的部位(即[37 - 66]年龄组中的左眼、前额和右眼)上进行扰动的情况相比,在最重要的面部区域(即[37-66]年龄组中的右脸颊)上进行扰动对年龄估计的准确性影响更大。在重要部位 和 次 要 部 位 进 行 扰 动 的 情 况 下 , MAE 差 异 有 统 计 学 意 义(p0.05)。用于年龄估计的面部动力学解释器网络的评估。我们评估了面部动力学解释器网络的有效性。首先,关系的重要性和位置特征的影响进行了验证年龄估计。表2示出了具有位置特征和关系重要性的面部动态解释器网络的MAE。为了验证关系特征的有效性,面部动力学解释器网络11面序列整体动态法时间40.79时间13.4315.851543.9147该方法地面实况表3. 与其他方法相比,UvA-NEMO微笑数据库的平均绝对误差(MAE)。方法MAE(年)VLBP [17]15.70[第10话]11.54BIF [16]5.78BIF +动力学[9]5.03IEF [2]4.86IEF +动力学[9]4.33整体动态法4.02该方法3.87图五、所提出的年龄估计方法的例子。出于可视化目的,以每秒5帧显示面部序列使用区域重要性进行比较。在基于区域重要性的局部动态特征聚合中,采用无监督的方式,将人脸局部动态特征与区域重要性进行聚合如表中所示,使用关系特征提高了年龄估计的准确性此外,位置特征可以通过使网络知道对象对的位置信息来由于人脸序列中的对象通过人脸标志点检测自动对齐,因此对象的位置特征是有意义的通过利用关系重要性和位置特征,所提出的面部动力学解释器网络在所有测试集上实现了最低的MAE 3.87这主要是由于关系对年龄估计的重要性不同。通过考虑关联特征的重要性,提高了年龄估计的准确性。此外,我们进一步分析了根据微笑表情的自发性进行年龄估计的MAE。面部动态解释器网络的MAE在摆姿势微笑中略低(p>0.05)。12S.T. Kim和Y.M. Ro时间时间额、鼻、口侧关系额、鼻、颊的关系(a)(b)第(1)款图六、 解释性别分类中面部动态之间重要关系的示例。对于识别男性(a)和识别女性(b)的3个对象之间的关系,最重要的关系用黄色框可视化为了评估所提出的动态解释器网络(具有位置特征和关系重要性)的有效性,将所提出的方法的MAE与现有技术的方法进行比较(请参见表3)。比较了VLBP [17]、位移[10]、BIF [16]、动力学BIF[9]、IEF [2]、动力学IEF[9]和整体动力学方法在整体动态方法中,通过与所提出的方法中使用的相同的VGG-face网络来提取外观特征,并且使用LSTM网络对整体外观特征进行动态特征编码,而不将面部划分为局部部分。比较它是因为它已被广泛用于时空编码的架构[13,24,25]。如表中所示,所提出的方法实现了最低的MAE。所提出的面部动力学解释器网络的MAE低于IEF+动力学的MAE,差异具有统计学显著性(p0.05)。这主要归因于该方法将对象特征(面部局部动态特征和位置特征)中的潜在关系特征进行编码,并基于关系重要性有效地组合了关系特征。从所提出的方法和整体动态方法的年龄估计的示例五、4.3性别分类性别分类中面部局部动态的关系解释。为了解释性别分类中的重要关系,分析从每个序列编码的关系重要性值图6显示了在从面部序列分类性别时关系重要性具有高值的重要关系如图所示,前额、鼻子和嘴侧之间的关系在对男性做出决定时很重要请注意,有一种关于关系重要性的对称趋势。对于确定男性,前额、鼻子和右口侧之间的关系和前额、鼻子和左口侧之间的关系是三个对象的84个关系中的前2个重要关系的情况下面部动力学解释器网络13表4. 在UvA-NEMO微笑数据库上进行性别分类的准确性,以分析位置特征和关系重要性的有效性。L.F.与R.I.分别表示位置特征和关系重要性方法分类准确度(%)使用区域重要性聚合局部动态特征88.87L.F.R.I.88.79面部动态解释器网络✔89.35✔✔90.08表5. 与其他方法相比,UvA-NEMO微笑数据库的性别分类准确性。方法分类准确度(%)所有年龄<=19年龄>19年龄=19年龄>19how-old.net+ dynamics(树)[6]60.8093.46N/AN/AN/Ahow-old.net+ dynamics(SVM)[6]N/AN/A60.8092.89N/ACOTS +动力学(树)[6]76.9293.00N/AN/AN/ACOTS +动力学(袋装树)[6]N/AN/A76.9292.89N/A基于图像的CNN [27]80.7289.8580.5892.3686.94整体动态法74.3893.5277.5193.9187.10该方法80.1794.6585.1495.18 90.08女性,额、鼻、颊的关系是重要的。这可能与以下观察结果有关:与男性相比,女性更频繁地表达情感,与女性相比,男性倾向于表现出受限的情感。换句话说,女性有一种倾向,使微笑比男性更大,通过使用肌肉的脸颊区域。因此,脸颊与面部其他部位的关系对于识别女性是非常重要的。面部动力学解释器网络用于性别分类的评估。我们还评估了建议的面部动态解释器网络的有效性,性别分类。首先,在表4中总结了具有关系重要性和位置特征的面部动力学解释器网络的分类准确度。为了进行比较,比较了使用区域重要性的局部动态特征的聚合。建议的面部动力学解释器网络实现了最高的准确性,同时使用位置特征和关系的重要性。面部动力学解释器网络中的位置特征和关系重要性对性别分类也很重要。14S.T. Kim和Y.M. Ro表5示出了与UvA-NEMO数据库上的其他方法相比,所提出的面部动力学解释器网络的分类准确度名为how-old.net和商业现货(COTS)的两种基于外观的方法与用于性别分类的手工动态方法相结合[6]。How-old.net是微软公司推出的一个在线年龄和性别识别网站(http://how-old.net/)。COTS是一个商业人脸检测和识别软件,其中包括性别分类。动态方法计算面部局部区域动态描述符,诸如幅度、速度和加速度,如[6]中所述。在整体动态方法中,外观特征提取与所提出的方法相同的VGG-face网络,并在整体外观特征上编码动态特征。还比较了基于图像的方法[27],以验证在性别分类中利用面部动态的有效性how-old.net +dynamics和COTS+dynamics的准确性直接来自[6],并且在本研究中计算了通过利用局部动态特征之间的关系整体方法与所提出方法之间的性能差异具有统计学显著性(p0.05)。5结论根据认知心理学研究,面部动力学可以为面部分析提供关键线索由面部表情得到的面部局部区域的运动本文在分析了现有文献的基础上,提出了一种能够解释面部局部动力学之间关系的新型深度学习方法,以解释从微笑表情进行面部特征估计中的局部动力学关系。基于关系重要性,通过结合面部局部动态的关系特征来估计面部特征。通过对比实验,验证了该方法在人脸特征估计中的有效性。该方法在性别分类和年龄估计中解释了面部动力学之间的重要关系。该方法可以准确地估计面部特征(年龄和性别)相比,国家的最先进的方法。我们将尝试将所提出的方法扩展到其他面部动态分析,例如自发性分析[11]和视频面部表情识别[24]。谢谢。这项工作得到了韩国政府(MSIT)资助的信息通信技术促进研究所(IITP)的部分支持(编号:2017-0-01778,Development ofExplainable Human- Level Deep Machine Learning Inference Framework)和(No.2017-0-00111,使用深度网络的高性能情感识别和基于面部表情的认证的实用技术开发)。*Y.M. Ro是一位通讯作者。面部动力学解释器网络15引用1. 小亚当斯R.B.赫斯,U.,Kleck,R.E.:与性别相关的面部外观和面部表情的交叉点。情感评论7(1),52. Alnajar,F.,Shan,C. Gevers,T. Geusebroek,J.M.:无约束成像条件下基于学习的软分配编码年龄估计。Image and Vision Computing30(12),9463. Asthana,A.,Zafeiriou,S.,郑,S.,潘蒂奇,M.:增量面对齐野外IEEE计算机视觉和模式识别会议论文集。pp. 18594. Bekios-Calfa,J.,Buenaposada,J.M.,Baumela,L.:通过利用面部属性依赖性的鲁棒性别识别。Pattern Recognition Letters36,228-234(2014)5. Cashdan,E.:微笑、言语和身体姿势:女性和男性如何显示社会地位和权力。Journal of Nonverbal Behavior22(4),2096. 当 你 看 到 A 布 雷 蒙 德 , 弗 。 : Genderestimationsmile-dynami cs.IEEETransactions on Information Forensics and Security12(3),7197. Dantcheva,A. Elia,P.罗斯,A.:你的生物识别数据还透露了什么?关于软生物测定的调查。IEEE Transactions on Information Forensics and Security11(3),4418. Demirkus,M.,Toews,M.,克拉克杰杰Arbel,T.:性别分类从uncon-紧张的视频序列。在:计算机视觉和模式识别研讨会(CVPRW),2010年IEEE计算机学会会议上。pp. 55比62 IEEE(2010)9. Dibe k liogu,H., Alnaja r,F., Salah、A. 一、 Gevers,T. :将具有外观的面部特 征 与 用 于 年 龄 估 计 的 面 部 特 征 进 行 比 较 。 IEEE Transactions on ImageProcessing24(6),192810. Dibe k liogu , H. ,Gevers , T. ,Salah 、 A. 一 、瓦 连 提 河 :Asmile_c_a_re_y_o_u_r_a_e:在年龄估计中启用面部动态。第20届ACM多媒体国际会议pp. 209-218 ACM(2012)11. Dibe k liogu,H., Salah、A. 一、 Gevers,T. :你真的都是在开玩笑吗?一个微笑与一个微笑的对比。欧洲计算机视觉会议。pp. 525-538. 03 The Dog(2012)12. Dibe k liogu , H. , Salah 、 A. 一 、 Gevers , T. : 在 小 范 围 内 重 新 编 码 。IEEETransactions on Multimedia17(3),27913. Donahue,J.,安妮·亨德里克斯Guadarrama,S.,Rohrbach,M.,Venugopalan美国,Saenko,K.达雷尔,T.:用于视觉识别和描述的长期递归卷积网络。在:IEEE计算机视觉和模式识别会议论文集。pp. 262514. Ekman,P.:面部动作编码系统。02 The Dog(2002)15. 加拉格尔,AC陈T:理解一群人的形象。在:计算机视觉和模式识别,2009年。CVPR 2009。IEEE会议。pp. 256-263. IEEE(2009)16. Guo,G.,Mu,G.,傅,Y.,Huang,T.S.:使用生物启发特征的人类年龄估计。在:计算机视觉和模式识别,2009年。CVPR 2009。IEEE会议。pp. 112-119 IEEE(2009)17. Hadid,A.:从视频中分析面部行为特征。人类行为理解pp.第5218. 赫斯,U.,小亚当斯R.B. Kleck,R.E.:面部表情、性别和情感表达。Emotion4(4),378(2004)16S.T. Kim和Y.M. Ro19. Hochreiter,S.,Schmidhuber,J.:长短期记忆。神经计算9(8),1735-1780(1997)20. Ioffe,S.,Szegedy,C.:批次标准化:通过减少内部协变量偏移来加速深度网络训练。国际机器学习会议(International Conferenceonpp. 44821. Ji,S.,徐伟,杨,M.,Yu,K.:用于人类动作识别的3D卷积神经网络。IEEETransactions on pattern analysis and machine intelligence35(1),22122. Juefei-Xu , F. , Verma , E. , Goel , P. , Cherodian , A. , Savvides , M. :Deepgender:通过具有注意力的渐进训练卷积神经网络进行遮挡和低分辨率鲁棒面部性别分类。在:IEEE计算机视觉和模式识别研讨会会议论文集。pp. 68-77(2016年)23. Karpathy,A.,Toderici,G.,Shetty,S.,Leung,T.,Sukthankar河李菲菲:用卷积神经网络进行大规模视频分类。在:IEEE计算机视觉和模式识别会议论文集。pp.第1725-1732(2014)号决议24. Kim,D.H.,Baddar,W.,Jang,J.,Ro,Y.M.:基于多目标的时空特征表示学习 对 表 情 强 度 变 化 的 鲁 棒 性 人 脸 表 情 识 别 。 IEEE Transactions on AffectiveComputing(2017)25. Kim,S.T.,Kim,D.H.,Ro,Y.M.:使用长短期记忆网络的面部动态建模:人脸认证分析与应用。在:生物识别理论,应用和系统(BTAS),2016年IEEE第8届国际会议上。pp. 1-6 IEEE(2016)26. Lea,C.,Reiter,A.,维达尔河Hager,G. D.:用于细粒度动作分割的分段时空cnn。欧洲计算机视觉会议。pp. 36-52. Springer(2016)27. Levi,G.,哈斯纳,T.:使用卷积神经网络进行年龄和性别分类。在:IEEE计算机视觉和模式识别研讨会会议论文集。pp. 3428. Li,S.,邢杰,Niu,Z.,Shan,S.,Yan,S.:卷积神经网络中的形状驱动核自适应用于鲁棒的面部特征识别。IEEE计算机视觉和模式识别会议论文集pp. 222-230(2015年)29. Makinen,E.,Raisamo,R.:用自动检测和对齐的人脸评估性别分类方法。IEEETransactions on Pattern Analysis and Machine Intelligence30(3),54130. Nair,V.,Hinton,G.E.:整流线性单位提高限制玻尔兹曼ma-下巴第27届机器学习国际会议(ICML-10)论文集。pp. 80731. 帕克希O.M. Vedaldi,A.,Zisserman,A.,等:深度人脸识别。在:BMVC.第1卷,第6页(2015年)32. Pilz,K. 美国, 我,我。M. ,Bülthoff,H. H. :一种用于在运动中进行面部识别的系统。Experimental Brain Research171(4),43633. Reid,D. Samangooei,S.,陈春,Nixon,M.,罗斯,A.:用于监视的软生物识别技术-Lance:概述。机器学习:理论与应用。Elsevier pp.327-352(2013年)34. 罗克地方检察官Barrett,S.E.,Spence,M.J.,Abdi,H.,O'Toole,A.J.:心理以及运动在面部识别中的作用的神经观点。Behavioral and Cognitive NeuroscienceReviews2(1),15面部动力学解释器网络1735. Santoro , A. Raposo , D. , Barrett , D.G. , Malinowski , M. , 帕 斯 卡 努 河Battaglia,P. Lillicrap,T.:一个用于关系推理的简单神经网络模块在:神经信息处理系统的进展pp. 497436. Simon,R.W.,Nath,L.E.:美国的性别与情感:男性和女性在自我报告的感觉和表达行为上有差异吗?美国社会学杂志109(5),113737. Srivastava,N.,辛顿通用电气Krizhevsky,A.,萨茨克弗岛Salakhutdinov,R.:Dropout : 防 止 神 经 网 络 过 拟 合 的 简 单 方 法 。 Journal of MachineLearningResearch 15(1),1929 -1958(2014)38. Toews,M.,Arbel,T.:人脸的检测、定位和性别分类任意视点和遮挡下。IEEE Transactions on Pattern Analysis andMachineIntelligence 31(9),1567 -1581(2009)39. 唐,Y.,廖文,Ji,Q.:面部动作单元识别,利用他们的迪-动态和语义关系。IEEE模式分析与机器智能汇刊29(10)(2007)40. Tran,D.,Bourdev,L.费格斯河托雷萨尼湖Paluri,M.:学习空间3D卷积网络的poral特征。收录于:IEEE国际计算机视觉会议pp. 448941. Uˇr iˇc aˇr , M. , 我 的 天 啊 ,R. , R. ,妈 妈 , J 。 ,是 的 。 :Structuredotputsvmredic- tion of apparent age , gender and smile from deepfeatures.在:第29届IEEE计算机视觉和模式识别研讨会会议论文集(CVPRW2016)。pp. 七三零七三八IEEE(2016)42. Yue-Hei Ng,J.,Hauskn
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)