Ranking-CNN：基于卷积神经网络的年龄估计模型的研究

5183Ranking-CNN在年龄估计中的陈世兴1张曹进2董明1乐嘉良3饶迈克31计算机科学系2数学系3研究创新中心韦恩州立大学韦恩州立大学福特汽车公司{schen，czhang，mdong}@ wayne.edu{jle1，mrao}@ ford.com摘要人类年龄被认为是人类识别或搜索的重要生物特征。最近的研究表明，从大规模数据中深入学习的年龄特征导致基于人脸图像的年龄估计的性能显着改善然而，年龄相关的序数信息是完全忽略了这些方法。在本文中，我们提出了一种新的基于卷积神经网络（ CNN ） 的框 架， ranking-CNN ， 用于 年龄 估计 。Ranking-CNN包含一系列基本CNN，每个CNN都使用有序年龄标签进行训练。然后，它们的二元输出被聚合以用于最终的年龄预测。我们从理论上得到了一个更严格的误差界排名为基础的年龄估计。此外，我们严格证明，二进制输出二进制输出二进制输出年龄标签聚集输出与多类分类方法相比，排名CNN更有可能获得更小的估计通过大量的实验，我们表明，在统计上，ranking-CNN在基准数据集上的表现明显优于其他最先进的年龄估计模型。1. 介绍年龄估计模型的一个主要问题是如何从人脸图像中提取有效的年龄特征。在过去的十年中，许多人致力于老化特征表示。简单的几何特征和纹理特征在[20]中首次被采用。后来，生物启发特征（BIF）[15]被提出并广泛应用于年龄估计应用中。最近，散射变换（ST）[2]也被提出作为通过添加过滤路径对BIF的改进。通常，这些特征可以通过多种学习来进一步增强，例如，正交局部保持投影（OLPP）[14]。年龄估计模型中的另一个重要组成部分是估计量。通常，年龄估计的特点是一个分类或回归问题。分类模型包括k最近邻[13]，多层感知器[21]和支持向量机（SVM）[15]。对于回归方法，二次回归图1. Ranking-CNN用于基于面部图像的年龄估计。[14] 和支持向量回归（SVR）[15]。最近，卷积神经网络（CNN）等深度学习技术已被应用于人类年龄估计，以直接从大规模面部数据中学习衰老特征[39]。实验结果表明，深度学习的老化模式导致基准数据集[37]以及无约束照片[25]的显着性能改善。然而，多类分类完全忽略了年龄标签中的常规信息，回归将其过度简化为线性模型，而人类衰老模式通常是非线性的。最近，成本敏感的排名技术已被引入到年龄估计[2]。在本文中，我们提出了一种新的基于CNN的年龄排名方法。具体来说，我们提出了一个排名CNN模型，它包含一系列基本CNN，每个CNN都有一系列卷积层、子采样层和全连接层。基本CNN使用预训练的基本CNN的权重进行初始化然后，它们的二进制输出被聚合以做出最终的年龄预测。图1显示了我们的模型。与之前的工作相比，在ranking-CNN中，所有年龄组都使用了相同的特征集，....................... . ...你 好 。 ..... ...... ................... . ...你 好 。 ..... ....... .. .. ........ . ...... . ...你 好 。 ..... ..输入年龄组子网络5184在每个年龄组中独立学习，以描绘不同的老化模式，这导致显着的性能增益。本文的主要贡献概括如下：• 据我们所知，ranking-CNN是第一个使用深度排名模型进行年龄估计的工作，其中使用二进制序数年龄标签来训 练 一系 列 基 本的 CNN ， 每 个年 龄 组 一个 。ranking-CNN中的每个基本CNN都可以使用所有标记数据进行训练，从而提高特征学习的性能，并防止过拟合。• 我们给出了一个比文献[2]更严格的年龄排序误差界，文献[2]认为最终的排序误差是由一般误差之和所限定的被所有的分类器。我们得到了最终排序误差的近似值，它由子问题之间产生的最大误差控制从技术角度来看，更严格的误差范围为ranking-CNN的训练提供了几个优势。• 我们证明，通过考虑年龄之间的顺序关系，排名CNN更有可能为了在与多类分类方法相比时获得更小的估计误差（即，CNN使用softmax函数）。此外，通过大量的实验，我们表明，在统计上，排名CNN显着优于其他国家的最先进的年龄估计方法。本文的其余部分安排如下。在第2节中，我们简要回顾了年龄估计和CNN的相关工作。在第3节中，我们介绍了用于年龄估计的ranking-CNN在第4节中，我们在基准数据集上展示了年龄估计结果。最后，我们在第5节中得出结论。2. 相关工作2.1. 年龄估计最早的年龄估计模型之一可以追溯到[22]，其中主动外观模型（AAM）[6]用于从人脸图像中提取形状和外观特征。后来，在[10]中，使用AAM对同一个人进行了老化过程的模拟，其中包含一系列年龄递增的面部图像，以便构建与不同人的老化过程相关的特定模型。此外，为了解释一个人的长期老化子空间，Geng et al.[11]提出了AGing模式子空间（AGES）。由于特定人的可用图像通常非常有限，因此许多研究人员专注于开发非个性化的方法。Yang和Ai [38]采用了带有局部二进制Pat的实AdaBoost算法[1]。Li等人。[26]提出了一种基于正交判别特征学习的方法。在[15]中，BIF特征被证明对各种数据集的年龄估计有效。同时，流形学习算法，以实现更好的性能。在[14]中，Guo等人提出了使用具有局部调整的鲁棒回归变量的老化流形。最近，基于CNN的方法由于其优于现有方法的性能而被广泛用于年龄估计。Yi等人。[39]介绍了一种使用相对较浅的CNN的多任务学习方法Wang等人[37]训练了一个更深层次的CNN，用于从不同的层中提取特征Levi等人验证了CNN在无约束面部图像上的性能[25]。在年龄估计问题中引入了排序技术，而不是多类分类和回归在文献[2]中，提出了一种具有ST特征的代价敏感的顺序排序框架。在[29]中，Niu等人提出使用多输出CNN将年龄估计公式化为有序回归问题。2.2. 卷积神经网络在深度学习中开发了许多种CNN模型。确切的形式可能会有所不同，但主要组件和计算是相似的。从LeNet[24]导出的CNN模型由交替的卷积层和池化层组成，然后是完全连接的层，连续层的输入是来自先前层的特征图。层中的权重通过反向传播针对代表性特征和具有特定损失函数的分类同时更新。CNN已被广泛用于各种应用。在自然语言处理中，SENNA系统在各种任务上都达到了最先进的性能[5]。在文本分类中，CNN架构已被广泛采用并取得了优异的结果[18]。在计算机视觉领域，在图像分类[19]、目标检测[12]、人脸识别[34]和图像分割[27]方面已经取得了巨大的成功。最近，随着使用GPU的实现[19，17]，具有深度架构的CNN模型已经在大规模图像数据集中实现了对象识别问题的突破，例如，ImageNet数据集[7]。为了构建更有效的CNN模型，引入了几个新组件：激活单元，例如整流线性单元（ReLU）[28] 有助于加速训练过程中的收敛，并对性能产生积极影响[19];dropout等正则化器通过将特定层中的一些激活单元设置为零来防止过拟合[33];批量归一化允许使用更高的学习率来使训练更快并提高性能[16]。5185图2. 基本二进制CNN3. 用于年龄估计的二进制输出对数似然作为损失函数，并使用随机梯度下降将其最小化。3.2. 排名CNN假 设 xi 是 表 示 第 i 个 样 本 的 特 征 向 量 ， 并 且 yi∈{1，...，K}是相应的序数标号。为了训练第k个二进制CNN，整个数据集D被分成两个子集，其中年龄值更高或更低（或更小）。排名CNN的训练包括两个阶段：面部图像的预训练和年龄标记的微调等于）比k，D+= {（x，+1）|y> k}，D−={（x，−1）|y≤ k}。（一）脸上 首先，一个基本网络是预先训练与uncon-基伊基伊应变的面部图像[9]，以学习输入样本的非线性变换，捕获其主要变化。然后，我们从基础网络中训练一系列带有有序年龄标签的基本具体来说，我们将样本分为两组：序数标签高于或低于特定年龄，然后使用它们来训练相应的二进制CNN。二进制CNN中的全连接层首先使在非连续层中获得的特征变平，然后将它们与二进制预测相关联。通过将预测与给定标签进行比较，通过随机梯度下降来更新权重。最后，将所有的二进制输出进行聚合，以做出最终的年龄预测。在下文中，我们详细介绍了我们的系统。3.1.基本二元CNN如图基本CNN有三个卷积和子采样层，以及三个全连接层。具体来说，C1是第一个卷积层，其特征映射连接到输入中的5×有96个过滤器应用于每个3通道（RGB）输入的，其次是整流线性单元（ReLU）[28]。S2是具有连接到C1中的对应特征图的特征图的子采样层。在我们的例子中，我们在3× 3的区域上使用最大池，步幅为2，以突出特征图中响应最快的点。S2其次是局部响应归一化（LRN ），可以帮助推广[19]。C3的工作方式与C1类似，在96个通道中有256个过滤器，5× 5过滤器大小，然后是ReLU。层S4的功能与S2类似，并且之后是LRN。然后，C5是第三个卷积层，在256个通道中有384个滤波器，滤波器大小为3×3，然后是第三个最大池化层S6。F7是第一个全连接层，其中特征图被展平为特征向量。F7 中有512个neuron，其次是ReLU和dropout层[33]。 F8是第二个全连接层，有512个神经元，接收F7的输出，然后是ReLU和另一个dropout层。F9是第三全连接层，并且计算输入x（即，F8之后的输出）使用逻辑函数属于类别i。网络的最优模型参数通常通过最小化损失函数来学习。我们用否定的基于D的不同分裂，可以从基本网络训练K-1个基本网络 注意，在我们的模型中，使用整个数据集训练网络，通常会导致更好的排名性能，并防止过度拟合。给定一个未知的输入xi，我们首先使用基本的网络做出一组二元决策，然后将它们聚合以做出最终的年龄预测r（xi）：K−1r（xi）= 1 + ∑ [fk（xi）> 0].（二）k=1其中fk（xi）是基本网络的输出，[· ]表示真值测试算子，如果内部条件为真，则为1，否则为0可以看出，最终分级误差由二元分级误差的最大值限定。也就是说，可以通过优化基本网络来改善排名CNN结果 我们在第3.2.1节中对此进行了详细的证明，然后在第3.2.3节中对排名和基于softmax的多类分类进行了理论比较。3.2.1误差界在ranking-CNN中，我们将年龄排名估计问题（范围从1，···，K）划分为一系列二进制分类子问题（K−1分类器）。通过聚合每个子问题的结果，我们然后获得估计的年龄r（x）。为了保证模型的更好的整体性能，一个关键问题是如果我们提高了二进制分类器的准确性在本节中，我们在这里，我们提供了一个更严格的错误界的年龄排名比在[2]中介绍，声称最终的排名误差是由所有分类器产生的错误之和的限制。我们采用[2]中的思想，将子问题的错误分为两组：高估和低估的错误。然而，我们不是简单地聚合错误，而是以递增的顺序重新排列它们，并深入分析每组内任何相邻子分类器错误之间通过这些差异的累积，我们在理论上获得了最终排名的近似值C5S6F7S2C3S4C1卷积池化...........卷积........卷积池化池化连接充分F9F8. . .. .. . .. .输入完全完全连接连接5186（E（Ek=1k=1k=1）（j））（E）（E）k=1误差，由子问题间产生的最大误差控制。我们 表示 E+=∑K−1γ+as 的 number 的错误-它遵循e++≥E+。同样，我们可以证明e−−≥E−。则max ke k= max {e++，e−−} ≥ max {E+，E−}，其中k=1 K完成了证明。分类fk（x）>0，当实际值yk，k=<1，···，K− 1. 同样，我们将E−=∑K−1γ−记为相反的情况，其中γ+k=1 k−3.2.2新误差界的技术贡献K = [fk（x）>0][y≤k]且γk=[fk（x）0][y>k]，并且[·]是当[·]中的条件成立时取值为1的指示函数，否则取值为0对于任何观测值（x，y），我们定义成本函数（误差）为：Ranking-CNN可以被看作是CNN的集合，与聚合融合。通过证明最终排名误差受二元排名器的最大误差限制，我们在以下方面.++方面：e（ x）=ek=（k−y+1）γky≤k（三）ke−=（ y− k）γ−y> k。k k1. 理论上，[2]和[29]都提到了这一点。因此，我们有一个关于最终排名误差的误差界的定理定理1对于任何观测（x，y），其中y>0是实际标签（整数），则以下不等式成立：|≤maxek（x），（4）|≤ max e k(x), (4)K其中r（x）是年龄的估计秩，k = 1，···，K − 1。也就是说，我们可以通过最小化最大的二进制误差来减少最终的排名误差证明为简单起见，将（3）中的ek（x）表示为ek。我们把证明分成两部分。首先，我们展示|E+− E−|为|r（x）−y|. 其次，我们证明了maxkek≥ max{E+，E−}。通过|max{ E +，E − }对于E +和E −非负，| 0][y≤k]+[fk（x）>0][y>k]）=1 + E++ ∑K−1[f k（x）> 0][y> k]。在两边减去（E+−E−），我们得到r（ x）−（ E+− E−）（五）性能增益。该训练策略也可以推广到与其他决策融合方法的集成学习。3. 数学上，基于新的误差范围，我们可以=1+∑K−1[fk（x）> 0][y>k]+∑K−1[fk（x）≤ 0][y>k]严格推导出预测误差的期望值k=1k=1排名CNN，并证明排名CNN优于-=1+∑K−1（[fk（x）> 0]+[fk（x）≤ 0]）[y>k]=1+∑K−1[y>k]=y。因此|r（x）− y|为|E+− E−|保持。（六）形成了其他基于softmax的深度学习模型。详细的证明将在下一节中给出。3.2.3排名与Softmax其次，我们提取所有e+>0并将它们重新排列在k++在本节中，我们将重点展示排名-一个递增的阶表示为集合{e（j），j=1， 2，···，E}。类似地，我们对e-做同样的操作，得到集合CNN优于softmax方法，因为它更有可能以获得更小的预测误差|r（x）− y|.原因是{e−，j=1，2，···，EK-}，其中对于任何随机变量，softmax无法将年龄之间的顺序关系带入**因为y是整数，所以通过（3），e+≥ 1和|e+− e+|≥考虑. 因此，代替softmax分类器，方法是年龄估计的首选。（一）（j） （j-1）5187对于任意j∈ {1， 2，···，E+}，我们注意到：ranking-CNN中的基本CNN不同于softmax输出层采用多类分类方法。什么e++≥e++的|e+-e+|+···+|e++-e++|.（七）在全连通层之后，我们从K得到z1，z2，···zK（E）（一）（二）（一）（E）（E−1）5188∑e∑i=1i=1网络.将yi表示为估计的年龄标签，并且ai=eziE（|r2（x）− y||y = 2）= P（r2（x）= 1 |x）+P（r2（x）= 3 |x）其中e（·）是自然指数函数。F或softmax，每个类别的后验概率由下式给出：a+C=.a+ b+ c（十六）eziP（y∈ i|X）=Kk=1=aizkKk=1、（8）假设y=3，E（|r1（x）− y||y = 3）对i=1，···，K.然后，给定观测值标签（x，y）的期望误差为E（|r（x）− y||y）= ∑K|i − y|P（y）=i|X）。（九）=2 P（f1（x）<0，f2（x）<0 |x）+P（f1（x）> 0，f2（x）<0 |x）+P（f1（x）<0，f2（x）> 0 |x）2ab+b2+ac=，则（a+b）（b+c）对于ranking-CNN，我们使用K−1分类器来确定相邻年龄之间的顺序关系。后面的问题-（十七）E（|r2（x）− y||y = 3）= 2 P（r2（x）= 1 |x）+P（r2（x）= 2 |x）2a+b预测大于特定年龄i的年龄的能力由下式给出：=.a+b+c（十八）i+1ai+1因此，对于ranking-CNN，它遵循P（f i（x）> 0 |x）= ezi+ ezi+1 =a + a.（十）E（|r（x）− y|）= ∑3E（|r（x）− i||y = i）i i+11i=11然后，给定样本的预期误差为ab+bc2个以上（a+b）（b+c）.（十九）E（|r（x）−y||y）= ∑K|P（y）=i|X）。|x).（十一）同样，对于softmax，本文给出了一个三序类问题的定理。在E（|R-Y|）=Σ3E（|r（x）− i||y = i）= 2 +a+c。定理中，我们用a，b，c分别表示a1，a2，a3，为了更好的清晰度。定理2假设我们有类1， 2和 3，a、b、c分别> 0。 存在顺序关系：2以来i=12a+ C−ab+bca+b+c（二十）<一二三< 将通过ranking-CNN获得的排名表示为r（ x）和softmax的结果作为r（ x）。然后a+b+c（a+b）（b+c）a2 c+ c2 a（二十一）1 2=（a+b）（b+c）（a+b+c）>0，E（|r1（x）− y|） 0，f2（x）> 0 |x）+P（f1（x）>0，f2（x）<0 |x）+P（f1（x）<0，f2（x）> 0 |x）那么我们得出结论E（|r1（x）− y|） 0，f2（x）> 0 |x）+P（f1（x）<0，f2（x）<0 |x）ab+ bc=，则（a+b）（b+c）（十五）对…的看法KKE（|r1（x）− y|）= ∑ ∑ |r − y|P（y= r）（24）y=1r= 1仍然是不现实的。因此，我们借助学习理论进行概括。5190定理3假设每个基本CNN分类器的假设空间H i的VC维数为d，则用于训练的样本大小为m。 然后，对于任何δ ∈ [0，1]，概率至少为1 − δ，排名CNN的预期误差上限如下：.dlog（ 2m）+ log（2）所选样本的年龄和性别信息见表1。请注意，这些图像不用于预训练阶段。然后将所有选定的样本分为两组：80%的样本用于基本网络训练，20%的样本用于测试。训练集和测试集之间没有重叠，我们使用5折交叉验证来评估性能E D|r（x）− y|≤ max e k（x）+2Kδ（25）M在实验中。其中e k（x）表示E D e k（x）的经验值。证据在Eq的两侧进行期望。（4），我们得到E D|r（x）− y|≤ E Dmax e k（x）（26）K使用Vapnik-Chervonenkis理论[35]，所需的结果如下。注4注意，排名CNN的预期误差受其具有二进制输出的基本CNN产生的最大训练误差的限制，增加了与VC维度相关的项由于softmax输出CNN的VC维度d大于图1中所示的基本CNN的VC维度d2[32]，如果先前层的权重是固定的，则在等式2的右手侧产生更大的第二项（25）对于具有softmax输出层的CNN。由此可见，给定相同的训练样本，ranking-CNN更有可能通过最小化训练误差来获得更小的误差（等式2中的第一项）。（25））比一个softmax输出。在Eq.（25）为我们的框架提供了坚实的支持我们将在后面的实验部分通过t检验进一步验证这一结论的统计意义。3.3.年龄估计当人类预测一个人通过ranking-CNN，它提供了一个基于面部图像同时进行特征学习和年龄排名的框架。使用ranking-CNN进行年龄估计的基本原理是年龄标签是自然有序的，并且ranking-CNN可以保持不同年龄组之间的相对有序关系。首先，我们使用来自未过滤人脸数据集的26，580个图像样本预训练基础网络[9]。这些图像的年龄组标签在训练中用作替代标签[8]。然后，我们在最常用的年龄估计基准数据集上微调我们的排名CNN模型：[30]第三十话. MORPH包含55，134张年龄从16岁到77岁的面部图像根据最近一些年龄估计工作中使用的设置[29，37，4，3]，我们从MORPH数据集中随机选择了16至66岁年龄范围内的54，362个样本。表1. 从MORPH Album 2中随机抽取的54，362个样本的年龄和性别信息。<2020-2930-3940-49大于50总男性654313849123229905332145940女性8292291288619754418422总7372161401520811880376254362我们采用了一个通用的预处理程序，面对检测和对齐之前，馈送到网络的原始数据具体来说，给定输入彩色图像，我们首先使用基于Harr的级联分类器进行人脸检测[36]。然后，基于位置进行人脸对齐，的眼睛。最后，将图像调整为256×256×3的标准尺寸，用于网络训练和年龄估计。4. 实验在本节中，我们通过大量实验展示了ranking-CNN的性能。我们使用Caffe在GPU模式下实现了排名CNN的架构[17]。对于图1所示的基本CNN的3+2，它是从一个简化的版本，ImageNetCNN [19]具有更少的层以提高效率[25]。网络初始化为高斯分布的随机权值，平均值为0，标准差为0。01.对于我们的硬件设置，我们使用单个GTX 980显卡（含2,048个CUDA核心），i7- 4790 K CPU，32GB RAM，2 TB硬盘。具有所选3+ 3架构的基本CNN的训练时间约为6小时。微调大约需要20到30分钟-每个基本的CNN。总的来说，预训练基本CNN和微调50个基本CNN需要大约30个小时4.1. 评估指标对于多个年龄估计，我们将通过排名CNN学习的特征与通过BIF+OLPP[15]，ST[2]和多类CNN获得的特征进行了比较。BIF特征是用8个方向和8个尺度的Gabor滤波器实现的，然后是最大池化。此外，OLPP被用来学习基于BIF特征的年龄流形，其中前1,000个特征向量被使用。在ST算法中，Ga-bor系数被分散到两个卷积层中的417条路径中，并通过高斯平滑进行合并多类CNN通常用于年龄估计[25，39]，5191i=1i=1表2.不同特征和估计量组合的MAE比较最低MAE以粗体突出显示。表中的破折号表示所选特征不适用于所选估计量。E工程师F EATUREBIF+OLPP ST我赚了F EATURE美国有线电视新闻 网-CNN 产品介绍C分类MODELSVM多功能类CNN4.99-5.15-3.95-3.65-搜索结果MODEL搜索-SVM排名-CNN5.03-4.88---3.632.96但它完全忽略了年龄标签中的序数信息。其结构类似于基本CNN（三个卷积和池化层以及三个全连接层），除了最后一个全连接层包含与要分类的年龄的数量相对应的多个输出而不是二进制输出。 至于年龄估计器，由于其已证明的性能，选择SVM进行比较[15]。在基于排名的方法（Ranking-SVM）中，遵循[2]，SVM用作每个年龄标签的二元分类器，并将结果聚合以给出最终输出。在我们的实验中，不同方法的比较和评估报告了每个二进制排序器的准确性以及两个广泛采用的性能指标 [29 ， 2] ： 平 均 绝 对 误 差 （ MAE ） 和 累 积 分 数（CS）。MAE计算的绝对成本是-精确年龄和预测年龄之间（越低越好）：MAE= ∑Mei/M，其中e i=|li−l i|是将真实标签l i错 误 分 类 为lii的绝对成本，并且M是to-测试样品的总量。CS表示在（li−L，li+L）范围内正确分类的数据的百分比，该范围是确切年龄li的相邻范围（越大越好）：特征（即，BIF+OLPP和ST）、学习的分类特征（多类CNN）和学习的排名特征（排名CNN），以及两组年龄估计器：分类方法（即，SVM和多类CNN）和排序方法（ranking-CNN和ranking-SVM）。我们在表2中报告了特征提取器和年龄估计器（总共8个）的所有可能组合的MAE。表中的破折号表示所选特征集不适用于所选估计量。如表2所示，ranking-CNN及其特征在所有组合中实现了2.96的最低MAE。Ranking-CNN特征与Ranking-SVM的匹配结果是次优的，验证了Ranking-CNN特征的有效性和通用性相比之下，学习的分类特征实现的最低MAE为 3.65。请注意，多类CNN代表常用的基于CNN的年龄估计方法[25，39]。我们的实验结果有力地支持了理论结果（ranking vs. softmax），我们在第3.2.3节中介绍。我们可以看到的另一个事实是，当与基于SVM的估计器相结合时，基于CNN的特征的性能最低的MAE是由工程有限元分析实现的，CS（L）=∑M[ei≤L]/M，其中[·]是真值检验算子ST+ranking-SVM的预测值为4.88注意ST工作L是表示公差范围的参数。此外，我们使用配对t检验来证明我们的实证比较的统计学意义。我们采用配对t检验来确定排名CNN是否显著优于其他方法。计算方差未知但相等的两样本t统计量4.2. 年龄估计结果在本节中，我们考虑16至66岁之间的年龄估计问题，并将ranking-CNN与其他最先进的特征提取器和年龄估计器进行比较。由于该年龄范围内有51个年龄组，因此需要50个二元排名器用于排名方法（即，ranking-CNN和ranking-SVM）。在我们的实验中，选择了43，490个带有二进制标签的样本（占所有随机选择样本的具有多类标签的完全相同的样本集分别用于训练多类CNN和SVM。其余10，872个样本用于测试结果。所有实验均采用5重交叉验证进行。基本上，我们有三组功能：更好地与排名SVM，和BIF+OLPP作品更好地与SVM。这可能是由于在文献中手动选择特定特征用于某些估计器以实现最佳性能。表3. 在MORPH数据集上与MR-CNN，OR-CNN和DEX进行比较。最低MAE以粗体突出显示。排名-CNNMr-CNNOR-CNNDexMae2.963.273.343.25在表3中，我们将排名CNN与最新的年龄估计模型进行了比较，即，CNN的有序回归（OR-CNN），CNN的度量回归（MR-CNN）[29] 深期待（DEX）[31] 由于实验都是在MORPH数据集上进行的，并且我们遵循[29]中的数据分区设置，因 此 我 们 可 以 直 接 将 Ranking-CNN 的 MAE 与 MR-CNN，OR-CNN和DEX获得的显然，ranking-CNN优于所有MR-CNN、OR-CNN和DEX，并显著提高了年龄估计的性能。图中给出了特征和估计量的八种组合的CS比较3.第三章。显然，ranking-CNN在从0到10的整个L（年龄误差容限范围）范围内优于所有其他CNN。具体地说，5192表4. 所有八种特征和估计量组合的T检验结果。编号#1至#8对应于以下序列中的八个比较模型：RANKING-CNN、RANKING-CNN FEATURE+RANKING-SVM 、 ST+RANKING-SVM 、 BIF+OLPP+ RANKING-SVM 、 多 类 CNN 、 CNNFEATURE+SVM、ST+SVM和BIF+OLPP+SVM。#1#2#3#4#5#6#7#8#1 Ranking-CNNNA N1111111#2 排名-CNN功能+RANKING-SVM6.36e−148NA N110.85111#3 ST+RANKING-SVM00NA N10011#4 BIF+OLPP+RANKING-SVM001.79e−135NA N000.990.81#5多类CNN00.1411NA N111#6 CNN FEATURE+SVM4.12e-2768.90e−184115.43e-24NAN11#7 ST+SVM001.94e-1212.00e−400NAN3.66e−6#8 BIF+OLPP+SVM004.56e−900.18000.99NA N00 2 4 6 8 10年龄误差容限图3.[0，10]中累积得分与L的比较。Ranking-CNN可以达到89的准确率。L = 6时为90%，92。L=7时为93%。我们注意到的另一个事实是，四种基于CNN的方法在L=10时达到了比其他方法更高的精度。10.950.90.850.80.750.7我们的结果清楚地说明了使用ranking-CNN进行年龄估计的显著改进。最后，为了证明我们获得的实验结果不是偶然发生的，我们在表4中报告了显著性水平为1%的配对t检验的p值。在表4中，如果p <1%，我们拒绝零假设。<其他方面，我们没有。 例如，当比较CNN”与“ranking-CNN特征+ranking SVM”相比，p值为6 。 36 e-148 远 小 于 0 。 01 ， 这 意 味 着 我 们 拒 绝 了“ranking-CNN的性能没有显著提高”的零假设。 The这意味着我们不能将一个方法与其自身进行比较。正如我们所看到的，从统计学上讲，ranking-CNN的性能明显优于所有其他方法，这意味着如果我们重复实验多次，那么在99%的实验中，ranking-CNN的性能将明显优于其他方法。从表中可以看出，Ranking-CNNFeature+Ranking SVM和Multi-Class CNN并列第二，其次是CNN Feature+SVM。ST+Ranking SVM在基于特征的工程方法中脱颖而出。最后，BIF+OLPP+Ranking-SVM与BIF+OLPP+SVM的结果基本一致，ST+SVM的结果与其他方法相比没有明显的改善。5. 结论0.650.616 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64年龄在本文中，我们提出了ranking-CNN，这是一种用于年龄估计的新型深度排名框架我们建立了一个图4.排名模型中每个二元排名器的准确性。在图4中，我们进一步比较了四种基于排名的方法，并报告了它们在每个二元排名器上的性能。同样，ranking-CNN在所有二元问题中表现出一致的出色性能。注意，当二元排名器的数据不平衡时，同步（因此具有更高的基线精度，例如，年龄20和年龄>48），所有的排名似乎都表现得很好。<然而，当涉及到具有更平衡数据的年龄范围（因此基线准确度较低，年龄20- 48）时，显示了ranking-CNN的优越性能，这将导致年龄估计更好的整体性能我再次重申，基于排序的年龄估计并严格表明，与多类分类方法相比，通过考虑年龄之间的顺序关系，ranking-CNN更有可能获得更小的估计误差。通过大量的实验，我们表明，在统计上，ranking-CNN在基准数据集上的表现明显优于其他最先进的年龄估计方法。致谢这项工作得到了美国国家科学基金会（NSF）CNS- 1637312和福特汽车公司大学研究计划2015- 9186R的部分支持。10.90.80.70.60.50.40.3排名-CNN排名-CNN特征+排名-SVMST+排名-SVMBIF+OLPP+排名-SVM多类CNNCNNFEATURE+SVMST+SVM BIF+OLPP+SVM0.20.1排名-CNNRanking−CNN FEATURE+RankingSVMST+Ranking SVMBIF+OLPP+RANKING SVM精度累积得分5193引用[1] T. Ahonen，A. Hadid和M.皮蒂凯宁局部二进制模式的人脸描述：应用于人脸识别。IEEE Transactions onPattern Analysis and Machine Intelligence，28（12）：2037[2] K.- Y. Chang和C S.尘一种基于人脸图像的年龄等级估计的学习框架. IEEE Transactions on Image Processing，24（3）：785[3] K.- Y.昌角S.陈和Y.-洪伯。用于年龄估计的具有成本敏感性的有序超平面排序器。在IEEE计算机视觉和模式识别会议中，第585-592页。IEEE，2011年。[4] K. Chen，S.龚氏T. Xiang和C.换洛伊。用于年龄和人群密度估计的累积属性空间。在IEEE计算机视觉和模式识别会议中，第2467-2474页[5] R.科洛伯特，J.韦斯顿L.博图M. 卡伦K. Kavukcuoglu和P.库克萨自然语言处理（几乎）从零开 始 。 Journal of Machine Learning Research ， 12 ：2493-2537，Nov. 2011年。[6] T. F. Cootes，G.J. Edwards和C.J. Taylor. 活跃的模特。IEEE Transactions on Pattern Analysis and MachineIntelligence，23（6）：681[7] J. Deng，W.东河，巴西-地索赫尔湖J. Li，K. Li和L.飞飞。Imagenet：一个大规模的分层图像数据库。在IEEE计算机视觉和模式识别会议中，第248-255页。IEEE，2009年。[8] A. 多索维茨基T. Springenberg，M. Riedmiller和T.布洛克斯使用卷积神经网络的判别式无监督特征学习。神经信息处理系统的进展，第766-774页[9] E.艾丁格河Enbar和T.哈斯纳未过滤面孔的年龄和性别估 计 。 IEEE Transactions on InformationForensics andSecurity，9（12）：2170[10] X.耿，Z.- H. Zhou和K.史密斯-迈尔斯基于面部老化模式的自动年龄估计IEEE Transactions on Pattern Analysisand Machine Intelligence，29（12）：2234[11] X. 耿，Z.-H. Zhou，Y.Zhang，G.Li和H.戴. 从面部老化模式中学习自动