联合个体方差解释及其在计算机视觉应用中的有效性

4321稳健联合方差和个体方差解释Christine Sagonas1，2，Yannis Panagakis1，3，Alina Leidinger1，StefanosZafeiriou11英国伦敦帝国理工学院2Onfido，英国3Middlesex University英国伦敦christopher. onfido.com，{i.panagakis，s.zafeiriou}@ imperial.ac.uk摘要发现公共（联合）和个体子空间对于分析多个数据集（包括多视图和多模态数据）至关重要几种统计机器学习方法已经被开发用于发现，建议的方法输入联合个体误差分析多个数据集的共同特征研究得最好的方法是典型相关分析（CCA）及其变体。尽管CCA是一个强大的工具，但它有几个缺点，使其应用对计算机视觉应用具有挑战性=++阳离子也就是说，它只发现共同的特征，而不是个别的，它是敏感的视觉数据中存在的粗差。最近，已经做出努力以开发发现个体和共同组分的方法。然而，这些方法主要适用于两组数据。在本文中，我们研究了使用最近提出的统计方法，所谓的联合和个体方差解释（JIVE）的方法，在任意数量的数据集的联合和个体成分的恢复由于JIVE对粗差不鲁棒，我们提出了替代方案，这些替代方案对大幅度的非高斯噪声都具有鲁棒性，并且能够自动找到各个分量的秩我们证明了所提出的方法的有效性，两个计算机视觉应用程序，即面部表情合成和面部年龄增长在野外。X J A E应用程序>面部表情合成>面部年龄增长乔治·克鲁尼0−308−15 21−30 41−5061−7036 5627 511. 介绍从两个或多个数据集中提取变异模式已经在统计学、信号和图像处理以及计算机视觉领域产生了丰富的研究成果。两个数学上相似但概念上不同的模型构成 了 大 部 分 方 法 的 基 础 。 特 别 是 典 型 相 关 分 析（CCA）[12]及其变体，例如，[17，24]是用于在两组或多组变量中提取线性相关分量的选择方法。同样，电池间因素分析[37]及其图1.本文讨论了RJIVE分解的可视化表示及其应用红色框中突出显示的图像作为RJIVE的输入（最佳颜色）。扩展例如，[18]确定两组变量之间的公因子上述方法的主要局限性它们只恢复数据的最相关（联合）线性子空间，忽略数据的各个分量。最近的方法缓解了这一问题，例如52675268i=1Ji=1i=1简体中文IJ联合和个体变异解释（JIVE）[20]，公共正交基提取（COBE）[41]和鲁棒相关和个体成分分析（RCICA）[25]。除了最近提出的RCICA之外，COBE和JIVE方法依赖于最小二乘误差最小化，因此它们容易出现粗差和离群值[15]，使得估计的分量任意远离真实分量。因此，它们对分析在无约束条件下捕获的视觉数据的适用性（即，在野外）相当有限。另一方面，RCICA虽然对粗差不敏感，但它只能严格应用于两组数据。在本文中，我们关注的问题，重新覆盖的共同和个人的组件从任意数量的（视觉）数据集，捕获在野外，因此污染的总非高斯噪声。 为此，我们提出了JIVE的鲁棒替代方案（图1）。①的人。所提出的鲁棒JIVE将数据分解为三个项：捕获跨数据集的联合变化的低秩矩阵、说明每个数据集的个体结构变化的低秩矩阵、以及收集粗差的稀疏矩阵。可以说，人脸是最合适的对象，证明所提出的方法的有效性。这是由于面部图像传达丰富的信息的事实，这些信息可以被感知为与属性相关联的成分的叠加，例如面部身份，论文内容如下：• 提 出 了 一 套 新 的 方 法 ， 称 为 鲁 棒 JIVE（RJIVE），用于从任意数量的数据集鲁棒恢复关节和单个组件，介绍此外，两个有效的算法RJIVE已经开发。• 基于学习的关节和单个组件，一个合适的优化问题，提取相应的关节和单个组件，未知测试样本的变异模式• 我们证明了所提出的方法在两个具有挑战性的计算机视觉任务的适用性即在野外的面部表情合成和面部年龄增长。2. 鲁棒JIVE考虑M个数据集{X（i）∈ Rd（i）×J}M，其中x（i）∈Rd（i），j = 1，. . . J是矢量化（可视）数据样本1。在实际应用中，视觉数据往往受到诸如像素畸变和部分图像遮挡等严重的、稀疏的非高斯误差的污染。RJIVE的目标是以鲁棒地恢复在所有数据集上共享的联合分量以及对于这些数据集中的每一个被认为是单独的分量。即：表情、年龄等。例如，一组描绘表情面部的图像由在所有图像中共享的组件（联合组件）组成，并赋予去X = J+ΣΣA（1）Σ、···、A（M）ΣT+E，（1）画出的物体具有人脸的特征。 除了贴一张表情脸由个体组成，T T其中X=X（1），···，X（M）Σ ΣT∈Rq×J，J=与不同表达方式相关的句子。这样的indi-J（1）T，···，J（M）T∈Rq×J，{A（i）∈Rd（i）×J}M，单个组件可以是表达式特定的变形的脸，即，在微笑的情况下嘴唇和眼睛周围的变形。类似地，描绘不同年龄中的面部的一组图像可以被视为对年龄不变的关节分量和对每个年龄组个体的年龄特异性（个体）分量（例如，皱纹）。上述观察促使我们证明所提出的分解成两个问题的适用性，涉及在野外条件下捕获的面部图像，即面部表情合成和面部年龄进展。此外，我们选择了肛门的脸-q=d（1）+···+d（M），分别是捕捉联合和个体变化的低秩矩阵，E∈Rq×J表示占总的但稀疏的误差矩阵非高斯噪声为了确保（1）的可识别性，联合分量和公共分量应该是相互不相干的，即，{JA（i ） T =0}M。一个自然估计量考虑到误差矩阵E的稀疏性，最小化E的非零元素的数量，由E0-拟范数[4]测量。然而，由于其离散性质，最小化的NP0范数是NP困难的[23]。这个问题通常通过采用1991年规范来解决，[10]第七节：《易经》的起源因此，接头分析作为应用领域作为（一）面对是一个非常具有如此多属性的有限对象（例如，年龄，表情和身份）和（b）有一个巨大的研究线上的面部表情合成和面部年龄亲。1符号：在整个文件中，标量用小写字母表示，向量（矩阵）用小写（大写）黑体表示字母即， x，（X）. I表示单位矩阵。X的第j列表示为xj。x的范数定义为：|Xi|. 的回归[16，36，8，27，35，38]，但没有任何方法能够解决这两个问题。RJIVE是，据我们所知，第一种方法，提供了一个统一的解决方案，对这两个问题。总结以下方面的贡献：矩阵的范数定义为：|Xij|得双曲余切值.|·|表示绝对值运算符。 Frobenius范数定义为X=，ij x2，以及X的核范数（即，奇异值和矩阵的）用X表示。不不不5269¨ΣT¨¨i=1i=1i=1i=1i=1不Σi=1¨i=1¨¨¨T2¨¨¨+“A并且通过求解以下约束非线性优化问题来恢复各个分量以及稀疏误差：Grangian函数定义为：联系我们L（ B， V）=（i）+λE−第二章minJ，{ A（i）}M¨¨-J-ΣA（1）¨T¨，···，A（M） <$.¨i=1µ¨Σ¨∗(1)不12µF¨(M)）TF？i=1（一）（一）1(i) TM+？−J−A2、···、A-E +¨简体中文S.T.rank（J）=r，{rank（Ai）=r，JA= 0}i=1(2). ¨联系我们+�R（一）-A㈠+（i）（2）¨−1¨¨Σ（i）¨，显然，（2）是JIVE[20]的一个强大扩展，并且重新求联合和个体的等级估计，2¨i=1-2µF（五）性成分。然而，在实践中，这些（M+1）值其中B={J，{A（i），R（i）}M，E}是原始是未知的，难以估计。 为了缓解这种情况-变量，V={F，{Y（i）}M}是拉格朗日Sue，我们提出了（2）的一个变体，它能够确定直接计算各个组件的最佳等级 通过假设各个分量的实际秩是上界的，即，{rank（A（i））≤K（i）}M，问题（2）被放宽为以下问题：¨Σ ΣT ¨与（4）中的等式约束相关的乘数，以及0是一个参数。 然后，通过使用ADMM，（5）相对于每个变量以交替的方式被最小化，并且最后更新La- grange乘数V。设t为迭代-德克斯 为了表示方便，将使用L（J）代替min¨λ−J−A（1）T、···、A（M）Té关于L（J，{A（i），R（i），Y（i）}M，E，F）当所有变量J，{ A（i）}M¨ΣM¨ ¨¨ ¨∗i=1¨1（三）除了J保持固定。因此，给定原始变量Bt、拉格朗日乘子Vt和参数µ t，基于ADMM的求解器通过以下方式迭代更新所有变量：求解以下优化子问题：S.T.rank（J）=r，{JA（i）T = 0}M其中核范数充当J-子问题 ：¨¨中文（简体）（M）TT¨2Ft¨秩函数[9]和λ>0是正则化子。Jt+1= min−J−At，···，At-Et+？，JütüF2.1. 优化算法在本节中，求解（4）和（18）的算法是S.T. rank（J）=r.（六）介绍秩约束最小二乘问题（6）具有以下性质：下封闭形式的解决方案：2.1.1解决问题（3）问题（3），由于存在难以解决ΣΣJt+1=QrX−(1)不不 、···、A（M）TTΣ- E + Ft.tµt（七）正交约束{JA（i）T= 0}M和Qr运算符定义为任何不可微但凸的范数 交替-t矩阵 D，其中D = U <$VT为Qr[D]=方向乘子法（ADMM）[2]已被证明是非常有效的解决问题，包括核-和N1-范数[25，30，10，40]。为此，（3）被重新表述为以下可分离的一个：U（：，1：r）<$（1：r，1：r）V（：，1：r）T.A（i）-子问题 ：¨¨(i) ¨2FA（i）（i）（一）（一） （一）téminJ，{A（i），R（i）}M，E梅¨¨i=1¨(i) ¨¨∗ +λE1，=最小-A（i）¨¨¨— Jt+1−A(i) ¨2— Et+¨µt¨FY2i=1一电话+1R不YµΣ5270i=1Σ(1)不ΣT（M）T¨+�R（一）-A㈠+Yté¨ ，s.t. Jt+1A（i）T =0。 （八）S.T.X= J +A、···、A+E，¨µt¨F秩（J）=r，{R（i）= A（i），JA（i）T= 0}M（四）基于命题1，（8）的解由下式给出：其中{R（i）∈Rd（i）×J}M，{R（i）= A（i）}M是辅助-. X（i）−J（i）-E㈠+ R㈠F（i）+Y（i）i=1i=1t tt+1t t辅助变量和相应的约束。为了求解（4），相应的增广La-（一）电话+1=µt，2（九）一+5271}{A}不2¨¨i=1FLt+1t¨Σ+¨¨¨算法1：（4）的ADMM求解器（NN-RJIVE）。（一）（13）的封闭形式解由收缩算子给出：输入：数据{X（i）∈Rd×J Mi=1.节理等级ΣΣ ΣΣ成分河参数ρ。E =SX-J-A（1）T，· · ·，A（M）TT+ Ft.输出：关节部件J，单个部件(i)Mi=1初始化：将J0，{A（i），R（i），Y（i）}M，E0，F0设置为零µt电话+1电话+1电话+1µt（十四）0 0 0i=1更新拉格朗日乘数和参数μ：矩阵，t=0，µ0>0。1X=X（1）T、···、XΣT（M）;Ft+1= Ft+µt .X− Jt+1−ΣTA（1） 、···、A（M）TT2.不收敛时，电话+1Σ电话+13用（7）计算Jt+1-Et+1.（十五）对于i=1，为4：Mdo（一）（一）（一）（一）5计算A（i），R（i），Y（i）（9）、（12）、（16）Yt+1= Yt +µ t（Rt+1 − At+1）， i = 1，. . . 、男（16）6端部电话+1电话+1电话+1µt+1= min（ρµt，107）（17）78910端部计算Et+1由（14）;由（15）、（17）计算Ft+1和µt;t=t+1;（4）的ADMM求解器在Alg. 1. 算法的优势代价主要与奇异值分解有关。因此，每个迭代的复杂性tion 是 O（max（q2J，qJ2））.Alg. 1 是 终止 当¨（1）T（M）TT2其中P是到的正交补的投影，V（：，1：r）V（：，1：r）T，即P =I-V（：，1：r）V（：−Jt+1−At+1，···，At+1-Et+1？F 公司简介，1：r）T和U VT=X−[A（1）T，···，A（M）T]T−E+小于预定义阈值0.01，或者迭代达到最大值。t ttFt/µt是奇异值分解（SVD）。命题1 约束优化问题：最小值B-Z 2，标准偏差BZT=0（10）2.1.2解决问题（2）为了用ADMM求解问题（2），我们首先将问题（2）转化为ZF为：.Σ有一个封闭形式的解，由Z=B给出不I−VVT，min2001年1月，B = U V。i=1S.T. X= J+ΣΣTA（1）T，···， A（M）T+ E，R（i）-子问题 ：¨（i）（i）（2）Ytrank（J）=r，{rank（A（i））=r（i），JA（i）Mi=1（十八）（一）电话+1 =min？R+t（i）t+1给出了相应的增广拉格朗日函数R（i）∗2¨µt¨F（十一）签署人：核范数正则化最小二乘法子问题（11）的解是通过应用奇异值L（J，{A（i）}M1，E，L）=E1−2µ第二节保偏（SVT）[3]算子Dτ：ΣΣ（一）¨µ¨+<$−J − ΣA（1）T、···、AΣT（M）T¨¨-E +¨。R（i）=D1/µ（一）电话+1=0}R¨- -一个2不.Y5272A−¨2¨t.（十二）µt简体中文（十九）对 于任 意 矩 阵X=U <$VT ， SVT 算 子定 义 为Dτ=USτVT。[001pdf1st-31files]收缩算子Sτ[4]按元素定义为Sτ[σ]= sgn（σ）max（|σ|− τ，0）。E-子问题 ：Et+1 =最小λE t1+（18）的ADMM求解器被封装在Alg中。2而其推导过程与Alg类似。1. 此外，Alg。2具有与Alg相同的复杂性和收敛准则。1.一、3. 基于RJIVE的重构恢复了个体和共同的成分，E¨µt¨中文（简体）TT（男）¨2Ft¨M数据集的元素，我们可以有效地使用它们，为了提取变量的联合模态和个体模态−Jt+1−2At+1，···，At+1-E +¨µt？F（十三）测试样品的样品。例如，通过在一组面部图像中应用RJIVE5273i=1{r}{A}∗电话+1不i=1不∈Rd×W，U∈Rd×W，}M算法2：用于（18）的ADMM解算器（ADM1-RJIVE）。4. 实验评价输入：数据{X（i）∈Rd（i）×J}M.节理等级4.1. 合成成分河单个组件(i)Mi=1 .参数ρ。在本节中，RJIVE能够稳健地恢复输出：关节部件J，单个部件（i）Mi=1合成数据核心的联合和单独组成部分稀疏的非高斯噪声中断，测试。为此目的，初始化：集合J，{A（i）}M、E、L到零矩阵，矩阵集{X（i）=J（i）+A（i）+E（i）∈Rd（i）×J}200i=10 0∗ ∗∗i=1μt=0，μ0>0。 Σ产生了不同的尺寸更详细地说，1X=X（1）T、···、X(M)）TT;rank-r联合分支J∈R（q=d（1）+d（2））×J是cre-2.不收敛时，由随机矩阵X =[X（1）T，X（2）T]T∈ Rq×J生成.Σ(1) 不（男）TT−1接下来，J秩-r的正交（一），r（2） 常见化合物3M=X−At，···，At-Et+µtLt;元A（1）和A（2）由[A（1）]，A（2）]T=4Jt+1=Qr[M]，[U，N，V]= svd（M）;∗ ∗ ∗ ∗5P=I −V（：，1：r）V（：，1：r）T;6，对于i=1：Mdo（X-J）（I-VVT），其中V是由第一个X的行空间的r列。 E（i）是稀疏误差A（i）电话+1Q=Σ。X（i）−J（i）Σ Σ-E（i）+µ−1L（i）P从N（0，1）独立地采样具有20%非零项的矩阵。端89E=r（i）Σt+1tΣTt tTT通过RJI1-RJIVE和RJI 2-RJIVE获得的关节和单个组件核范数正则化（NN-1-RJIVE）S1X−Jt+1−µtA（1）电话+1、···、A（M）-µ−1L数量的维度，联合和个人的行列，是重新-Lt+1=Lt+表1中的端口。通过以下方法获得相应的RRE：ΣµX−J-A（1）T，···，A（M）T-E;[20][21][22][23][24][ 25][26][27] 因为它可以tt+1电话+1电话+1电话+1可以看出，所提出的方法准确地恢复了101112端部µt+1=min（ρ·µt，107）;t=t+1;联合和单独组件。值得一提的是，NN-101-RJIVE仅利用关节组件的真实秩成功恢复了所有组件相反，所有其他方法都需要关于关节和单个组件的真实等级的知识基于NN-RJIVE在合成数据上的性能，我们决定在下面描述的实验中利用它可以利用不同的表达式来合成一个并在下文中称为RJIVE。反对。 让{UJ（i）(i)（一）JA（i）（i）（i）一i=14.2. 面部表情合成（FES）在野外是通过将SVD应用于{J（i），A（i）}Mt∈Rd（i）×1是一个新的样本。核心-在本节中，我们研究RJIVE的能力来合成一组给定面部响应第i组变量或t的模态是重建的，通过求解以下约束优化来问题：Σ2¨ ¨形象考虑M个数据集，其中每个数据集包含描绘特定表情的不同主题的图像。为了有效地恢复连接和公共部分，需要将每个数据集的面对应起来。因此，他们的N=68个面部标志点使用来自[1]的检测器进行局部化，该检测器用图像进行训练。min（n）+θε ε，不不75274n=1n=1{c（n），v（n）}2，y≥0¨ ¨11n=1来自300-W挑战[34，29，33]，随后用于计算平均参考形状。然后S.T.{v（n）= c（n）}2t=UJ（i）c（1）+UA（i）c（2）+ey = UJ（i）c（1）+ UA（i）c（2）（二十）每个数据集的面通过使用分段仿射扭曲函数W（·）[21，6]被扭曲成相应的参考形状。 在将RJIVE应用于包装的数据集之后，恢复的分量可以用于合成未见过的主体的M个不同的表达。做新的（看不见的）面部图像被扭曲以参考其中θ是平衡范数的正参数，v（1）、v（2）是辅助变量，y对应于非负干净重构，并且e是误差项。帧对应于我们想要合成的表达式，并且随后作为输入被给出到（20）的求解器。评估了RJIVE在FES任务中的性能5275FFJ一max（q，J）J一max（q，J）表1. 由JIVE [20]、COBE [41]、NH1-RJIVE（18）和NN-NH1-RJIVE（4）产生的定量回收结果。.d（1），d(2) ，J，r，r（1），rΣ（二）方法.Σ2J（i）−J（i）¨ ¨2.Σ2A（i）−A（i）¨ ¨2时间（以CPU秒为单位）“J（i）"”A（i）“¨∗ ¨¨∗¨输入BKRRRRJIVEGT图2.用BKRRR和RJIVE方法对MPIE课题“014”进行了合成表达通过对MPIE[11]和从互联网（ITW）收集的野生面部图像进行内部和跨数据库实验。将RJIVE2获得的合成表达式与最先进的BKRRR[13]方法获得的合成表达式进行比较。特别是，BKRRR是一种基于回归的方法，它可以学习从“中性”表达式到目标表达式的映射。然后，给定一个看不见的主体的“中性”脸，通过采用相应的学习回归函数来合成新的表情。通过计算真实图像的矢量化形式与重建图像的矢量化形式之间的相关性来衡量比较方法的性能。在第一个实验中，MPIE数据库中的534张额叶图像描绘了89名受试者在六种表情下的表情（即， 然后，将同一数据库中58个未见过的被试的所有表情用他们对应于“中性”的图像表情在图3（a）中，通过比较不同表达式的方法获得的平均相关性被可视化。可以看出，所提出的RJIVE方法实现了与BKRRR相同的准确性，而无需学习同一主题的不同表达之间的任何类型的映射。具体地说，RJIVE只提取每个表达式和公共表达式的单独成分。此外，我们从互联网上收集了180张图片，描绘了60名受试者的“惊讶”，“微笑”和“中性”的表情（每个受试者三张图片）。然后，通过使用“中性”图像和在MPIE上训练的BKRRR和RJIVE 3方法生成所有表情图3（b）描述了每个受试者获得的相关性显然，RJIVE优于BKRRR。与前一个实验相同，两种方法的性能都有所下降。这归因于这样的事实，即该方法是通过仅采用在受控条件下捕获的图像来训练的。因此，合成野外图像的表现是非常困难的任务。为了缓解这个问题，我们可以用野外图像来增强训练集。虽然RJIVE可以从不同主题的野外图像中训练，但BKRRR的情况并非如此，BKRRR需要训练主题之间的表达的对应性。在野外收集相同对象在不同条件下的图像是一项非常繁琐的任务。为了提高RJIVE的性能，我们用来自WWB数据库[22]的另外1200张图像（每个表情400张如图所示。3（b），野生训练集提高了ITW数据集中RJIVE的准确性。图4描绘了由RJIVE产生的野生型合成表达的实例。来自“输入”列的图像2（r，λ，W（i），W（i），θ，θ1）=（20，θ 1）1，70，70，0。03，10- 5）。3（r，λ，W（i），W（i），θ，θ1）=（150，θ 1）1，300，300，0。03，10- 5）。Fi=1Fi=1COBE3 .第三章。64031 .一、09560的情况。14(500、500、 500、 5、 10、 10）JIVE0的情况。54240的情况。9348826产品介绍五、小行星5628e− 083 .第三章。小行星5073e- 0813NN-1-RJIVE1 .一、小行星3338e- 081 .一、小行星1897e- 0813COBE五、29021 .一、09453 .第三章。3(1000、1000、 1000、 10、 20、 20）JIVE0的情况。839771 .一、48158产品介绍8. 小行星9035e− 08五、小行星8665e− 0827NN-1-RJIVE9 .第九条。小行星78e- 088. 小行星9923e− 08465276J一max（q，J）(a)（b）第（1）款图3.通过JIVE和BKRRR方法在（a）MPIE和（b）ITW数据库上实现的平均相关性输入RJIVE GT RJIVE图4. 通过RJIVE方法产生的合成野生表达。随后，合成的表情被扭曲并与实际图像融合[26]。显然，所产生的表达式的特征在于表达和身份信息的高质量。值得一提的是，RJIVE几乎完美地合成了输入图像，而不使用任何关于所描绘主题的信息。4.3. 面对年龄增长在野外面孔年龄进展是指合成不同年龄的受试者的可信面孔。它被认为是一个非常具有挑战性的任务，由于事实上，面部是一个高度可变形的对象，其外观急剧变化，在不同的照明条件下，表情和姿势。在过去的几年里，已经收集了包含不同年龄的面孔的各种数据库[5，28]。尽管这些数据库包含大量的图像，但它们有一些局限性，包括用于自动程序（爬虫）。最近，在[39]中已经提出了克服上述问题的PSDB数据库。 为了训练RJIVE，CFDB被分为M=10个年龄组（每组700张图片）：0-3，4-7，8-15，16-20，21-30，31-40，41 - 50，51 - 60，61 - 70和71 - 100。 随后，与FES任务相同的程序，RJIVE被用来从变形图像中提取联合和共同分量。通过对FG-NET数据库中的图像进行实验，定性评估了RJIVE在野外面部年龄进展中的性能[19]。为此，我们将RJIVE的性能与照明感知年龄进展（IAAP）方法[16]、耦合字典学习 （ CDL ） 方 法 [36] 、 限 制 玻 尔 兹 曼 机 深 度 老 化（ DARB ） 方 法 [8] 、 CG [27] 和 复 发 性 面 部 老 化（RFA）方法[38]进行了比较。在图5中，描绘了通过比较方法产生的进展图像。请注意，所有的进展面已被扭曲回来，并与实际的融合。RJIVE4的性能也定量评估进行年龄不变的人脸验证实验。在成功使用LFW数据库的验证协议[14]之后，我们基于所提出的LFW数据库提出了四个新的年龄不变的人脸验证协议。每一个协议都是通过将WIDDB数据库分成10个折叠来创建的，每个折叠由300个类内对和300个类间对组成。这些协议之间的本质区别在于，在每个协议中，每对面孔的年龄差异等于预定值即，{5岁，10岁，20岁，30岁}。为了评估RJIVE的性能，进行了以下程序。对于特定协议的每个折叠，将训练图像分成M=10个年龄组，随后在其扭曲版本上采用RJIVE，以提取关节和个体。vidual组件。 每个训练对的所有图像都是每一个科目都涵盖了狭窄的年龄范围和嘈杂的年龄标签，因为其中大部分是由雇员收集的，4（r，λ，W（i），W（i），θ，θ1）=（300，θ 1）1，600，600，0。03，10- 5）。5277输入IAAP达比RJIVE GT11158239201020输入CG108117EAP达比RJIVEGT418141641845160输入FT演示CDLRFARJIVE16-2041-5015-2061-8015-20图5.在FG-NET数据库上通过比较方法生成的渐进面然后进入M=10个年龄组，产生10个新的对。 由于我们希望通过使用单个特征来表示每一对，因此从相应的图像中提取梯度方向，随后将其余弦差的平均值用作该对的特征[31，32]。利用提取的特征训练M个支持向量机，并利用支持向量机对它们的得分进行融合。表2.拟定的4个方案的平均AUC和准确度RJIVE原始图像(‘Protocol(‘Protocol议定书AUC精度AUC精度5年0的情况。6860的情况。6370的情况。6460的情况。60910年0的情况。6540的情况。6210的情况。6240的情况。59120年0的情况。6330的情况。5980的情况。5850的情况。55230年0的情况。5840的情况。5520的情况。4840的情况。495在图6中，描绘了基于所提出的协议中的每一个的10倍计算的受试者操作特征（ROC）曲线。相应的平均分类准确度和曲线下面积（AUC）见表2。为了评估进展的效果，还提供了仅利用原始图像所获得的结果。一些有趣的意见得出的结果。首先，准确性的提高验证了基于RJIVE的推进后，人脸的身份信息仍然存在。此外，当每对图像的年龄差足够大时，精度的提高更高。例如，在“方案30年”中准确性的最后，所产生的结果证明，当年龄差异非常大（例如，30年）。5. 结论本文提出了RJIVE及其算法框架，用于多个视觉数据集之间的联合和个体差异的鲁棒恢复。的（“议定书20年”）（“议定书30年”）RJIVE对所提出的四种方案的ROC曲线。‘Original images’ corresponds to the results obtained by实际的图像。RJIVE的性能已经通过对在约束条件和野生条件下捕获的数据集进行实验，在面部表情合成和面部年龄进展方面进行了评估。实验结果验证了所提出的RJIVE方法的有效性。6. 确认S. Zafeiriou部分由EPSRC项目FACER 2 VM（EP/N5278007743/1）资助C. Sag- onas的部分资金来自Tekes的FiDiPro计划（项目编号：1849/31/2015），以及欧洲共同体地平线2020 [H2020/2014-2020]，根据 赠 款 协 议 编 号 ： 688520 （ TeSLA ） 。 Y.Panagakis的部分资金由欧洲共同体地平线2020根据赠款协议没有。645094（SEWA）。5279引用[1] J. Alabort-i-Medina，E. Antonakos，J.布斯，斯内普，S. Zafeiriou. Menpo：一个用于参数图像对齐和视觉变形模型的综合平台.在ACM国际多媒体会议论文集，第679-682页[2] D. P. Bertsekas. 约束优化和拉格朗日乘子法。学术出版社，2014年。[3] J. - F. Cai、E. J. C和E，Z。 沈矩阵完备化的奇异值SIAMJournal on Optimization，20（4）：1956[4] E. J. Cand e`s，X. Li，Y. Ma和J. 赖特用主成分分析法吗？Journal of the ACM（JACM），58（3）：11，2011.[5] B.- C.陈春S. Chen和W. H. Hsu.用于年龄不变人脸识别和检 索的 跨年 龄参 考编 码。 欧洲 计算 机视 觉会 议（ECCV）论文集，第768-783页。Springer，2014.[6] T. F. Cootes，G.J. Edwards和C.J. Taylor. 活跃的模特。IEEE Transactions on Pattern Analysis and MachineIntelligence（TPAMI），23（6）：681[7] D. L. Donoho 对于大多数大型欠定系统线性方程组的最小1-范数解也是稀疏解。纯粹数学与应用数学通讯，59（6）：797[8] C. N. Duong，K. Luu，K. G. Quach和T. D. Bui.基于时间深 度 限 制 玻 尔 兹 曼 机 的 纵 向 人 脸 建 模 。 IEEEInternational Conference on Computer Vision PatternRecognition（CVPR），2016。[9] M.法泽尔矩阵秩最小化及其应用。博士论文，博士论文，斯坦福大学，2002年。[10] C. 乔治基斯Panagakis和M.惊慌失措通过结构化秩最小化 进 行 动 态 International Journal of Computer Vision（IJCV），第1-25页[11] R.格罗斯岛Matthews，J. Cohn，T. Kanade和S.贝克多派图像和视觉计算（IMAVIS），28（5）：807[12] H. 霍特林两组变量之间的关系。Biometrika，28（3/4）：321[13] D. Huang和F.德拉·托雷基于双线性核降秩回归的人脸表情合成。欧洲计算机视觉会议（ECCV）论文集，第364施普林格，2010年。[14] G. B. Huang和E.学习米勒。在野外贴上标签的脸：更新和新的报告程序。部Comput.科学，Univ. MassachusettsAmherst，Amherst，MA，USA，Tech.Rep，第14-003页，2014年。[15] P·J·胡贝尔。稳健的统计数据。Springer，2011.[16] I. Kemelmacher-Shlizerman，S. Suwajanakorn和S. M.塞茨照明感知年龄进展。在IEEE计算机视觉模式识别国际会议（CVPR）的会议记录中，2014年。[17] A. Klami和S.卡斯基检测数据集之间神经计算，72（1）：39[18] A. Klami，S. Virtanen，E. Lepp aaho和S. 卡斯基群体因素分析。IEEE Transactions on Neural Networks andLearning Systems（TNNLS），26（9）：2136[19] A.拉尼蒂斯角Taylor和T. F.虱子自动模拟人脸图像上的老化 效应 。IEEE Transactions on Pattern Analysis andMachine Intelligence（TPAMI），24（4）：442[20] E. F.洛克，K。A. Hoadley，J. S. Marron和A. B.诺贝尔奖联合和个体变异解释（jive），用于多种数据类型的综合分析。应用统计学，7（1）：523，2013年。[21] I. Matthews和S.贝克活跃的外貌模特再访. InternationalJournal of Computer Vision（IJCV），60（2）：135[22] A.莫拉侯赛尼湾哈桑尼，M。J. Salvador，H. 阿卜杜拉希，D. Chan和M. H. Mahoor。基于万维网的人脸表情识别。IEEE计算机视觉模式识别国际会议论文集，研讨会（CVPR-W），2016年。[23] B. K.纳塔拉扬。线性系统的稀疏近似解。SIAM journalon computing，24（2）：227[24] M. A.尼科拉乌河谷Pavlovic和M.惊慌失措情感行为分析与连续标注融合的动 态IEEE Transactions on PatternAnal-ysis and Machine Intelligence （ TPAMI ） ， 36（7）：1299[25] Y. Panagakis，M.Nicolaou，S.Zafeiriou和M.惊慌失措相关 分 析 和 单 成 分 分 析 . IEEE Transactions on PatternAnalysis and Machine Intelligence （ TPAMI ） ， 38（8）：1665[26] P. 我是佩雷斯先生。Gangnet和A. Bla k e. 泊松图像编辑。在ACM Transactions on Graphics（TOG），第22卷，第313ACM，2003年。[27] N. Ramanathan和R.切拉帕在年轻的面孔上模拟年龄的在 Proceedings of IEEE International Conference onComputer Vision Pattern Recognition （ CVPR ） ， 第 1卷，第387-394页[28] R.罗特河Timofte和L.范古尔德克斯：从一张照片中对明显年龄的深层预期。在IEEE计算机视觉模式识别国际会议论文集，研讨会（CVPR-W），第10[29] C. Sagonas，E.安东纳科斯湾Tzimiropoulos，S. Zafeiriou和M.惊慌失措300人面临野外挑战：数据库和结果。图像和视觉计算（IMAVIS），47：3[30] C.萨戈纳斯岛 Panagakis，S. Zafeiriou和M. 泛- tic。RAPS：强大而高效的自动构建个人特定的可变形模型。在IEEE计算机视觉模式识别国际会议（CVPR）的会议记录中，第1789-1796页[31] C.萨戈纳斯岛Panagakis，S. Zafeiriou和M.惊慌失措正面化 的 统 计 数 据 。 IEEE International Conference onComputer Vision（ICCV），第3871-3879页，2015年[32] C.萨戈纳斯岛Panagakis，S. Zafeiriou和M.惊慌失措对人类和动物面部的统计额叶化进行了反分析。国际计算机视觉杂志（IJCV），122（2）：2705280[33] C.萨戈纳斯湾Tzimiropoulos，S. Zafeiriou和M.泛- tic。300人面临野外挑战：第一次面部地标定位挑战。在IEEE国际计算机视觉会议（ICCV-W）的会议记录中，Work-shop on 300 Faces in the Wild Challenge （ 300-W），第397[34] C.萨戈纳斯湾Tzimiropoulos，S. Zafeiriou和M.泛- tic。一种半自动的面部标志点标注方法。IEEE计算机视觉模式识别国际会议论文集（CVPR-W），第五届面部和手势分析与建模研讨会（AMFG），第896-903页，2013年[35] C.- T.沈，W.- H.吕，S.- W. Shih和H.- Y. M.辽基于样例的儿童面部年龄进程预测IEEEInternational Symposiumon Multimedia（ISM），第123-128页[36] X. 舒，J.唐，H.莱湖，澳-地Liu和S.燕. 个性化的年龄增长 与 老 化 字 典 。 IEEE International Conference onComputer Vision（ICCV），第3970-3978页，2015年[37] L. R. 塔克 一种因素分析的组间方法Ps