人脸动作单位强度的联合学习方法

3457人脸动作单元强度估计的联合表示和估计器学习张勇1、吴宝源1、董伟明2、李志峰1、刘伟1、胡宝刚2、季强31腾讯人工智能实验室，2中国航天科学院模式识别国家实验室，3伦斯勒理工学院{zha6.5ngyong201303，wubaoyuan1987}@ gmail.com，weiming.ia.ac.cnmichaelzfli@tencent.com，wl2223@columbia.edu，qji@ecse.rpi.edu，hubg@nlpr.ia.ac.cn摘要面部动作单位强度是表征人类表情特征的一个指标。准确的AU强度估计取决于三个主要因素：图像表示、强度估计器和监督信息。大多数现有的方法使用固定的图像表示来学习强度估计器，并且依赖于完全注释的监督信息的可用性本文提出了一种新的AU强度估计的一般框架，它与传统的估计方法在两个方面不同-S.首先，它不是保持图像表示固定，而是同时学习表示和强度估计器以实现最佳解决方案。第二，它允许从人类知识（例如，特征平滑度、标签平滑度、标签排名和正标签），这使得我们的模型即使在完全注释的信息不可用的情况下也是可训练的。更具体地，人类知识被表示为软约束或硬约束，其分别被编码为正则化项或等式/不等式约束在我们的新框架之上，我们还提出了一种基于交替方向乘法（ADMM）的高效优化算法。在两个基准数据库上的测试结果表明，该方法在不同AU强度标注比例下，特别是在小比例下，优于同类方法。1. 介绍面部动作编码系统（FACS）[7]定义了描述面部肌肉运动的AU它将AU强度量化为6个有序水平，并提供注释说明。AU强度估计具有挑战性，部分原因是缺乏注释。可靠的AU强度标记可以由受过训练的人类编码器注释。通过数字技术*通讯作者。图1：AU强度估计的联合学习图。它同时学习图像表示和强度估计有限的注释。人的知识作为硬约束或软约束被纳入，从而提供弱监督。相机然而，它需要大量的精力来注释每一帧，这使得它很难构建一个大型的数据库。AU强度估计的性能由几个因素决定，包括图像表示，强度估计器和监督信息。大多数示例方法[16，10]专注于估计器学习，不考虑图像表示和未标记帧。表示首先通过无监督或有监督的方法来学习然后，在预先学习的特征空间中训练估计器。然而，预学习的特征空间不能保证很好地适应估计器学习，因为它们是单独学习的，而不考虑它们的连接。S.最近，深度学习提供了一种端到端的策略来学习从输入到输出的映射[8]。它可以被视为一种联合表示和估计学习方法。但是深度模型需要大量的标记样本来避免过度拟合。虽然[41]学习了弱监督的深度模型，但它仍然需要数千张图像。此外，除了[26，43，42，41]之外，很少有工作关注具有有限注释的强度估计。人类的知识，如标签平滑度或标签排名被利用来弥补注释的不足。[26]通过动态模型的结构编码标签平滑性，而[42]强调相关性的平滑性3458通过正规化。在有序回归[9]中研究了标签排序，并在[43，42，41]中应用于强度估计。其他类型的一般知识，如特征平滑度和正强度很少研究。平滑度是指软约束，而标签排序和正强度是指硬约束。虽然存在各种类型的人类知识，现有的方法总是利用其中之一，并没有一个通用的框架，以纳入不同类型的知识。联合表示和估计学习以及人类知识已经分别进行了研究，但缺乏一个框架来同时将所有这些结合起来。为了缓解这个问题，我们提出了一个AU强度估计的一般框架（见图1）。该算法不仅可以联合学习弱标记序列的表示和估计，而且可以灵活地结合AU强度和图像表示的不同类型的知识。弱标注是指先在训练序列中确定峰谷帧的位置（定性标注），然后对少数选定帧的强度进行标注（定量标注）。峰和谷帧的识别可以根据[17]中的定义来执行，这比量化注释每个帧容易得多。拟议的框架有几个优点。首先，表示和估计器进行联合优化，使准确的强度预测。联合学习可以获得比个体学习更好的解。其次，人类的知识包括表示和估计。它可以为联合学习提供弱监督，并通过利用标记帧和未标记帧之间的关系来更有效地利用未标记帧。第三，这种框架需要很少的强度注释来获得令人满意的性能，而深层模型需要更多。我们的主要贡献有三方面。（1）我们提出了一个用于AU强度估计的一般框架，以联合学习具有非常有限的强度注释的表示和估计器，并对不同类型的人类知识进行编码。（2）提出了一种基于ADMM框架的优化算法。（3）在两个基准数据库上进行了不同标注比例下的评价，验证了所提方法的优越性能。2. 相关工作AU强度估计。 大多数现有方法使用监督技术进行AU强度估计，例如[16，10，38，22，32，21，12，36]。他们只利用标记的图像。几种方法通过概率图形模型利用多个AU的强度之间的空间关系，例如树结构马 尔 可 夫 随 机 场 [27] ， copula 条 件 随 机 场 [35] 。Kaltwang等人 [11]提出一种基于学习图的潜在树模型从特征和标签构建。AU对的共现是空间标签平滑性，其隐含地编码在势函数中。此外，一些工作通过使用动态模型来考虑时间标签平滑性，例如隐马尔可夫模型[18]，动态贝叶斯网络[14]，上下文敏感的条件有序随机场[24]。时间标签平滑性隐含在模型结构中。然而，这些监督模型需要帧级强度注释，并且它们仅关注估计器学习，而不管表示学习。深度模型由于其庞大的模型复杂度，在不同领域取得了惊人的进展。监督深度模型已用于估计AU强度[8，34，31]。然而，它们包含数百万个参数，并且需要大量带注释的图像进行训练。很少有工作专注于使用未标记的图像AU强度估计。多实例学习（MIL）已用于事件检测，如MS-MIL[29]，RMC-MIL [25]和LOMo [30]。事件检测是一个二元分类问题，但AU强度有多个级别。 它们不能直接应用。唯一的方法-s [26，43，42，41]利用未标记的图像进行AU强度估计。 Ruiz等 [26]提出了多实例动态有序随机场（MI-DORF），通过利用多实例学习将每个序列视为一个袋子。Zhang等人 [42]提出了一种双边有序多实例回归模型（BORMIR）。两者都使用时间标签平滑来利用未标记的图像。Zhao等人 [43]通过结合顺序回归和SVR（OSVR）来估计表达强度估计。他们使用标签排名来利用未标记的图像。这些方法只学习强度估计器或只利用一种类型的领域知识，不考虑图像表示。相应地，我们的方法联合学习估计器和表示。我们同时将所有类型的知识，如功能平滑，标签平滑，标签排名，和积极的强度。此外，知识是在子空间，而不是在原始的特征空间。在[41]中使用了弱监督深度模型，但它仍然需要数千个标记图像。同时，我们的方法执行的联合学习只有几百个标记的图像，适用于一个小的数据库。半监督学习半监督学习方法学习具有标记和未标记图像的模型。对样本表示和目标标签之间的相关性进行了不同的假设，包括平滑假设[15]，聚类假设[4]和流形假设[1，20]。Kim等人。 [13]考虑了流形假设下半监督回归（HSSR）的二阶Hessian能量。这些方法利用未标记的图像，但它们不学习表示。Zhang等人。[40]提出了一种凸子空间学习（CSL）方法，通过结合无监督子空间，3459uuu空间学习和监督分类器学习。与[40]相比，我们的方法结合了各种类型的人类知识，可以更有效地利用未标记的图像3. 所提出的方法3.1. 弱注释肌肉运动的平滑性导致面部外观的平滑演变。如果相机的帧速率足够高以捕捉面部外观的细微变化，则弱注释由两部分组成，即，定性注释和定量注释。定性注释表示估计器的参数。对于训练，给定Df和Ds，我们共同学习表示Φ1和Φu、子空间跨度（B）和强度估计器w。3.3. 来自人类知识的硬约束有限的AU强度注释在训练序列中，只有少数帧标记有AU强度。强度标签为联合学习提供了强有力的监督鼓励表示和估计满足Φ1w = Y1。（一）少数帧的注释被编码为等式约束。这相当于把损失放在客观上，即、是指识别关键帧的位置，即，峰和谷帧。定量注释是指注释序列中一小组帧的AU强度。L（w，Φ，D）= λ0<$Φ w− Y <$2。l lf2l l（二）虽然在一个序列中存在多个峰和谷，但它们在整个数据库中所占的比例很小。弱标记包含关键帧的位置和少数帧的强度注释，这比标记每个帧更容易实现。在弱标注条件下，训练序列可以根据关键帧的位置进行分段。AU强度在每个训练段中单调演化，并且它有三种类型，即，，增加，减少，保持不变。在[42]之后，为了避免使用额外的变量来指定趋势，我们颠倒了从峰到谷演变的段的帧顺序最后，AU强度在所有训练段中增加或保持不变3.2. 问题陈述在面部动作期间，AU强度随时间平滑地演变。如第3.2节所述，训练序列根据关键帧被分割成片段。AU强度在每个训练段中单调增加或保持相同。尽管片段中的帧的AU强度是未知的，但是多个帧之间的节奏关系可以为联合学习提供弱监督。代替约束原始表示Su，我们强调新表示Φu上的域知识。在训练段中，鼓励表示和估计器满足当前帧的强度应该大于或等于其先前帧，Φ m，1w≤. ≤Φ m，iw≤Φ m，i+1w≤. ≤Φm，Tmw，u u u u对于未标记的表情序列，首先确定关键帧的位置。然后，标记部分随机选择的帧的强度。 训练集由两部分组成一部分定性标注其中标签排名被编码为不等式约束。就相当于ΓmΦmw≤0，（3）段，Ds={Sm}M，其中Sm={Sm，t}Tm∈其中Γm∈R（T−1）×T mRTm×dm=1u u t=1M m 是一个矩阵，其中，i=1，表示第m段Tm是帧的数量 Su=[S1;. ;SM]是Γmi，i+1=-1，其他元素为0。 对于所有质量-我们有一组约束，所有段的串联特征这部分只有强度的趋势。 Sm的强度增加或保持- It’一样。另一部分是一小部分定量的ΓΦuw ≤0，（4）标记帧，Df={xn ，ynNn=1，其中xn∈Rd是其中，r = diag（[r1，r2，.，rM]）和0是一个向量，元素为0 与[43，42]不同，我们强调第n帧的原始特征向量，yn∈R是其强度。Xl∈RN×d是所有标记帧的级联特征，Yl∈RN是它们的AU强度。Xl中的帧是随机选择的帧而不是相邻帧跳转每行Xl和Su表示帧的特征注意，Xl是SU的子集。为了方便起见，我们将它们分开表示以避免额外的帧索引。设B∈RK×d表示基向量。 K为基向量Φ1表示标记帧的系数Xl，并且Φu=[Φ1;. ;ΦM]表示共-对表示和估计的排序约束。正强度AU强度是非负值。根据这一先验知识，建议AU强度的预测值不小于0。这些知识被编码为约束，为联合学习提供弱监督。约束条件定义为Φuw≥0，Φlw ≥ 0。（五）u u其中Φm∈ RTm×K. w ∈ RK正强度被编码为不等式约束。}3460i、juB+2u2 2 2L（−）J||−||ρΦ¨ρΛ23.4. 来自人类知识的软约束时间标签平滑度AU强度根据相应的局部外观来标记。因为肌肉-考虑到未标记样本和人类知识，图像表示和强度估计器的联合学习可以公式化为：随着时间的推移，面部表情也会发生平滑的变化。在训练段中，帧的强度接近于其相邻帧的强度。的min min minB ∈B wΦl，ΦuLu（Φl，Φu，B，Df，Ds）+Ll（w，Φl，Df）+λ2RI（w，Φu，Ds）+λ3RF（Φu，Ds）代表和估计鼓励满足，相邻帧的强度应该是相似的，即，、假设对于两个相邻的点，φ Φm，iw−Φm，jw φ2S.T. ΓΦuw≤0，Φlw≥0，Φuw≥0，（9）其中λ0，λ1，λ2和λ3是超参数。第一项或者帧i和j。考虑到所有定性标记段，我们有以下正则化，即、是所有样本的重建误差。第二是标签样本的丢失。三是正规化RI（w，Φu，Ds）=1MTm2m=1i，jCmΦm，iw Φm，jw2i，ju u u时间标签平滑度。四是时间特征平滑的正则化。约束表示时间标签排序和正强度。=（Φuw）TL（Φuw），（6）其中Lm= Dm-Cm且L = diag（[L1，L2，...，LM]）。L是一个半正定矩阵Cm是一个邻接矩阵，其中，如果第j帧和第i帧是相邻帧，则Cm=1少数框架的强度提供强监督，而领域知识提供弱监督。许多类型的知识、强度和特征平滑性都鼓励平滑的预测。标签排名激励-i、jM m在训练段中对预测进行管理，以满足顺序控制，否则Ci，j=0。D是对角矩阵，其中Di，i=C米由于Xl中的帧不是相邻帧，因此标记平滑度不能应用于Φlw。随着面部肌肉平滑地移动，序列中的相邻帧具有相似的面部外观。学习的表示应该保持这样的属性，即相邻帧应该具有相似的表示。相邻帧的表示之间的距离应该很小。这样的知识可以被编码为正则化项，即，、正强度保证了非负预测。我们共同学习子空间Φ和回归量w，它们通过知识耦合。软约束和硬约束涉及Φ和w。在优化过程中，约束和正则化相互配合，以找到Φ和w的最优解。3.6. 交替优化问题（9）不是在所有变量上都是联合凸的，但在每个变量上都是凸的。由于Eq.（7）只含有Φu，RF（Φu，Ds）=1MTm2m=1i，jCmΦm，iΦm，j2i，ju u u我们不能仅仅通过将ΦB和Φw作为新的变量来优化它们。我们提出了一个基于ADMM的算法来解决这个问题[3]。扩展的缩放形式=tr（ΦTLΦu），（7）其中L与Eq相同。（六）、 tr（·）表示跟踪。表示和估计耦合在Eqs。（6）及（4）拉格朗日函数是Lρ（Φ，B，w，C·，Λ·，Z·，V·）1英寸X轴Φ2英寸我的天而Eq.（7）只涉及表象。¨l=2µu¨-Φu？F¨l1-u¨¨二、一（十）3.5. 制剂由于定性标记的片段和有限的数量-¨ΣΣ1英寸2英寸ΣCΣ−uΣΛΣ¨2¨uF¨Σ Σ¨1升2英尺我们将问题表述为：+I（Z）+ρ2||ΓΦ w− Z+V||2−ρ2||V||2低点对于表示学习，学习的系数矩阵和基向量应该能够重建原始特征[23]。重建损失定义为-02u+I（Z）+ρ3||Φ w − Z+1 2l0 020+V||2−ρ3||V||21 121L（Φ，Φ，B，D、D）+I（Z）+ρ3||Φw−Z+V||2−ρ3||V||2乌卢乌1英寸X英寸fsΣΦ Σ¨2¨ΣΦ ΣT¨2 2 λ02T T T+λ+−LLC+Λ3461BL¨l=2µu¨-Φu？F¨l1英寸¨¨二、一、（8）+|| Φlw −Yl||2+λ2w ΦuL Φuw+λ3tr（ΦuLΦu），其中，W-Hole2，1鼓励通过W孔数据集学习特征，而不是正则化单个样本的特征为了避免退化，B的凸集是B={b：<$bn2≤1}。其中，Φ· ={Φ1，Φu}，C·={Cl，Cu}，Z·={Cl，Z{Z1，Z2，Z3}，并且V1={V0，V1，V2}。C·和Z·是引入变量，而Λ·和V·是乘数。引入它们来处理L21范数和不等式+λ3462ρB组uΦF····约束 ρ ={ρ1，ρ2，ρ3}是用来强调不同知识重要性的惩罚参数。I−（·）和I−（·）是投影函数，i。e. ，I−（·）=min（·，0），算法1联合表示和估计学习。输入：标记帧Df和弱标记序列Ds.惩罚参数{λi}3和{ρi}3。I（·）=max（·，0）。我们交替优化每个变量i=0时i=1+如下（Algo.①的人。PCA [37]用于初始化B，Φ1，和Φu。Cl=Φl和Cu=Φu，而其他变量被随机初始化。请注意，当前更新的变量将用于更新其他变量。按照ADMM [3]的常规程序，上述变量的更新如下：输出：表示Φ1和Φu、基向量B和估计量w。1：初始化：使用PCA获得B、Φ1和Φu。Cl=Φl，Cu=Φu。随机初始化Z·、Λ·和V·。第二章： 而不收敛3：通过解决问题（11）更新变量（16）4：更新拉格朗日乘子方程。（17）中国（20）B（k+1）←argminLBΦ（k+1）←argminL（···）、（11）（···）、（12）5：结束while6：返回Φl、Φu、B和w。lΦlρΦ（k+1）←argminLρ（···），（13）u令C=[Cl;Cu]，Φ=[Φ1; Φu]，且Λ=[Λ1; Λu]。这个问题可以分解为小问题，即、w（k+1）←argminL（···），（14）WC（k+1）←argminL（···），（15）C=arg minλ||C||+ρ1||Φ·iC·i1·i2 ·i-C·i+Λ·i||二、·C·ρZ（k+1）←argminL（···）、（16）其中C·i是C的第i列，Φ·i是C的第i列，·Z·ρΦ，并且Λ·i是Λ的第i列。将溶液Λ（k+1）←Λ（k）+ Φ（k+1）−C（k+1），（17）C·i=Sλ1/ρ1（Φ·i+Λ·i），（二十三）V（k+1）←V（k）+ΓΦ（k+1）w（k+1）−Z（k+1）， （18）0 0u0其中S（a）=[1-k]a和S（0）=0。[·]=V（k+1）←V（k）+ Φ（k+1）w（k+1）−Z（k+1），（19）K||一||2 +k+1111V（k +1）←V（k）+ Φ（k+1）w（k+1）− Z（k+1）。（二十）max（·，0）. 表示成对乘积。对于问题（16），Z0、Z1和Z2的解为：22u2对于问题（11），我们首先通过取梯度并将其设置为0，i，得到B_∞的封闭形式解。e. 、B=[ΦTΦl+ΦTΦu]−1[ΦTXl+ΦTXu]。（二十一）Z0= min{0，r Φuw+V0}，（24）Z1= max{0，Φ1w+V1}，（25）Z2= max{0，Φuw + V2}.（二十六）卢卢卢我们将B投影到B={b：||B||2=1}通过归一化每个子问题的优化细节都是存在的-B_i的每一个r_w，i.e. ，Bi·=Bi· ，其中B||2||2是第i行在补充材料中。为了测试。 我们估计测试样品的强度，的B。对于问题（12）和（14），我们可以通过计算梯度和集合得到Φl和w转导方式设Xt表示测试样本，Φt表示它们的系数。我们共同学习模型，并通过简单的增强来估计测试样本的强度ρi·3463梯度为0。对于问题（13），虽然我们可以得到封闭形式，通过取Φ的梯度来求解，计算为Su和Φu，即，S=[Su;Xt]和Φ=[Φu; Φt]。 L=diag（L1，.，LM，Lt）且r = diag（r1，.，rM，rt），其中u效率低下，因为它涉及到一个大矩阵的逆。相反，我们使用基于梯度的方法来更新Φu，即、Φu←Φu−α<$u，（22）其中φu是Φu的梯度，步长α是通过精确线搜索得到的。α的详细表示见补充材料。对于问题（15），关于C1而Cu是Lt和Tt是所有元素都为0的矩阵，因为我们没有关于测试样本的信息，并且知识仅应用于训练段。在测试期间，我们通过使用Yt= Φtw来执行帧级预测。4. 实验4.1. 设置数据BP 4D-自发数据库[39]被用作FERA 2015 Chal的培训/开发部分。我的天ρ¨ΣΦΣΣCΣΣΛΣ¨2lenge [32].AU强度被限定为6个离散水平-最小λl？ +1？l−L+L ¨。S. 根据FERA 2015的协议，我们使用火车Cl，Cu1-u¨二、一2英寸库阿夫一部分用于培训，另一部分用于评价。346470046005002400原始目标双重目标03000510152025i=0时i=1i=0时i=144 4GT预测0 20 40 60 80200 20 40 60 80100200 20 40 60 80100200 20 40 60 80 100图2：在6%的训练样本被注释的场景下，KJRE在AU12上的学习曲线。最后四个显示了在不同迭代下对测试序列的强度预测。请注意，FERA 2017 [33]是不同姿态下AU强度估计的挑战。由于我们的目标是学习具有有限注释的估计器，因此我们使用FERA 2015。DISFA [19]由来自27个子序列的27个序列组成。我们进行了5重独立于受试者的交叉验证。对于特征提取，我们遵循相同的过程在[32，33，42]中提取218D特征。注释。我们的方法不使用每帧的强度标签，而只需要弱注释（参见第二节）。 3.1），即， 识别关键帧的位置并标记少数帧的强度。我们遵循[17]来识别关键帧。即使没有帧具有强度注释，也可以将知识应用于所有训练分段由于两个数据库中的序列都是以高帧速率捕获的，因此连续帧中的面部具有微小的变化。通过每五个帧选择一个帧来对序列进行下采样段长度在10到80之间变化。AU强度的分布如图所示3 .第三章。为了评估，我们改变训练集中标记帧的比例，包括2%，4%，6%，8%，10%，30%，50%，70%，90%，百分百标记帧是随机选择的，关键帧具有被选择的优先级。我们将每个实验执行5次，并报告平均性能。评估指标。Pearson相关系数（PCC），类内相关性（ICC（3，1）[28]）和平均绝对误差（MAE）被用作评估指标图3：强度分布。BORMIR [42]）。监督方法只使用标记的样本，而弱监督和半监督方法使用标记和未标记的样本。对于弱监督的方法，OSVR，BORMIR，我们的方法需要preprocessing通过分裂成段的序列我们还比较了监督深度模型（CCNN [34]，2CD [31]）和弱监督深度模型（KBSS [41]）。复杂性和趋同性。计算复杂度为O（d3+T（K3+（2N+d）K2+NKd ））.空间复杂度为O（Nd +d2）. d表示输入空间的尺寸T表示ADMM的迭代当d和K都很大时，复杂度可以降到O（d2. 373+T（K2。373+（2N+d）K2+NKd））-求[6]中的矩阵求逆。图2示出了AU12与KJRE的学习曲线以及在不同迭代下对测试序列的预测。原始目标减少，而双重目标增加。当它们接近时，算法收敛。我们的方法具有与BORMIR [42]（O（Nd2T））相同的复杂度，评估K，{λi}3（3）是超参数，当N≥d时，比OSVR [43]（O（N2dT））有效.我们的模型 对于参数选择，训练集是di-分为两部分，60%用于训练，40%用于验证。我们使用网格搜索策略从K中找到最佳超参数{60，80，100，120，140}，{λi}3，{ρi}3{10−1，10−2，10−3，10−4}。模型我们将四种类型的人类知识，边缘共同学习表示和估计（KJRE）。为了验证每种类型的知识的有效性，我们比较了不使用知识（JRE）的性能和只使用一种类型的知识的性能，包括标签排序（KJRE-O），标签平滑度（KJRE-I），特征平滑度（KJRE-F）和正强度（KJRE-P）。KE-PCA首先使用PCA得到表示，然后使用知识进行估计器学习。然后，我们与最先进的监督方法（SVR [32]，RVR [10]，SOVRIM [5]，LT[11]，COR [35]，DSRVM [12] ） ， 半 监 督 方 法 （ CSL [40] ， HSS-R[13]）， 和弱监督方法（OSVR [43]，4.2. 结果与基线方法的比较。结果示于表1中。方法在6%的训练帧具有强度标签的情况下进行评估。每种方法在FERA上都比在D-ISFA上实现了更好的性能，因为DISFA是一个更具挑战性的数据库，这是由于低质量的图像、大的头部姿势、复杂的照明和不平衡的强度分布。详细分析如下。首先，使用一种类型的人类知识的方法，包括KJRE-O，KJRE-I，KJRE-F和KJRE-P，比不使用任何类型的知识的JRE获得更好的结果它展示了每种知识的有效性标签排序和标签平滑度比特征平滑度和正强度相对更重要。其次，KJRE结合了所有类型的知识，并取得了更好的性能比JRE以及使用部分知识的方法它进一步0123450012345012456 93465#所有帧表1：与基线方法的比较。在6%的训练帧被注释的情况下评估性能。灰色背景的粗体数字表示最佳性能;粗体数字表示第二好的。数据库Fera 2015DISFAAU6 10 12 14 17平均1 2 4 5 6 9 12 15 17 20 25平均PCCKJRE-OKJRE-IKJRE-FKJRE-PKJRE0.63.49.64.18.45 点四十八0.66.56.81.30.36.540.70.60.85.39 .37.580.68.60.83.36.36.570.67.57.82.32.37.550.69.60.82.33.35.56.18.29.15.34.25.32.54.10.15点三十0.47.27.2807.26.25.29.34.29.44.05.17.17.58.22.26十四点三十分0.31.39.43点350.62.12点二二口径0.19.70.28.34.15.30.27.36.43.34.60.10.20.21.71.29 点三三口径0.11.30.26.35.39.31.49.07.19.19.64.25.30.21 点三八口径.28.28.52.33.59.04.10.20.69.25.320.72.65.87.40.43点六十二.28点三八口径点二十六点三十四.54点三三口径0.69.180.18.22.75点二五口径.37ICCKJRE-OKJRE-IKJRE-FKJRE-PKJRE0.61.45.63.15.39.450.65.56.81.30.36.540.70.60.85.37 .36.580.68.59.83.35.36.560.66.57.81.32.37.550.69.58.82.32.34.5505.07.03.13.06.09.22.03.04.07.17.06.0807.22.17.22.31.28.33.06.13.16.52.19.220.14.27.26.37.42点三四口径.61.11.21口径0.18.70.27.320.15.29点二七口径0.35.41.31.60.09.20.18.70.28 点三二口径.11.28.23.33.37.29.41.08.18.18.61.23.270.20.33.26.48.30.57.04.11.18.68.24.300.71.61.87.39.42.600.27.350.250.33.51点三一口径0.67.14.17口径0.20.74点二五口径.35MaeKE-PCAJREKJRE-OKJRE-IKJRE-FKJRE-PKJRE1.562.022.37一点七八一点零九一点七六1.071.09.871.231.04一点零六0.91 1.00.71 1.10.92.930.98 1.00.78 1.14.97.971.091.06.851.211.04一点零五0.99 1.01.78 1.15.94.980.81.64 1.51.411.03.61一点二一0.43.77.441.92.94.891.751.59二点九十七一点一五一点三八一点三九两点零五分一元一点三三一元一点四九一点五七一点五六1.38一点三一2.28.74.961.091.01.71.92.90.971.281.131.08.961.90.63.90.97.95.66.86.65 点九一口径1996年 3月1日1.43一点二一2.36.811.16一点二五1.68.851.03 .791.221.38一点二六1.21.991.86.90.891.101.13.711.06.831.071.11一点零七1.02.92 1.86.70.79.87点七十七0.60.80.72.96.94点九一口径0.82.95.64 1.08.85.87SVRSOVRIMRVRLtCorDSRVMHSSRCSLOSVRBORMIRKJRE0.600.550.500.450.400.350.400.350.300.250.200.150.100.05Fera 2015百分之二百分之四占6%8% 10% 30% 50% 70% 90%DISFA百分之二百分之四占6%8% 10% 30% 50% 70% 90%训练集中带注释的帧的百分比0.60.50.40.30.20.10.350.300.250.200.150.100.050.00Fera 2015百分之二百分之四占6%8% 10% 30% 50% 70% 90%DISFA百分之二百分之四占6%8% 10% 30% 50% 70% 90%训练集中带注释的帧的百分比2.01.81.61.41.21.00.83.53.02.52.01.51.0Fera 2015百分之二百分之四占6%8% 10% 30% 50% 70% 90%DISFA百分之二百分之四占6%8% 10% 30% 50% 70% 90%训练集中带注释的帧的百分比图4：在不同注释比率下与最先进方法的比较。它给出了不同注释比率下的平均性能。‘The percentage of annotated frames’ refersto 竞争性方法是SVR [32]，RVR [10]，SOVRIM [5]，LT [11]，COR [35]，DSRVM [12]，CSL [40]，HSSR [13]，OSVR [43]和BORMIR [42]。演示了人类知识有助于改进表示和估计器学习。第三，我们的方法比KE-PCA取得了更好的结果，KE-PCA使用PCA以无监督的方式学习表示，然后将知识用于估计器学习。在DISFA上，KE-PCA的MAE略好于我们的方法，但PCC和ICC差得多由于强度水平是不平衡的，并且DISFA中的大多数强度为0，因此表征学习将由强度为0的样本主导。这使得KE-PCA对所有测试样本的预测强度趋于0当多数强度为0时，KE-PCA可以获得较好的MAE，但在ICC中表现不佳。与KE-PCA的比较表明，该方法在表示和估计PCCPCCICCICCMaeMae3466当数据库不平衡时。与最先进的方法进行比较。图4显示了不同注释比率下方法的平均性能。表2示出了当注释比率为6%时的结果。最后用作者提供的程序对这些方法进行了评价。请注意，BORMIR [42]不能使用没有峰和谷帧强度注释的片段。它可以使用最多约10%的标记帧。 如图4和表2，在FERA 2015上，我们的方法在所有评估标准下都比其他方法获得了更好的性能，特别是当注释比率很小时，例如2%到10%。在DISFA上，我们的方法比PCC和ICC下的其他方法其MAE3467表2：与现有技术方法的比较。在6%的训练帧被注释的情况下评估性能。灰色背景的粗体数字表示最佳性能;粗体数字表示第二好的。数据库Fera 2015DISFAAU6 10 12 14 17平均1 2 4 5 6 9 12 15 17 20 25平均PCCSVR [32]SOVRIM [5]RVR [10][11]第十一话COR [35]DSRVM [12]HSSR [13]CSL [40]OSVR [43][42]第四十二话0.45.42.74.25.28.430.50.43.76.24.30.450.67.60.82.27.41.550.59.61.71.35.09.470.49.54.69.16.18.420.63.64.81.36 .22.530.53.55.63.26.20.430.66.52.76.28.42.530.63.54.84.35.37.550.71.63.82.32.42.5806.30.21.29.33.15.44.15.01.16.54.14.2306.29.24.27.36.10.41.23.06.16.57.14.240.25.35.04.31.40.27.61.11.22.06点820.270.310.22.07.04.24.42.13.45.04.13.00.52.28.21口径.18.18.29.04.32.24.39.09.12.01.66.13.22.12.02.12.06.37.20.40.07.07-.04.52.06.1605.01 - 02.04.11.14.16.00.00.09.25.10.08.16.27.28.23.34.22.37.18.06.15.53.19.25.16.23.20.12.29.29.47.14.07.14.59.17.24点二十四点三十六0.370.21.47.24.600.31.200.20.70.13.340.72.65.87.40.43.62点二八点三八.260.34.54.33.690.18 0.18.220.750.25.37ICCSVR [32]SOVRIM [5]RVR [10][11]第十一话COR [35]DSRVM [12]HSSR [13]CSL [40]OSVR [43][42]第四十二话0.40.41.73.23.26.410.47.43.76.23.29.440.65.59.82.27.41.550.58.58.69.32.08.450.48.54.69.16.18.41.60点六十二0.80.31.16.502019 - 09 - 070.65.49.76.27.42点520.63.53.84.35 .36.5404.24.16.18.27.12.32.11.00.11.47.07.1705.22.19.16.30.08.28.16.04.10.49.07.180.24.31.04.29.35.23.59.080.18.050.81.270.29口径0.18.05.01.19.39.09.42.02.10.00.51.21.18.14.12.24.01.29.19.38.05.10.01.65.11.1902.00.01.00.07.04.08.02.02-.02.16.00.030.00-.02-.03.03.04.06.11-.01 .01.05.14.08.040.15.26.27.22.31.21.36.18口径05.15.49.18.24.16.23.17.11.26.28.37.14.05.14.56.12.220.71.620.82.31.42.580.19 0.27.33.14.41 .18.58.16.16.09.69.13.28.71.610.87.39.42.600.27.35.250.33.51.31.670.14.1720毫米口径0.74.25.35MaeSVR [32]SOVRIM [5]RVR [10][11]第十一话COR [35]DSRVM [12]HSSR [13]CSL [40]OSVR [43][42]第四十二话1.711.441.061.761.38一点四七1.411.46.97 1.541.21一点三二1.161.13.84 1.351.03一点十分0.940.990.91 1.091.00.991.211.15.88 1.63.92 1.160.89.96.781.09.87.921.161.24一点二五1.21.92 1.160.97 1.37 一点二二1.32.94 1.160.99 1.13.771.151.06一点零二0.83.99.92 1.140.90零点九十六2.421.943.412.07一点八三2.282.31一点五四2.45一点七六1.95 2.472.202.43一点九一3.522.31一点九2.22两块六毛一点六2.43一点八一点八六2.852.291.22一点零九2.66.88 1.03一点二1.31.72 1.22.79.781.49一点二1.00.93 1.43.61.80.84.91.56.73.67 1.13.85.871.161.241.182.88 98 91 1.11 91681.1577 801.15点八九0.821.31.64.88.78 .98.56 .77.581.27.82.860.92.841.30.44.92点六六口径1.08.53.73.591.31.80.841.201.16一点四1998年11月11日至1999年11月19日1.03.98 1.171.051.081.121.121.441.143.09.90 1.61.94 1.94.78 1.75.85 1.361.78一点四六.90点七十七1.48.58.78口径0.780.910.56.75 0.64.95.98点84口径1.02.92 1.86.70.79.87点七十七0.60.80.72.96.94.910.82.95.64 1.08.8