面部情绪分布学习：基于标签相关性的准确表情描述方法

9841面部情绪分布学习利用低秩标签相关性贾秀义1，2，郑翔1，李薇薇3，张长青4，李泽超11南京理工大学计算机科学与工程学院南京2南京大学软件新技术国家重点实验室，南京，中国3中国南京航空航天大学航天学院4天津大学智能与计算学院摘要基于表情的情感识别是一个非常有趣和具有挑战性的问题，近年来引起了人们的广泛关注。以前的大量研究只能解决“什么描述了表情”的模糊性，它假设每个面部表情与一个或多个预定义的情感标签相关联，而忽略了一个事实，即多种情绪在一张照片中总是具有不同的因此，为了更准确地描述人脸表情，本文采用了一种用于情感识别的标签分布学习方法，该方法可以解决“如何描述表情”的模糊性此外，一个局部低秩结构被用来捕捉本地标签的相关性隐式。在基准人脸表情数据集上的实验表明，该方法比现有方法更能解决表情分布识别1. 介绍人脸表情识别技术作为人类表达情感和思想的最自然、最有力、最直接的手段之一，已经在众多的多媒体系统中得到应用。由于其广泛的应用，如人机交互[21]和数据驱动的动画[19]，自动* 通讯作者：李泽超（zechao.li@ njust.edu.cn）。国家自然科学基金项目（批准号：2000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 江 苏 省 自 然 科 学 基 金 项 目 （ 批 准 号 ： 61773208 ） ;BK20170809）和中国博士后科学基金（批准号：2018M632304）。近年来，面部表情识别吸引了大量的最近的面部表情识别方法通常专注于提取有用的特征并应用有效的分类器，例如基于神经网络的方法[14]，支持向量机（SVM）[13]和隐马尔可夫模型（HMM）[27]。虽然已经取得了有希望的识别结果，但是在先前的面部表情识别方法中仍然存在共同的问题：每个面部图像仅与一个预定义的情感标签相关联的假设往往过于简单化。在现实世界的应用中，面部表情总是包含混合的情绪。例如，当一个人收到一封很久没见的朋友的来信时，他会同时感到高兴和惊讶。根据普卢奇克因此，为了更准确地描述面部表情，多标签学习被用于面部表情识别，并且每个图片与多个预定义的情感相关联例如，提出了GLMM（Group Lasso RegulizedMaximum Margin）方法来解决多标签场景中的面部表情识别问题然而，仍然存在一些不适合用多标签学习来解决的情况。特别是，在某些情况下，我们不仅需要知道哪些情绪与面部表情有关，还要知道每种情绪在多大程度上描述了表情。为了解决这些问题，标签分布学习（LDL）[6]被用来解决面部表情识别问题。据我们所知，只有一项研究[36]使用LDL进行面部表情识别。具体来说，在这项工作中，LDL被应用于面部9842(a) 全球（b）地方(a)（b）（c）图1：非全局标签相关性的图示。ANG和DIS在（a）和（b）中具有相关性，但在（c）中不具有相关性。表情识别，以提高面部表情识别的准确性虽然他们的工作试图利用标签相关性，但它是在所有实例共享相关性的假设下以全局方式利用标签相关性的然而，在现实世界的应用中，标签相关性通常是局部的，其中标签相关性可以仅由实例的子集而不是所有实例共享。例如图1给出了s-JAFFE数据库中6种基本情绪（快乐、悲伤、惊讶、愤怒、厌恶和恐惧）的3幅图片，并考虑了愤怒（ANG）和厌恶（DIS）之间的相关性。在图1a和图1b中。1b、ANG和DIS在各自图像中的描述度相近;因此，我们认为ANG和DIS具有相关性。然而，在图1c，DIS的描述度显著高于ANG。因此，我们认为ANG和DIS之间的相关性在图中是不共享的。1c.在本文中，我们将解决面部表情识别问题，利用情感的相关性在一个局部的水平，这是从来没有考虑在以前的LDL算法。考虑到情感相关性的复杂性，我们采用低秩结构来捕获局部情感相关性。与以前的工作不同，我们认为标签空间是图中所示的局部低秩结构。2b，而不是图中所示的全球低秩结构。2a.如图2b，它不是一个低级别的结构在全球范围内，但它可以分为三个块的低级别结构。基于这一假设，我们提出了一种情绪分布学习方法，通过利用低秩标签相关性本地（EDL-LRL）。此外，我们开发了一个交替方向的乘法器（ADMM）优化目标函数。在两个广泛使用的人脸表情数据集上的实验表明，当考虑低秩标签相关性时，我们提出的方法表现出很好的性能。图2：全局和局部标签相关性的简单说明。 每行表示例如，每一列表示一种情感，不同的颜色表示不同的描述程度。每列中具有相同颜色的结构构造了可以捕获线性标签相关性的低秩结构。(a)是全局低秩结构，（b）是局部低秩结构，其可以被划分为三个低秩结构块。凯莉本研究的主要贡献可归纳如下：1）与现有的利用全局标签相关性的工作不同，我们在局部水平上考虑标签相关性; 2）与现有的显式计算两两标签相关性的方法不同，我们采用了一种局部低秩结构来隐式地利用标签相关性，从而更好地捕捉复杂的标签相关性。文件的其余部分组织如下。首先，我们简要介绍了面部表情识别和标签分布学习。其次，我们提出的EDL-LRL算法的细节。最后给出了实验结果和结论。2. 相关作品2.1. 人脸表情识别面部表情是面部的变化，以响应一个人人脸表情识别已经引起了许多研究者的关注。一些方法专注于面部表情识别问题的特征提取，例如，提取面部成分的形状和位置以表示面部几何形状[20];通过对从跟踪的基准面部点计算的特征进行分类来呈现动作单元检测[26]。此外，其他面部表情识别研究集中在应用不同的分类器，如kNN [34]，SVM [23]和人工神经网络（ANN）[18]。此外，近年来，面部表情的情绪通过一些更丰富的代表性来传递[2，16]。虽然已经从各种角度设计了面部表情识别方法，但是这些工作的目标是从面部表情中预测最具描述性的情绪。9843我我我Ki预先定义的情感标签。然而，仅仅选择一种情绪来表示整个面部表情是不准确和不充分的，因为面部表情通常包含具有不同强度的基本情绪的混合物。2.2. 标签分布学习3. 情绪分布学习3.1. 形式化我们将给出情感分布学习的更正式的定义。令X=Rq表示面部表情的q维图像空间，并且令Y= R q表示面部表情的q{y1，y2，...，yL}表示L个预定义的有效标签。每个标签代表一种基本情绪。给定训练集S={（x1，D1），（x2，D2），···，（xn，Dn）}，其中Di={d1，d2，···，dl}是情感分布我我我近年来，带歧义的学习已经成为机器学习领域的一个热门话题。 目前解决标签歧义的范式有三种，即单标签学习（SLL），多标签学习（MLL）[25]和LDL。MLL已成功应用于面部表情识别领域[31]。然而，MLL不能描述每个标签的程度，其中不太可能多个情感标签对图像具有相同的描述度。因此，本文通过情感分布描述面部表情，并采用LDL进行预测。LDL是MLL的进一步扩展，并且LDL输出标签分布而不是像MLL那样的标签集。一些算法，可以分为三组，已被提出的LDL。一组是基于问题转换（PT）策略，它将LDL问题转换为SLL问题，并将训练示例转换为加权单标签示例对于xi，我们分配一个称为描述度的值dj，用于对特定情感yj 的 f 表 达 式 x i，其中xi∈X，yj∈Y。注意，dj不是yj正确标记xib的概率，而是yj在对X的完整描述中说明I.所有具有非零dj-s的情绪都是描述fa的正确情绪-iLj并且满足j=1di= 1，这意味着集合中的所有情绪都可以完全描述面部表情-锡永情绪分布学习的目标是学习一个映射函数f：X→D，它可以预测看不见的面部表情的情绪分布。假设p（y|x; θ）是从S学习的输出模型，其中θ是参数矩阵。 情绪分布学习的目标是找到一个合适的θ，它可以生成一个分布p（y|xi;θ）类似于给定面部表情的Di，锡永岛此 外 ，对于p（y）的形式，|xi; θ），我们作为-它是一个类似于以前的最大熵模型工作[6]如下：如PT-SVM [9]和PT-Bayes [7]。第二组是基于算法自适应（AA）。某些算法，如kNN和BP，分别适用于形成AA-kNN [8]和AA-BP [10]。最后一组1p（yl|xi; θ）=我Σ（Kθl，kxk），（1）其中xk是xi的第k个特征，θl，k是θ中的元素，由基于专用算法（SA）的算法组成与LDL问题直接匹配，例如SA-IIS [6]iΣ且Zi=Σlexp（θl，kxk）是使用[6]关于《孝经》。相关研究表明，第三种策略比其他两种策略更有效[6]。因此，本文还设计了基于SA策略的情感分布学习算法。为了提高低密度脂蛋白的性能，一些算法试图以不同的方式利用标签相关性详细地说，这些相关性是根据Plutchik的情绪之轮捕获的[35];通过寻找两个标签之间的Pearson相关系数来探索标签相关性[36];全局标签相关性被用于不完全标签分布学习[28];广告特征用于编码局部样本相关性的影响[33];并且采用距离映射函数来编码全局标签相关性[12]。然而，这些方法在全局水平上利用标签相关性，并且我们在介绍中解释了在本地使用标签相关性更合理。为了满足所有情感的总和，一个实例的scription度等于1。此外，我们通过最小化以下目标函数来优化θ，该目标函数包含全局判别拟合和局部标签相关性的影响：minV（θ，S）+λ1<$（θ，S）+λ2<$（θ，S），（2）θ其中V是定义在训练数据上的损失函数，λ 1是控制输出模型复杂度的正则化器，λ 2是加强局部标签相关性特征的正则化器，λ1和λ2是平衡这三项的两个参数。与前面的讨论一样，情绪分布学习的目的是使预测分布与真实分布尽可能相似;因此，我们选择一个损失函数，可以衡量两个分布的相似性。分析了各种函数以测量两个分布之间的相似性，例如Z9844FD-Z欧氏距离、Kullback-Leibler发散和Jefery发散[4]。在这里，为了便于计算，我们使用欧几里得距离的平方作为定义的损失函数求解Eq.（七）、它采取分解协调过程的形式，在该过程中，对小的局部子问题的解进行协调，以找到大的局部子问题的解。通过DJ（Qa||Qb）=Σ（Qj−Qj）2，全球问题。为了便于在下面进行优化，我们变换方程(7)转化为形式：ab（3）JJJ1¯2Σm2（i）其中Qa和Qb是两个分布的第j个元素分别为Qa和Qb 具体而言，在本文中，minθ，Z2D−D<$F+λ1<$θ<$F+λ2i=1Z（八）基于欧几里德距离的V的表达式定义如下：S.T. D（i）− Z（i）= 0。1¯2Eq.的增广拉格朗日函数。(8)由下式给出V（θ，S）=22D−DF，（4）minΣmD−D<$2+λ1<$θ<$2+λ2（i）在第（1）款中，其中，f·F表示矩阵D的Frobenius范数，并且D<$表示预测分布和真实分布θ，Z，Λ2ΣmF Fi=1mρ（i）训练集，分别。对于等式的第二项。(2)，我们简单地实现它如下：（θ，S）=<$θ<$2。（五）+i=1<Λ（i），D（i）−Z（i）>+i=1D（i）−Z（i）<$2，2（九）FEq的第三项(2)被用来加强预测分布的局部低秩结构，这隐含地利用了局部的标签相关性。我们认为，训练数据可以分为m类-，G}，并且每个聚类是低秩的哪里 Λ 是 一 列表 的 拉格朗日 乘数，包括-{Λ（1），Λ（2），···，Λ（m）}的ing;ρ是一个正数列 表 ， 称 为 罚 参 数 ， 包 含的{ρ （ 1 ） ， ρ（2），···，ρ（m）};Z组成的{Z（1），Z（2），···，Z（m）};并且·，·>是Frobe-nius点积，即，对于t个连续矩阵X，Y∈Rm×n，1 2m=tr（XTY）=mnX Y。现在结构 这种划分可以通过集群实现-i=1j=1ij ijing或一些领域知识，如生物信息学应用中的基因通路为了便于实现，我们使用K-means作为聚类方法。上述优化问题可以通过交替最小化，即，用迭代t中固定的其他变量更新每个变量（θ，Z和Λ）：请注意，我们在标签空间而不是特征空间中对训练数据进行聚类，因为具有sim的实例θt+1 = argminθ1D−D2+λθ22F1F相似的标签分布通常共享相似的标签分布。并且集群更可能是低秩结构。不幸的是，矩阵的秩很难优化;因此，在此使用迹范数一个矩阵的秩的凸近似Σm+i=1Σm+<Λ（i）t，D（i）−Z（i）t>ρ（i）（i）（i）t2（十）迹范数定义为奇异值的和，2Fi=1UE，即，其中σi是第i个奇异矩阵m矩阵的值最后一项是Eq。（2）基于局部低秩标签相关性推导如下：Zt+1= argminλ2Zi=1（i）在第（1）款中，（一）Σm（θ，S）=i=1（i）秘书长，（6）Σm+i=1Σm<Λ（i）t，D（i）t+1−Z（i）>ρ（i）（十一）其中D表示第i个的预测分布，+<$D（i）t+1−Z（i）<$2，聚类Gi.通过将等式(4)，（5）和（6）转换为等式(2)，得到优化问题如下：2Fi=1Λ（i）t +1 = Λ（i）t+ρ（i）（D（i）t +1 − Z（i）t19845+1）。（十二）minΣmD−D<$2+λ1<$θ<$2+λ2D.㈠（七）当量（10）可以有效地解决有限记忆θ2FFi=1拟牛顿法（L-BFGS）[30]。其基本思想是3.2. 使用ADMM进行ADMM（交替方向乘法器）[3]是一种简单但功能强大的算法，非常适合为了避免显式计算逆Hessian矩阵牛顿法中使用的。此外，L-BFGS用迭代更新的矩阵近似逆Hessian矩阵，而不是存储完整的矩阵。让Eq.（十）19846ρ（iF我j，lJ，p=。当T（θ）时，我们遵循有效拟牛顿法BFGS的思想.考虑T′（θ）=−T（θ）在参数向量θ（l）的当前估计下的二阶泰勒级数：算法1：EDL-LRL算法输入：训练集S={X，D}，参数λ1，λ2和m.输出：标签分布Dt。T′（θ（l+1））<$T ′（θ（l））+<$T ′（θ（l+1））T<$+1吨2H（θ（l）），1 用K-means聚类训练集S2 初始化Λ、Z、ρ和θ;（十三）其中，θ=θ（l+1）-θ（l）是更新步长，θT（θ（l）），H（θ（l））是T′（θ（l+1））的梯度和Hessian矩阵在θ（l）处，关于ively。Eq.的最小值（13）3 t= 1;4个重复5用方程 求解v eθt+1。（10）;电话+16用Eq.（11）;（l）=−H−1（θ（l））<$T′（θ（l））。（十四）线搜索牛顿法使用λ（l）作为搜索方向p（l）=λ（l）并通过以下方式更新模型参数：θ（l+1）=θ（l）+α（l）p（l），（15）其中步长α（l）是从线搜索过程获得的，以满足强Wolfe条件[17]：7更新Λt+1，通过等式（12）;8t=t+ 1;9 直到满足停止准则;10 返回标签分布Dt根据等式（一）.然后，Eq. (20)可以进一步重写如下：λ2（一）1（i）（一）Λ（i）2T′（θ（l）+α（l）p（l））≤T ′（θ（l））+c1α（l）<$T ′（θ（l））Tp（l），（十六）最小ZZ（i）2000年+2年Z-（D）+ρi）ΔF（21）|≤c2|T′（θ（l））Tp（l）|、（十七）|,(17)其中00，下列问题有唯一的解析解，B（l+1）=（I−ρ（l）s（l）（u（l））T）B（l）（I−ρ（l）u（l）（s（l））T）+ρ（l）s（l）（s（l））T，arg minM∈Rn×d公司简介1M-Y2.2（十八）其中s（l）=θ（l+1）−θ（l），u（l）=<$T′（θ（l+1））−<$T′（θ（l））（l）1s（l）u（l）对于Eq. (10)的计算L-BFGS主要与一阶梯度有关，该解可用奇异值阈值算子描述SVTµ（Y）=Udiag[（σ−µ）+]VT.可以获得Σn（σ−µ）+=σ−µ σ > µ0否则，θl，k=（p（yl|xi;θ）−dl）p′（yl|xi;θ）+2λ1θl，kU∈R n×r，V∈R d×r 且σ={σ1，σ2，···，σr}∈R r×1i=1Σm+ΣΛ（i）p′（yl|xj;θ）可以通过矩阵Y的奇异分解来实现，Y = U <$VT和Σ = diag（σ）。i=1xj∈Gi我们提出的算法的整体过程是预-Σm Σ+i=1xj∈Giρ（i）（p（yl|xj;θ）−Z（i）l）p′（yl|xj;θ），（十九）9847我j，lFJ在 算 法 1 中 发送。此外，我们算法中的ADMM方法将以O（1/T）的速度收敛到[11]中的最优解，其中T是迭代步数。虽然它可以更慢地收敛到高其中Λ（i）是Λ（i）的元素，Z（i）l是Z（i）的元素，比其他优化方法的准确性，一个适度的准确性，和p′（yl|xi;θ）=xk（p（yl|xi;θ）−p2（yl|xi;θ））。要求解方程 (11)，它可以分解为多个最优-mization问题，其中第i个问题是：minλ2<$Z（i）<$tr+Λ（i）t，D（i）t+1−Z（i）>

下载后可阅读完整内容，剩余1页未读，立即下载