基于最小角度特征的神经网络情感预测系统在面部情感识别中的应用

沙特国王大学学报MAFONN-EP：一个基于最小角度特征的神经网络情感预测系统L.B. Krithika，G.G.拉克什米·普里亚SITE，VIT University，Vellore，Tamil Nadu，印度阿提奇莱因福奥文章历史记录：接收日期：2018年2018年8月21日修订2018年9月10日接受在线发售2018年保留字：情感识别基于最小角度特征的神经网络情感预测（MAFONN-EP）加权中值滤波边缘保持背景分离和前景提取（EPBSFE）最小角偏差（MAD）和基于权重的指向核分类（WBPKC）A B S T R A C T近年来，面部情感识别技术被认为是重要和关键的，因为广泛的应用领域使用面部情感作为其工作流程和分析收集的一部分。这些技术的主要缺点是识别率低、计算效率低、耗时长.为了克服这些问题，本文提出了一种新的人脸情感识别技术--基于最小角度特征的神经网络情感预测（MAFONN-EP）。首先，输入视频序列被分类为图像帧，通过使用加权中值滤波（WMF）技术消除噪声来对图像帧进行预处理，并且使用边缘保持的背景分离和前景提取（EPBSFE）技术来然后，使用最小角偏差（MAD）技术提取的纹理模式集的基础上的四个关键部位，如两个眼睛，鼻子和嘴。 特定的功能选择采用布谷鸟搜索基于粒子群优化（CS-PSO）技术，也降低了特征维数。最后，基于权重的指向核分类（WBPKC）技术用于识别的情感。在实验结果中，所提出的技术的性能进行了分析，并与不同的性能指标，如准确性，灵敏度，特异性，精确度，召回率进行了比较。©2018作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍面部 表情识别 是一种主 要用于 识别面部 情绪的 计算机应 用（Redmond例如，2017）的人使用图像或视频（Majumder等人，2014; Rivera等人， 2013年）。视频处理已成为近年来的主要研究领域之一，并用于各种应用，包括跟踪，面部识别，监视，动作识别和情感识别（Raghuvanshi和Choksi，2016）。此外，由于用于在社交网站中共享用户的活动的先进技术的出现，它与一些电子设备集成（Khan等人，2016年）。它导致人们对世界各地发生的事件的情绪和理解的分享因此，识别和分析人的情绪在*通讯作者。电子邮件地址：www.example.comlakshmipriya.gg @ vit.ac.in（G.G. LakshmiPriya）。沙特国王大学负责同行审查制作和主办：Elsevier视频处理，以情感预测为目标。面部特征（Bobkowska等人，2018年，当这些部分彼此收缩时，它们被表达。由于人脸的变化，识别人脸的情感是一项极具挑战性的任务（Kalita和Das，2013）。由于包括眼睛、鼻子、嘴唇、脸颊等的面部特征，识别率可能会受到影响。面部表情识别包括三个阶段：面部检测、特征提取和表情分类（Azeem等人，2014;Beaudry等人，2014年; Datcu和Rothkrantz，2014年）。1.1. 问题描述通常，数字视频被表示为在空间和时间上数字化的图像信息，然后形成作为结果像素强度信息（Datcu和Rothkrantz，2014）。视频被分割成帧，并且提取其特征用于识别情感（Cruz等人，2014年）。在此过程中，对帧进行预处理，并基于所识别的关键部分提取面部表情（Li等人，2013; Halder等人，2013年）。然后，使用连通分量提取方法（Blazek等人，2014）被应用以从帧获得连接的特征。最后，应用分类技术对帧中人物的情感进行对于情绪识别-https://doi.org/10.1016/j.jksuci.2018.09.0111319-1578/©2018作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comL.B. Krithika，G.G.Lakshmi Priya/沙特国王大学学报1321在现有的工作中，提出了各种技术和算法，但是需要提高准确率（Owusu等人， 2014年）。1.2. 目标基于所确定的问题，本文有以下目标：为了从给定的人脸图像中准确地预测情感，提出了一种新的基于最小角度特征的神经网络情感预测（MAFONN-EP）技术。 为了通过执行归一化来预处理视频帧，可以使用加权中值滤波（WMF）技术（Torkhani等人，2017年）使用。为了提取前景和背景，使用边缘保留的背景分离和前景提取（EPBSFE）技术（Hoelman等人，2011年）推出。为了提取关键部分，利用基于最小角度偏差（MAD）的特征提取技术。选择特定特征通过采用基于布谷鸟搜索的粒子群优化（CS-PSO）技术（Farag等人，2016;Khadhraoui等人，2016; Mlakar等人，2017），这也降低了特征维度。为了选择特征集，提出了一种基于权重的指向核分类（WBPKC）技术。1.3. 组织论文的其余部分组织如下：第2回顾了用于情感预测和识别的现有技术和方法第3提出了基于各种图像处理技术的新框架，用于准确的情感预测。第4根据不同的性能指标评估了现有技术和拟议技术的最后，本文的结论和增强，将在未来实施的第5讨论。2. 相关作品在这一部分中，现有的技术和用于视频处理的算法进行了调查，其优点和缺点。2.1. 过滤形态平均（MM）滤波器（Lin等人， 2016）是基于图像恢复的高密度脉冲噪声检测方法。本工作包括无噪声像素计数器（NPC）和形态学像素膨胀（MPD）两个模块，第一个模块通过检测输入图像的像素点来获取无噪声像素点的位置和数量。然后，在第二模块中，根据噪声的密度进行膨胀运算，恢复出受损图像。这些模块被迭代地执行，直到获得目标。然而，MM技术有以下缺点：它消耗更多的执行时间，并要求提高恢复图像的质量。双调滤波器（Treece，2016）被建议用于有效的噪声去除，包括非线性形态和线性算子。该技术在其他区域的噪声消除期间不会产生任何额外的噪声为了评价该方法的性能，将其与高斯线性滤波、均 值 中 值 滤 波、 图像 引 导 滤 波 、 各 向 异 性 扩 散 、 非 局 部均 值（NLM）滤波、开闭-开闭（OCCO）滤波、自对偶颗粒滤波等根据分析，观察到双调滤波技术在信号方面提供了有效的结果，信噪比（SNR）和结构相似度（SSIM）比其他技术进行了比较。2.2. 前景和背景分离一种新的分割算法（Wei等人，2015）被建议用于从视频序列中分离前景和背景区域。本文的主要目的是准确地识别运动物体。在背景提取过程中，采用了高斯混合模型（GMM）、改进GMM和自适应GMM技术.在前景提取过程中，进行了背景梯度差分、邻域平滑、形态学处理、单帧内滤波和帧间滤波。从论文中可以推断，建议的分割技术具有有效地去除噪声的能力，并以准确的方式提取不同类型的视频的前景信息。然而，它在分割过程中增加了时间复杂度，这是本文的主要局限性。增强的GMM（Nurhadiyatna等人， 2013）与孔洞填充算法（HFA）集成，用于从给定的视频序列中减去背景。该方法利用中值滤波和HFA的原理对GMM的结果进行改进。本文的局限性在于非参数GMM-HFA算法需要根据视频数据确定半径参数2.3. 特征提取与选择一种新的框架（Khan等人，2013）被引入用于以增加的准确度识别面部表情。本文的主要目标是提高时间和存储效率。该方法包括以下几个阶段：预处理、特征提取和分类。在预处理阶段，通过裁剪背景对人脸进行归一化处理。然后，局部二进制模式（LBP）和韦伯局部描述符（WLD）模式提取技术（Chao等人，2015）对整幅人脸图像进行特征提取，并在锯齿扫描后得到最重要的特征。最后，进行分类，以检测基于所选择的特征的人脸表情。本文的主要缺点是增加了计算复杂度和误分类率。自组织映射（Majumder等人，2014）被建议用于基于几何面部特征的情感识别。 这项工作的主要目的是开发一种自动检测面部表情的方法。此外，Paul Viola和Michael Jones的人脸检测技术被用来提取人脸区域。多重深度网络学习（Yu和Zhang，2015）用于从给定的视频序列中检测面部表情。这里，执行预处理以通过应用变换来去除不相关的噪声。在本文中，网络结构包括三个随机池层和三个全连接层。从论文中可以看出，所提出的模型在面部表情识别（FER）数据集上的准确率达到了45%。引入了一种递归神经网络（RNN）来识别视频序列中的情绪（Ebrahimi Kahou，2015）。在这里，卷积神经网络（CNN）主要用于从视频识别的输入中检测面部特征。开发了一种递归神经网络（RNN），用于基于多模态维度识别情感（Chen和Jin，2015）。在这里，基于域模态、损失函数、特征持续时间和长短期记忆（LSTM）的多任务学习和方向来提高预测性能。此外，唤醒维度的预测是基于1322L.B. Krithika，G.G.Lakshmi Priya/沙特国王大学学报音频特征更适合于价维预测。2.4. 情绪预测与分类机器学习算法的使用（Ringeval等人， 2015）建议根据不同评分者提供的评分来预测情绪。为此，本文利用了一个完全自然主义的多模态数据库，即远程协作和情感交互（RECOLA）在这里，多模态融合是在两个层次上进行的，如，特征和决策。本文的主要目的是通过减少提供给机器学习算法的数据量来增加情感预测的相关性。中级特征（Sanchez-Mendoza等人， 2015）被用于以自动方式识别情绪。在这里，行动单位的直方图被用来分类一组特定的积极和消极的态度。此外，几何和外观描述符都被用来训练情感分类器。然后，在情感分类层进行两个源的融合。 动态情绪预测任务（Dzafic等人，2016年）是通过创建一个新的功能性磁共振成像（FMRI）范式设计的。在这里，视听视频被认为是预测的情感信息与先验信息。本文的局限性是，这种方法只能适用于男性人群的结果集成深度学习模型（Yin et al.，2017）被建议用于情感识别。本文提 出 了 一 种 基 于 多 融 合 层 的 层 叠 式 自 动 编 码 器 的 混 合 分 类 器（MESAE），用于基于生理数据驱动的情感预测。此外，结构学习和融合方法的可靠性进行了验证，相对于不同大小的可用的生理实例。这种方法的缺点是，它需要增加时间和内存消耗。一种新的情感识别算法（Katsimerou等人， 2015）被开发用于预测已知序列的情绪。本文进行了两次分析，首先进行情绪估计，然后在第二次分析中进行此外，本文还将情绪类型分为：包括高兴和渴望在内的正效价高唤醒和包括忧虑和烦恼在内的负正效价低唤醒包括安静和平和，负效价低唤醒包括不快乐和严肃。本文的主要缺点是，当应用机器识别的情感序列时，需要证明所建议的模型的准确性。动态回归模型（Elaiwat等人，2016）被开发用于识别视频序列中的面部表情。 本文的主要目标是描述主题特定的面部特征运动的各种表情，并开发一个显着的纵向面部表情的基础上稀疏组明智的注册方法。该方法的缺点是没有利用包含相关系数和局部互信息的复杂图像匹配度量来保证对光照变化的鲁棒性。建议使用深度卷积神经网络（DCNN）来识别情绪（Kahou等人，2013）在给定的视频序列中。在这里，使用额外的静态帧训练数据集来提高验证集的性能。从报纸上看，观察到，该研究提出了没有任何组合的简单平均模型，其导致增加的百分比。一种新的基于图像的表示（Yang和Bhanu，2012）被引入用于情感化身图像（EAI），检测面部表情。该工作包括以下几个阶段：人脸检测、视频帧的人脸配准、特征计算和特征分类。本工作的主要目的是建立一个新的模型，即化身模型，用于识别离散的面部表情。提 出 了 一 种 基 于 规 则 的 决 策 模 型 （ Patwardhan 和 Knapp ，2016），用于从视频序列中识别情感。本文利用红外传感器实现了一个多模态情感系统。利用人脸识别应用编程接口（API）进行人脸特征提取.这项工作的局限性在于，在识别情绪的过程中准确度降低多核学习方法（Li等人，2015）被引入用于从给定视频序列识别情感。本文综合了多模态和混合特征的方法对情感进行准确分类。此外，利用多核学习来融合来自各个通道的学习和工程特征。此外，基于支持向量机（SVM）的分类是用来采取情感识别的决定。提出了一种用于基于视频的情感识别的深度迁移学习分类技术该工作包括以下几个阶段：预处理、图像净化、特征提取、视频建模和分类。在这里，主成分分析（PCA）被用来消除错误的检测。然后，卷积神经网络（CNN）被用来提取的特征与灵活的注册和微调。在加权评分等级融合的基础上，融合了音频和视觉特征。此外，基于帧级特征，采用Fisher矢量编码模型提高学习器的多样性。从该论文中观察到，CNN （Kaya et al. ，2017; Baltrusaitis 等人，2016年）需要大量的数据来避免过度拟合。从调查中可以看出，现有的算法和技术各有优缺点，但主要存在以下局限性：计算时间和误分类结果增加，准确率降低，效率不高，鲁棒性降低。为了克服这些缺点，本文旨在开发一种新的识别系统，用于检测给定视频序列中的面部表情，该系统具有以下步骤：1. 预处理--采用2. 背景分离和前景提取3. 特征提取4. 特征选择：为了从图像中选择最佳特征，采用基于布谷鸟搜索的粒子群优化算法（CS-PSO）。5. 分类3. 该方法本节给出了所提出的用于基于视频的情感预测系统的基于最小角度特征的神经网络的情感预测（MAFONN-EP）的详细描述。这项工作的主要目的是建立一个新的框架克服现有工程的缺点。所提出的工作包括以下几个阶段：视频帧分割，L.B. Krithika，G.G.Lakshmi Priya/沙特国王大学学报1323预处理、背景和前景分离、关键点提取、特征提取、特征选择和分类。首先，输入的视频序列被分割成帧，这是预处理，通过应用加权中值滤波（WMF）技术。然后，通过应用边缘保持的背景分离和前景提取（EPBSFE）技术来提取背景和前景区域。接着，通过使用基于最小角度偏差（MAD）的特征提取技术来提取面部关键部分。最后，使用基于布谷鸟搜索的粒子群优化算法（CS-PSO）和基于权重的指向核分类（WBPKC）技术来选择特征集，以分类情感。所提出的MAFONN-EP系统的总体流程如图1所示，其详细描述在以下章节中提供：3.1. 预处理预处理是初始阶段，主要用于边缘保留和噪声消除。通常，人脸只占图像的一小部分，为了提取这部分，必须对其进行预处理。在这项工作中，WMF技术是用于平滑图像通过消除噪声。主要目的该技术的一个重要目标是得到大小、形状和归一化强度值一致的图像序列。将视频分割成帧后，使用拉普拉斯模型锐化边缘，如下所示：Ix;yJx;ymhD2Jx;yi1其中，J（x，y）表示原始输入图像，I（x，y）被定义为锐化图像，并且对于滤波器掩码值，m为-1。滤波器掩码函数估计如下：D2J¼@2 J=@ x2@2 J=@ y22原始图像和应用WMF技术后的预处理结果如图2（a）和（b）所示。3.2. 背景分离和前景提取前景包括包含运动边缘的区域和前后景区域的光照变化等统计信息。在边缘检测后，前地由比背景更多的边缘线组成，这有助于容易地对背景场景进行分类。然后，对所有检测到的边缘估计基于边缘的梯度，其中梯度的缓慢变化表示背景区域，梯度的巨大变化表示前景像素。在预处理之后，背景分离和前景提取是必要的，其中新图像从背景中减去并且前景对象保持单独。背景提取后-图二. (a)原始图像（b）预处理图像。Fig. 1. 拟议系统的流程。1324L.B. Krithika，G.G.Lakshmi Priya/沙特国王大学学报×PnÞ ω×P图三. 背景抑制图像。这样就形成了前阈值背景，并能检测出前景目标。然而，检测到的目标很容易被破坏。也可能有一些误判的目标。分离出帧的背景区域，这将有助于从帧中提取人脸部分。为了实现这一点，边缘保持背景分离和前景提取（EPBSFE）技术用于通过检测边缘来分离背景和前景对象，如图1所示。3.第三章。3.3. 特征提取特征提取主要集中在提取最适合于表征人脸特征的特征。它将图像像素转换为颜色、纹理、形状、运动和空间配置的更高级别的表示。在这项工作中，八个不同的方向被认为是最小的不同的角度和像素块的值从所有的邻居被减去。因此，特征提取方法被命名为最小角偏差为基础。提取了眼睛、鼻子和嘴巴等四个关键部位来识别面部表情。在这里，viola jones算法被实现来提取人脸的差分关键部分。它是鲁棒性和快速的方法，广泛应用于许多人脸检测appli-阳离子。这里，提取haar类特征用于从图像中检测面部。该框架具有提高检测率、速度和准确率的优点。为了提取关键部位的特征，提出了一种最优MAD技术，该技术将输入作为包括左眼（Fc1）、右眼（Fc2）、鼻子（Fc3）和嘴巴（Fc4）的连接的面部关键部位。这里，n是关键部分的数量，矩阵初始化为5× 5。基于行大小和列大小来估计所提取的关键部分（F_cn）上的窗口的大小。在估计中值之后，包括0°、45°、90°、135°和180°的图像的不同角度被考虑用于模式提取。然后，计算每个关键部分的上部和下部。基于该值，估计直方图特征。最后结合各关键部位的直方图提取模式向量。通过使用MAD从背景分离的图像中提取关键部分，如图4所示。在该阶段中，对于每个关键部分，针对上点和下点提取256个特征。因此，总共有2048个特征提取在这一阶段使用MAD算法。该技术基于关键部分提取最相关的特征，并以纹理模式的形式产生这些特征。提出了一种新的特征提取算法（算法I），该算法根据视觉内容与图案方向的相异性变化来提取特征。然而，图案是面部特征的关键部分。算法I（基于最小角偏差的特征提取）。输入：左眼（Fc1）、右眼（ Fc2）、鼻子（Fc 3）、嘴巴（Fc4）等面部关键部位;输出：关键部位的纹理图案;设n为关键部位的数量第一步：初始化窗口矩阵; //眼睛、鼻子、嘴巴的关键部位为位于5 × 5矩阵内，因此在该过程中使用该窗口大小;步骤2：在提取的关键部分（Fcn）上保护窗口;步骤3：[p，q]=（Fcn）的大小//其中，p表示行大小，q表示列大小;对于i=3 to（p）步骤4：t=Fcn（i步骤5：ts=median（median（t））;步骤6：设t k= 2;//考虑图像像素中的不同角度，如0°，45°，90°，135°和180°;这里，如果将2的值分配给t k，则F cn索引的值将在Abs中为0或-1。步骤7：对于每个角度（计算相邻像素之间的绝对差）//对于0°情况，如果：j =abs_im_i;j=2_im_i;j= 1_>abs_im_i;j= 1_i;j=1__;温度2℃i;j= 1℃ ¼ 0;elseifabsimi;j2-imi;j1<绝对值=1;jelseifabsimi;j2-imi;j1<绝对值=1;j=1;else temp%0;温度2℃i;j=1℃ ¼ 0;步骤8：Lp（i，j）=lpt i;j 2步骤9：Up（i，j）=upt <$i;j<$ω 2 n//其中，n表示特征部件号。第10步：直方图拟合H1，H2H1={Hist（Lp）}H2={Hist（Up）}步骤11：H =H1+ H2;步骤12：图案向量Pv;PV=fH眼;H眼，H鼻;H口g;3.4. 特征选择特征选择是降维的一种特殊形式，主要用于精确描述大集合在这项工作中，布谷鸟搜索（CS）的PSO技术用于选择最佳的人脸识别功能CS是一种全局搜索算法，主要用于寻找最优解，其适应度的好坏取决于目标函数的值在该算法中，每个粒子都存储其它是用来解决最优化问题的。L.B. Krithika，G.G.Lakshmi Priya/沙特国王大学学报13251/4 f···gy¼1PÞðÞ ¼ðÞ..Σω其他0P见图4。 提取关键部件。通过识别线索为搜索提供指导，解决了信息化问题。它也可用于解决基于多目标优化的非线性问题。它的工作原理是：通常，每只杜鹃产下一个蛋，然后把它扔到随机选择的巢里。然后，选择具有高质量蛋的巢用于下一代。根据概率分布，宿主可以发现一个外来蛋;在这种情况下，宿主鸟可以在新的位置建立一个新的巢粒子群算法是一种有吸引力的特征选择算法，它可以在子集空间中发现最佳特征。与传统的遗传算法相比，粒子群优化算法不需要任何复杂的交叉、变异等操作此外，它是计算成本低，只使用简单和原始的数学运算符。布谷鸟搜索算法随机选取特征进行分析，粒子群算法通过比较每个粒子与邻域粒子的大小来选取CS算法的优点是收敛速度快由于CS和PSO的这些优点，两者都被集成在这项工作中，以获得更好的特征选择过程，并提供了有效的结果。算法Ⅱ以前一阶段提取的纹理模式然后，基于训练集图像的数量来估计图案集Cu。因此，适应度值初始化为0，半径值初始化为0。适应度值是基于集合图案和颗粒的大小。本文将关键零件视为模式，并采用基于最小角偏差（MAD）的特征提取算法将其转换为特征，如算法I所示。在计算布谷鸟坐标后，并根据最佳选定粒子和半径更新其半径。此外，还选择簇头，并相对于最小值和最大值估计突变值。如果平均值大于0，则使用平均值更新半径值。最后根据适应度值的大小选择特征集。使用CS-PSO技术，从前一阶段获得的2048个特征中选择的特征总数减少到60个。该技术选择用于准确识别情感的最合适的特征。本文提出了一种新的基于权值的指向核分类算法（Algo- rithm II），该算法基于优化的不相似性变化对情感进行分类。更新后的权重用于计算核矩阵。算法II（用于特征选择的）。输入：提取的纹理模式（P_V）;输出：选择的特征索引（S_idx）;考虑x = 1;第一步：初始化布谷鸟的数量;第二步：初始化适应度值;步骤3：初始化布谷鸟颗粒为，CuPV1;PV2;PV3PVn//其中，Cu是模式的集合，n是用于提取特征的训练集图像的数量;在该步骤中，对于所有关键部分特征，初始化布谷鸟粒子，但是通常只考虑单个粒子。步骤4：初始化Fit = 0和rad = 1//其中，Fit表示适应度值，rad表示半径值;第5步：根据以下公式计算适应度值：Fit¼½Cux;m×n]式中，m¼rad=DCuyωD-1ω1，D为颗粒尺寸;步骤6：令，n^pCuy=m-1//其中，y表示初始步骤7：计算的布谷鸟坐标如下：a;b Cu Fit;步骤8：最佳聚类点是，Bsc p=。如果你是一个步骤9：半径更新如下：步骤10：更新布谷鸟粒子：对于i = 1：G//其中，G表示迭代; If（Fiti-1>Fiti）步骤11：簇头选择公式化;C头=Cu_idx;其中，idx=如果0>Cue-uD 1其他0Cui¼i-1= CuG- 1;其中，e-uD定义了用于估计簇头位置的基于粒子大小的参数;第12步：群集阶段：IfCu i> Cu Fit步骤13：拟合群= [Cu（1），（m*n）]结束，如果;步骤14：如果平均值（拟合群）大于0，则更新半径，因为rad = rad +平均值（拟合群）如果;结束;第15步：Lev=其中，Lev表示基于G次迭代获得的适应度的平均值计算的值。步骤16：Sidx¼idx拟合>Lev拟合3.5. 分类在选取特征后，提出了一种新的基于权重的指向建议的分类技术是基于传统的神经网络（NN）分类技术的功能。因此，它被称为点;1326L.B. Krithika，G.G.Lakshmi Priya/沙特国王大学学报·ð Þ·ð Þ¼¼¼Þ ð基于最小角度特征的神经网络情感预测（MAFONN-EP）。在该算法III中，在前向传播期间随机选择一组权重该分类器计算用于识别情感的权重值。此外，测量输出的边缘误差，通过调整整个训练特征的权重来减小该误差。该分类技术包括输入层、隐藏层和输出层三个层次。输入层采用结束;步骤14：if（Trfeat>CTfeat）Label=L（a^v）;//如果特定部分的训练特征CTfeat，L（αv）的值被认为是预测标签;End if端输入要素和输出图层可以生成结果，分类标签在隐藏层中，基于从输入层获得的输入特征来执行分类处理。在这里，选择的最佳训练特征、训练标签并且给出测试特征作为用于分类的输入。然后，从所选择的索引中估计训练特征的最小值和最大值。因此，所获得的特征被划分的基础上的标签的数量和规则的生成，通过考虑最小值和最大值的训练特征。之后，相对于训练和测试特征的大小计算权重值。此外，生成核函数，并为每个训练特征添加核函数值和权重。最后，通过使用分类标签的识别估计。在这里，通过分析基于提取的特征的面部的嘴部和眉毛的变化来识别诸如愤怒、厌恶、恐惧、悲伤、快乐的情绪。该算法通过有效地计算核函数，实现了情感的准确分类。算法III（基于权重的指向核分类）。4. 性能分析本节介绍了所提出的系统的性能评估结果，包括敏感性、特异性、准确性、精确性、召回率和平均识别率等各种指标。该方法在MMI数据集（MMI面部表情数据库，2016）上进行了评估，该数据集包含2900个视频，具有75个主题的高分辨率图像，具有不同人的面部表情。该数据集主要用于解决自动人类行为分析问题。它是评价面部表情识别算法的基础从MMI数据库中选取了33名被试的175个包含情绪的面部表情所选择的条件是这样的，每个序列可以被标记为五种情绪之一：愤怒，厌恶，恐惧，悲伤，快乐。此外，还证明了所通过与传统的面部情感识别技术进行比较输入：所选的最佳训练特征PV（Sidx），训练标签Tr标签，测试特征输出：分类标签为输出Anger- 1;厌恶恐惧Sad快乐步骤1：初始化标签数量为n。步骤2：Tr_feat=P_V（S_idx）;步骤4：Mx_Val= Max（Tr_feat）;步骤5：Mn_Val=平均值（Tr_feat）;步骤6：根据标注尼克。现有技术（Guo等人，2012; Guo等人，2016）是动态面部表情识别（DFER）、纵向面部表情识别（LFEA）、使用局部二值模式的动态纹理识别（DTR-LBP）、间隔时间贝叶斯网络（ITBN）、隐马尔可夫模型（HMM）和基于特征的面部标志检测（FBDFL）。4.1. 整体绩效评价灵敏度和特异度是主要用于评估分类性能的统计度量，其中灵敏度被定义为被分类器正确识别的测试的能力。灵敏度和特异性计算如下：L = 1 >1=n > N;//对于不同的图像，情绪可以有所不同，具有一定的特征。然后，对提取的特征进行训练，并基于情感分配标签。此外，估计规则并更新权重值，该权重值预测灵敏度TPTPFFN专属性TN公司简介ð1Þð2Þ标签与测试功能有关步骤7：生成用于训练特征的规则Rl^Trfeat^Mxval-Mnval^ωL;步骤8：令Cl = Trfeat;对于v = 1至Cl第9步：qv¼Trfeat-1Tsfeatv其中，TP表示真阳性，TN表示真阴性，FP表示假阳性，FN表示假阴性。根据这些度量，可以计算识别系统的准确性。它说明了所提出的技术可以如何准确地识别情绪。其计算方法如下：第10步计算权重：wt = 1/P*（TrfeatCl =尺寸TrfeatCl）精度TNTPTNTPFNFPð3ÞStep11：生成KePrnel函数CTa^·vPNi e壮举吉尔夫河壮举吉夫茨-1CT2R2壮举俄罗斯联邦精密度公司简介ð4Þ1/1步骤12：Kr=Rl-1（n（v））* wt;步骤13：对于每个训练特征e = 1：size（L）CTfeat（e）=Kre +qe+ wt;现有的情感识别方法（Guo等人，2012;Guo等人，2016年），即动态面部表情识别（DFER）和纵向面部表情识别（LFEA）已被考虑与所提出的方法进行比较。两者中我...TPL.B. Krithika，G.G.Lakshmi Priya/沙特国王大学学报1327表1在MMI数据库上得到混淆矩阵。愤怒厌恶恐惧伤心快乐愤怒96.300.601.3厌恶0.598.300.40.9恐惧0.5094.40.40.5伤心01.40.698.80.5快乐1.60.33.60.296.7表2现有拟议识别系统的总体性能LFEA DFER建议的措施灵敏度/召回94.0796.5097.33特异性98.4599.1099.32精度94.0696.4897.35精度94.0696.4897.33现有的方法，每个图像序列标记有六种情绪：愤怒，厌恶，恐惧，悲伤，高兴和惊讶。为了研究更好的平均情绪识别率，仅使用五种情绪，即愤怒、厌恶、恐惧、悲伤、快乐用于比较目的。所提出的方法的混淆矩阵超过10倍交叉验证方法是通过五种情绪列于表1。表2示出了现有DFER和LFEA以及所提出的情感识别系统的总体性能从评估，它被观察到，所提出的技术提供了更好的性能结果。在此分析中，灵敏度提高到97.33%，特异性提高到99.32%，准确性提高到97.33%。所提出的工作使用Matlab R2015 a版本实现，系统配置为Intel Core i5- 4200 U，RAM 8 GB，速度为2.5 GHz处理器。4.2. 平均识别率图5示出了现有的和提出的面部情感识别技术的平均识别率。 与现有方法相比，MAFONN-EP的识别率提高了97%以上，并对人脸的关键部位分别进行特征提取，有效地检测了人脸的情感。识别率提高到97%以上。改善的主要原因是，所提出的技术通过有效地保留显著信息，图五. 现有和拟议技术的识别率。对表达方式进行科学的辨析。此外，它抑制了面部形状的变化，以实现准确的识别。此外，在图6中示出了针对现有技术和所提出的技术两者的变化的情绪来计算识别率。从结果中可以看出，与其他现有技术相比，所提出的MAFONN-EP提供了比“恐惧”和“快乐”情绪更高的识别率。此外，现有的DFER、LFEA和提出的MAFONN-EP技术的识别率分别相对于情绪愤怒、厌恶、恐惧、悲伤、快乐进行计算，10倍交叉验证如图7所示。当使用5次折叠作为测试集和5次折叠作为训练集时，所提出的分类方法达到了90%以上的识别率。从评估中，可以看出，所提出的MAFONN-EP技术提供了一个改进的识别率相比，其他现有的技术。4.3. CS、PSO与MAFONN-EP算法的比较分析本节描述了CS、PSO和提议的MAFONN-EP的比较分析表3显示了现有CS，PSO，RNN和拟议MAFONN-EP的准确性结果。根据使用所提出的方法获得的结果，与其他算法相比，表4显示了现有CS、PSO、RNN和提出的MAFONN-EP的灵敏度结果。根据使用所提出的方法获得的结果，与其他算法相比，“恐惧”情绪提供了最高值，“愤怒”提供了最低值。表5显示了现有CS、PSO、RNN和拟定MAFONN-EP的特异性结果。根据使用所提出的方法获得的结果，见图6。 对不同情绪的识别率。1328L.B. Krithika，G.G.Lakshmi Priya/沙特国王大学学报见图7。 整体认可率。表3精度精度CSPSORNNMAFONN-EP愤怒85.8185.8187.8390.5厌恶75.3775.6784.4585.13恐惧85.8190.5470.9493.24伤心68.2470.9464.1890.18快乐68.9170.947584.81表4灵敏度灵敏度CS PSO RNN MAFONN-EP愤怒29. 41 18. 18 25 62. 8厌恶24 18.51 33.33 65恐惧61.53 69.23 19.37 76.92悲伤27.02 30 27.58 75.33表6精度精度CSPSORNNMAFONN-EP愤怒35.7121.4214.2870.14厌恶31.5726.0521.0567.36恐惧41.36752583.33伤心33.333036.6682快乐41.0235.8925.0775.10表7记得了召回CS PSO RNNMAFONN-EP愤怒29. 41 18. 18 25 70厌恶25 20 33.3 66.8恐惧61.53 69.23 19.375 80悲伤27.02 30 27.58 78快乐40 43.78 56.25 82.13快乐40 43.75 56.25 70.12表5的特异性特异性CSPSORNNMAFONN-EP愤怒90.9890.8391.399.35厌恶89.4387.488.3799.43恐惧88.1587.181.999.58伤心80.8381.2581.5199.29快乐76.5372.876.1298.64提出的方法和最小的结果在表6显示了现有CS、PSO、RNN和拟议MAFONN-EP的精度结果根据使用提出的方法获得的结果，与其他算法相比，表7显示了现有CS、PSO、RNN和提出的MAFONN-EP的召回结果。根据所获得的结果，表8现有和拟议技术的总体结果。整体CSPSORNNMAFONN-EP精度77.7080.1875.9097.33灵敏度34.802239.303199.32特异性86.3187.8985.3797.35精度32.4839.3426.8397.33召回34.802239.3030.5697.33表8显示了现有和拟定技术的总体结果。与其他现有的CS，PSO和RNN技术相比，建议的MAFONN-EP提供了更好的结果5. 结论和今后的工作本文提出了一种新的MAFONN-EP技术，用于从给定的视频序列中提取情感。这里，WMF技术用于预处理图像帧，并且EPBSFE技术用于分离背景和前景区域。然后，利用MAD和CS-PSO算法提取人脸关键部位的纹理模式L.B. Krithika，G.G.Lakshmi Priya/沙特国王大学学报1329使用优化算法从提取的模式中选择最优特征。最后，WBPKC分类器产生分类标签与识别的情感。本文的主要优点是，它利用不同的和有效的图像处理技术的面部表情识别。在实验过程中，各种性能指标，如灵敏度，特异性，准确性，精度，召回率和识别率用于评估所提出的系统。通过与其他人脸表情识别技术的比较，证明了该方法的优越性。从结果来看，很明显，与现有技术相比，MAFONN-EP技术提供了更好的结果在未来，这项工作可以通过实施高效和准确的特征提取和优化技术来提高准确度。此外，它可以实现一个实时的面向应用程序的场景。引用Azeem，A.，Sharif，M.，Raza，M.，Murtaza，M.，2014. 部分遮挡条件下的人脸识别技术综述。Int. 阿拉伯河 INF. Technol. 11（1），1-10.Baltrusaitis，T.，罗宾逊，P.，Moozen，L.P.，2016. Openface：一个开源的面部行为分析工具包。在计算机视觉应用（WACV）中，2016年IEEE冬季会议（pp. 1-10）。美国电气与电子工程师协会。DOI：10.1109/WACV.2016.7477553。博德里，O.，Roy-Charland，A.，Perron，M.，科帕内岛，塔普河，2014.情绪面部表情识别的图形加工。CognitionEmotion28（3），416-432.https://doi.org/10.1080/17521742.2010.571963网站。Bobkowska，K.，Przyborski，M.，Skorupka，D.，2018年情感表达--需要对表达形成现象进行完整的分析。见：E3S会议网（第26卷，第00013页）。电子数据处理科学。https://doi.org/10.1051/e3sconf/20182600013。Blazek ， M. ， Kazmierczak ， M. ， Janowski ， A. ， Mokwa ， K. ， Przyborski ， M. ，Szulwic，J.，2014年。关于跟踪面部表情问题的非