基于睑裂的情感分类技术研究：中性和恐惧情绪分类模型的有效性

沙特国王大学学报一种基于睑裂的Rawinan Praditsangthong，Bhattarasiri Slakkham，Pattarasinee Bhattarakosol泰国朱拉隆功大学数学与计算机科学系阿提奇莱因福奥文章历史记录：2018年12月15日收到2019年4月30日修订2019年6月1日接受在线预订2019年关键词：睑裂区眼情感决策树分类A B S T R A C T人类的情绪，如微笑或大笑，可以通过面部以各种形式表达，只要有刺激。这些变化的面孔可以反映用于识别正常或异常行为的情绪状态。本研究的目的是研究人脸的模式，并确定感兴趣的区域（AOI），这被称为面部标志检测（FLD）。对眼睛的外部要素进行调查，它包括睑裂（IPF）、睑裂长度（PFL）和睑裂区域（PFR）。这些元素被应用于分类中性和恐惧情绪之间的情感差异。根据IPF、PFL和PFR的变化值设计了一种情感分类方法使用ID3算法对情感进行360张图片来自基于IMDb的恐怖惊悚谋杀电影。该数据集用于生成所提出的模式。该模式被用于使用决策树技术对情绪进行分类，该技术导致了情绪分类模型的开发。对中性情绪和恐惧情绪的分类准确率为92.50%，证明了该模型的有效性。©2019作者制作和主办：Elsevier B.V.代表沙特国王大学这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍人类情感的表达包括积极情感和消极情感，如快乐、悲伤、骄傲 、愤 怒和 恐惧 。 此外 ，大 多数 心理 学家 （ Manssuer 等 人，2016;Eva 等 人 ， 2016;Trojano 等 人 ， 2012 年 ; 科 里 和Komogortsev，2011年）认为，人类的行为是由基本的情感定义的。通常，人可以通过他们的眼睛和各种动作（诸如凝视、注视、扫视、瞳孔位置、瞳孔放大或眨眼）来表达情绪这些行为可以用来对人类情感进行分类。 各种方法，诸如Haar级联、卷积神经网络（CNN）、角膜反射、投影函数或边缘分析（EA）（Soleymani等人，2016;Khan等人，2016; Almudhahka等人，2016），可以应用于检测和分类人类的情绪。此外，一些研究使用低成本高性能相机来检测眼球运动-*通讯作者。电 子 邮 件 地 址 ： rawinan. student.chula.ac.th （ R 。 Praditsangthong ） ，6072620623@student.chula.ac.th（B.Slakkham），pattarasinee. chula.ac.th（P.Bhattarakosol）。沙特国王大学负责同行审查制作和主办：Elsevier结果（Fuhl等人，2016; Polatsek和'' Eye，2013; Papernot等人，2016;Devahasdin Na Ayudhya和Srinark，2009;Lopez-Basterretxea等人，2015年）。然而，有一些限制。例如，当平板电脑的前置摄像头用于检测瞳孔扩张或瞳孔大小时，与平板电脑的距离仅为30 cm（Polatsek和Eye，2013; Huabiao等人， 2013; Patnik等人， 2017年）。眼睛的一个有趣区域是眼睑裂（PF），其是眼睑之间的椭圆形空间（Lu等人，2016年）。情绪变化会影响眼睑上缘和下缘之间的距离，称为睑间裂（IPF）。这些变化可以用来检测人类的情绪。图1显示了情绪流，其中每种情绪的原因都是重要的主题，因为没有原因就没有情绪。此外，积极的刺激会导致积极的情绪，而消极的刺激会导致消极的情绪。本研究的重点是利用眼睑裂的情感检测。本研究的目的是通过对睑裂区和睑裂区的研究，对中性情绪和恐惧情绪进行分析和分类。2. 相关工作人类情感是指在刺激的情况下立即表达情感（Izard，2013）。人类的情感https://doi.org/10.1016/j.jksuci.2019.06.0011319-1578/©2019作者。制作和主办：Elsevier B.V.代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comR. 普拉迪桑通 等人/ Journal of 沙特国王 大学 - 计算机 和 信息科学 33（2021）10301031Fig. 1. 情感的流动。人的表情有很多种，但大多数都反映在脸上，这就是面部表情。面部表情是指接受刺激的人的眉毛，眼睛，鼻子和嘴巴的变化。这表情总是伴随着某种行为，如自卫、无意识或尖叫。然而，在同样的情况下，不同的人会有不同的反应。因此，检测情绪不应该通过检测人类反应来执行，而是应该从面部检测情绪，因为这些动作的开始来自相同的问题。如上所述，应该使用面部表情来检测情绪，如图所示。 二、根据图 2.很明显，同一个人的眉毛、眼睛、鼻子和嘴巴的形状在不同的情况下是不同的。因此，（Izard，2013）指出，情绪的表达可以定义为两种形式：情绪状态和情绪特质。情绪状态是指在一定时间内的特定情绪，如快乐状态、愤怒状态或恐惧状态，这些状态可能持续数秒至数小时，视情况而定。就情绪特质而言，这些是指日常生活中情绪发生的频率趋势（例如，快乐特质，愤怒特质或恐惧特质）。此外，情绪状态可以分为两类：积极的图二. 不同情绪的面孔。情绪和负面情绪。积极情绪包括快乐、惊讶和自豪，而悲伤、焦虑、愤怒和恐惧可以被归类为消极情绪。此外，用于情绪解释的情绪状态的面部识别已被应用于生命科学领域的研究。例如，研究人员使用两个物种的面部表情比较了猿和人类的感受（Parr和Waller，2006）。由于面部有各种各样的物体，如眉毛、眼睛、鼻子和嘴巴，这些物体的变化可以用作通信信号，如疼痛、饥饿和恐惧。因此，许多研究者利用这些变化来研究情绪识别和检测。例如，已经在各种目标下研究了眼球运动（Ciesla和Koziol，2012; Schurgin等人，2014;Peng等人， 2005年）。 为了对情绪状态进行分类，需要执行一些过程，如图所示。3.第三章。2.1. 工艺-1Schurgin等人（2014）将人脸情感的检测此外，Schurgin等人（2014）的结果表明，眼睛是表达情感的最重要器官，正如“眼睛是灵魂的窗户”所反映的那样2.2. 工艺-2尽管已经实现了几种技术，但有两种机制因其准确性而在研究人员中广为人知。 这些机制是Hough变换机制（Huabiao 等人，2013）和Haar级联对象检测器（Asier 等人， 2015年）。利用Hough变换机制和Haar级联目标检测器检测瞳孔，以解释表情的含义Hough变换机制的主要概念是基于瞳孔的扩张应用线和点来区分瞳孔从正常状态到特定状态的变化这个实验是在每一种情绪上进行的：悲伤、愤怒、快乐、骄傲和恐惧。在Haar级联对象检测器机制中（Asier等人，2015），图像将被定义为矩阵的二维表。每个维度包含与位置相关的所有像素的总和然后，使用表中的值来标记瞳孔中的点，定义瞳孔中心的位置本实验在两种状态下进行：正常状态和特定状态。具体状态与Hough变换机制相同，包括扰动.结果表明，正常状态和各种特殊状态下的瞳孔大小并不相等。因此，Haar级联对象检测器机制可以应用于指示不同情况下的人的情绪。1032R. 普拉迪桑通 等人/日刊 沙特国王 大学 - 计算机 和 信息科学33（2021）1030图三.情感分类过程。2.3. 工艺-3下一步是使用所定义的技术对情感检测进行模式分类。流行的分类方法是支持向量机（SVM）、贝叶斯分类器和极限学习机（ELM）（Lu等人，2016;Ryu等人，2013; Peng等人，2005年）。图5示出了这些技术的结果。支持向量机（SVM）是一种机器学习，用于使用平面或超平面对线性模型中的数据组进行分类，以便找到最佳线性分类器模型。然而，所获得的数据总是以非线性形式而不是线性形式拟合;因此，使用核函数来解决这个问题。此函数根据数据的特征将其分为不同的组。使用组间距离对组间差异进行分类。另一方面，贝叶斯分类器也可以应用于基于其特征的概率将数据组织 成 各 种 组 。 一 些 研 究 （ Manssuer 等 人 ， 2016; Eva 等 人 ，2016;Schurgin等人，2014）使用这种技术来识别六种基本情绪的表达：愤怒，厌恶，恐惧，快乐，悲伤和惊讶。贝叶斯方法指的是类的作用，以预测类成员的特征值。贝叶斯分类器的学习构造特征的概率模型，并使用该模型来预测分类。见图4。 五个区域为人脸表情检测算法。另一种有趣的机器学习技术是极限学习机（ELM），其是单隐藏层前馈神经网络（SLFN）（Lu et al.，2016年）。ELM由输入层、隐藏层和输出层组成。在输入层中，数据随机加权，包括偏置值。这些加权值是通过计算Moore-Penrose逆矩阵输入层随机识别权重值，包括隐藏层的偏置值。因此，这种方法侧重于在数据输入系统之前适当准备数据。参考图5，在情感分类过程中，这些技术已经由各种研究人员实现在使用瞳孔直径、瞳孔位置、瞳孔大小、注视距离、注视、扫视、眨眼或眼球运动来分类情绪状态的研究中（Mathews，2003; Soleymani等人，2012; Liand Mao，2012）。一些研究测量最小和最大的瞳孔大小，一些测量个人眨眼的速度，还有一些测量凝视时间。然而，这些测量需要使用特定设备来执行，以便检测所需的值。不幸的是，这种特殊的设备非常昂贵，而且不便携。考虑眼动检测机制。该机制需要在眼睛跟踪设备可以找到注视顺序、注视计数、注视持续时间和扫描路径之前确定限定的感兴趣区域（AOI）（Lu等人，2016年）。一旦识别出感兴趣的区域，则执行称为面部标志检测（FLD）或定位的操作以找到其在面部上的准确位置。这个过程负责定位眉毛，眼睛中心，鼻子，上唇，下唇或嘴的中心（Feng，2015）。因此，可以实现自动面部标志检测过程，以便观察和监视情感表达。此外，如果需要瞳孔位置及其半径，则必须使用高分辨率和高清晰度相机（Ciesla和Koziol，2012）;这对用户来说增加了，并且资金有限的研究人员无法采用这种方法。如上所述，眼睛的特性可以被人们用来表达他们的感情。这些特征包括瞳孔直径、瞳孔位置、瞳孔大小、眨眼和眼球运动。这些特征的一个相似之处是，测量是在眼球内进行的，而现有的研究都没有使用眼圈来检测情绪。R. 普拉迪桑通 等人/ Journal of 沙特国王 大学 - 计算机 和 信息科学 33（2021）10301033图五. 分类.3. 材料和方法3.1. 问题陈述和解决方案为了提高患者的生活质量，必须在患者生命处于危险时立即提供患者监护系统。安装了一个不幸的是，报警按钮不能在所有情况下按下，例如瘫痪患者。因此，可以使用IP摄像机或闭路电视（CCTV）来捕获每个重要区域的事件，并且必须在控制室中使用监视器来观察这些区域。因此，该解决方案成本高，并且不适合于小型组织或医疗保健中心。因此，提出了仅使用摄像机和自动警报的解决方案。此外，该系统中实现的摄像机价格低廉，体积小，重量轻，分辨率适中。因此，它只适用于捕捉小而特定的区域，如眼睛、鼻子或嘴巴。因此，研究人员只使用人的眼睛作为焦点区域来识别关键情况，而不是整个面部或其他身体动作。如图6所示，所捕获的图像将作为流发送，以由个人计算机上的图像分类系统解释为正常或异常状态。如果定义的状态异常，报警系统将自动激活。根据图6，患者监护系统（PMS）由摄像头、计算机和报警系统组成。因此，该系统中的重要部分是必须安装在患者监测系统中的情绪分类模型。因此，本文提出了一种情绪分类模型（ECM），可以将患者的情绪分为中性或恐惧。因此由于PMS可以持续监测患者，将提高患者的生活质量，特别是瘫痪患者。3.2. 该方法眼睛是由内部元素和外部元素组成的。这些元素需要不同的设备来测量它们的变化。大多数研究人员都考虑了内部元素，如虹膜，瞳孔和晶状体。与其他研究者不同的是，本研究将重点放在眼外部元素的运动上，这些元素是睑裂（IPF）、睑裂长度（PFL）和睑裂区（PFR）。如上所述，本研究将集中于睑裂间（IPF）、睑裂长度（PFL）和睑裂区域（PFR），如图7（a）所示。从图7（a），上睑（PS）点和下睑（PI）点之间的垂直距离是IPF，而内眦（EN）和外眦（EX）之间的水平距离是PFL。此外，IPF和PFL被应用于计算用于识别情绪差异的PFR，并且PFR的公式在图7（b）中呈现。因此，本研究的目的是实现一个基于ID3决策树算法的中性情绪和恐惧情绪之间的分类系统，使用IPF和PFR。图8示出了所提出的方法的图。这种方法从从恐怖惊悚谋杀电影中选择图像开始。这些电影是从IMDb网站上收集的，并由专家和主要评论家进行排名。收集的电影必须有高排名，在高清晰度（HD），并有质量的演员/女演员。这些电影被认为表达了恐惧。因此，所有可怕的图像都可以从这些电影中捕捉到，1034R. 普拉迪桑通 等人/日刊 沙特国王 大学 - 计算机 和 信息科学33（2021）1030见图6。 申报患者监护系统（PMS）的基础设施。图7.第一次会议。外部因素和PFR计算。FFmpeg，这是一个多媒体框架和一个跨平台的解决方案，用于录制，转换和流式传输音频和视频。(See 图 9）。在捕捉到可怕的图像之后，这些图像被插入到开发的应用程序中以检测和提取响应的面部。该应用程序使用基于OS X 10.11 EI Capitan的Qt creator编辑器版本5和C++语言开发。此外，一个名为DLIB库的开源库被嵌入到Qt creator中。当我们考虑一个图像时，一个图像通常由一个正面人脸、背景和其他对象组成。在这些组件中，最重要的对象是正面，这将使用DLIB库捕获。然而，该捕获的面部的大小没有标准大小，或者是人脸的真实大小，其在（Poston，2000）中定义。因此，正面脸的大小被调整为真实大小，并且该调整大小的脸在脸上添加了68个面部标记点。因此，新的面部图像被归一化并调整为800x800像素。在用68个标记点标记面部后，定义了PI、PS、EX和EN点。然后，可以计算IPF和PFL。最后，根据PFR的值，可以识别中性或恐惧情绪。3.3. 数据收集和处理如前所述，所有图像都是从恐怖惊悚片中捕获的，正面脸是唯一的对象。被利用选择的电影数量为33。对于每部电影，只有两种状态可以从演员身上捕捉到：正常状态的脸和恐惧状态的脸。此外，在这项研究中，每部电影中使用了一个以上的演员，没有演员和女演员在多部电影中使用。因此，有60名年龄在18-52岁之间的演员被用作本实验的样本。对于每个演员，从电影中收集了三个具有中性情感的场景和三个具有恐惧情感的场景。因此，本实验中使用的图像总数为360。收集数据的时间为两个月。R. 普拉迪桑通 等人/ Journal of 沙特国王 大学 - 计算机 和 信息科学 33（2021）10301035见图8。应用程序示意图。3.4. 数据分析处理将360幅图像分为两个数据集：训练数据集和测试数据集。测试数据集用于分类和分析过程。训练数据集中的演员数量为40，而测试数据集中的演员数量为20。此外，所有的图像都进行了计算，以确定两种情绪之间的差异，使用IPF，PFL和PFR。在完成数据采集过程后，从数据库中检索来自训练数据集的240个图像，以确定IPF、PFL和PFR的平均值。在训练数据集中，40名演员中男 性占47.5% ， 女性 占52.5% ， 最高 年龄 段在 18 - 24 岁 之间 ，占32.5%。统计检验采用配对样本t检验，用于确定各指标中性情绪和恐惧情绪均值的差异。该检验使用95%置信水平或0.05显著性水平（a）。测试结果可总结如下。3.4.1. 平均IPF差异检验在中性和恐惧情绪下右眼IPF平均值之间存在显著差异，p-值=0.003 0.05 =a.与右眼相似，左眼在两种聚焦情绪下也具有显著的平均差异，p值= 0.001 ± 0.05 =a。此外，在中性情况下双眼的IPF值小于在恐惧情况下的IPF值。此外，男性平均IPF的变化高于女性平均IPF的变化。表1显示了样本中双眼的平均IPF和标准偏差。3.4.2. 平均PFL差异检验样本t检验的结果表明，只有右眼能反映恐惧情绪，因为右眼在中性情绪和恐惧情绪下的平均PFLs值有显著差异，p值= 0.046 ± 0.05 =a.表2中给出了平均PFL和标准差。3.4.3. 平均PFR差异检验平均PFR的测试结果与平均IPF获得的结果此外，中性状态下的平均PFR小于恐惧状态下的平均PFR此外，男性眼睛的变化大于女性。表3显示了平均PFR和标准差。表1平均IPF和标准差（mm）。性别右眼左眼中性恐惧中性恐惧男性8.83（1.22）10.45（1.24）8.76（1.24）10.50（1.33）女性10.21（0.99）11.35（1.05）上午10时30分（1.09）11.34（1.16）总平均9.5210.909.5310.92表2PFL平均值及标准差（mm）。总平均数30.39 30.70 30.98 30.27图9.第九条。性别、情绪、IPF、PFL和PFR之间的关系性别右眼左眼中性恐惧中性恐惧男性29.80（1.88）30.50（2.27）30.75（2.48）30.37（1.54）女性30.98（2.26）30.90（1.53）31.21（1.18）30.16（2.21）1036R. 普拉迪桑通 等人/日刊 沙特国王 大学 - 计算机 和 信息科学33（2021）1030×表3平均PFR和标准差（mm）。性别右眼左眼中性恐惧中性恐惧男性207.06251.39212.17250.80（33.79）（41.85）（37.95）（37.01）女性248.84276.12252.64269.68（33.12）（34.62）（30.47）（41.65）总平均227.95263.76232.41260.24根据三个简单的t检验，可以总结出恐惧状态下的眼睛比正常状态下的眼睛更大或更宽。此外，男性的眼睛通常比女性的眼睛在恐惧中变化更大。因此，可以说性别和情绪与IPF、PFL和PFR均值的变化有关。因此，当任何指标的平均值大于正常值时，该人可能处于恐惧状态。这三个参数之间的关系可以绘制为：图 五、3.4.4. 选择参数并创建模型3.4.4.1. 选择参数。根据上述结论，至少有三个重要的参数可以反映人类的情绪。这些参数是性别、IPF和PFR。然而，IPF和PFR可能与其他参数有关，例如年龄和眼侧。因此，为了获得精确的模型来确定情绪，应该考虑所有合理的参数。在这种情况下，要考虑的独立参数是性别、年龄、眼侧、IPF和PFR。该模型的依赖参数是情绪。表4列出了情绪模型中所有参数的可能值。此外，图10示出了可能的关系表4在这个实验中变量的值。自变量可能值性别男性，女性年龄范围18眼睛IPF-1;1PFL-1;1PFR-1;1因变量可能值情绪状态中性，恐惧见图10。 自变量和因变量之间的预期关系。在这些参数中，其中棕色虚线表示该因素对情绪的预期影响。此外，性别与情绪、年龄与情绪之间的关系可以通过计算它们之间的相关性来确定。下一步是确定年龄和情绪之间的关系。不幸的是，性别与情感之间没有联系，反之亦然。由于上述定义的每个自变量下的情绪分布不是正态的，因此使用95%置信水平应用非参数方法，Kendall秩相关系数检验。该检验还涉及自变量之间的相互作用的影响和单个变量的影响。试验结果表明，这些参数之间存在一定的关系，关系图如图所示。 十一岁根据图11中的关系图，只有两个与情绪直接相关的环节。IPF/PFR的变化与情绪的相关性是一个环节，情绪与性别、年龄交互作用的相关性是另一个环节。然而，在某些交互与性别、眼侧或年龄之间存在直接相关性。因此，它可以暗示性别与情绪、眼侧与情绪、年龄与情绪之间通过穿越存在着某种隐性的关联现有的相关性。因此，可以说每个独立的参数都与情绪有关。3.4.4.2. 正在创建模型。根据上一节的结论，所有参数均使用名为RapidMiner Studio 8.1版的数据科学软件工具进行编译。将参数的变化模式定制为通用模型，一个情感分类模型，变量之间具有多对一的关系，如等式2所示。（一）.情绪：性别;年龄;眼侧;IPF;PFR≥1分当量（1）是指由于情感分类模型是多对一的关系，并且情感模型的解决方案可以是中性的或可怕的，因此可以实现决策树来表达情感推导的所有可能路径。在这项研究中，ID3决策树算法被用来创建一个树状图或模型。因此，将数据集导入RapidMiner 7.4版，以根据目标属性的值创建情感表达的分类模型，这称为数据标记。由于有40个训练数据集，训练数据集的属性由右眼和左眼的平均IPF和PFR的计算结果组成。此外，ID3决策树算法的结构如图所示。 12个。4. 结果为了找到双眼的所有IPF和PFR的值，必须设置68个这个分类系统有三个步骤步骤1：图像图像输入系统后，其大小被调整为800 - 800像素，这是类似于真实的人脸。步骤2：68个面部特征点的检测正面面部图像导致使用DLIB库识别68个点这68个点用于定位面部标志。●●●●R. 普拉迪桑通 等人/ Journal of 沙特国王 大学 - 计算机 和 信息科学 33（2021）10301037见图11。 所有变量之间的关系。图12个。情感分类的ID3决策树算法1038R. 普拉迪桑通 等人/日刊 沙特国王 大学 - 计算机 和 信息科学33（2021）1030¼¼¼第三步：预测情绪IPF和PFR用于分类和预测中性情绪和恐惧情绪。测试数据集包含20个记录或120个子图像。该数据集被输入到可以表示为有向图的情感分类模型中，如图12所示。该分类过程的准确性取决于4个值：真阳性（TP）、真阴性（TN）、假阳性（FP）和假阴性（FN）。这些值用于查找精确度和召回率，如下所示。精密TPTP精密 FP召回TPTPFFN准确度TPTPTNFPFN根据测试结果，TP为17，FP为0，FN为3，TN为20。因此，精度值为100%，这意味着模型可以给出正确答案的概率为1。此外，Recall值为85%，这意味着使用模型时所呈现的解决方案正确的概率为0.85.最后，该模型的准确率为92.50%，这意味着该模型预测错误情绪的可能性很小。5. 讨论一旦人们面对刺激，他们的脸通常会改变以表达他们的情绪。这种变化可以在眉毛，眼睛，鼻子和嘴唇上看到。在这些组成部分中，眼睛是最有趣的特征，因为它可以清楚地表达情感。因此，一些研究人员已经将眼睛作为他们在诸如安全、电信和医疗保健等许多领域中的研究焦点（Trojano等人， 2012年）。眼 睛 的 解 剖 结 构 包 括 虹 膜 、 瞳 孔 、 晶 状 体 、 角 膜 和 视 网 膜（Doganay等人，2017年）。由于这些元素非常小，因此需要特定的工具。因此，使用这些分量的情感解释是非常昂贵的，并且由于不良的装备，捕获的图像可能不适用于所需的。然而，有一个特征比这五个元素更大，使用任何简单的相机都很容易检测到，但研究人员很少提到。这个元素被称为睑裂（PF）。这个PF不是眼睛解剖结构的一部分本研究将PF作为反映情绪的一个重要因素，因为PF可以用IPF和PFR来测量。IPF和PFR的变化，以及性别、年龄和眼侧，可以用来创建一个情绪分类模型，该模型可以反映中性或恐惧的情绪。该模型是基于95%置信水平下的相关性分析过程的结果创建的。此外，统计测试已经确定，在中性状态下的眼睛的大小小于在恐惧状态下的眼睛的大小。此外，男性在害怕时的PF比女性大虽然该模型可以区分中性和恐惧情绪，但它无法找到恐惧和愤怒之间的差异。这一发现是因为当人们发脾气时，他们的眼睛也会比正常情况下睁得更大，这与他们害怕时的情况相同。相比之下，这种情绪分类模型将能够根据PF的大小来识别快乐和悲伤，PF的大小将小于正常值。6. 结论本研究的目的是通过关注眼睛的外部因素来研究人类面部表情的模式。眼的外部要素包括睑裂、睑裂长度和睑裂区。IPF、PFL和PFR的变更使用RapidMiner Studio版本8.1进行编译。这些值用于使用决策树算法ID3对中性情绪和恐惧情绪之间的情绪差异进行分类。因此，模式的实验结果使我们开发了一个情感分类模型。情绪分类模型对中性情绪和恐惧情绪的分类准确率为92.50%。此外，这项研究由知识产权部出版和授予（Bhattarakosol等人， 2018年）。本研究未来的工作是寻找人脸上的其他特征，可以结合PF来明确定义人脸的情绪。这项工作将使这些方法能够应用于许多领域，以增加福祉，例如医疗和保健领域。竞争利益一个也没有。确认这项研究得到了日本朝日玻璃基金会的支持。引用Almudhahka，N.，尼克松，M.，Hare，J.， 2016. 基于比较软生物特征的人脸识别。IEEEInternational Conference on Identity，Security and Behavior Analysis（ISBA）国际身份、安全和行为分析会议。Asier，L.B.，Menuel-Zorrilla，A.，Garcia-Zapirain，B.，2015.眼动/头部追踪技术，改善iPad应用程序的人机交互。传感器15（2），2244-2264。Bhattarakosol，P，Praditsangthong，R.，Slakkham，B.，2018年2月15日。一个自动的病人面部辅助检测系统（APFADS）。知识分子部财产 TH专利1801000895。Ciesla，M.，Koziol，P.，2012年。使用网络摄像头的眼睛瞳孔位置 CoRR 1202，6517。科里，H.，Komogortsev，O.，2011.阅读中通过眼动扫描路径的生物特征识别。IEEEInternational Joint Conference on Biometrics（IJCB）. p. 1.一、Devahasdin Na Ayudhya，C.，Srinark，T.，2009.一种实时眨眼检测方法及其应用。第六届计算机科学与软件工程国际联合会议（JCSSE）Doganay，F.，Dadcai，Z.，Topcu-Yilmaz，P.，Doganay Aydin，H.，2017.眼优势与生理性睑裂不对称的关系。J. 偏侧性：身体和大脑认知的不对称。22，412-418。Eva，P.，Tobias，B.，Sylvain，D.，David，S.，2016年。 积极情绪刺激的注意偏向：一项元分析研究。心理学。Bull. 142，79-106.Feng，Zhen-Hua等，2015.使用动态加权的合成图像和真实图像的混合训练的用于鲁棒面部标志检测的级联协作回归。IEEE传输图像处理。24（11），3425-3440。Fuhl，W.，Santini，T.，Kasneci，G.，Kasneci，E.，2016. PupilNet：卷积神经网络，用于鲁棒的 瞳孔检测。Comput. 视觉模式识别 1602年Huabiao，Q.，王，X.，梁美，Yan，W.，2013.一种新的红外人眼图像瞳孔检测算法。IEEE International Conference on Signal Processing ， Communication andComputing（ICSPCC）p. 1.一、Indumathy，N.，Patil，K.，2014.使用传感器和云计算进行远程健康监测的医疗警报系统。《国际研究工程技术杂志》，第3卷，第 884-888页。伊扎德，卡罗尔E.，2013年。人类情感。 Springer Science &Business Media.Khan，S.A.，美国国家航空航天局侯赛因，A.，Usman，M.，2016.基于智能技术的真实人脸表情识别研究综述。Int. J. Light Elect.光学元件127，6195-6203。Li，Zheng，Mao，Xia，2012.基于日内瓦情绪轮的虚拟智能体情绪眼动生成。 J. 视觉语言Comput. 23（5），299-310。Lopez-Basterretxea，A.，Menuel-Zorrilla，A.，Garcia-Zapirain，B.，2015.眼动/头部追踪技术，改善iPad应用程序的人机交互。传感器15，2244- 2264。卢，B.，段，X. Yuan，Y.，2016.基于眼动信息的极限学习机的人脸表情识别。在：ELM-2015会议记录。p. 295.Manssuer，L.R.，帕灵河，海斯，A.，特里普，S.，2016.情绪在从目光注视中学习可信度中的作用：来自面部肌电图的证据。认知。Neurosci. 7，82-102.●●R. 普拉迪桑通 等人/ Journal of 沙特国王 大学 - 计算机 和 信息科学 33（2021）10301039马修斯，安德鲁等人，2003.恐惧的面孔：眼睛注视和情绪对视觉注意力的影响。视觉认知。10（7），823-835.Papernot ， N. ， McDaniel ， P. ， Jha ， S. ， Fredrikson ， M. ， Berkay Celik ， Z. ，Swami ， A. ， 2016 年 。 深 度 学 习 在 对 抗 环 境 中 的 局 限 性 。 IEEE EuropeanSymposium on Security and Privacy（欧洲安全与隐私研讨会）洛杉矶帕尔Waller，B.M.，2006.理解黑猩猩的面部表情：对交流进化的洞察。J.社会认知。感情。Neurosci. 1（3），221-228。Patnik，S.，莫哈卡尔湖，Chaudhari，A.，2017.深度RNN学习用于基于EEG的功能性大脑状态推断。国际计算机、通信和控制进展会议（ICAC3）。彭，P.，格林，医学学士，Ji，Q.，Wayman，J.，2015.自动眼睛检测及其验证。在：IEEE计算机协会计算机视觉和模式识别研讨会。p. 164.Polatsek，P.，2013.眨眼检测。In：IIT.SRC. p. 1.一、Poston，A.，2000.人类工程设计数据摘要。美国沃辛顿独立出版平台。Ryu，J.B.，Hyun，S.Y.，徐，Y.，2013.基于局部三值模式和支持向量机的实时眨眼检测。第八届宽带和无线计算、通信和应用国际会议（BWCCA）。p. 598.Schurgin，M.W.，Nelson，J.，Lida，S.，Ohira，H.，Chiao，Y.，Franconeri，S.L.，2014.人脸情绪识别过程中的眼动。J. 14 号幻象14号Soleymani，M.，Pantic，M.，Pun ，T.，2012.响应视频的多模态情感识别。IEEETrans.情感计算 3（2），211-223。Soleymani，M.，Asghari-Esfeden，S.，傅，Y.，Pantic，M.，2016.分析脑电信号和面部表情用于连续情感检测。IEEE Trans.情感计算。7，17-28。特罗哈诺湖Moretta，P.，Loreto，V.，Cozzolino，A.，桑托罗湖2012.意识障碍患者视觉行为的定量评估。J. Neurol. 259，1888-1895。进一步阅读Indumathy，N.，Patil，K.，2014.使用传感器和云计算进行远程健康监测的医疗警报系统。《国际研究工程技术杂志》，第3卷，第 884-888页。