可在www.sciencedirect.com在线获取理论计算机科学电子笔记343（2019）35-55www.elsevier.com/locate/entcs基于生理信号分析的情绪识别研究进展Egger Maria1，Ley Matthias1，Hanke StenAIT Austrian Institute of Technology GmbH，Vienna，Austria电子邮件：maria. ait.ac.at，matthias. ait.ac.at，sten. ait.ac.at摘要人机交互越来越多地用于智能家居、工业4.0和个人健康。人类和计算机之间的交流可以通过无意识的情感交流而受益。由于情绪对人类大脑的认知过程（如学习，记忆，感知和解决问题）有很大的影响，因此情绪互动有利于不同的应用。它还可以在现代医疗保健中，特别是在与患有压力或抑郁症的患者的互动中。此外，康复应用程序，指导患者通过他们的康复训练，同时适应患者的情绪状态，将是高度激励，并可能导致更快的恢复。根据应用领域的不同，用于情感识别的不同系统适合不同的目的。 这项工作的目的是概述情绪识别方法，并根据现有研究比较其适用性。这篇综述论文应该使从业者、研究人员和工程师能够找到最适合某些应用的系统。 一个完全非接触的方法是分析面部特征的帮助下，一个摄像机。当任务中包括具有集成相机的计算机、智能手机或平板电脑时，这很有用。 智能可穿戴设备提供与皮肤的接触，并且在动态任务期间也可以不引人注目地记录生理参数，例如皮肤电活动和心脏相关信号。除了单峰解决方案之外，还分析了多模态并行计算系统，因为它们保证了更高的分类精度。准确性取决于检测到的情绪数量、提取的特征、分类方法和数据库的质量。脑电图对四种情绪的准确率为88.86%，多模式测量（心电图，肌电图和生物信号）为79.3%。对于四种情绪状态，面部识别对七种情绪状态的识别率为89%，语音识别对快乐和悲伤的识别率为80.46%。展望未来，与心脏相关的参数可能是在智能可穿戴设备的帮助下准确和不显眼地测量情绪的一种选择。这可以用于动态或户外任务。另一方面，面部识别是一种有用的非接触式工具，当涉及到计算机交互过程中的情感识别时。关键词：情绪识别，面部识别，心率变异性，情绪智力，智能计算，最新技术，综述1介绍在向人类提供信息和通信技术（ICT）服务时，提供个性化和适应性解决方案越来越重要。因此，除了感知上下文的能力之外，理解用户情绪的能力也是感兴趣的。已经表明，人机交互1这些作者对这项工作https://doi.org/10.1016/j.entcs.2019.04.0091571-0661/© 2019由Elsevier B. V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。36M. Egger等人/理论计算机科学电子笔记343（2019）35在人与人的互动基础上遵循自然和社会原则Ekman[24]指出了阅读情绪的影响为了成功地进行有效计算，需要三个连续的过程：检测情绪，情绪行为生成（合成，适应和表达）和情绪诱导（图1）。Fig. 1.情绪回路理论包括情绪检测、情绪行为产生和情绪诱发。图片来自A。Paiva[60].因此，情感识别可以被认为是人机通信中至关重要的机器能力这篇评论的重点是情绪检测的技术程序及其在特定应用中的优势和局限性。研究表明，人类和计算机之间的通信受益于基于传感器的情感识别，因为当情感缺失时，人类会感到不舒服[5]。根据Reeves等人的说法，[70]人们对待计算机的方式与对待人的方式相同。因此，计算机也应该对用户做出人性化的回应。在社会背景下人机交互的好处得到了证明[10]。情绪对于动机和学习也是必不可少的[64]。在计算机的帮助下学习时，有效的互动可能是有益的，可以改善人的精神状态。人工系统的情感识别服务于机器与其用户之间通信的有效性，并进一步服务于实现某个目标：人工系统与人类之间正在进行的联合行动是在人工系统方面，联合行动应该通过在情感上适应人类而得到改善。Ciceri等人[16]解释了人类和计算机之间的联合行动的管理及其在图形中的情感适应（图2）。它表明，在人工系统方面，任务和行动应该是模块化的。表达适应合成情感识别情绪行为生成情绪诱导人类用户人工系统M. Egger等人/理论计算机科学电子笔记343（2019）3537情绪协调联合行动行动性能行动任务ECA/机器人/化身情感识别非语言情感信号人工系统目标人类用户图二.人工系统与其用户之间基于情感适应和联合行动的联合行动（ECA =嵌入式会话代理）。图像来源：[16]埃克曼1971[25日]愤怒，快乐，恐惧，惊讶，厌恶，悲伤弗里达1986[18个国家]欲望，快乐，兴趣，惊奇，惊奇，悲伤鹦鹉2001[63个]愤怒，恐惧，喜悦，爱，悲伤，惊讶Plutchik2001[第六十六话]接受、愤怒、期待、厌恶、喜悦、恐惧、悲伤、惊讶表11897年至2001年间心理学家定义的主要情绪后期取决于用户的情绪，以实现成功的联合动作。不仅人机交互会从情感识别中获益。它也将有助于在心理学领域识别无法表达自己感受的患者情绪例如，自闭症谱系障碍患者或被诊断为闭锁综合征的患者可以从情绪识别中受益此外，卫生保健部门越来越依赖技术应用和设备。患者与虚拟化身互动，虚拟化身能够根据用户的情绪进行阅读和调整，这可以提高他们的动力。对于康复应用，这甚至可能导致更快和更高的恢复成功率，并改善生活质量[81]。情感在人类交流的所有形式中传输，如文字、语调、面部表情、肢体语言以及几个生物参数（作为自主神经系统的反应），如心率变异性、皮肤电导等。大多数情况下，所有这些形式都可以用不同的技术和传感器来测量，因为随着技术的发展，自动情感识别的可能性也得到了提高。这些方法在其关于可以检测哪些情绪的潜力、其准确性、用于验证结果的选项以及其在不同情况下的可用性方面有所不同为了避免情感识别中的错误并设计可靠的设置，有必要对情感建模，处理及其表达有正如艾克曼、帕罗特、弗里达、普鲁奇克、汤姆金斯和松本所指出的，几乎没有什么基本情感（表1）适用于所有年龄和文化差异。Ek-38M. Egger等人/理论计算机科学电子笔记343（2019）35人和弗里森负责六种情绪（愤怒，快乐，恐惧，惊讶，厌恶和悲伤）是普遍公认的[25]。1873年，Wilhelm Wundt设计了一个新颖的三维情感分类系统：回旋模型。三个轴描述了情绪的效价、唤醒和强度。情绪的分类研究多采用以环回模型为基础的二维模型，其中效价描述了从消极情绪到积极情绪的范围，唤醒描述了从主动情绪到被动情绪的范围。高效价和高唤醒显示了一种具有高活性的愉快感觉，它描述了幸福和兴奋等情绪[67]。类似的模型，如日内瓦情绪轮，在大多数关于情绪测量的作品中得到应用[73]。然后，情绪可以被分配到二维情绪系统，如图3所示。活性被动图3.第三章。二维情感系统是由W.冯特[88]。根据David G. Myers，情绪包括生理唤醒、表达行为和意识体验[55]。关于情绪的有意识处理，存在不同的理论：1884年的詹姆斯-兰格理论（图4A）表明生理活动发生在情绪体验之前。坎农-吟游诗人理论（图4B）声称，生理和情感体验同时发生，而不会相互引起[14]。这也意味着对情绪的生理反应可以在没有感受到情绪的情况下体验到。Schachter-Singer理论（图4C）也被称为双因素理论，提出情绪起源于生理反应及其认知解释，这取决于环境和经验[72]。根据认知评价理论（图4D），也被称为情感的拉撒路理论，刺激的认知标记发生在体验情感之前[49]。这一理论还意味着，基于经验和个性的刺激解释对于所经历的情绪的强度和性质至关重要。生气惊讶阿弗快乐价厌恶放松伤积极负唤醒M. Egger等人/理论计算机科学电子笔记343（2019）3539坎农-巴德理论Schachter詹姆斯-兰格理论刺激感知刺激感知生理反应情感刺激感知A B C D见图4。A：詹姆斯-朗理论[39]B：坎农-巴德理论[14]C：沙赫特-辛格理论[72]D：认知评价理论[49]情绪影响自主神经系统（ANS）的活动，进而调节各种身体参数[80]。因此，经常分析心率变异性（HRV）、皮肤电活动（EDA）、温度和呼吸模式以识别情绪。除了由ANS控制的情绪之外，还研究了可以更好地控制的面部表情由于情绪起源于大脑，因此也研究了脑电波的测量。大多数应用程序用于日常情况下，需要一种方便和不显眼的方法来识别情绪。对于医疗保健应用，配备有摄像头的计算机、平板电脑或智能手机可以用于在使用深度学习的新颖算法的帮助下执行面部识别（FR）。1872年，查尔斯·达尔文（Charles Darwin）研究了人类和动物如何表达情感。在此基础上，艾克曼在2003年写了一本书例如，嘴唇的棱角或前额的皱纹被分析以分类某些情绪。FR是一种很有前途的方法，可以以不引人注目的方式对情绪进行分类，同时实现高准确性[61]。另一方面，由于面部表情可能被故意隐藏，因此很容易出现虚假一种不那么虚假的方法是从脑电图（EEG）中识别情绪。然而，实验装置的复杂性不容忽视。一些生理信号缺少情绪和唤醒的二维信息，这就需要结合两个生理参数来对情绪状态做出假设。2情感识别识别情绪的工作链需要一系列的任务，从唤起情绪开始。此外，必须定义和提取生理信号中的情感特征。因此，使用训练有素的分类器识别情绪。在以下不同的程序中，还描述了困难和限制刺激感知生理认知反应标记情感认知标签生理反应认知评价理论情感情感40M. Egger等人/理论计算机科学电子笔记343（2019）35图五、来自IAPS的例子，以唤起特定的情绪[48]。2.1情绪的唤起一个高质量的数据库对于唤起情感和产生可比较的结果非常重要国际影像系统（IAPS）数据库使用图片，由于其简单性，通常是首选[78，48]。图5显示了从IAPS中提取的唤起特定情绪的例子。情绪可以是受试者引发的（与受试者的记忆有关）或事件引发的（与事件有关的受试者独立图片）[64]。国际听觉数字声音（IADS）数据库利用声学情感刺激[8]。视频和音频数据的组合可以通过显示电影/电影剪辑来使用[50，58]。展示不同情感表达的人的图片也可以用来通过同理心唤起参与者的相同情感[11]。一个情感规范的数据库为英语单词[7]以及一系列简短的文本[8]提供了大量的规范性情感评级。听故事可以用来唤起情感[34]。诱发认知和身体压力的任务可用于引发与压力相关的情绪[85]。2.2特征提取由于生物信号的性质部分是随机的，部分是半周期性的，因此有必要提取某些特征以进一步分类情绪。测量原始生物信号后，提取并计算特定特征。各种生物信号的流行特征包括频率、振幅、最大值和最小值。对于FR特征，利用解剖标志或某些区域之间的关系。然而，每个生物信号都必须单独研究，因为提取的特征对于情绪分类的有用性可能会有所不同。2.3分类器在测量生物信号和提取情绪特征之后，分类器被训练来识别情绪状态。流行的分类器是支持向量机（SVM）[56，54]，典型相关分析（CCA）[50]，人工神经网络（ANN）[82]，Fisher线性判别投影[36]，K-最近邻（KNN）[69]，自适应神经模糊干扰系统（ANFIS）[40]或M. Egger等人/理论计算机科学电子笔记343（2019）3541见图6。来自M. Bradley和P. Lang [31]象征着效价（顶部）和唤醒（底部）程度。贝叶斯网络方法[17]。 对于相同的数据不同的分类器结果在不同的精度。大多数研究使用SVM或更精确的线性判别分类器。根据训练集的不同，需要测试哪一个会导致更高的准确率。2.4情感评估情感评价是一个问题，不容易克服。一种方法是将结果与金标准相关联，例如FR或EEG。然而，这些读数可能容易出错，因为这些信号可能是由错误的情绪引起的。另一种对各种参数测量的情绪进行分类的方法是将结果与自我评估问卷进行比较自我评估模型（SAM）来自M。Bradley和P. Lang[7]被广泛使用。这是一个评估情绪的图片，非语言问卷（图6）。另一种方法是由心理专家根据面部表情和整体印象对患者的情绪进行最后，数据可以与用于引发情绪的材料相关联，例如IAPS，其中每一个都有一个确定的效价和唤醒水平。然而，对情绪的感知因经验、文化差异、年龄和许多其他因素而有很大差异，这使得评估成为一项具有挑战性的任务。2.5争议从可见参数（如面部表情，手势或语音）中检测情绪受试者文化[22]，年龄[38]和性别的影响。在一些文化中，愤怒或悲伤等表情被认为是不光彩的，会导致参与者用虚假的微笑来取代他们的感受。外在的身体表达依赖于社会掩蔽的操纵，并导致虚 假的 情 感分 类 。潜 在的 情 绪状 态 只能 通 过测 量 内部 参 数来 分类 。 NoldusFaceReader软件[82]通过对所谓的动作单元进行分类来解决这个问题，如第3.2节所述。多模式系统也可能有助于克服这种虚假情绪的问题ANS的反应根据一个人的情绪状态，不能被轻易欺骗。然而，单个参数的解释伴随着副作用，例如42M. Egger等人/理论计算机科学电子笔记343（2019）35因为有可能通过环境因素如温度或湿度来影响数据个人因素也可能起作用，当另一个人感到羞耻或愤怒时，一个人是否会因为某些刺激而感到快乐人类情感的引出、分类或评价，并没有一本明确的规则手册。此外，有关研究目的的信息可能会影响受试者的情绪体验。另一个需要考虑的事实是，实验室设置与现实世界的情况和结果不同，不能直接转移[64]。分类系统可以是用户依赖的，也可以是用户独立的。依赖用户的系统需要在分类之前对每个用户进行校准，而独立系统可以识别未知用户的情绪，而无需单独校准。依赖于用户的系统通常可以达到更高的准确性，但独立于用户的系统可以达到更广泛的受众。后一种方法通常实现较低的准确性[41]，并且需要更复杂的算法来正确检测情绪。3方法由ANS的活动引起的若干生物参数可用于获取用于情绪识别的数据。它们的可用性取决于应用领域。系统在测量过程中的准确性，识别情绪和流动性之间的区别。不同计量方法及其优点及局限性载于下文。3.1脑电图（EEG）EEG可以用于以高精度确定情绪，但由于其耗时的设置过程和其噪声敏感特性，最好用于临床环境二维（效价和唤醒）测量是可能的。根据Choppin[15]的说法，高效价与高额叶α功率以及高右顶叶β功率相关。 在顶叶，唤醒与高β功率但低α功率是一致的。负面情绪如恐惧会导致右额叶激活，而积极情绪则会导致左额叶激活。Ramirez等人[68]创建了方程1和2，以表示依赖于不同皮层区域的脑电波频谱的效价和唤醒水平之间的关系穆罕默德等人[54]分析了五个频段来分类四种情绪状态。使用SVM分类器，他们实现了58%的准确率。唤醒= β F3+β F4 +βAF 3+βAF 4αF3 +α F4 +αAF 3+αAF 4（一）3.2面部识别（FR）V alence=αF3−αF4（2）FR是一种强大的非接触式情感识别工具，无需将任何传感器连接到患者身上。一个连接到计算单元的网络摄像头就足够了，M. Egger等人/理论计算机科学电子笔记343（2019）3543使用可在网络上使用的FR，例如测量经过的人或在与应用程序或化身交互期间进行测量。FR类似于EEG的情绪识别，基于深度学习，并以类似的方式实现准确性。分析视觉数据的每一帧，并提取某些特征（即解剖标志）。然后，面部特征被用于基于训练集的数据来训练分类器，然后允许系统估计情绪[12]。OpenFace是一个利用深度神经网络的免费开源项目[3]。它能够检测面部标志，估计头部姿势，眼睛注视运动，并表示在面部动作单元的数据。商业可用的软件开发工具包（SDK）通常是在 项 目 中 实 施 FR 的 简 单 解 决 方 案 The A Complexectiva Emotion SDK （ AComplexectiva，Massachusetts，U.S.A.）[53]o为学生提供为期六个月的试用，并能够基于Ekman的面部动作编码系统（FACS）识别20种表情和七种情绪[26]，广泛支持操作系统（iOS，Android，Web，Windows，Linux，macOS，Unity，Raspberry Pi）。Crowdsight SDK（Sightcorp，Amsterdam，Netherlands）提供免费试用，能够估计年龄、性别、种族、头部姿势、注意力广度和6种面部表情。当谈到可用性时，Noldus Information Technology B.V.的一个名为FaceReader的商业系统[82]荷兰的瓦赫宁根提供了一种软件，它通过许多附加功能简化了情感识别.FaceReader识别六种基本情绪，跟踪眼睛凝视，跟踪20个动作单元，允许呈现刺激并与其他生物信号同步此外，动作单元是基于某些面部区域之间的连接来测量的，例如嘴唇、眉毛和脸颊的运动。对动作单元的跟踪可以用于区分真实和虚假的情绪。FaceReader声称可以以97%的准确率测量面部表情，对于快乐和愤怒的准确率分别为80%[82]。FaceReader已通过面部肌电图（EMG）测量颏肌和皱眉肌活动进行了验证。相比其他任何情绪，皱眉肌活动与幸福的识别中度相关（r = 0.723），而皱眉肌活动与愤怒的识别弱相关（r = 0.55）[19]。3.3语音识别（SR）和语音识别（VR）SR可用于从语音中提取语义[59]，而VR是对口语单词的声学分析。它们对于人机交互非常有用，例如计算机教程，交互式电影，游戏或车内安全机制，其中系统根据用户的情绪做出反应[74]。此外，它可以作为一种诊断工具来识别抑郁症和自杀风险[30]。在移动通信中，它也是一种检测挫折和压力的工具。 虽然可用性很高，但准确性无法与EEG或FR相比。VR是一项具有挑战性的任务，因为尚不清楚哪些特征对于区分情绪很重要。关于说话风格和说话速率的声学可变性直接影响提取的特征，例如音高和频率[4]。此外，一个或多个情绪可能被感知，而声学输出听起来相同。长期的情绪也可能压倒瞬间的情绪。对于定义44M. Egger等人/理论计算机科学电子笔记343（2019）35根据Williams和Stevens的研究[86]，积极的唤醒与大声，快速和清晰的语音相关，具有高频能量，高平均音高和宽音高范围。消极的唤醒与缓慢、低音调和不太频繁的能量言语有关因此，提取的声学特征（音高，时间，语音质量，清晰度）与人的感受高度相关[13]。对于效价来说，这种区分是困难的，准确率较低，因为高效价对应于愤怒和快乐。研究表明，如果声学特征与价维度相关，则没有一致性[51]。2011年的另一项有价值的研究收集了语音、质量和频谱相关的特征，比较了情感语音数据库的特征，并阐述了语音处理以及声学特征与其他信息源的结合[28]。3.4心率变异性（HRV）与心脏相关的生物信号，如心率变异性（HRV），是心率逐搏时间变化的量度，可以深入了解人体的情绪系统。因此，测量心电图（ECG）并计算HRV。在日常使用中测量ECG的可用性有限。虽然智能纺织服装可以正确跟踪ECG。优选用于移动使用的新颖技术是通过光电容积描记（PPG）测量血量脉搏（BVP），其广泛用于智能手表中以计算HRV。一项研究得出结论，根据ECG计算的HRV与PPG数据计算的HRV相关性高达88%[65]。一项较早的研究达到了95%的相关性[32]。BVP由心脏的脉搏波和通过血管的血液体积来描述。它可以在PPG的帮助下进行无创监测。PPG传感器使用发光二极管和光电二极管来记录脉搏波形。它几乎可以在身体的任何地方使用，因为最小的浅表血管足以让传感器识别脉搏波。当患者移动时或由于其易于安装，PPG优于ECG以跟踪心脏活动[42]。HRV降低与精神疾病（抑郁症，焦虑症，酒精使用障碍）有关[44，37]。心率是使用时间序列的交感神经和副交感神经频带的比较进行唤醒检测的最自然的选择。然而，它高度依赖于监测期间身体的位置。对于可以计算的来自HRV不同特征的情绪分类，表2中解释了一些。2016年的一项研究从总共13个特征中选择了5个特征（CVRR，LF，HF，LFratio，SD）来识别5种情绪（悲伤，愤怒，恐惧，快乐，放松）。使用SVM分类器实现了最高精度。最佳选择的特征集达到了56.9%的平均准确率[33]。2010年的另一项研究[52]以多模式方法测量了BVP、EMG、皮肤电活动（EDA）、皮肤温度（SKT）和呼吸（RSP）。使用SVM和Fisher线性判别式训练统计分类器，目标是学习当前特征集的相应情感。两种方法都是使用提取的特征向量，从多个主题（7男，3女）在相同的情绪刺激（共六种情绪，娱乐，M. Egger等人/理论计算机科学电子笔记343（2019）3545频域HFLFLH比值0.15 - 0.4 Hz：呼吸性窦性心律失常0.04- 0.15 Hz：低频和高频的压力统计分析库尔托偏熵概率分布数据集的不对称程度概率分布数据的随机性时域脉搏峰间期的RRSDRR脉冲间隔的标准差CVRR脉冲峰值间期方差系数（标准差与间期平均值表2根据HRV计算情绪分类的特征[33]。满意，厌恶，恐惧，没有情绪，悲伤）。使用Fisher线性判别式实现了28.83%的平均性能，使用SVM分类器实现了46.5%。3.5皮肤电活动（EDA）EDA通过将两个电极应用于手指来测量皮肤的电阻，从而测量皮肤的电导率。这使得有必要至少用传感器覆盖指尖，传感器可以集成到手套中用于移动测量。外分泌腺负责人体的体温调节然而，手掌的外分泌腺也以比其他汗腺更敏感和与情绪相关的行为而闻名。因此，可以通过向皮肤施加小电压来测量手掌处的皮肤电反应[6，75，46]。皮肤电导率在放松状态下降低，当暴露于电子束时增加[84]。特征考虑范围、幅度、上升持续时间、第一值、时间和频率[87，71]。2010年的一项研究[83]使用纺织智能手套来识别基于皮肤电反应的唤醒提取了均方根、偏度、峰度、频率、幅值以及非线性等特征，图像数据库IAPS用于引出情绪，二次贝叶斯正态分类器（QDC）将提取的特征分类为四个唤醒水平。对于总共20个特征，实现了64.32%3.6呼吸（RSP）RSP由胸腔活动定义，可以使用电阻丝应变[21]、PPG[2]或基于泡沫的压力传感器[9]进行测量。然后，传感元件呼吸频率降低表明处于放松状态。深而快的呼吸可以表示快乐或愤怒。呼吸短暂中断表明紧张。不规则呼吸-46M. Egger等人/理论计算机科学电子笔记343（2019）35呼吸急促是负效价和唤醒的标志，浅而快的呼吸表明专注或恐惧。抑郁情绪与浅而慢的呼吸模式有关[46]。2017年的一个项目利用呼吸模式基于深度学习算法识别情绪[89]，基于DEAP数据集，效价和唤醒的准确率分别为73.06%和80.78%3.7皮肤温度（SKT）SKT可以用来识别一个人是否放松。在指尖上测量，扩张的血管会使指尖在放松时变热，或在压力或焦虑时变冷类似于EDA的识别，SKT传感器可以实现到手套中。2012年的一项研究使用了这样一种智能手套，并通过从电影或公共数据库中获取的视频片段引发情绪。对于特征提取，皮肤温度被转换成电信号。测量的唤醒被分为五种状态，然后被转化为情绪。研究表明，积极的状态比消极的状态更容易识别[77]。Min Woo Park等人的另一项研究区分了悲伤和快乐，并通过分析SKT，达到了89.29%的分类准确率[62]。3.8肌电图（EMG）EMG需要将电极附接至皮肤，理想情况下预先清洁皮肤以确保导电性。这使得EMG在临床设置中更可取，因为大多数系统在电极和接收计算单元之间使用导线连接然而，EMG能够实现一维效价测量，使其成为其他一维生物信号的有价值的补充精神压力导致交感神经系统激活，导致肌肉张力增加，特别是在颈部附近的上肌[46]。此外，面部肌肉是可测量的（FBS），以检测指示特定情绪状态的面部表情[47]。在收缩时，肌肉产生可以从皮肤表面测量的电势。强烈的收缩伴随着EMG信号的高频率，并且进一步与效价的增加相关[46]。2010年的一项日本研究提出了一种基于皮肤电反应（GSR）和EMG识别情绪的系统，其中GSR与受试者的唤醒和EMG相关[57]。3.9近期作品下表3列出了代表每种测量方法的最新研究。用于文献研究的主要关键词为：情绪识别、情绪分类、情绪预测和有效计算。列出了使用的方法，参与者人数，测量的情绪，刺激，提取的特征，分类方法和实现的准确性。排除了关于特征或准确度计算的不精确细节 也M. Egger等人/理论计算机科学电子笔记343（2019）3547年方法n情感刺激特征分类精度[1]第一章2012ECG31兴奋，色情，厌恶，恐惧，血腥，中性Passive：IAPS Active：电子游戏瞬时频率，本地振荡线性判别，留一交叉验证52.41%无反应，78.43%活性[33个]2016ECG25悲伤，愤怒，恐惧，快乐，放松影片剪辑时间，频率，庞加莱，统计学SVM56.9%[五十四]2016EEG21悲伤，害怕，快乐，平静IAPs5个频段（delta、theta、alpha、beta、gamma）KNN，SVM55% KNN，58% SVM[第八十二章]2005FR1高兴，生气，伤心，惊讶，害怕，厌恶，中性视频剪辑AAM外观矢量（关键点和纹理的位置）人工神经网络（NoldusFaceReader）百分之八十九[56个]2013心电图，25前头部生物信号（FBS）舒 缓 ， 迷人，烦人，无聊音乐4例FBS，8例ECG特征二进制SVM88.87%（FBS：47.2% ECG：（86.63%）[17个]2008Sr7中性，愤怒，快乐，悲伤，兴趣，恐慌阅读情绪化的演讲和记录62个特点贝叶斯网80.46%（快乐和悲伤），62%（4种情绪），49%（6种情绪）[45个]2009法国，SR，几何学10愤怒、绝望、兴趣、恳求、悲伤、恼怒、喜悦、骄傲根据实验脚本26（法国），18（斯洛伐克共和国）、18（手势）贝叶斯网48.3%（FR），57.1%（SR），67.1%（男性），78.3%（多模式）[35]第三十五章2004EMG、1EDA、SKT、BVP、ECG、RSP唤醒，效价IAPs7特性安89.73%（唤醒），63.76%（效价）[四十三]2008EMG、10ECG、RSP、EDA高压力，低压力，失望，欣快模拟比赛条件13具有支持向量机，自适应模糊推理系统79.3%（SVM），76.7%（ANFIS）[五十二]2010BVP，10EMG、EDA、SKT、RSP娱乐、满足、厌恶、恐惧、中性、悲伤IAPs30个特征SVM46.5%表3最近关于测量生理数据（心电图（ECG），心率变异性（HRV）、脑电图（EEG）、面部识别（FR）、前额生物信号（FBS）、语音识别（SR）、皮肤电活动（EDA）、皮肤温度（SKT），血量脉搏（BVP）、呼吸（RSP））本文未对精神障碍患者的情绪识别研究4讨论和结论一些研究合理地分解了他们的数据，而另一些研究则不那么透明，这使得比较成为一项艰巨的任务。例如，第3.7节中提到的研究测量了指尖上的SKT，将其提取的特征分为线性和非线性数据。两个数据集的准确性差异巨大，这就是为什么计算两个数据集的平均值，将所有实验特征合并到一个声明中。此外，启发式方法起着至关重要的作用。随机选择的参与者可能比训练有素的参与者处于劣势48M. Egger等人/理论计算机科学电子笔记343（2019）35模态贝内菲茨限制应用领域EEG允许对受损患者进行测量（即截瘫、面部瘫痪）复杂的安装，易于产生运动伪影的设备的维护实验室条件FR非接触式，可跟踪多个人需要一个正对脸部的摄像头，容易被故意伪造实验室环境、工作场所、智能家居、公共场所VR非接触式临时测量需要麦克风，容易产生背景噪音广泛的应用领域（在电话通话或智能助理）Sr非接触式临时测量必要的沟通广泛的应用领域（在电话通话或智能助理）ECG心脏检查期间的数据采集可能的移动测量(i.e.集成传感器的智能服装，智能手表）固定测量的更高精度，移动系统实验室条件、日常使用、体育活动BVP由于传感器尺寸小，因此该方法具有高度通用性，可以评估其他健康相关参数取决于易于产生伪影的应用区域（即体育）实验室条件（手指夹）、日常使用、体育活动（智能手表、智能服装）EDA良好的压力指示器，区分有无接触情况[35]仅测量唤醒，受温度影响，需要参考，校准实验室条件（手指夹）、日常活动（EmpaticaE4，Empatica Inc.）RSP安装简单，可以表示恐慌，恐惧，集中或抑郁[35]宽情感谱障碍广泛的应用SKT多功能数据采集（红外线、视频数据、温度传感器）仅测量唤醒，相对缓慢的情绪状态指标，取决于外部温度实验室环境、工作场所、智能家居、公共场所EMG允许对具有非典型通信的患者进行测量（即，psy-胆系疾病）仅测量效价，安装困难，振幅随所选测量位置而实验室条件表4关于效益、局限性和应用领域的测量方法比较参与者（即受过专业戏剧教育的人）在情感表达方面。根据应用领域的不同，首选不同的系统表4概述了以前详细阐述的方法。EEG、FR、SR和心脏相关方法（ECG、BVP）允许独立测量，因为它们能够独立地识别二维效价和唤醒量表中的情绪RSP起着特殊的作用：情绪识别仅限于某些状态，如恐慌，恐惧，集中或抑郁，但检测更广泛的情绪是不可能的。EDA和SKT仅检测唤醒水平，而通过测量EMG，只能对效价水平进行分类。 因此，我们认为，建议组合来自基于生物信号的方法的数据，以便能够识别全部范围的情绪。这种多模态方法提供了更高准确性的优势，因为情绪是通过每种方法分类的，然后进行匹配，尽管设置更复杂。对于临床研究，测量EEG、EMG、ECG或BVP的静态设置可能是合适的，因为它允许以高精度和多样化的情绪分类进行测量。一个类似的系统是M. Egger等人/理论计算机科学电子笔记343（2019）3549Haag[35]于2004年提出，其唤醒和效价的准确率分别为89.73%和63.76%。当增加分类的带宽时，意味着期望情绪的搜索间隔，达到了96.58%（唤醒）和89.93%（效价）的准确性。然而，由于EEG的敏感性，该系统易于产生运动伪影。2008年的一项研究[43]通过利用面部EMG，ECG，RSP和EDA优化了他们的赛车驾驶员情绪识别系统，对于五种情绪状态（高压力，低压力，失望，欣快，中性）的该系统可能适用于对象处于运动中的动态情况。对于以移动方式观察人，例如在老年人护理 中 ， ECG 可 能 是 优 选 的 解 决 方 案 。 移 动 服 装 ， 例 如 Ambiotex-Shirt 、ambiotexGmbH、Tubingen、Germany，都可以测量ECG，因此可以提取HRV特征[79] [31]。在ECG和HRV的帮助下，可以以56.9%的准确率区分五种情绪。这可以用于在日常和户外活动中监测患者。对于家庭使用，或在医疗或心理实践中使用，远程和不显眼的情绪识别可能是测量情绪的最佳解决方案。这可能通过PC、智能手机或平板电脑与化身进行交互，或者通过在房间中安装网络摄像头进行连续测量来实现。FR可以为七种情绪状态提供高达89%的准确度，这是通过NoldusFaceReader实现的[82]。这似乎是最先进的人脸识别算法。SR可能满足类似的目的，但当涉及到许多情绪之间的差异时，准确性大大降低（从80.46%的快乐和悲伤到49%的六种情绪[17]）。在利用剩余的提到的生物信号进行情感识别的情况下，最大的障碍是一些信号仅在一维中测量（仅效价或仅唤醒）。EMG测量效价，而即EDA和SKT测量唤醒。这些信号可以结合起来，使二维的陈述和相应的假设的情绪。然而，使用HRV、RSP和BVP二维测量（效价和唤醒）是可能的。因此，BVP似乎是未来研究的一个非常有价值的参数，因为PPG测量的脉率变异性与ECG测量的HRV具有超过95%的高度相关性[32]。如果这种相关性可以证明从手腕上进行的BVP测量，那么仅使用智能手表进行情感识别将是可能的。关于表3中的准确性，必须指出，数据质量对工作结果至关重要。数据的质量与传感器的应用、闪电条件、参与者的个人健康状况、参与者的预选以及许多更复杂的因素有关，具体取决于所使用的方法。此外，重要的是要考虑数据是在实验室环境中还是在现实的日常情况下记录的。Agra Fioti等人[1]基于ECG的研究比较了两种实验设置：通过玩视频游戏的主动情况和通过使用视觉刺激的被动设置。这两项研究都是在多伦多大学的实验室环境中进行的。Guo等人的HRV研究[33]使用移动服装在实验室环境中获取ECG信号，同时参与者观看视频剪辑，假设在一个50M. Egger等人/理论计算机科学电子笔记343（2019）35坐姿可移动的服装可能是造成准确性平庸的原因。Mehmood等人的研究[54]使用Emotiv-EPOC测量EEG，Emo- tiv Inc.，San Francisco，CA在实验室环境中。然而，在移动设置中使用EEG是不可取的，因为传感器的附接对震动和移动敏感使用FR[82]的研究未明确说明其测量设置。对于FR，测量是在真实条件下还是在实验室条件下进行可能无关紧要，只要闪电条件能够区分人脸的形状由Naji等人进行的测量ECG和FBS的研究。[56]在安静的房间中使用舒适的椅子，测量光线最小，耳机播放音乐。值得注意的是，仅使用ECG数据进行测量的准确度相对较低。用于记录BIOPAC MP100系统，Biopac Inc.，Santa Barbara，CA使用。Dai等人[17]分析了SR。专业演员的话语直接记录到WAVES+数据文件中，采样率为22.05 kHz。 快乐和悲伤的相对较高的准确性可能取决于演员以精确和独特的方式传达他们的情感的能力。来自多模态FR、SR和手势测量的数据[45]在热那亚的HUMAINE EU-IST项目的暑期学校期间同时记录。一个摄像头记录了参与者的面部（面部识别），第二个摄像头记录了轮廓（手势识别）。给出了关于参与者服装和行为的限制，没有说明设置的位置和闪电条件。这项研究证明，多模态数据的融合有利于整体预测率。2004年的多模态研究[35]使用传感器组ProComp+，Thought Technology Ltd.，加拿大魁北克，在实验室环境中获取数据。 该研究表明，他们的形式和方法应用程序的任何东西都不是直观和自然的，因此在移动设置中准确率可能会下降。类似地，2008年的多模式研究[43]使用了一种多传感器可穿戴设备，该设备在实验室环境中进行了评估。它包括四个部分：一个包含面部EMG、ECG和胸部RSP的巴拉克拉瓦，一个手套内的EDA和一个数据采集和通信模块。该系统是为赛车手设计的。看看这个系统在测量基本情绪时的表现会很有趣。2010年的最后一项多模态研究[52]使用了PROCOMP In finiti系统，Thought Technology Ltd.，加拿大魁北克，在实验室环境中，要求参与者尽可能放松。这项研究没有使用心电图数据，这可能解释了中等的准确性。为了总结关于情绪识别中的移动性，利用诸如智能手表或智能织物的智能可穿戴设备，可以以移动和不显眼的方式测量ECG、EDA、SKT、BVP和RSP数据。Empatica E4腕带，Empatica Inc.，马萨诸塞州剑桥市开发了一种新方法，用于从手腕测量PPG和EDA。FR和SR等方法仅依赖于背景信息（闪电、噪声）。随着智能可穿戴设备成为现代社会的一个新兴趋势，以前的固定方法可能会在日常活动和不显眼的情感识别中得到更多的利用。M. Egger等人/理论计算机科学电子笔记343（2019）3551确认这项工作得到了AAL联合计划项目FollowMe（项目）的资助。序号：AAL-2015-2-108）。作者感谢项目联合体成员提供的宝贵投入。引用[1] Agra Fioti，F.，D. Hatzinakos和A. K. Anderson，ECG pattern analysis for emotion detection，IEE
我的内容管理
展开
