心电图和皮肤电图用于情绪分类的最新方法：EMG和EDG信号的比较与分析

医学信息学解锁20（2020）100363利用心电图和皮肤电图信号进行情绪分类的最新方法Aaron Frederick Bulagang，Ng Giap Weng，James Mountstephens，Jason Teo*马来西亚沙巴大学计算机与信息学院，Jalan UMS，88400，Kota Kinabalu，沙巴，马来西亚A R T I C L EI N FO保留字：情绪分类心电图皮肤电图深度学习A B S T R A C T本文综述了情绪分类研究，重点是使用心电图（ECG）和皮肤电图（EDG）/皮肤电反应（GSR）作为输入特征。目前，绝大多数的情绪分类研究利用脑电（EEG）和面部表情识别来执行情绪分类。为此，使用ECG和EDG进行的研究较少。将对这些生理信号进行审查，以比较ECG和EDG方法、所用设备和刺激以及用于执行分类任务的机器学习算法。本文的主要目标是分析当前的趋势，包括心率和皮肤电导的信号如何可以用作机器学习分类器执行情感分类任务的训练特征。一些关键的观察和开放的问题将被提出，随后讨论有前途的途径，为未来的研究中使用的心电图和EDG的情绪分类。1. 介绍情绪是日常生活的重要组成部分：它影响决策，感知，人际交往和人类智力。情绪影响人类的生理和心理状态[1]。有积极情绪和消极情绪;积极情绪更多地与改善人类健康以及工作效率相关，而消极情绪可能会导致健康问题[33]。收集的负面情绪的长期积累是临床抑郁症的一个因素[33]。生理信号可以从人类大脑中的自主神经系统（ANS）中检索，并且不是有意识或有意地提示的[2]。本文的目的是研究和回顾利用心电图（ECG）和皮肤电图（EDG）信号的相关情绪分类。第一部分概述了研究者在研究中采用的情绪模型和情绪分类方法。虽然之前使用EEG信号的工作已经证明了超过80%的高分类准确率[23]，但EDG和ECG对情绪分类的研究也分别证明了73%和94%的高分类准确率[2，14]，但迄今为止尚未对其进行重点审查。另一方面，许多综述论文已经报道了将EEG信号用于情绪分类，参见例如[7，9，58，61]。第二节讨论了各种情绪中使用的刺激分类实验第3节介绍了从受试者采集的信号第4节回顾了研究人员在情感分类中使用接下来，作为这次审查的结果，在第5节中提出了一个重要的评论，并提出了一些未来的工作。从2012年到2019年，共审查了69篇论文，由IEEEX plore，Springer和其他来源发表的期刊如表1所示。 这些文章来源于24家出版商，IEEE X plore有22篇文章，ACM、Springer和MDPI有5篇文章，Elsevier有4篇文章，Arvi x和www.example.com 有 3 篇 文 章 Ncbi.nlm.nih.gov ， Bio- med 、opus.lib.uts.edu.au、psycnet.apa.orgpubmed.ncbi.nlm.nih.gov和Scitepress.org有2篇文章，Hindawi、krishisanskriti各有1篇文章。org 、 ictactjournals.in 、 ideas.repec.org 、 mostwiedzy.pl 、nature.com 、 oparu.uni-ulm.de 、 scielo.br 、 tkn.tu-berlin.de 、diuf.unifr.ch、comserv.cs。ut.ee和content.sciendo.com共69篇文章。论文的最高H指数从156到165不等，大多数论文出现在Q1期刊上。在整个综述中，发现关于EDG或与ECG结合* 通讯作者。电子邮件地址：jtwteo@ums.edu.my（J.Teo）。https://doi.org/10.1016/j.imu.2020.100363接收日期：2020年2月21日;接收日期：2020年5月27日;接受日期：2020年在线预订2020年2352-9148/©2020的 自行发表通过Elsevier 公司这是一个开放接入文章下的CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表医学信息学期刊主页：http://www.elsevier.com/locate/imuA.F. Bulagang等人表1医学信息学解锁20（2020）1003632数据库列表期刊/来源总期刊/来源总IEEEX plore22Hindawi1ACM5krishisanskriti.org1Springer5ictactjournals.in1MDPI5ideas.repec.org1Elsevier4mostwiedzy.pl1arXiv3nature.com1Ncbi.nlm.nih.gov3oparu.uni-ulm.de1BioMed2Scielo.br1opus.lib.uts.edu.au2tkn.tu-berlin.de1Psycnet.apa.org2diuf.unifr.ch1pubmed.ncbi.nlm.nih.gov2Comserv.cs.ut.ee1Scitepress.org2content.sciendo.com1总691.1. 情感模型基本情绪的概念在几十年前首次提出[34]。然而，这个确切的概念从未被心理学家广泛接受[34]。心理学家喜欢用两种方法来分类情绪。其中之一是将情感分为离散的类别[35]。另一种是使用多个维度来标记情绪[3]。的情况下 在情感诱导中，参与者被给予一系列情感唤起材料，以唤起某种情感。近年来，使用图片、音乐和电影来刺激情绪的现象越来越多。近年来，通过增强现实以及混合现实环境的呈现，计算机游戏，特别是虚拟现实环境获得了越来越多的兴趣[41.2. 情感分类情绪的分类根据研究人员的不同而有所不同，在大多数研究中发现的一般基本情绪包括快乐，悲伤，愤怒，恐惧，厌恶，惊讶，这些情绪基于一个二维平面，通常称为效价-唤醒平面[18]。积极的情绪可以被归类为快乐或惊讶，而消极的情绪可以与悲伤，愤怒，恐惧和厌恶相关联[12]。情绪压力可能会受到长期持续的负面经历的影响[7]。情绪分类可以分为两类，主要情绪，如喜悦，悲伤，愤怒，恐惧，厌恶和惊讶，以及次要情绪，它唤起与记忆或主要情绪相关的心理图像[8]。情绪可以使用基于唤醒和效价的多个维度或尺度进行分类[12]。唤醒维度可以从“未唤醒“到“兴奋“变化例如，快乐具有正效价，厌恶具有负效价，悲伤具有低唤醒，而惊讶唤起高唤醒[8]。图1显示了基于效价和唤醒的四类模型。图 1说明了罗素的四类模型[36]，Fig. 1. 基于效价和唤醒的四类模型的说明。人们在相似的情况下表现出相同的情绪;（3）人们以相似的方式表达情绪;（4）当人们表达相同的动作时，模式是明显的。艾克曼总结了六种基本的情绪，包括快乐、悲伤、愤怒、恐惧、惊讶和厌恶[10]。Plutchik提出了一个由八种基本情绪组成的轮子模型，包括喜悦，信任，恐惧，惊讶，悲伤，厌恶，愤怒和期待[37]。车轮模型描述了与强度相关的情绪，其中强烈的情绪被放置在中心，较弱的情绪被放置在花朵盛开模型的边缘。接下来，表2列出了研究人员在实验中识别的情绪列表，这些情绪与情绪分类有关，使用ECG或EDG或两者作为从受试者检索的信号进行机器学习表2显示了在研究过程中分类的情绪，其中最常见的情绪是悲伤，愤怒和快乐[2，12表2显示，悲伤情绪是检测到的最高情绪，其次是愤怒、恐惧、快乐，放松的准确性最低。原因可能是，与放松的情绪相比，愤怒、恐惧和快乐等情绪可能会被识别出来，因为它们的唤醒水平很强。接下来，通过研究获得的个体情绪准确度在表3中呈现。表3列出了每种情绪的准确性，表2中只有四位研究人员陈述了每种情绪的准确性[2，8，14，20]。表3中列出的情绪是快乐、悲伤、恐惧、厌恶、惊讶、愤怒、中性和一般。准确度最高的是厌恶和惊讶，表2情感清单论文年份作者情绪[12]2012年G. Kanagaraj等人悲伤、愤怒、快乐、惊喜被许多研究人员广泛采用。 模型[13]2012年萧正邦，M.高兴，惊讶，悲伤，愤怒，由四个象限组成，每个象限代表高或低[14] 2013年萨扎利？雅各布？穆鲁加潘&恐惧和厌恶唤起，具有负或正效价。第一象限显示与快乐情绪相关的正效价高唤醒，第二象限显示通常与愤怒情绪相关的负效价高唤醒，第三象限显示代表悲伤情绪的负效价低唤醒，第四象限显示与平静情绪相关的正效价低唤醒[9]。1.3. 离散情感模型埃克曼认为情绪是离散的，可测量的，与生理学相关[34]。艾克曼提出了四种基本的情绪，可以被描述为：（1）人们天生就有情绪，而不是后天习得的;（2）J. Selvaraj快乐，悲伤，恐惧，厌恶，惊讶，中性[15] 2014 A. Mikuckas等人正/高唤醒，负/高唤醒、负/低唤醒和正/低唤醒[16个]2014Steffen Walter等唤醒[八]《中国日报》2015M. Menard等人厌恶，喜悦，愤怒，惊讶，[17个]2016Kevin Brady等恐惧悲伤中立唤醒和效价[二]《中国日2017K. Minhad等人快乐悲伤愤怒厌恶A.F. Bulagang等人医学信息学解锁20（2020）1003633表3情感准确度列表。论文作者快乐悲伤恐惧厌恶惊讶愤怒中立平均[14个][八]《中国日报》J. SelvarajM. Menard等人91.16%86.90%百分之九十五点二一50.20%百分之九十五点二一26.10%百分之九十八点六三63.50%百分之九十八点六三51.00%78.38% 92.87%38.90%[二]《中国日报》K. Minhad等人72.90%77.17%67.36%76.87%百分之八十点三四[20个]W. Wei等人百分之六十七点二七55.26%50.00%69.23%77.78% 68.75%98.63%，平均为92.87%[14]，而其他研究人员个体情绪的准确率最低的是恐惧，为26.1% [8]，然而，在参考文献[14]中，实验结果能够达到95.21%的恐惧。这种差异的原因可能是由于所示的刺激或在受试者的数据采集期间使用的信号在第二节中，将详细讨论研究人员实验中用于唤起情绪的刺激2. 刺激刺激是研究人员用来唤起受试者情绪的一种媒体[38]。本节讨论并解释了研究人员广泛使用的刺激是以媒体的形式，如视频剪辑，图像，声音。许多研究人员采用自我评估假人（SAM）方法作为工具，以获得受试者对其情绪的反馈[ 39 ]。SAM方法由受试者在观看刺激物时评级的人体模型图片组成。SAM被用作分析整体分类性能的自我评估反馈方法[12]。以下部分将解释研究人员在其研究中经常使用的刺激类型，其中包括用于图像的IAPS，用于视频的DEAP和用于音频的IADS2.1. 国际情感图片系统国际情感图片系统（IAPS）由一个标准和分类的彩色照片数据库组成，旨在提供广泛的情感刺激[26]。它被心理学领域的研究者广泛采用，用于研究情绪和注意。佛罗里达大学情绪与注意力中心（Center for Emotion and Attention at the University of Florida）开发了IAPSIAPS图像已被用于心理学研究中，用于测量功能磁共振成像、脑电图、脑磁图、皮肤电导、心率和肌电图。它被用来实验性地操纵焦虑和诱导负面情绪，这使得研究人员能够研究负面情绪受到影响时的认知表现[1]。2.2. DEAP（使用生理信号进行情绪分析的数据库）DEAP是一个多模态数据集，用于分析人类情感状态[40]。DEAP刺激通常包括音乐视频形式的音频和视觉内容DEAP使情感分类模型能够使用生物医学信号建立[1]。2.3. 国际情感数字化声音IADS是一个声音剪辑的数据库，包括每个剪辑的评级[41]。IADS数据库提供了简短的音频剪辑，以唤起受试者的情绪反应。研究人员使用来自IADS的音频片段，并根据唤醒效价象限对其进行分类。来自音频剪辑的声音可以进一步提取，包括旋律，声音和节奏[21]。下表总结了他们在情绪分类研究中使用的不同类型的刺激。表4显示了唤起受试者情绪的刺激，其中最常用的刺激是视频[2，8，12，15，16，20]，其次是音频和图像[14，18，24]。每一种刺激都被用来研究哪种刺激能有效地唤起受试者这些刺激被呈现给受试者，同时获得生理信号。这些研究中采用的信号是ECG、EDG或两者的组合在实验过程中，用于获取数据的信号所达到的准确性显示了刺激在实验中的有效性。分类器的性能是通过计算精度来评估的。用于计算的准确度公式如下：TPTNTPFPFNTNTP表示真阳性，TN表示真阴性，FP表示假阳性，FN表示假阴性[18]。3. 信号处理本节从ECG和EDG信号的差异、用于采集的设备、预处理和特征提取方法等方面对ECG和EDG信号进行了说明。情绪分类中的信号处理需要采集生理信号，然后通过一些信号清理和转换步骤正常处理这些生理信号，以从参与者中获得有用的特征数据[42]。信号的类型取决于研究人员从哪个部分获得其信号，例如，心电图（ECG）信号从心脏的电信号中获得数据[43]，而电生理（EDG）从参与者的皮肤电导中获得数据[44]。从受试者获取数据的目的是研究ECG和EDG特征的提取和使用，以区分受试者的情绪状态。人类的心理特征可以使用来自自主神经系统（ANS）的信号来识别[14]，这就是ECG和EDG信号在人类情感的探索和研究中至关重要的地方[12]。3.1. 心电图（ECG）ECG提供了一种信号，该信号在基于心脏电活动的不同情况下研究心脏的生理变化方面很有价值[28]。它已被用于检测几种疾病，包括心脏病，心律失常和癫痫[18]。心电图也被用于评估精神和心理状况[45]。ECG信号为识别人类情绪压力提供了有用的信息[13]。不同的方法已经被用于ECG信号的分析，例如小波变换（WT）在评估生物医学方面的应用。表4激发受试者情感的刺激列表纸年作者刺激[24日]2011玛丽娜·罗德里格斯·阿利贝拉斯IAPs[12] 2012 G. Kanagaraj等人视频剪辑[14]2013年J. Selvaraj视听[16] 2014 Steffen Walter et al.视频[15] 2014 A. Mikuckas等人视频剪辑[8] 2015年M. Menard等人视频剪辑[2] 2017年K. Minhad等人视频[18] 2017年A. Goshvarpour等人 IAPs[20] 2018 W. Wei等人视频准确度A.F. Bulagang等人医学信息学解锁20（2020）1003634信号[18，46]。它已被广泛用于不同条件下心跳的特征提取和分类[13]。ECG是指测量一段时间内心脏电活动的测量集[28]。一般来说，ECG信号由三个主波组成[47]，如图2所示。第一个波是P波，表示心房的去极化。 第二波是QRS波，其对应于心室收缩的开始。在心室保持收缩几毫秒后，出现第三个T波。当心室复极化时，会出现这种波[33]。通过QRS检测来计算诸如心率变异性（HRV）的ECG特征，QRS检测从ECG信号提供R峰和R-R间期。发现ECG信号阈值的QRS错误检测率为0.46%，其中阈值是使用R峰的总数确定的[13]。3.2. ECG设备ECG设备通过使用放置在受试者身体上的电极采集受试者的ECG信号[48]。在数据采集期间使用ADInstruments的16通道PowerLab等设备，以400 Hz采样率记录信号[18]。可穿戴无线Bioradio™设备[2]（Great Lakes NeuroTechnologies，OH，USA）用于测量ECG信号，其中三个电极（加上一个接地电极）放置在身体上，采样率为500Hz。在参考文献[13]中采集ECG信号时，使用了三个电极，两个有源电极位于受试者的左手腕和右手腕上，第三个电极位于右腿上。使用电极测量ECG心率的缺点是，由于皮肤与电极直接接触，受试者可能对电极感到不舒服[2]。3.3. 心电图预处理ECG预处理是从采集的信号中消除噪声的方法[49]。在预处理期间从信号中去除噪声。这是为了消除或减少信号中的干扰，以产生更准确的结果。ECG预处理的六步程序如下[18]。首先，在视觉刺激期间记录的ECG信号，其次，预处理阶段包括线噪声去除和信号分割。第三，提取小波系数。第四，进行了二阶差分的小区测量。接下来进行Mann-WhitneyU检验统计。最后，根据提取的特征评估分类精度[18]。3.4. 心电特征提取特征提取将ECG信号转换为一系列特征，特征提取技术分为频率、时间和时频[32]。离散小波变换（DWT）[38]和中心趋势测量（CTM）[18]是提取的特征。小波变换将时域信号变换到小波域，得到不同的系数值。ECG信号经过两种类型的滤波器，高通滤波器和低通滤波器。高通被认为是一个详细的系数，而低通被认为是一个适当的系数。CTM是用于计算二阶差异图中变异程度的指数[18]。表5显示了ECG设备以及使用的分类器和使用这些分类器提取的相关特征的总结。表6总结了用于从受试者检索生理信号的信号及其相关特征。表6还显示了可以单独从ECG信号[12表6中的信号集中于单独的ECG信号和ECG信号与EDG信号的组合以及可以从信号中提取的其他特征，包括心率（HR）[8，12]、心率变异性（HRV）[15，16，20]、每分钟心跳数（BPM）[2]和平均R-R间期（MRRI）[12，13]。EDG是当情绪被唤起时受试者的皮肤电导的测量，其中情绪激活受试者的外分泌汗腺[ 50 ]。因此，EDG测量也可以用于预测受试者的情绪状态[44]。EDG也被称为皮肤电导（SC）[51]，皮肤电反应（GSR）[51]或皮肤电导反应（SCR）[26，27]。从ECG中提取的主要特征是HR，而EDG是SC [50，51]。结合起来，ECG和EDG被证明可以为情绪识别提供更准确的预测结果[31]。下表总结了从ECG和EDG信号中提取的不同类型的特征，然后比较了情感分类研究中使用的特征和分类器，以找到达 到 最 高 准 确 度 的 特 征 。 [2019 - 08 -18][2019 - 08][2019- 08 -18][2019 - 08][2019 - 08 - 19][2019 - 08][2019 - 08 - 19][ 2019 - 08 -19][2019- 08][2019 - 08 - 19][2019 - 08 - 19][2019 - 08][2019 -09][2019 - 09][2019 -表7呈现了从ECG和EDG sig提取的特征nals、基于所使用的特征的分类精度，以及最后在该特定实验中使用的分类器。在实验过程中用于获取数据的信号对结果的准确性有明显的影响使用具有SVM的ECG信号作为分类器实现的最高准确率为95.7%[2]，其次是ECG信号和模糊KNN分类器的92.87% [14]。随后，分别利用皮肤电导反应（SCR）的EDG特征和心率（HR）的ECG特征，获得了85.57%和89.58%的准确度[8]。然而，达到的最低准确率为57.69%，视频作为刺激，GSR作为信号使用。实现低准确度的因素可能是由于使用GSR信号，因为与EEG或ECG相比，数据采集工具的分辨率较低。根据表7中的总结，它表明ECG是性能更好的信号，当配对SVM或KNN时，其实现了更好的准确性。尽管如此，结果确实会根据所使用的分类器而有所不同，因此第3节将更深入地解释与情绪识别有关的信号。3.5. 皮肤电图（EDG）皮肤电描记术（EDG）是一种通过皮肤电导、皮肤电位或皮肤电电阻测量皮肤电活动的技术[52]。这三种方式是密切相关的，都可以通过非侵入性电极来感知一表5综述了心电设备，特征提取，分类器.生物反馈信号ECG设备Alivecor系统，Biopac，EPI mini，Omron ECG，动态ECG，Quasar传感器，PowerLab，特征EX牵引力DWT、CTM、BEMD、WT、PCA、平均振幅率、第一差异绝对值的平均值、平均频率、中位频率[29]图二. QRS波群的图示。分类器SVM，kNN，LDA，ANN，DT，Random Forests [29]A.F. Bulagang等人医学信息学解锁20（2020）1003635表6生理信号和提取的特征列表阿利贝拉斯[12]2012年G. Kanagaraj等人ECG HR、MAmp、MRRI皮肤的性质改变。EDG通过皮肤的电导、电阻、阻抗或导纳来测量。EDG有助于克服三个限制，例如难以获得连续测量、受试者电子讨论组可以作为一个有用的指标，[13]2012年萧正邦，M.萨扎利？雅各布？穆鲁加潘&[22] 2018年赛义德·阿卜杜拉&坦泽姆·乔杜里表7ECG HR、MRAmp、MRRIRRS、FVS振幅、频率、平稳性、熵、线性和变异性HRVHR，SC传感器惠特尼U检验总参谋部、共和国ECG GPS，MFCC这与自主神经系统的交感神经分支的活动有关，因为汗腺受交感神经活动的支配。EDG信号提供整个唤醒轴的信息[26]。3.6. EDG设备EDG传感器通常具有两个电极，并通过在与皮肤接触的两个电极之间传递微量电流来测量EDA [50]。对于EDG，皮肤电极位于手掌表面[50]，这是由于该区域[ 1 ]中的汗腺的活动。其他EDG设备使用两个氯化银电极或Ag/AgCl皮肤电反应传感器，将其附着在参与者的中指和食指上[ 29 ]。通过在胸部上应用传感器来使用呼吸传感器，其中皮肤电导率、BVP和温度传感器应用于非优势手。EDA由称为皮肤电导水平（SCL）的缓慢变化部分组成，其被称为相位分量的其他短而快的电导变化覆盖[44]。相位成分可以分为两种不同的类型。第一个是皮肤电导响应（SCR）[53]，其中峰值发生在对刺激的反应列表中的特征提取、精度实现和分类器。2ECG第二个是非特异性皮肤电导反应（NS。SCR），这在经验上与SCR非常相似，但在没有任何刺激的情况下自发发生[14]。EDA信号可以使用被称为Empatica E4 [30]的可穿戴无线设备以4 Hz的采样率进行测量，该设备被放置在人的手腕上。[12] 2012 G. Kanagaraj等人[14]2013年J. Selvaraj[16] 2014 Steffen Walter et al.（赫斯特）HRV74.59%KNNSVM3.7. EDG特征提取特征提取从记录中提取主要特征[15] 2014 A. Mikuckas等人HRV 71.00%（不ded原始信号要处理的分类任务，通过使用这个[8] 2015年M. Menard等人SCR85.57%声明）方法，情感类可以识别[30]。 EDG的特点是SVM人力资源89.58%该方法包含几个步骤，其中第一步是检测波形特征并提取用于模式分类的有用信息特征[33]。例如，可以在没有刺激的情况下采集50秒的信号片段作为基线值。这些组件的电气特性将决定其采集、处理和采样所需的硬件设计。这使得开发一个COM-电极通常放置在手指或手掌上，另一个参考电极放置在前臂上[44]。在身体觉醒的过程中，中枢神经系统被激活，汗液在内分泌腺中产生，这可测量地改变皮肤的导电性[8]。EDG通常被研究人员称为皮肤电活动（EDA）[2，22，26]，皮肤电反应（GSR）[7，47]和皮肤电反应（EDR）[44，47]。然而，所有这些术语都涉及皮肤导电性。EDG用于测量皮肤的电导率，例如，皮肤汗液的增量[50]。这是为了表示来自刺激的压力。它被用来区分愤怒和恐惧[26]。EDG的一个主要缺点是它会受到温度等外部因素的影响[33]。一种解决方法是通过推荐的测量和校准[28]。EDG也被称为“皮肤中具有心理意义的当经历情绪刺激时，外泌汗腺产生汗液，这是电流的有效导体[50]。因而电能够量化EDA的完整系统，例如用于测量老年人EDA水平的系统[26]。当应用平稳小波变换（SWT）技术时，EDG信号产生了高效率和低计算复杂度[2]。表8是实验中使用的EDG设备、特征提取和分类算法的总结。接下来，下表示出了可以从单独的EDG信号和与其他信号组合的表9列出了可以从EDG信号（也称为EDA和GSR）中提取的特征可以提取的特征包括皮肤电导（SC）[8，15]、皮肤温度（ST）[31]、皮肤电导响应（SCR）[2]、皮肤电导水平（SCL）[27]。EDG在测量情绪唤醒和压力方面的应用被证明是一种有效的方法，表8EDG设备、刺激和特征提取的总结。生物反馈信号设备，特点，分类器EDG Empatica、Shimmer 3、Grove-GSR、Bitalino、性能 的 的 皮肤 变化 的 更 情感上 调动特征EX牵引力RA、HR、BPM、HRV、SC、GSR刺激 就是 更多的汗水 分泌 和 更多电气分类器SVM，kNN，随机森林[29]纸年作者信号特征[24日]2011玛丽娜·罗德里格斯ECGMLA[14个]2013J. SelvarajECG[16个]2014Steffen Walter等ECG[十五]2014A. Mikuckas等人心电图，SKT，[八]《中2015SCM. Menard等人EDA，[17个]2016Kevin BradyECGSDC[二]《中国日报》2017K. Minhad等人ECG、SCRHR、BPM、HRV[19个]2017Hany FerdinandoECGNCA[202018W. Wei等人脑电图心电RA，纸年作者特征精度分类器[24日]2011玛丽娜·罗德里格斯·阿利贝拉斯4特点：2处枪击残69.00%懒惰的IBIHR77.69%KNNMRAmp66.09%SVMECG百分之九十二点八模糊[二]《中国日报》2017K. Minhad等人ECG百分之九十五点七SVM[18个国家]2017A. Goshvarpour等人DWT80.24%LS-SVMA.F. Bulagang等人医学信息学解锁20（2020）1003636表9生物信号和提取的特征列表。纸年作者信号特征[十五]2014A. 米库卡斯SC、ECG、SKTHRV[八]《中国日报》[二]《中国日报》20152017等人M. Menard等人K. Minhad等人EDA，心率传感器SCR，ECG，人力资源，SCHR、BPM、HRV[20个]2018W. Wei等人GSR、EEG、ECG、RARA，[27日]2019R. Martinez等人GSRSCR、SCL[三十一]2019R. 马斯凯柳纳斯EDA皮肤温度（ST）发现受试者在下一节中，将详细描述用于执行情感分类的不同机器学习分类器。4. 机器学习本节介绍用于情感分类任务的机器学习算法。机器学习是一种允许计算机系统在不使用专门编程的指令来估计结果的情况下执行任务的工具[54]，例如，使用机器学习的情绪分类可以用于基于情感生理信号（例如EEG、ECG和EDG）对情绪数据集进行分类，以访问受试者的情绪状态。研究人员广泛使用的机器学习分类器包括支持向量机（SVM）[33]，K-最近邻（KNN）[33]和随机森林[26]。4.1. 支持向量机SVM用于从从包括EEG [55]、ECG [54]和EDG [3]的信号中提取的特征训练数据集。 SVM已被研究人员高度使用，因为它在情感分类中显示出一些最高的准确性[2，8]。SVM通过训练和测试数据集来工作，其中数据集被分为两个集，即训练集和测试集。训练集通常使用样本的三分之二，而其余的则应用于测试集以查看分类器的性能[25]。就所使用的分类器而言，SVM除了具有良好的性能外，还具有较低的计算成本，因此SVM是情感分类研究中研究人员的常见选择[18]。4.2. K-最近邻KNN分类器用于评估计算平均和最大分类率的测试性能基准[18]。KNN是一种基于实例的方法，它保存训练的示例，并通过搜索与它们相邻的最近邻居来将其标记在新的实例中[56]。KNN根据测量到的距离选择一个最接近它的点，当发现多个点时，它使用一种打破平局的方法，如多数规则进行决策。K个邻居的参数在确定分类器将产生的性能方面很重要，可以添加该参数，例如增加邻居的数量，减少类内伪影的影响，增加类边界。KNN的优点是易于实现小样本量，计算复杂度低[ 33 ]。4.3. 随机森林随机森林也被称为随机决策森林[57]。它是一种基于决策树的方法，已广泛用于分类和回归[58]。1995年由Ho介绍[57]但Breiman在2001年进一步改进[59]，并发布了一个修改后的版本，目前正在使用。随机森林从决策树（如二叉树）开始，从训练的数据中找到变量值对。该过程是递归的，并且重复直到达到下一个最大深度或者当子集的划分不能再进行时。随机森林通过遵循这些指标来工作，例如信息增益[33]，基尼杂质[33]和均方[33]来估计新的分裂。随机森林将弱的决策树结合起来，并将其变成强学习者[33]根据任务的不同，可以使用不同的聚合预测方法[32]。接下来，EDG和ECG的信号分类如图所示。3.第三章。4.4. ECG和EDG分类处理ECG和EDG信号有三个主要步骤[60]，首先是预处理，然后是特征提取和分类，这将产生分类中执行的准确度结果。图3显示了ECG信号的分类[60]。ECG分类中有三个主要过程，包括预处理[60]、特征提取[11]和数据分类[61]。首先，将ECG数据导入第一阶段进行预处理，其中去除背景噪声并实现数据集的分割。第二阶段是特征提取，其中从ECG信号中选择并提取特征用于分类。在第三阶段，在选择和提取特征之后，可以使用机器学习方法（例如K-最近邻分类器（KNN）、随机森林或支持向量机（SVM））对其进行分类下表显示了研究人员使用的分类器以及他们在实验期间的研究产出表10分析了2012年至2019年的情绪识别研究，特别是实验中使用的分类器类型，情绪分类中识别率的表现，刺激类型，获取受试者数据时使用的信号，以及受试者总数和分类的情绪。据观察，从2015年开始，越来越多的研究人员将EDG信号纳入他们的研究[2，8，20]。此外，与单独使用ECG信号相比，联合使用ECG和EDG信号[2，8，20]的研究人员获得了更好的结果[13，15]。此外，大多数获得高准确度结果的实验都使用视频作为刺激[2，8]。这进一步支持了以下观察结果，即ECG和EDG信号组合可以实现更高的准确度。在情感分类中最常用的分类器是SVM，因为SVM通常表现得更好，预测精度更高。然而，在一些研究中，KNN分类器确实比SVM表现得更好[14，16]。在分析中，使用SVM分类器进行的最佳实验为95.7%，并且结合ECG和EDG信号，该实验中使用的刺激为IAPS和无声音的视频片段[2]。实验中的情绪是愤怒、恐惧、厌恶、快乐和悲伤，共有23名参与者。这表明ECG和信号的组合可以使用SVM分类器产生更好的结果的受试者人数最多为86人，最少为5人。有些情况下其中ECG信号和视频刺激用于研究中。然而，结果并不显著，特征向量不足是产生较低分类率的主要原因之一[13]。在接下来的部分中，总结了本文的分析，探讨了现有的问题和未来的工作，情绪分类方法使用ECG和EDG。5. 研究中存在的问题及今后的工作本文研究了使用ECG和EDG的情绪分类，综述的论文从2012年开始到2019年。通过调查发现，目前国内对这方面的研究还很有限，A.F. Bulagang等人医学信息学解锁20（2020）1003637图三. ECG/EDG分类。关于EDG的情绪分类或与虚拟现实刺激的ECG组合5.1. 实验刺激在研究过程中，有几种形式的刺激用于引起受试者一些数据库提供了汇总表中所示的这些刺激，包括IAPS，DEAP和IADS。视频是大多数研究中常用的刺激之一。然而，使用虚拟现实（VR）的刺激可以为受试者提供更生动的体验，因为他们可以沉浸在虚拟环境中[5]。目前，使用ECG或EDG作为选择信号的VR作为刺激的使用仍然缺乏。这可能是由于VR设备的成本是一个因素，特别是对于基于PC的VR [63]。VR的优势之一是研究人员可以在受控环境中模拟复杂的现实情况，以评估人类的复杂行为[64]。除此之外，可以认为，使用计算机显示器前呈现的图像或视频剪辑可能无法保证受试者专注于刺激。一个这样的复杂因素包括眼睛被吸引到所呈现的刺激之外的其他物体的可能性。这可能导致受试者失去对刺激的关注有了VR，头戴式耳机完全沉浸在虚拟中，因为头戴式耳机本身提供了360°的视野范围，其中主体受到VR环境中的实际内容的刺激，而不是使用传统计算机或电视显示器时的周围环境[5]。5.2. 实验对象一般来说，大多数评审员有30个甚至更多的受试者，并且表现良好，达到80%以上的准确率;然而，性别之间的平衡可能会影响结果。研究更多30个以上的受试者将提供更好的泛化准确性， 而那些少于30名受试者的研究，尽管不是所有的研究都有80%的准确率，这可能是由于其他因素。推荐的受试者数量为30例，性别数量平衡。5.3. ECG/EDG记录本文更侧重于ECG或EDG作为实验期间的选择信号。脑电信号无疑是情感分类中最常用的信号然而，一些研究人员结合使用EEG，ECG和EDG信号，产生了很高的准确性，这表明一个或多个信号的组合可能会增加所达到的心电信号是除脑电信号外最常用的信号之一，心率变异性（HRV）是心电信号中被广泛采用的特征，被研究者用来作为其特征提取。可以对新研究人员进行的改进是解释在实验期间收集生理信号时使用的设备，并提供有关记录这些信号时使用的软件或应用程序的详细信息。使用EDG信号的限制是EDG测量不能提供对情绪效价的洞察，因为它主要只提供对情绪唤醒的洞察[23]。5.4. 最佳性能ECG/EDG信号比较在表10的综述中，ECG是情感识别中使用更广泛的信号，虽然EDG的使用仍在兴起，但研究人员选择在研究中结合ECG和EDG，并在识别率方面产生了显着准确的结果[13，15，16]。下表显示了在情感识别中表现最好的ECG和EDG信号。表11显示了最佳表现信号的比较以及所使用的分类器、识别率、刺激、受试者数量和存在的情绪。这种比较的共同特点是使用的刺激和信号，即视频[2，14，23]和ECG [2，14，23]。A.F. Bulagang等人表10医学信息学解锁20（2020）1003638研究人员使用的分类器、识别率、刺激和信号的总结。年60.21%。化合价分别为0.687和0.638。[2] K. Minhad等人2017 SVM 82.6%图片，视频剪辑与无声音ECG，SCR 23快乐，悲伤，愤怒，厌恶和恐惧[18]A. Goshvarpour等人2017 LS-SVM 80.24%IAPS ECG 47（31（男16名，女16快乐悲伤放松害怕[19]Hany Ferdinando 2017 KNN valence从55.8%提高到64.1%，唤醒从59.7%提高到66.1%视频ECG 27（11例男性（16名女性）效价和唤醒[20]W. Wei等人2018 SVM 84.6%视频EEG、ECG、GSR、RA30悲伤、快乐、厌恶、中性、恐惧[23]第二十三话拜格马诺利亚卡瓦克利&2019 SVM几乎90%图片、视频、音频ECG 30唤醒表11最佳性能ECG/EDG信号的比较。率模糊KNN76.4%厌恶惊讶中立[2] K. Minhad等人2017SVM82.6%-95.7% IAPS，FlimStim，图片，有声音和没有声音的视频剪辑ECG、SCR23快乐、悲伤、愤怒、厌恶和恐惧[23]第二十三话拜格马诺利亚卡瓦克利&2019 SVM几乎90%图片、视频、音频ECG 30唤醒单独使用ECG信号的识别率最高为92.87%[14]，而整体最高识别率为95.7%，其使用ECG和EDG（SCR）的组合，SVM作为分类器，视频作为刺激[2]。这些结果表明，ECG和EDG信号的组合有潜力实现100%的识别率在情感分类与SVM作为分类器的视频作为刺激。基于这些结果，对于未来的实验，建议将ECG和EDG信号相结合，使用视频作为呈现给受试者的主要刺激，并将SVM作为用于情感分类阶段的分类器