基于EEG信号的情绪特征提取和分类方法综述

0认知机器人学1（2021）29-400ScienceDirect提供的内容列表0认知机器人学0期刊主页：http://www.k eaipublishing.com/en/journals/cogniti ve-robotics/0情绪特征提取和分类使用EEG信号的回顾0王江，王梅 �0中国西安710054西安科技大学0文章信息0关键词：情绪 EEG信号特征提取 分类0摘要0作为对外部刺激的主观心理和生理反应，情绪在我们的日常生活中无处不在。随着人工智能和脑科学的不断发展，情绪识别通过EEG信号迅速成为一个多学科研究领域。本文调查了过去五年相关的科学文献，并回顾了使用EEG信号的情绪特征提取方法和分类方法。常用的特征提取分析方法包括时域分析、频域分析和时频域分析。广泛使用的分类方法包括基于支持向量机（SVM）、k-最近邻（KNN）、朴素贝叶斯（NB）等的机器学习算法，其分类准确率范围从57.50%到95.70%。基于神经网络（NN）、长短期记忆（LSTM）和深度信念网络（DBN）的深度学习算法的分类准确率范围从63.38%到97.56%。0引言0情绪是一个人对客观事物的行为反应，是由个体需求调节的。它影响一个人的心理和行为活动，如信息处理和决策。近年来，脑-计算机界面（BCIs）[1]领域不断发展，并逐渐应用于许多领域，例如医学、心理学、教育和军事事务[2]。一些神经科学家、心理学家和工程师在计算机科学领域进行了一系列有关情绪识别的研究[3-5]。通过脑电图（EEG）信号进行情绪识别的研究广泛推动了BCIs的发展。情绪识别通常可以通过非生理信号和生理信号进行分析。非生理信号通常指面部表情、动作、声音等，仅依靠这些非生理信号无法准确识别伪装中的人类情绪[6-9]。这正是因为EEG信号与其他非生理信号在客观性和难以隐藏方面不同[10]。在[11,12]中已经证明EEG信号与情绪状态有很强的关系。通过分析EEG信号进行情绪识别具有更高的分类准确性，并对情绪变化反应更快[13,14]。因此，分析EEG信号对于情绪识别更加可靠和有效。本文回顾了过去五年中基于EEG信号提出的情绪特征提取方法和分类方法，如图1所示。我们关注基于EEG信号的情绪特征，证明了EEG信号在情绪分类中的科学性。0�通讯作者。电子邮件地址：wangm@xust.edu.cn（王梅）。0https://doi.org/10.1016/j.cogr.2021.04.001 收稿日期2020年12月30日; 修订稿收到日期2021年3月26日; 2021年4月2日接受日期 在线发表日期2021年4月20日2667-2413/© 2021 The Authors. Publishing Services by Elsevier B.V. on behalf of KeAi Communications Co. Ltd. 本是一篇CCBY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）30 0J. Wang and M. Wang Cognitive Robotics 1 (2021) 29–400统计的Hjorth0时间0频率0时频0功率谱密度 差分熵高阶谱 高阶交叉0短时傅里叶变换 小波变换希尔伯特-黄变换0机器学习0支持向量机 K最近邻随机森林 朴素贝叶斯极限学习机0深度学习0卷积神经网络 循环神经网络深度信念网络0长期和短期记忆人工神经网络0设备0电极0EEG采集 EEG预处理0伪影去除0信号增强0特征提取0时间频率 时频0分类0积极 消极中性0诱发实验0刺激0受试者0图1. 使用EEG信号进行情绪特征提取和分类的概述图。0我们的分析大致基于基于EEG的情绪分类过程。首先，我们介绍情绪诱发实验和用于情绪识别的EEG数据集。其次，进行不同实验研究中的EEG信号采集设备和电极分布。比较后，解释了当前研究中常用的EEG特征分析方法。最后，分析和评估了用于区分常用EEG数据集上的valences的不同特征提取和分类方法。0相关理论0接下来，我们将简要介绍与情绪相关的理论和情绪表达模型，以及情绪诱发实验和常用数据集，为情绪变化与EEG信号特征之间的关系提供背景知识。0情绪理论0情绪是一种由生物体的需求倾向介导的心理现象，包含三个组成部分：生理激活、主观体验和外部表现[15]。生理激活指的是情绪的生理反应。不同情绪的生理反应是不同的，比如满足和快乐时心跳节奏正常；当恐惧或愤怒时，心跳加快，血压升高，呼吸速率增加甚至出现间歇或暂停；疼痛时血管容积减少。相关研究表明，女性比男性更容易激发情绪，生理激活程度更为明显[16]。主观体验是个体对不同情绪状态的感受。其他人可能对相同的刺激产生不同的情绪。情绪的外部表现是我们通常所说的表情。它通常包括面部表情、手势表情和语调表情[17]。情绪表达的正确性是情绪识别研究的关键点。其他研究人员提出了不同的情绪表达方法，大致可以分为离散模型理论和维度模型理论。P.Ekman提出了幸福、愤怒、恐惧、厌恶、悲伤和惊讶六种基本情绪状态[18]。其他复杂的情绪可以由这些基本情绪组成[19]。同时，离散模型用适当的识别表示了情绪的自然属性。根据认知评价，维度模型理论将情绪映射到valence和arousal的二维模型空间，或者valence、arousal和dominance的三维模型空间。Valence指的是积极和消极情绪的程度；arousal是情绪的强度；dominance的程度描述了情绪的控制。31 0J. Wang and M. Wang Cognitive Robotics 1 (2021) 29–400低0价值0唤醒0积极0消极0高0悲伤 舒适0愤怒0快乐0图2. 二维模型。0图2显示了离散情绪的三类：积极、中性和消极，使用二维模型。情绪通过维度模型理论进行向量化，这使得操作更加可行。最近，二维模型在情绪表示中变得越来越主导。0唤起的情绪0目前，唤起情绪有两种常见方法：主体唤起和外部事件唤起。主体唤起是指需要主体回忆特定的情感记忆片段或场景，以刺激他们产生相应的情绪。这种唤起方法属于不确定性和不可控性的内部唤起，通常不用于进行与情绪唤起相关的实验。我们经常使用外部事件通过不同的刺激方法唤起主体产生相应的情绪，例如视频、音频和图像。根据现有的情绪唤起实验，用于情绪识别的常用脑电图数据集包括使用脑电图、生理和视频信号进行情绪分析的数据库（DEAP）、上海交通大学情绪脑电图数据集（SEED）、国际情感图片系统（IAPS）、国际情感数字化声音（IADS）和MahnobHCI等。DEAP数据集最初由Korlstra等人[20]建立，用于研究生理信号和情感分析，其中包括从32名受试者（16名男性和16名女性）观看一分钟音乐视频时收集的脑电图信号[21]。SEED数据集由上海交通大学BCMI实验室提供，其中包括从15名受试者（7名男性和8名女性）观看表现出积极、中性和消极情绪的中国电影时收集的脑电图信号[22,23]。IAPS[24]和IADS由佛罗里达大学国家心理健康中心开发。IAPS包含许多带有情绪价值、唤醒和支配水平标签的彩色图像，而IADS提供听觉情感刺激系统[25]。Mahnob HCI数据集由伦敦帝国学院的M.Soleymani等人[26]创建，包含27名受试者（11名男性和16名女性）对情绪识别和隐式标记的实验数据[27]。同时，标准化的中国情感视频系统（CEVS）也可以唤起情绪[16]。刘玉军等人[28]提出了通过标准化电影数据集的实时脑电图情绪识别系统。0脑电图信号和情绪0在生物医学研究中，大脑是人体中最复杂的器官。大脑皮层是大脑的最大部分，上面有一种生物电信号，即脑电信号，其幅度约为10V〜100V[29]。大脑皮层可分为额叶、顶叶、颞叶和枕叶，如图3所示[5]。额叶的主要功能是认知思维和情感需求。顶叶响应人体触觉感觉，并与人体平衡和协调有关。颞叶主要负责听觉和嗅觉，并与情感和精神活动有关。最后，枕叶负责处理视觉信息。根据脑电图信号频率带的不同，脑电图信号可分为五种类型：δ波（0.5-4Hz）、θ波（4-8Hz）、α波（8-13Hz）、β波（13-30Hz）和γ波（>30Hz），如图4所示。在不同的研究中，每个频率带的具体范围略有不同。不同频率带的脑电图信号与人类意识活动有关[30]。δ波经常出现在深度无意识的梦寐状态中。θ波出现在睡眠、梦境和困倦中，并与潜意识有关。当唤起积极情绪时，额叶中线的θ波将增加。32 0J. Wang和M. Wang认知机器人学1（2021）29-400图3. 大脑皮层的生理结构。0图4. 脑电节律波形。0当一个人放松但有意识时，α波产生。α波在额叶的不对称反映了情绪的价值，而中线矢状通道在研究脑电信号中起着重要作用[31]。在中性和负面情绪中，α波的振荡能量高于β波和γ波。β波出现在人的大脑活跃和高度集中时。额叶的显著β波可以反映情绪的价值。β波和α波的平均功率比可以反映大脑的活跃状态。γ波与大脑的过度活跃有关[32,33]。研究表明，同时使用α波、β波和γ波进行情绪识别更可靠[31]。基于脑电信号的情绪识别研究表明，脑电信号在情绪中具有非静态特性0[22]。此外，情绪的价值在前额区是不对称的，而唤醒与前额区的活动有关。情绪脑电在低频带中比在高频带中更充分地被唤起，而负面情绪的分布和强度比正面情绪更广泛[34]。在大脑中线上的θ波、α波和β波的平均功率将在快乐、悲伤和恐惧情绪存在时显著不同，这表明脑电的中线功率谱是情绪分类的有效特征之一[16]。P.Li等人[35]将功能连接网络与局部激活相结合，以展示对情绪做出反应的局部脑区活动，并反映相关脑区之间的相互作用。这些研究揭示了情绪变化与相应脑电信号特征之间的关系，这对于研究脑电信号的情绪分类更有益。0脑电信号采集0在脑电信号采集过程中，脑电采集设备和电极分布的选择在情绪特征提取、分析和分类中起着重要作用。一些情绪脑电实验中常用的采集设备和电极的统计数据如表1所示。脑电信号的采集可以分为侵入性和非侵入性方法。侵入性采集方法具有高信噪比和高信号强度，但需要通过医学手术植入颅腔，CzFpzF9F5F6C3C4CPzF10P5PzP4P9TP10Fp2FzIzFp1F7F8T7T8P7O1AFzFCzPOzOzC1C2C5C6TP9P10PO7TP7TP8P8PO8O2FT7AF7FT8AF8FT9FT10F3F1F2F4FC1FC3FC5FC2FC4FC6CP5CP3CP1CP2CP4CP6P1P3P2P6PO3PO4T9T10A1A2NZAF3AF433 0J. Wang和M. Wang认知机器人学1（2021）29-400表1 脑电信号采集设备和电极的分布。0参考设备（频率）电极分布（＃）J. 刘等人[28] Emotiv EPOC（128 Hz）AF3，F7，F3，FC5，T7，P7，O1，O2，P8，T8，FC6，F4，F8，AF4（14）Z. 刘等人[30] R.Nawaz等人[45] T. Chen等人[46] T. B. Alakus等人[47] Emotiv EPOC（2048Hz）AF3，F7，F3，FC5，T7，P7，O1，O2，P8，T8，FC6，F4，F8，AF4，P3，P4（16）Zamanian等人[48] Biosemi Active Two（128Hz）P7，P3，PZ，PO3，O1，CP2，C4（7）E. S. Pane等人[49] T7-T8，F7-F8，O1-O2，C3-C4，CP5-CP6，P7-P8（6）L. Piho等人[38] Biosemi Active Two（512Hz）国际10-20系统（32）H. Dabas等人[50] L. Zhu等人[51] Biosemi Active Two（1000 Hz）FP1，FPZ，FP2，AF3，AF4，F5，F3，F1，FZ，F2，F4，F6（12）L.Zheng等人[52] ESI NeuroScan System（1000 Hz）国际10-20系统（62）W. Zheng[53]国际10-20系统（20）T. Zhang等人[54]国际10-20系统（62）T. Song等人[23]62通道帽（1000 Hz）国际10-20系统（62）W. L. Zheng等人[12] S. K. Khare等人[55] 24通道脑电设备（256 Hz）FP1，FP2，F3，F4，F7，F8（6）Z. Li等人[56] NeuroscanQuik-Cap（250 Hz）国际10-20系统（32）K. Yang等人[57] g.HIamp系统（512 Hz）国际10-20系统（62）0图5. 10-10标准电极引导系统。0电极侵入大脑皮层，因此操作不容易。非侵入式采集方法是在受试者头皮上接触采集电极，使用简单，是当前脑-计算机界的主流采集方法。根据图5发现，与情绪相关的EEG电极主要分布在前额叶、颞叶边缘和后枕叶。这些区域与情绪产生的生理原理完全一致。J. Wang and M. Wang Cognitive Robotics 1 (2021) 29–40 34 0选择电极分布后，提取的特征维度可以大大减少。计算复杂度可以降低，实验更简单易行。0采集设备0在情绪EEG实验研究中，由于各种实际需求，EEG采集设备是不同的。常见的包括Biosemi Active Two、Emotiv EPOC和NeuroscanQuik-Cap。Biosemi Active Two是Biosemi在荷兰基于ActiveOne开发的第二代高分辨率EEG分析系统。在采样率、带宽和共模抑制比方面处于行业领先地位。在活性电极下的高电极阻抗不会影响信号质量。因此，根本不需要任何皮肤准备工作，实验操作更加方便快捷。Emotiv EPOC是EmotivSystems开发的非植入式电极设备，用于获取脑波已经研发了五年时间。内部有16个传感器。佩戴时位置应调整好，移动时不应太大。Neuroscan的Quik-Cap电极帽易于佩戴舒适，并使用标准的EEG电极定位系统。不同情绪EEG实验的EEG采样率是不同的。从表1可以看出，典型的采样率为1000赫兹、128赫兹、512赫兹等。0电极分布0情绪EEG实验由于不同的研究内容，采集的EEG信号不同，电极的数量和位置也不同。我们使用10-10标准电极引导系统来展示常用电极的统计分布，如图5所示。如表1所示，大多数情绪EEG实验采用国际10-20系统的脑电极分布。电极数量范围从6到62。最常用的电极位于额叶，如图5所示，红色区域的F3和F4，与人脑额叶的功能相关。此外，绿色区域内还有FP1、FP2、AF3、AF4、F7、F8、FC5、FC6、O1和O2，黄色区域内有T7/T8、P7/P8。0图5 . 情感EEG实验通常使用总共16个电极。黄色区域的T7/T8是T3/T4，P7/P8是T5/T6 [ 36 , 37]。关于电极的名称，FP，AF，F，FC，T，P和O分别代表前极，前额叶，额叶，额中央，颞叶，顶叶和枕叶。奇数后缀表示左半球，偶数表示右半球。0特征提取和分析0通过EEG信号进行情感识别过程中，特征提取是情感分类的关键部分。特征提取的质量将直接影响情感分类的准确性。传统的EEG情感研究主要使用人工提取与情感相关的EEG特征，例如提取特定频段的功率谱和不同频段的能量比。这种方法简单易行，但需要EEG分析师具有丰富的经验和知识，提取的特征水平较低，泛化能力差，无法提高分类准确性。近年来，许多EEG情感研究提出了不同的新EEG信号特征提取方法。最常用的方法包括短时傅里叶变换（STFT）、功率谱密度（PSD）、统计、小波变换（WT）、差分熵（DE）、样本熵（SE）、小波熵（WE）和经验模态分解（EMD），如表2所示。此外，L. Piho等人[38]提出了基于受试者互信息窗口的信息EEG特征提取方法，实现了相关情感的稳健和准确分类。S.Liu等人[39]结合了EMD和DE的优势，提出了一种动态差分熵（DDE）算法来提取EEG信号的特征。C.Wei等人[40]利用双树复小波变换（DT-CWT）提取不同情感下的EEG信号特征。与传统小波变换相比，该算法具有良好的抗混叠效果和平移不变性。H.Li等人[41]结合DE和皮尔逊相关系数矩阵（PCCM）构建了一种新的DE-PCCM特征提取方法，可以衡量不同情绪状态下不同脑节点之间的相关性，有效提高了多情感分类的准确性。X. F. Liu[42]结合多尺度熵和排列熵获得了一种新的多尺度排列熵非线性分析方法。当尺度因子为2时，该方法对情感EEG分类有显著效果。G. K. P.Veeramallu等人[43]利用EMD方法分解非平稳和非线性的EEG信号以获得固有模态函数（IMFs），从中提取不同的非线性特征。最后，使用随机森林分类器完成EEG情感的自动分类[44]。一般来说，传统的EEG特征分析主要在时域、频域和时频域进行。然而，考虑到EEG信号的非线性特征，可以利用非线性动力学对EEG信号进行更深入的研究。本节将从四个角度介绍情感识别的EEG特征分析方法：时域分析、频域分析、时频域分析和非线性特征分析。J. Wang and M. Wang Cognitive Robotics 1 (2021) 29–40 35 0表2 使用EEG信号的情感特征提取和分类方法。0参考分类方法特征提取准确率（%）G. Zhao等人[13] SVM STFT 81.08 外向性；86.11 宜人性；80.56 严谨性；83.78 开放性 J. Liu等人[28] 86.43愉悦VS.快乐VS.温柔；65.09 愤怒VS.厌恶VS.恐惧VS.悲伤；92.26 非中性VS.中性；86.63 积极VS.消极 R. Nawaz等人[45] 77.62 情感价值；78.96 唤醒；77.60 支配 Z.Li等人[56] MLDW-PSO 89.50 Zhang等人[66] EMD, SE 94.98 Q. Gao等人[67] STFT, PS, WT, WEE 85.67 中性；87.11 快乐；89.17 悲伤 T. B. Alakus等人[47]SVM（RBF）DWT，统计 75.00 HAPV；96.00 HANV；71.00 LAPV；79.00 LANV H. Zamanian等人[48] EMD，Gabor小波 93.86 N. Zhuang等人[44] EMD 69.10情感价值；71.99 唤醒 H. Chao等人[68] SVM（线性）MIC 70.21 情感价值；71.85 唤醒 S. K. Khare等人[55] MC-LSSVM（RBF）自适应TQWT 95.70 T. Chen等人[46]LIBSVM（高斯）EMD 82.63 情感价值；74.88 唤醒 Z.Yin等人[69] LSSVM PSD，统计 70.00 情感价值；67.00 唤醒 S. Taran等人[70] MC-LSSVM EMD，VMD 92.79快乐；87.62 恐惧；88.98 悲伤；93.13 放松 T. Song等人[23] DGCNN DE 90.40 T. Zhang等人[54] STRNN DE 89.50 S. Liu等人[39] DECNN DDE 97.56 H. Cui等人[71]RACNN 时间，区域，不对称 96.65 情感价值；97.11 唤醒0A. Rahman等人[72] ANN PCA，t-统计 86.57 Alnafjan等人[73] 基于NeuCube的SNN – 84.62 S.K. Khare等人[74] 可配置CNN SPWVD96.71恐惧；86.08快乐；93.83放松；95.45悲伤Z. Liu等人[30] KNN EMD 86.46价值；84.90唤醒L. Piho等人[38] WT，SF，PSE，HOS，HOC86.00价值；87.20唤醒0M.A. Ashar等人[75] DFC，DE 92.30 A.E. Putra等人[76] KNN（k=21）WD 57.50价值；64.00唤醒D. Nath等人[77] LSTM PSD94.69价值；93.13唤醒（受试者相关）Y.Q. Yin等人[78] DE 90.45价值；90.60唤醒（受试者相关）84.81价值；85.27唤醒（受试者无关）J. Yang等人[79] BiLSTMDE 84.21 A. Garg等人[80] 合并LSTM WT，统计特征 84.89价值；83.85唤醒；84.37支配W.L. Zheng等人[12] DBN DE 86.08 Y. Huang等人[81] W-WPCC74.84愤怒；71.91厌倦；66.32恐惧；63.38快乐；69.98中立；72.68悲伤L. Zheng等人[52] GELM STFT，PSD，DE，DASM，RASM 91.070W. Zheng[53] GSCCA DE 82.45 E.S. Pane等人[49] RF PSD，统计特征，DWT 75.60 H. Dabas等人[50] NB PSD78.060特征提取：功率谱密度（PSD）、短时傅里叶变换（STFT）、自适应可调Q小波变换（ATQWT）、差分熵（DE）、小波变换（WT）、统计特征（SF）、功率谱熵（PSE）、高阶谱（HOS）、高阶交叉（HOC）、经验模态分解（EMD）、小波能量熵（WEE）、深度特征聚类（DFC）、分形维度（FD）、差分不对称性（DASM）、有理不对称性（RASM）、小波能量（WE）、多阶段线性递减惯性权重-粒子群优化（MLDW-PSO）、离散小波变换（DWT）、主成分分析（PCA）、加权小波包倒谱系数（W-WPCC）、最大信息系数（MIC）、动态差分熵（DDE）、平滑伪Wigner维尔分布（SPWVD）、变分模态分解（VMD）、小波分解（WD）。分类方法：支持向量机（SVM）、多类最小二乘支持向量机（MC-LSSVM）、径向基函数（RBF）、图正则化极限学习机（GELM）、深度信念网络（DBN）、动态图卷积神经网络（DGCNN）、群稀疏典型相关分析（GSCCA）、空间-时间递归神经网络（STRNN）、K最近邻（KNN）、随机森林（RF）、最小二乘支持向量机（LSSVM）、区域-不对称卷积神经网络（RACNN）、人工神经网络（ANN）、脉冲神经网络（SNN）、动态经验卷积神经网络（DECNN）、图卷积神经网络（GCNN）、双向长短时记忆网络（BiLSTM）、朴素贝叶斯（NB）。准确性：L-低，H-高，P-积极，N-消极，A-唤醒，V-价值，VS.-对比。− ( − (2 36 0J. Wang and M. Wang Cognitive Robotics 1 (2021) 29–400长期以来，时间域分析方法一直被用于研究脑功能。大多数现有的脑电图采集设备都是在时间域内采集脑电信号。常用的时间域分析方法有直方图分析方法、统计特征、Hjorth参数、分形维度、事件相关电位（ERP）等。这种方法主要从脑电信号的几何特征入手，脑电分析师可以对其特征进行准确直观的统计分析。其特征包括信息损失较少的脑电信号。然而，由于脑电信号的复杂波形，对于分析脑电时间域特征并没有统一的标准，因此脑电分析师需要具有丰富的经验和知识。0频域分析方法将时域的脑电信号转换为频域，以分析和提取频域特征。通常，获取的频谱被分解为多个子带，并提取诸如对数能量谱、功率谱密度（PSD）、差分熵（DE）、高阶谱（HOS）和高阶交叉（HOC）等特征进行分析。C.P.Panagiotis等人首次提出HOC以反映脑电信号的波动特征。对于固定长度的脑电图序列，DE等价于某一频段内的对数能量谱。差分熵作为衡量连续随机变量复杂性的熵，可以表示为：0�� = − ∫ � � ( � ) log ( � ( � )) �� (1)0其中�是一个随机变量，�(�)是实验研究显示，在带通滤波后的EEG信号的一系列子频带大致服从高斯分布�(�, � 2)，其微分熵可以定义为:0�� = − ∫ +∞ −∞ 1 √02 log(2πe σ i 2 ) (2)0时频域分析0时频域分析方法整合了时间域和频率域信息，并具有同时在时频域中进行局部分析的能力。在频率域中对EEG信号进行分析不会丢失原始信号的时域信息，并且在分析过程中可以保证更高的分辨率。短时傅里叶变换（STFT）通常用于在时间上添加固定窗口函数。将非平稳过程视为一系列短时平稳信号的叠加。其计算公式可以表示为:0� (t , � ) = 0−∞ � ( � ) � ( � − � ) � − � 2 ��� �� (3)0其中�(�−�)是短时窗口函数。固定大小和形状的窗口函数无法满足高频时间细分要求和低频细分。小波变换（WT）继承了STFT的局部分析能力。同时，引入了随频率变化的窗口函数，对于分析时变和非平稳信号具有更高的分辨率。此外，小波包变换（WPT）和希尔伯特-黄变换（HHT）[62]也是时频域分析的重要方法。0非线性特征分析0许多研究表明，EEG信号具有非线性和非周期性特征[63–64]。具有混沌特征的EEG信号可以通过非线性动力学分析进一步研究。非线性特征分析主要包括混沌理论和信息理论。混沌理论方法包括相关维数、最大李雅普诺夫指数和赫斯特指数。信息理论方法包括排列熵、功率谱熵、奇异值分解熵、样本熵等。0EEG情感分类0EEG情感分类研究通常包括五个部分：情绪诱发实验、EEG信号采集、EEG预处理、特征提取和情绪分类，如图6所示。其中，分类是情感识别的最后一步。目前，一些流行的机器学习算法，如支持向量机（SVM）、k-最近邻（KNN）、随机森林（RF）、朴素贝叶斯（NB）和极限学习机（ELM）37 0J. Wang and M. Wang Cognitive Robotics 1 (2021) 29–400设备0电极0EEG采集 EEG预处理0去除伪迹0信号增强0特征提取0时频0时频0分类0积极的负面的中性的0诱发实验0刺激0受试者0图6.基于EEG信号的情感分类过程。0图7.使用EEG信号的情感分类方法。0情绪识别的脑电信号（EEG）情感分类中，机器学习（ML）和深度学习（DL）方法被广泛应用。这些浅层分类模型都直接使用EEG信号特征进行分类，而不考虑EEG信号的内部时间动态信息。近年来，深度学习方法受到大多数研究人员的青睐。卷积神经网络（CNN）、循环神经网络（RNN）、生成对抗网络（GAN）、深度信念网络（DBN）、人工神经网络（ANN）和长短期记忆（LSTM）由于在表示学习能力和高分类准确性方面的优势，可以应用于更复杂的情况。因此，越来越多的研究人员将深度学习视为EEG情感分类的一种重要研究方法。近年来使用EEG信号的情感分类方法总结如表2所示。从表2中，我们粗略分析和比较了本文中出现的不同机器学习算法和深度学习算法的分类准确性范围：传统机器学习算法的分类准确性范围为57.50%至95.70%。深度学习算法的分类准确性范围为63.38%至97.56%。可以看出，传统机器学习算法的分类效果通常不如深度学习算法。传统机器学习算法需要大量的先验知识来找到EEG信号的特征。然而，在复杂的认知过程中，不同的受试者有很大的差异，很难找到代表性和有效的特征。这使得提高EEG信号分类的准确性非常困难。与传统机器学习算法相比，深度学习不需要大量的先验知识和手动特征提取。它可以逐层直接从复杂数据中提取特征。上述大多数研究都是基于DEAP、SEED、MahnobHCI等公共数据集。由于使用了多种分类方法，我们选择了具有更好分类效果的分类器进行分析和总结。如图7所示，支持向量机（SVM）及其变种MC-LSSVM、LSSVM等使用最频繁，占41.18%，相应的核函数为径向基函数（RBF）、线性、高斯等。神经网络（NN），例如CNN、RNN、AAN、SNN及其变种是第二常用的，占20.59%。LSTM及其变种的使用情况与KNN相似，各占11.76%。DBN被5.88%的研究人员选择。NB、RF和ELM使用最少，各占2.94%。作为传统机器学习算法的代表，SVM具有使用不同核函数在高维空间中进行类分离的优势，并且大多数研究人员长期以来都偏爱它。因此，它在本文中算法使用频率中排名第一。作为机器学习的一个分支，深度学习是一种使用人工神经网络作为框架，并使用多个处理层来表征和学习数据的算法。它可以直接从原始信号中自动提取高级特征进行分类。基于大数据和图形处理单元的强大计算能力，深度学习比传统机器学习算法要好得多。本文使用了动态经验卷积神经网络（DECNN）算法，分类准确性为97.56%。因此，NN的使用频率仅次于SVM。J. Wang and M. Wang Cognitive Robotics 1 (2021) 29–40 38 0尽管这些分类器在基于脑电图的情绪分类任务中优于传统方法，但由于脑电图数据的高维度和样本稀缺，分类计算复杂度非常高。因此，我们需要进一步优化分类算法，减少计算复杂度，提高分类准确性，并构建更好、更普遍的分类模型。为了克服超参数过多和训练数据量大的缺点，J.Cheng等人提出了基于深度森林的多通道脑电图情绪分类方法。在DEAP数据集上，愉悦度和唤醒度的平均准确率分别达到97.69%和97.53%。H.Yang等人采用了具有多列结构的CNN模型，在DEAP数据库上进行情绪分类，最终准确率达到90%。J.Chen等人使用混合卷积循环神经网络对脑电信号的二元情绪进行分类，最终分类准确率分别为93.64%和93.26%。为了解决脑电信号对时间的依赖性问题，L.Yang等人提出了基于深度学习的序列模型，构建了固定长度时间窗口数据的时间序列，并将其输入到时间卷积网络进行分类。至于脑电数据的不足，Y.Luo等人引入了条件Wasserstein GAN模型用于增强脑电数据，显著提高了情绪分类DEAP和SEED数据集。E. S.Pane等人首次在脑电情绪分类中实现了RF，其最高准确率为75.6%。C. Y.Liu等人使用遗传算法优化参数后，采用SVM对不同情绪进行分类，准确率为93.75%。在情绪识别任务中，经常忽略了脑电的时间信息，导致脑电的时间和时空频域信息被充分利用。Z. Q. Li提出了基于长短期记忆循环神经网络的情绪分类算法，对情绪愉悦度分类实验的平均准确率达到78.44%。B. H.Kim等人提出了基于卷积长短期记忆网络的模型和基于时间边缘的损失函数。DEAP公共数据集实验证明，与最先进技术相比，识别准确率提高了15.96%。另外，S. Sheykhivand等人直接将原始脑电信号应用于卷积神经网络和长短期记忆网络，而不涉及特征提取方法。0结论0本文主要调查和分析了过去五年中一些文献，其中提出了一种通过脑电信号提取和分类情绪特征的新方法。我们对这些研究的分析表明了情绪分类研究通过脑电信号的科学性质。本文介绍了情绪实验和标准数据集，脑电信号采集设备和电极分布，以及脑电图分析方法。对于脑电研究中的情绪特征提取和分类，从多个方面阐述了不同的特征提取和分类方法，并提供了比较系统。希望本文能够为研究人员提供一些帮助，特别是那些即将进入该领域的人，以了解情绪导向脑电图特征提取和分类研究的当前情况。0竞争利益声明0作者声明他们没有已知的竞争性财务利益或个人关系，这些可能会影响本文报道的工作。0致谢0本工作得到陕西省科技项目2016GY-040和2020JM-525的支持。0参考文献0[1] R. Cowie，等，人机交互中的情绪识别，IEEE Signal Proc. Mag. 18 (1) (2001) 32–80 . [2] J. Joshi，等，抑郁症诊断和监测的多模态辅助技术，J. 多模态用户界面 7 (3) (2013) 217–228 . [3] J.Frey，C. Mühl，F. Lotte，M. Hachet，电脑交互评估方法中脑电图的应用综述，国际物理计算系统会议 (2014) 214–223 .0[4] J.H. Gruzelier，EEG-神经反馈优化表现。I：健康参与者认知和情感结果综述，神经科学生物行为评论 44 (2014) 124–141 .0[5] S.M. Alarcão，M.J. Fonseca，使用EEG信号进行情绪识别：一项调查，IEEE Trans. A�ect. Comput. 10 (3) (2019) 374–393 . [6]张，T.，郑，W.，崔，Z.，宗，Y.，严，J.，严，K.，一种用于多视角面部表情识别的深度神经网络驱动的特征学习方法，IEEE T. 多媒体 18 (12) (2016) 2528–2536 .0[7] 邓，J.，徐，X.，张，Z.，Frühholz，S.，Schuller，B.，语音情绪识别的半监督自动编码器，IEEE-ACM T. 音频，语音. 26 (1) (2018) 31–43 . [8]Kahou，S.E.，等，Emonets：视频情绪识别的多模态深度学习方法，J. 多模态用户界面 10 (2) (2016) 99–111 . [9] ElAyadi，M.，Kamel，M.S.，Karray，F.，语音情绪识别调查：特征，分类方案和数据库，模式识别 44 (3) (2011) 572–587 .0[10] 赵，G.Z.，宋，J.J.，葛，Y.，刘，Y.，温，T.，基于生理大数据的情绪识别的进展，J. 计算机研究与发展 53 (2016) 80–92 . [11] 林，Y.-.P.，等，基于EEG的音乐听觉情绪识别，IEEE Trans.生物医学工程 57 (7) (2010) 1798–1806 . [12] 郑，W.L.，卢，B.L.，使用深度神经网络研究EEG情绪识别的关键频段和通道，IEEE T. 自动. 智能. 开发. 7 (3) (2015) 162–175 .0[13] 赵，G.，葛，Y.，沈，B.，魏，X.，王，H.，基于EEG信号的人格推断的情绪分析，IEEE Trans. A�ect. Comput. 9 (3) (2018) 362–371 . [14]Hilborn，O.，使用EEG评估情绪识别的分类器，计算机科学讲义 8027 (2015) 492–501 .39 0J. 王和M. 王 认知机器人学 1 (2021) 29–400[15] I.B. Mauss，M.D. Robinson，情绪测量：一项综述，认知. 情感. 23 (2) (2009) 209–237 . [16] 曹，K.X.，三种基本情绪的EEG频率功率特征研究，CN: 天津医科大学，天津，2019 . [17] M.N.Shiota，J.W. Kalat，情感心理学，中国轻工业出版社，北京，CN，2015 . [18] P. Ekman，基本情绪的论据，认知. 情感. 6 (3–4) (1992) 169–200 . [19] E.L. van denBroek，无处不在的情绪感知计算，个人. 无处不在. 计算. 17 (2013) 53–67 . [20] S. Koelstra，等，DEAP：使用生理信号进行情绪分析的数据库，IEEE Trans. A�ect. Comput. 3 (1) (2012) 18–31 .[21] N. Kumar，K. Khaund，S.M. Hazarika，情绪识别的EEG双频分析，计算机科学会议论文集 84 (2016) 31–35 . [22] T.H. Li，W. Liu，W.L. Zheng，B.L.Lu，从EEG和眼动信号中分类五种情绪：区分能力和随时间的稳定性，第9届国际IEEE/EMBS神经工程大会，2019 .0[23] 宋，T.，郑，W.，宋，P.，崔，Z.，使用动态图卷积神经网络进行EEG情绪识别，IEEE Trans. A�ect. Comput. 11 (3) (2020) 532–541 .0[24] R.M. Mehmood，H