基于脑电信息的情绪识别综述

认知机器人2（2022）132基于脑电信息的情绪识别方法综述于朝飞，王梅XiaRT i cL e i nf o保留字：人工智能脑电信号预处理特征提取情感分类a b sTR a cT情绪是人类情感中不可缺少的一部分，它影响着人类正常的生理活动和日常生活决策。人类情感识别是人工智能、人机交互等领域的关键技术。大脑是人体的信息处理和控制中心。脑电信号是由中枢神经系统直接产生的生理信号，与人类的情绪密切相关。因此，脑电信号可以客观、实时地反映人的情绪状态。近年来，随着脑机接口的发展，人类脑电信号的采集和分析技术日趋成熟，越来越多的研究者采用基于脑电信号的研究方法来研究情绪识别。脑电信号处理在情绪识别中起着至关重要的作用。本文介绍了近年来有关情绪认知的研究报告。本文从情绪诱导、脑电预处理、特征提取、情绪分类等方面介绍了相关的分析方法和研究内容，并比较了各种方法的优缺点。本文总结了目前研究方法中存在的问题。本文探讨了基于脑电信息的情绪分类的研究方向。1. 介绍人类情感是人类意识过程中产生的一种心理和生理状态，在人际交往中起着至关重要的作用[1]。人类并不是从一个空白的大脑开始思考。情绪在日常生活中的正常生理活动和决策中不可或缺[2]。大脑活动在情绪产生和运动中起着至关重要的作用，从大脑收集的EEG信号可以检测与情绪状态变化相关的信息[3，4]。人在大多数情况下，情绪可以反映人脑电信号能够实时、客观地反映人的情绪状态。获取情感的方法有：从文本中提取动画特征[6]，基于面部表情提取表情特征[7]，收集受试者的EEG信号以提取动态片段。近年来，随着干电极技术的发展，无创电极设备在脑电采集中得到了广泛应用[8，9]。脑机接口的发展对情绪识别的研究具有重要的科学价值和意义[10]和人工智能[11]。基于脑电信号的情绪识别在娱乐游戏、教育、刑侦、辅助驾驶、医疗保健等领域有着广阔的应用前景[12，13]。例如，在辅助驾驶中，我们可以通过分析驾驶员的EEG信号来获得驾驶员的情绪状况。在愤怒中，司机很可能做出危险的驾驶行为，交通事故可能很快发生[14Cheng Jing[18]预测，驾驶员在不同情绪状态下的平均速度将比中间状态显著增加，*通讯作者。电子邮件地址：wangm@X ust.edu.cn（M. Wang）。https://doi.org/10.1016/j.cogr.2022.06.001接收日期：2022年5月1日;接收日期：2022年6月20日;接受日期：2022年6月22日2022年6月29日在线提供2667-2413/© 2022作者。Elsevier B. V.代表KeAi Communications Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）可在ScienceDirect上获得目录列表认知机器人期刊首页：http://www.keaipublishing.com/en/journals/cognitive-robotics/C. Yu和M. 王认知机器人2（2022）132133Fig. 1. 情绪识别的示意图。驾驶员的ECG信号和驾驶数据。Mingen Zhong[19]认为愤怒和道路状况会影响司机的超速行为。情绪识别技术可以预测和预防驾驶员情感识别过程包括归纳、信号采集、预处理、特征提取和分类。情绪识别的原理图如图所示。1 .一、本文介绍了一个最近的研究报告，情绪识别。本文从情绪诱导、脑电预处理、特征提取、情绪分类等方面介绍了相关的分析方法和研究内容，并比较了各种方法的优缺点本文总结了目前研究方法中存在的问题本文探讨了基于脑电信息的情绪分类的研究方向本文的结构如下：第二部分介绍了情感模型及其启发。第三部分是脑电信号的采集与分类。第四部分对信号预处理方法进行了总结和比较。第五部分对信号特征提取方法进行了总结和比较。第六部分对脑电信号的特征分类方法进行了总结和比较。最后是展望和总结。2. 情感概述情绪是一系列主观认知经验的总称，是多种感觉、思想和行为综合而产生的心理和生理状态。在现实生活中，情感具有复杂性和多样性。如何对人类情绪进行合理的分类是情绪研究中的一个复杂问题。大脑大脑的中枢神经系统直接产生脑电信号，因此脑电信号与人的情绪直接相关。2.1. 情感模型研究表明，人类的情绪有几十万种，不同的情绪有不同的特点，情绪在日常生活和工作中也有各种各样的表现形式。如何对情绪进行分类是情绪研究中的一个复杂问题。简单的分类是积极情绪，中性情绪和消极情绪。但情绪往往是许多基本情绪的综合，是一种连续的生理状态。因此，心理学家倾向于从多维空间的角度来定义情绪Schaa Schaiden[21]使用国际动态图片系统的标准情绪图片作为归纳模式，将情绪分为积极、中性和消极情绪。Takahashi[22]将情绪分为五类：快乐、恐惧、厌恶、悲伤和放松，用视频刺激来诱导12名实验者的感受，但识别率并不高。Panagiotis[23]通过使用高阶交叉系数将情绪分为六种情绪目前，常用的情绪维度是二维情绪分类模型[24]如图所示。 二、在图2中。图中的情感类型是二维离散模式，在这个二维空间中有不同的情感状态。横轴从左到右，从无聊到兴奋，代表情绪反应的强度C. Yu和M. 王认知机器人2（2022）132134图二. 兰格二维情绪分类模型。纵轴从上到下，从悲伤到喜欢。在该模型中，不同情感之间的空间距离与情感的相似程度成正比。空间距离越近，情感越相似，空间距离越远，情感越不同。2.2. 情绪诱发在后续的脑电信号采集之前，受试者必须处于情绪识别所需的情绪状态常用的情感诱导方法有想象诱导法和事件诱导法。在脑电信号采集过程中，受试者根据研究者的提示，想象出给定情绪的场景，达到内部诱导的目的Placidi[25]在实验前向参与者提供不同的气味，然后要求他们回忆当时的气体以诱导特定的情绪。Ekman[26]通过各种提示使受试者产生其他情绪场景，获得相应的脑电信号。图像诱导法对被试有特定的要求，外部事件诱导法对问题要求不高，主要通过外部刺激，如具有特定情绪的图片、音乐、视频想象感应有一些不可控的因素，容易产生不正确的安装。因此，在大多数情况下，可控事件诱导一般用于诱导情绪。目前，常用的事件归纳方法是Lang[27]建立的国际情绪图片系统（IAPS）和Bradley[28]建立的国际情绪音频库（IADS）。3. EEG信号脑电信号是一种生物电信号，是大脑皮层或头皮表层大量神经元活动的总体反应，包含了大量的生理和病理信息[29，30]。相关研究表明，采集和分析脑电信号并提取其情感特征可以揭示人类情感状态的必要信息动态特征可以判断人体的生理和心理状态3.1. 脑电信号采集EEG信号的一般形式可以进入自发和诱导模式[31]。自发脑电是人类大脑皮层中脑细胞的自发生理活动。实验者直接通过面部表情识别情绪[32]。诱发型通过实验者的神经通路，用特定的视觉或听觉刺激从外部刺激脑细胞在实践中，研究人员使用诱发表达来刺激受试者产生电信号。EEG信号收集可以是侵入性的或非侵入性的。由于高风险脑电信号的无创采集对人体无创，脑电信号的无创采集因其便携性和安全性而成为脑机接口研究的热点。因此，研究人员采用无创EEG信号采集[34，35]。无创EEG信号采集图。3.第三章。有两种电极用于信号采集：干电极和湿电极。干电极的采集方法是将干电极与头皮接触，中间不加任何导电介质，直接采集脑电信号。由于表皮的阻抗较大，采集到的脑电信号相对较弱。受试者将涂抹导电膏以增加导电性。在科学研究中，湿电极的收集方法更稳定有效。无创脑电采集可以有效地记录和分析受试者的脑活动信号[36]，具有成本低、易于佩戴的优点。无创EEG采集设备的可用性将得到显著改善[37]。C. Yu和M. 王认知机器人2（2022）132135图三. EEG信号的非侵入性采集。表1不同脑电波的特征频率类型字符Delta波（0.5δ波发生在颞叶和顶叶，与人类的深度放松和恢复性睡眠有关。Theta波（4θ波在恍惚或催眠的人中很常见在这种状态下，大脑的Theta波是最佳的α波（8α波出现在枕叶和后顶叶当清醒、安静、闭上眼睛时，振幅就像一个由大到小，再由小到大的穿梭模式β波（14β波是清醒时最常见的高频波，主要发生在大脑的两侧。伽马波（>30HZ）伽马波对于学习、记忆和处理是必不可少的，并结合了处理新信息的感觉工具。信息.3.2. EEG信号脑电信号按频率可分为Delta波、Theta波、Alpha波、Beta波和Gamma波[38]。特定频率范围内的EEG信号与不同的大脑活动状态之间存在很强的相关性。EEG信号的分类见表1。Delta波（0.5Theta波（4-8 HZ）：Theta波与广泛的认知过程有关，如记忆编码和检索。[40]这是一个非常复杂的问题。阿尔法波（8-14 HZ）：阿尔法波在意识和潜意识之间架起桥梁。当个体大脑频率处于α波时，人在这种状态下，身体和精神的能量消耗最小。α波与效价高度相关[42]。β波（14当身体活跃时，在大脑中观察到明显更高的β波频率[44]。β波与脑神经元的兴奋状态有很高的相关性伽马波（>30 Hz）：伽马波与多模态感知处理有关。研究表明，伽马波反映了注意力的集中[45]。伽马波与快速眼球运动有关[46]。Li[47]使用图片刺激来诱导受试者C. Yu和M. 王认知机器人2（2022）1321364. 信号数据预处理见图4。 脑电信号预处理方法。脑电信号是脑的生物电信号，其电压为5-100 μ V，频率较信号经放大器放大后可显示和处理由于脑电信号的高灵敏度，在采集过程中容易受到干扰因此，采集到的脑电信号比较微弱，对脑电信号的分析结果往往不能令人满意。这给脑电信号的分析带来了很大的困难。这些干扰噪声干扰了EEG信号EEG信号预处理从EEG信号中去除一些其他噪声信号，例如EOG伪影、EMG伪影、ECG伪影、皮肤电反应（GSR）、工频干扰和电磁干扰[50EOG和EMG可以通过自适应滤波、空间滤波和盲源分析来滤波噪声。脑电信号的预处理方法如图所示。 四、4.1. 主成分分析主成分分析（PCA）是一种统计方法，是一种数据降维算法，广泛应用于各个领域。主成分分析主要应用于模式识别，可以对高维特征空间进行降维，减少数据中的冗余信息。近年来，PCA可用于在EEG数据预处理中从EEG数据中去除EOG伪影[53，54]。PCA被用来降低EEG数据的维数。然后从收集的数据中减去单独的电眼分量，以最小化所需的数据量和计算时间。主成分分析去除眼电的基本原理是将脑电数据的N维特征映射到K维，称为主成分。在原始N维特征的基础上重构K维特征，去除不必要的噪声干扰，实现脑电数据的分离。S. S. Poorna[55]使用PCA算法消除EEG数据预处理中的噪声干扰使用可穿戴Emotive EPOC收集EEG数据，该设备旨在收集14通道128 HZ EEG数据。数据来自18名年龄在20岁左右的健康成年人的EEG数据，并使用VRBOX设备进行2小时3D驾驶模拟当受试者即将进入疲劳状态时，开始收集使用FIR滤波器进行特征提取这些功能将驾驶员的情绪分为四类：警觉或清醒、困倦和睡眠状态，可以监控驾驶员的驾驶状况，减少事故发生最后，k-最近邻（KNN）和人工神经网络（ANN）分别以80%和85%的准确率对这些特征进行分类。敏感性分别为33.35%和58.21%结果表明，PCA算法有效地降低了数据维数。Ehtasham Javed[56]提出了一种结合经验模态分解（EMD）和主成分分析的混合算法。该算法可以消除BCG伪影。收集了11名无精神病史的受试者的脑电图数据在MRI扫描仪中使用EEG Cap工具。EEG Cap工具是一个128通道传感器网络。他们将数据分为两组：第一组是闭眼的EEG数据，另一组是诱导数据。研究人员使用EEGLAB工具来消除噪声，并应用混合算法。实验结果表明，该方法能有效地保留脑电信号，损失较小，并能去除BCG伪影。与其他算法相比，该方法具有更好的性能。马里兰州Asadur Rahman[57]使用PCA算法和T统计量来降低EEG数据的维数。该方法的原理是PCA算法以原始数据方差最显著的方向作为主要特征，PCA算法对9个通道F7、F5、F3、F1、Fz、F2、F4、F6、F8进行。实验数据来自SEED数据集中的15组数据，并使用鼓舞人心的视频片段（放松，悲伤和喜悦）诱导刺激来刺激受试者产生相应的情绪。研究人员使用ESI神经扫描系统收集EEG数据。将EEG数据采样到200 HZ，然后通过50 HZ陷波滤波器和Matlab进行滤波以去除伪影。最后，研究人员将EEG数据应用于PCAC. Yu和M. 王认知机器人2（2022）132137算法结果表明，该方法具有较好的分类效果。主成分分析可以在最小的信息损失下找到替代变量，实现降维。4.2. 盲源分离盲源分离是信号处理中一种强有力的处理方法。其原理是从观测信号中分离未知源信号它应用于医学信号处理、数据挖掘、语音增强、图像识别、雷达和通信信号处理。在脑电数据处理中，盲源分离可用于去除眼电和肌电盲源分离最常用的方法是独立分量相关算法（ICA）。ICA算法是一种基于信号高阶统计特性的盲源分离方法[58，59]。ICA首先在神经网络中进行研究，并应用于信号分离和特征提取。ICA算法可以从EEG数据中分离EOG信号[60]。ICA算法是一种线性变换过程，它将数据或信号分离成统计独立的非高斯信号源的线性组合。ICA算法的使用需要满足三个条件[61I各组成部分是相互独立的。这是基本原则。独立分量必须是非高斯的。未知混合矩阵XA是方阵X.Anneleen Vergult[64]提出了一种BSS-CCA方法，用于从EEG数据中去除EMG伪影。BSS-CCA方法将BSS与统计典型相关分析（CCA）相结合，以避免ICA算法在去除太少的EMG伪影或校正大脑活动方面的缺点。EEG数据来自37名平均年龄为33岁的非癫痫患者。通过21通道OSG EEG工具从视频刺激和EEG数据中获得情绪。用带通滤波器对EEG数据进行去频，并用陷波滤波器进行去噪。癫痫专家使用癫痫发作前约50秒记录的EEG信号对数据进行评估。实验结果表明，BSS-CCA在去除EEG和EMG伪影方面优于ICAJunfeng Gao[65]提出了一种基于ICA和流形学习的EOG去除方法这些数据来自16名健康成年人的EEG数据在选择了16通道EEG信号后，研究人员使用EEGLAB工具箱将信号分成多个数据集进行实验比较。该方法首先对脑电数据进行ICA处理，提取初始特征，然后引入流形学习算法对初始特征进行降维。最后，k-近邻分类器是对初始特征进行分类，得到更好的分类结果，但没有更多的ICA和各种学习算法。盲源分离去除伪迹的精度很高，但很难确定源信号的信息和混合模式。ICA算法中独立分量的方差、能量和独立阶数的确定是一个需要研究者解决和探讨的问题。4.3. 去趋势波动分析去趋势波动分析，简称DFA方法。该方法适用于所有领域，是一种适用于分析信号长程相关性的尺度信号分析方法[66]。研究人员可以使用这种方法来消除EEG数据中的伪影。去趋势过程可以消除传感器在获取用于最后计算的数据时产生的干扰。也就是说，研究人员可以从数据中删除趋势，并且分析可以专注于数据趋势本身的波动。DFA的原理是从数据中减去一条最小二乘拟合线、平面或曲面，使去趋势数据的平均值为零。Chamandeep Kaur[67]提出了一种结合DFA和小波包变换的新去噪方法研究人员收集了34名重度抑郁症患者和30名马来西亚国立大学医院（HUSM）的常规参与者的实验数据。对采集的数据进行采样和滤波，滤波至256HZ，然后进行去噪处理。首先，采用经验模态分解（EMD）方法将脑电信号分解为不同的模态函数。以DFA为标准选择脑电数据，最后基于小波包分解提取出更清晰的脑电信号。结果表明，去噪后情感分类的准确率有所提高，但抑郁症的诊断需要综合多方面因素。Rachel J. Smith[68]收集了40名癫痫痉挛（ES）患者和20名正常受试者的EEG信号数据。情绪诱导方法采用19小时的晚间视频刺激。研究人员对每个参与者进行了两次清醒和两次睡眠，每次至少20分钟的EEG数据。研究人员使用Kohden设备从19个标准通道收集200 HZ EEG数据。DFA被用来比较癫痫患者和健康受试者的EEG数据ES组的Shannon熵和置换熵低于对照组，DFA截距值高于对照组。与此同时，DFA指数值并无重大差异医疗人员可以将EEG数据中的这些客观变化与其他临床因素相结合，以加快诊断和治疗。4.4. 陷波滤波法滤波是在特定频率下有效提取信号，并对提取的信号进行特定处理（增益，衰减，滤波）。陷波滤波的基本原理是通过滤波的方法，使输入信号在某一特定频率点上迅速衰减，从而阻塞该频率信号传统的过滤方法可以很好地消除高频C. Yu和M. 王认知机器人2（2022）132138藏物尽管如此，它们仍可能导致EEG分量的丢失，因为ECG伪影与基础EEG信号具有频谱重叠[69，70]。Chenxi Dai[71]提出了一种递归最小二乘陷波滤波方法（RLS）来去除ECG伪影。将数据分为两部分部分：小鼠在悬吊后的EEG信号和小鼠在复苏前几分钟的EEG信号。确保实验是准确的，老鼠是未经治疗的。研究人员使用差分前置放大器仪器记录了四个数据通道，该仪器由Winterfly系统提供，并降低到1000 Hz。对一种算法的模拟，该算法旨在模拟9只Sprague Dawley小鼠的EEG信号仿真结果表明，与ICA和Infomax相比，RLS能有效地消除脑电信号中的ECG伪迹，并以最小的损失保留大部分脑电信号信息4.5. 脑电信号预处理方法主成分分析是为了数据降维，有利于后续的分析和数据处理。盲源分离通常使用独立分量分析（ICA）从多源线性混合信号中分离出源信号目标函数的选择和优化算法是ICA应用的关键。去趋势波动分析适用于各种非平稳时间序列的研究，可以有效地避免噪声和信号不稳定性带来的伪相关干扰。滤波是一种常用的脑电数据预处理方法，用于降低基线漂移和电力线噪声干扰。陷波滤波的阻带很窄，起始阶数必须在二阶以上（包括二阶）。信号数据预处理方法的优点和缺点在下面的表2中各种脑电数据预处理方法各有优缺点。在实际应用中，研究人员必须根据实际情况选择预处理方法目前，去除伪影通常结合两种或多种技术，并结合每种方法的优点，以达到更高的信号识别率5. 脑电信号特征提取对脑电信号进行预处理可以得到干扰较小的脑电信号。基于脑电信息的情绪识别需要从采集到的原始脑电信号中提取能够表征不同情绪状态的脑电信号特征，并根据这些特征对情绪进行分类。因此，特征提取是情感识别过程中至关重要的一个环节，而找到合适的特征部分是后续数据处理的保证。脑电信号特征提取是以脑电信号为源信号，确定各种参数，形成表征信号特征的向量。特征参数包括时域、频域和空域[72，73]。近年来，在基于脑电信息的情感识别研究中，基于声音的特征提取方法主要有自适应自回归（AAR）、快速傅立叶变换（FFT）、小波变换（WT）和公共空间模式（CSP）等。5.1. 自适应自回归自适应自回归（AAR）是一种标准的脑电信号特征提取方法。从数学上讲，AAR模型的原理是参数化方法随着每个局部点的输入而变化，能够很好地反映大脑的状态，适应脑电频谱的变化。Li[74]提出了一种结合AAR模型参数和累积频带功率的特征提取方法。首先，利用小波变换和逆变换对脑电信号进行分解和重构，以AAR模型参数和累积频带功率作为特征向量。来自运动想象刺激产生的EEG信号的数据在健康的25岁女性中。参与者会根据提示从放松状态逐渐集中注意力。在屏幕提示的诱导下，参与者随机地进行左右手想象来移动屏幕上的箭头。实验数据分为左右手训练组和测试组。研究人员将数据的频率降低到128赫兹，然后使用低频滤波器 去噪数据。最后，研究人员将数据以文件形式保存在Matlab软件中。结果表明，AAR和累积频带功率相结合的方法优于其他提取方法。Qi Z[75]使用AAR模型提取由不同亮度引起的EEG数据特征。这些数据来自健康成年人在四个不同亮度水平下随机接受视频刺激时产生的EEG信号，每个亮度水平重复几次。表2脑电信号预处理方法的优缺点比较预处理方法优势缺点引用PCA减少数据的维度以便于分析信号处理[55-57]BSS收敛速度快、精度计算过程繁琐，精度低[64、65]DFA研究人员可以定量分析信号信号处理效率低下[67、68]NF有效去除伪影某些EEG信息缺失，低效率[第七十一届]C. Yu和M. 王认知机器人2（2022）132139∑∑次受试者根据亮度刺激从放松状态逐渐集中注意力研究人员使用HydroCel仪器记录了大约1000 ms刺激的EEG信号对EEG信号进行采样、滤波并降低至0.5他们建立了一个最小距离分析（MDA）分类器来区分不同的亮度感知，并成功地分析了受试者对四种亮度的各种情绪5.2. 快速傅里叶变换快速傅立叶变换（FFT）是一种传统的、经过验证的脑电信号特征提取方法。FFT是离散傅里叶变换（DFT）的一种快速算法.FFT是基于离散傅立叶变换的奇、偶、虚、自然特性，对离散傅立叶变换算法进行改进而成的它是一种很有前途的平稳信号处理工具[76]。以下等式描述DFT：���−1������������������������（��� − 1）（1）=0���−1x（）=（）−������（= 0，1..��������� −1）（2）=0−���2���=中国（3）傅立叶变换适用于分析时域信号中的频域信号。计算原理是从时域信号x（n）中得到频域信号X（k），其中x（n）表示离散信号的总数。其中，x（n）表示输入时域信号，n表示输入时域信号的个数。X（k）表示通过DFT公式输出的频域信号，并且k表示输出的频域信号的数目。WN是旋转因子，j表示顺时针或逆时针旋转90°FFT的基本思想是利用DFT中的周期性和对称性，将DFT的计算过程转化为迭代算法，可以显著提高运算的效率和精度。Delimayanti M K[77]使用FFT从EEG数据中提取特征这些数据来自公开的睡眠EDF数据集的一个子集，包括来自42名男性和女性的数据分为两组，一组来自健康成年人的EEG信号，另一组来自轻度睡眠障碍的成年人的EEG信号。在受试者的日常生活中收集数据特征提取的原理是将脑电数据分成30 s，用FFT算法进行处理，用随机森林算法进行特征选择，并将上千个FFT特征组合起来作为实验。结果表明，结合高维FFT特征和简单的特征选择可以提高分类效果。Esmeralda C[78]通过使用Adam的优化模型和FFT的特征提取将EEG数据的准确性从60%提高到80.3%5.3. 小波变换脑电信号是一种典型的非平稳信号。小波变换（WT）是一种常用的多分辨率时频分析方法，具有良好的分辨率和尺度特性，适用于在频域和时域分析非平稳信号[79]。小波变换的基本原理是通过拉伸和平移运算，对脑电数据和信号数据进行时频域的局部化分析。最后，对高频进行时间细分，对低频进行频率细分。因此，当EEG信号的频率通过小波变换时，频率逐渐降低[80，81]。Zhenman Ma[82]提出了一种结合小波变换和样本熵（SE）的特征提取方法，该方法使用小波变换的分辨率高，特征提取精度高。这些数据来自健康受试者的运动想象刺激产生的EEG信号。受试者根据随机提示进行左右手动作想象，每个提示持续约4S。实验数据分为测试组和训练组，每组数据包括近30个左右手运动想象。采用小波变换对脑电信号进行去噪，MATLAB多层分解，基于SE进行特征选择，最后采用线性判别分析进行分类。实验结果表明，该方法具有较高的精度。朱小青[83]提出了一种结合自回归模型和小波变换的特征提取方法。实验数据来源于“BCI Competition 2003”开放数据集。研究人员从一名健康的受试者那里收集了左右想象信号，受试者给出了随机的左右箭头提示。每个提示持续约9秒。有70组训练数据和70组测试数据，每组9 s。研究人员首先使用自适应自回归模型和小波变换进行特征提取，然后使用遗传算法进行最佳特征选择，GAToolboX在Matlab中实现，最后使用支持向量机（SVM）进行识别和分类。YHu[84]提出了一种基于小波变换和短时傅立叶变换的脑电数据提取算法。实验数据来源于开放数据集“BCI Competition 2003”。EEG信号来自被试的运动想象，并且大脑中心基于被试的附加手臂想象产生不同的EEG信号。实验在win10环境下进行，TensorFlow搭建算法，MATLAB实现数据可视化。研究人员首先对数据进行小波变换，然后使用STFT算法提取特征，将EEG特征可视化为卷积神经网络的输入，并通过Softmax函数进行分类结果。C. Yu和M. 王认知机器人2（2022）1321405.4. 共同空间格局Common Spatial Pattern（CSP）是一种用于两类任务的空间滤波特征提取算法，可以从多通道EEG数据中提取各类别的空间分布分量，并有效地提取频带方差作为特征[85]。CSP算法的基本原理是利用矩阵的对角化来寻找一组最优的空间滤波器进行投影，最大化两种信号之间的方差差，获得具有高分辨力的特征向量CSP高度依赖于基于相同的协方差，并且多通道对噪声非常敏感，并且在小样本设置（SSS）中易于过拟合[86]。传统的基于频率特征的脑电特征提取方法只提取各通道的能量特征。Tang[87]提出了B-CSP的特征提取方法。数据分为两组。研究人员收集了第一批数据，由9名健康受试者的视觉刺激诱发的EEG信号设置。受试者根据屏幕上的十字图标想象左右手的移动，这将图标变成左箭头和右箭头。收集后，研究人员将频率降低另一个数据集与第一个数据集相似，包含来自三个受试者的1000 Hz EEG数据。B-CSP原则允许研究者使用Bhattacharyya距离方法在每个通道中选择更好的EEG数据，然后使用CSP算法提取特征，将其转化为反向传播神经网络（BPNN）进行分类。结果表明，在数据集的高精度。王涛[88]分别使用CSP和小波包分析（WPA）提取特征，并使用支持向量机（SVM）对提取的特征进行分类和比较。结果表明，CSP算法的特征提取准确率为85.5%，小波包分析的特征提取准确率为92%。5.5. 特征提取方法的优缺点近年来，研究人员对脑电信号的特征提取方法进行了深入的研究，如自适应自回归、快速傅里叶变换、小波变换、公共空间模式、功率谱密度、非线性动力学分析等，但由于脑电信号的非平稳、非线性等特点，脑电信号的特征提取适合于时域分析和非线性方法.传统的特征提取方法是通过傅立叶变换直接估计其功率谱。虽然它很容易实现，但它的解决能力有限FFT方法有效地分析了确定性和平稳信号，但在探索突然运动的频谱时有一些局限性。AAR模型的原理是，参数化方法在这一点上随着每个输入而变化然而，该方法更适合于分析平稳的脑电信号，并且该模型对于包含高度非平稳信号的运动想象脑电信号具有局限性。小波变换在低频时的时间分辨率较低，而频率分辨率较高。在高频下，时间分辨率较高。相比之下，频率分辨率较低，符合低频信号变化缓慢而高频信号变化迅速的特点。小波变换更适合于分析非平稳脑电信号。CSP算法旨在设计一个空间滤波器，以最大化矩阵滤波后两组EEG信号之间的方差差。该方法最适用于运动想象脑电数据。不同的特征提取方法各有特点，脑电信号特征提取的具体优缺点见下表36. EEG信号情绪反映了人脑的活动，不同的情绪状态具有不同的脑电特征。情绪分类是基于分类器的EEG特征。常用的情感识别方法包括支持向量机（SVM）、卷积神经网络（CNN）、递归神经网络（RNN）、线性判别分析（LDA）和长短期记忆神经网络（LSTM）。6.1. 支持向量机支持向量机（SVM）是统计分类和回归分析中的二进制机器学习模型。SVM是一种线性分类器，分类对象是线性可分的。它的基本模型是线性分类器，在特征空间中支持向量机的学习策略是区间最大化。支持向量机的基本思想是解决表3脑电信号特征提取算法的优缺点特征提取算法优势缺点引用AAR该模型很好地反映了大脑的状态效率不高[74、75]FFT它有助于分析平稳信号不适用于不稳定信号[77、78]重量研究人员可以及时使用信号处理和频域用于不稳定运动的特征提取。计算太慢了[82-84]CSP高计算效率计算量大[87，88]C. Yu和M. 王认知机器人2（2022）132141分离超平面，它能正确地划分训练数据集，并具有最大的几何间隔。其基本思想是求解能正确划分训练数据集且具有最显著几何突变的分离超平面。最接近超平面的点称为支持向量。这种分类策略旨在为噪声建立尽可能多的冗余空间，以提高分类器的鲁棒性，同时确保训练数据的正确分类Kairui Guo[89]将模糊认知图（FCM）和SVM应用于情感识别。该方法使用面部表情和EEG信号的组合来识别情绪。实验是在DEAP数据集上进行的。实验原理是研究人员将去噪后的数据切割成短时数据，然后压缩数据进行降维。采用小波变换的方法提取特征，并应用于识别过程。S，Thejaswini[90]使用SVM对DEAP数据集和SEED-IV数据集进行了实验比较DEAP数据集由32通道设备Twente和Geneva提供，信号为500 HZ。SEED-IV数据集来自15名受试者在1000 Hz下观看2分钟电影片段产生的EEG信号。研究人员首先使用滤波器和MATLAB降低信号的频率，然后使用离散小波变换提取特征，最后使用SVM对情绪进行分类。结果表明，SVM方法在两个数据集上都取得了良好的精度6.2. 线性判别分析线性分类器是数据分类中最常用的，也称为线性判别分析（LDA），它可以根据Fisher距离区分特征[91]。LDA的基本原理是将数据投影到低维上。投影后，各类别数据的投影点应尽可能接近，不同类别数据的类别中心之间的距离应尽可能可观。LDA的主要目标是最小化类内方差的比率，最大化类间冲突的百分比LDA的计算过程是先计算类间矩阵和类内矩阵，然后计算信号的特征值和特征向量，最后构造投影矩阵。Masood N[92]提出了一种基于CSP和LDA的方法来分析情绪。情绪EPOC记录收集的实验数据。数据分为两部分。数据的第一部分来自受试者自我想象的恐惧图像产生的EEG信号。第二部分数据来自参与者的恐惧视频刺激产生的EEG信号研究人员在实验过程中使用MATLAB分析了数据。研究人员在实验中使用CSP算法提取特征，并使用LDA对情绪进行结果显示了良好的分类效果。6.3. 卷积神经网络许多经典的机器学习算法已经被应用于情感识别中，并取得了一定的成果。然而，机器学习具有诸如特征提取困难、准确性低和稳定性差等缺点。研究表明，深度学习是一种有效的情感识别方法，适用于分析和识别生理信号。深度学习由于其强大的学习能力和适应性而被用于情感识别[93]。卷积神经网络（CNN）是一种典型的深度学习算法。由于其独特的结构，它非常适合大数据量的sce- narios。CNN神经网络包含许多神经元，它们在三维坐标系中呈现[94]。与人工神经网络的输入层、隐藏层和输出层的标准三层网络结构不同，CNN在人工神经网络的基础上扩展了网络结构。CNN在输入层和全连接层之间增加了两个网络结构，卷积层和池化层。CNN的核心网络结构是卷积层。卷积层可以有效地增强EEG数据的特征提取，降低EEG数据中噪声的影响[95]。池化层的主要功能是特征选择和信息过滤。在特征提取和选择之后，全连接层组合特征作为输出层的输入。输出层使用Softmax函数对输出进行分类。图中CNN的结构。 五、Heekyung Yang[96]提出了一种多列CNN情感识别模型，该模型由基于一维卷积神经网络中的卷积和池化层的多个识别模块组成研究人员使用DEAP数据集，实验数据研究人员用降低的频率对数据进行了预处理，用带通滤波器对EEG信号进行了多次分析和采样，然后将其用作识别模块的输入识别结果将根据每个模块的决策进行加权和平均，模型代码使用Python和Pytorch库。实验结果表明，该模型的配价率达到90.01%，唤醒率达到90.65%。 潜力和唤醒映射图中的情绪。 二、图五. 卷积神经网络的结构图。C. Yu和M. 王认知机器人2（2022）132142（[]）（[]）张亚青[97]比较了几种经典的情感识别模型，包括DNN，CNN，LSTM和CNN-LSTM。研究人员通过多个样本和带通滤波器将数据频率降低到4-数据分为原始数据集和共享数据集。标准数据集是通过对原始数据进行特征提取，将两组数据输入分别导入模型进行比较。研究人员根据滴定度和唤醒度对情绪进行分类，亚当被用来调整神经网络的结构和优化参数实验结果表明，在原始数据集上，CNN和CNN-LSTM在模型中的分类准确率分别为90.12%和94.17%，在标准数据集上分别为82.24%和88.87%。结果表明，CNN和CNN-LSTM在情感分类方面具有出色的性能6.4. 递归神经网络递归神经网络（RNN）是一种具有独特结构的深度学习网络。大多数神经网络考虑当前输入特别是，RNN具有“记忆”功能，可以随时考虑之前和之后的输入是相关的。RNN的网络结构相对简单，只有三层：输入层，隐藏层和输出层。RNN可以与其他神经网络一起工作。在混合模型中，研究人员可以使用RNN来提取EEG信号的时间特征在特征提取和选择之后，RNN的整个连接层是输出层的输入输出层使用Softmax函数对输出进行分类RNN的“记忆”功能在隐藏层。RNN将记住前一时刻的输出，并将其应用于当前计算。也就是说，隐藏层的输入是通过前一个的输出信息和当前输入层的输出信息正因为如此，RNN非常适合处理顺序数据，例如预测视频或语言的下一顺序数据是与先前数据相关的后续数据，例如文档中的连续自然语言Esmeralda Contessa Djamal[98]提出了一种结合WT和RNN的情感模型，可以识别悲伤，放松和快乐。基于Python和TensorFlow构建动态模型。研究人员使用小波变换将EEG信号分解为与情绪相关的脑电波，并将其转化为RNN模型进行识别。数据来自10名健康成人的情绪视听刺激产生的EEG信号。研究人员收集了四个通道的EEG数据，以确保结果可靠。实验结果表明，悲伤、放松和快乐的识别率分别为92%、53%和97%。结果表明，小波变换和RNN情感模型具有良好的分类精度。Wei Tao[99]提出了一种结合CNN和RNN的循环卷积网络（ACRNN）模型，并具有注意力机制。 在ACRNN模型中，CNN主要用于提取EEG数据的空间特征，而RNN主要用于去除EEG数据的时间特征，两者都是情感特征。DEAP和DREAMER是实验数据。DREAMER数据集由23名成员的情绪视听刺激产生的EEG和ECG信号组成。盲源分离是为了降低脑电信号的噪声。研究人员根据Python和TensorFlow框架构建了ACRNN模型，并使用Adam来调整结构和优化神经网络参数。RNN中的Softmax函数完成了情感分类。结果表明，CNN和CNN-LSTM在情感分类方面具有出色的性能6.5. 长短期记忆神经网络传统的机器学习模型存在计算复杂、效率低的缺点[100]。深度学习中的长短期记忆神经网络（LSTM）[101]由于其独特的神经网络结构，在情感识别中大放异彩LSTM是递归神经网络的一种特殊形式[102]。与RNNLSTM的设计由输入层、圆形体结构和输出层组成，通过一个“门”控制信息的丢弃或添加，从而实现遗忘或记忆的功能[104]。LSTM单元结构如图所示。第六章LSTM主要通过Sigmoid的神经层和逐点乘法操作来实现。遗忘门：图6的左侧是遗忘门。ht-1表示隐藏层在最后时刻的状态。Xt表示当前输入信息。输入是通过遗忘门。Ct-1表示上一时刻的细胞状态，Ct表示当前时刻的细胞状态。遗忘门决定了上一时刻的单元状态与当前时刻的单元状态有多少相似。遗忘门是通过ft的值来表示遗忘的程度。0代表完全遗忘，1代表完全记忆。ft = σ Wf ×