EEG基于CNN的情感识别及谱地形图分析

阵列11（2021）100072基于卷积神经网络的EEG相对功率谱地形图情感识别马里兰州Asadur Rahmana，Anika Anjumb，Md.Mahmudul Haque Miluc，Farzana Khanamc，Mohammad Shorif Uddind，*，Md.Nurunnabi Mollahea孟加拉国达卡军事科学技术学院生物医学工程系，邮编1216b孟加拉国库尔纳工程技术大学生物医学工程系&cJashore科技大学生物医学工程系，Jashore，7408，孟加拉国d孟加拉国达卡贾汉吉尔纳加尔大学计算机科学与工程系，邮编：1342电子电气工程系，Khulna University of EngineeringTechnology（KUET），Khulna，9203，Bangladesh&A R T I C L E I N F O关键词：脑电图（EEG）情绪识别相对功率谱密度卷积神经网络（CNN）SEED数据集A B S T R A C T情感识别是一个具有挑战性的计算问题，在不同的领域找到了有趣的应用。通常，基于特征的机器学习方法已被用于情感识别。然而，这些传统的浅层机器学习方法通常会发现不令人满意的结果，因为在特征尺寸和分类准确性之间存 在 权 衡 。 此 外 ， 从 空 间 和 频 率 域 提 取 和 选 择 特 征 可 能 是 一 个 额 外 的 本 文 提 出 了 一 种 将 脑 电（ electroencephalography ， EEG ） 信 号 转 换 为 包 含 频 率 和 空 间 信 息 的 地 形 图 ， 并 利 用 卷 积 神 经 网 络（convolutional neural network，CNN）的特征提取能力对情绪进行分类的方法。根据所提出的方法，地形图像是由相对功率谱密度，而不是功率谱密度，显示出显着提高分类精度。所提出的方法被应用到著名的种子数据库，并给出了优于目前国家的最先进的结果1. 介绍情绪是一种复杂的心理状态，与某人的周围环境，思想，感受和环境有关，并导致身体和心理变化。一些研究人员发现，情绪是一种认知任务[1人类可以通过另一个人的行为、情绪和气质来理解情感，但机器很难理解人类的情感，除非人类让机器足够聪明，能够解码情感。这种方法对于机器来说可以称为人类情感识别。在治疗有表达问题的患者的情况下通过机器识别真实的情绪状态有助于提供更好的医疗。有一些心理生理学研究[4近年来，EEG模态由于以精确的方式测量大脑活动以及设置脑电参数而获得了很多关注。人与机器之间的沟通途径。在各种形式中，这种方法非常有前途，因为与其他外部外观（如面部表情和手势）相比，它具有高准确性和客观评价[7]。但是，原始的脑电信号被污染的伪影和这种信号是复杂的，由于其随时间和空间的变化。脑电信号的特征提取和分类是情绪状态识别中必须保证的两个重要方面。传统的手动特征提取和特征选择需要特定的领域知识。然而，传统特征选择的成本随着特征数量的增加而以二次速率增加[8]。 在大多数特征提取的研究中，研究人员只关注EEG信号的时间[9-14]、频率[15-17]或时频[18，19]域，很少关注空间维度。多通道EEG系统从人脑的不同空间位置获取数据因此，本文的研究目的是结合时域、频域和空域对多通道脑电信号中的情绪状态进行分类* 通讯作者。电子邮件地址：bmeasadur@gmail.com（马里兰州）Rahman），anikaanjum123@gmail.com（A. Anjum），mahmudhmilu@gmail.com（Md.M.H. Milu），farzanabme@just.edu.bd（F. Khanam）、shorifuddin@gmail.com、shorifuddin@juniv.edu（M.S. Uddin），nurunnabim12@gmail.com（Md.N. Mollah）。https://doi.org/10.1016/j.array.2021.100072接收日期：2020年10月24日;接收日期：2021年5月7日;接受日期：2021年5月31日在线预订2021年2590-0056/©2021作者。爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表阵列期刊主页：www.elsevier.com/journals/array/2590-0056/open-access-journal医学博士Rahman等人阵列11（2021）1000722××¼××信号准确度高。一些研究已经考虑了身体运动，语调或面部表情，以及识别情绪的生理活动[20这些身体变化有一些常见的并发症，因为它们没有表现出可靠的情感。我们的精神状态只能是理解情绪状态的可靠方法，而情绪状态可以通过脑电图等大脑信号来揭示。到目前为止，已经完成了一些研究工作[24 - 26]来构建基于机器学习的预测模型，以从EEG信号中对情绪状态进行分类。一项由Wang et al. [24]报告了alpha，beta和gamma波段作为分类四种情绪（喜悦，放松，悲伤和恐惧）的特征，并使用不同类型的情感视频作为刺激，通过支持向量机（SVM）发现66.5%（平均）的准确率。Lin et al. [25]使用相同的分类器实现了82.29%的准确率。他们的实验包括26名受试者，并使用30秒长的音乐样本作为刺激. 为了实现高度准确的预测模型，最近的研究更倾向于使用深度神经网络作为特征提取器和分类器。Zheng等人 [26]使用短时傅立叶变换提取多通道EEG信号的密度熵，并使用深度信念网络（DBN）作为分类器对积极，消极和中性情绪进行分类，并获得86.65%的准确率。最近的一项研究[27]提出了从多通道EEG信号构建地形图像，将其馈送到深度神经网络中，这被证明可以实现比当前技术水平更高的分类准确性。参考文献[ 27 ]中描述的方法使用功率谱密度（PSD）来形成地形图像，这对于获得高水平的准确度略有疑问，因为PSD的值可能随个人、时间和系统而变化。因此，在EEG信号的情况下，使用相对PSD（RPSD）在技术上更合理，以确保相关频带相对于全频带功率的功率电平变化测量[27，28]。因此，特征提取、特征选择和适当分类器的设置是构建基于机器学习的情绪状态分类预测模型的最重要问题。为了克服这些问题，目前的工作提出了一种机制，将多通道EEG情感信号的时间、频率和空间域组合成地形图图像。地形图表示需要时间、频率和空间信息的情绪状态的每次试验的RPSD。 可能会出现使用RPSD而不是PSD的争论。 虽然在参考文献中给出了一个很好的解释。 [27，28]，结果和讨论部分提供了图形实现，以解释功率电平变化对PSD和RPSD的影响。 该图形演示说明了RPSD如何提高EEG信号功率分布的特征质量。最近的许多研究工作[29- 为此，利用CNN的自动特征提取和分类设施，对地形图像进行分类。本工作的主要贡献如下：提出了一种利用脑电数据在大脑（通道）上每个空间位置的RPSD来制备地形图图像的方法。CNN已被应用于从地形图像的特征提取和情感分类。我们将我们的工作与其他最近使用SEED数据集进行情感识别的工作进行了比较。文章的组织如下：第2节描述了数据收集，表示和拟议的方法，第3节介绍了这项研究工作的结果，并将其结果与最近的研究结果进行比较，最后，第4节总结了未来的研究方向。2. 材料和方法2.1. 数据集描述这项工作的拟议方法已在种子数据集[32]。在数据采集中，有15名受试者，其中8名为女性，7名为男性（年龄23.27 ± 2.37岁）。所有的参与者都是上海交通大学的右撇子学生。 他们被报告为正常或矫正为正常视力和正常听力。各种刺激可以用于与情绪相关的研究，如电影片段，音乐和口头命令等。 其中，电影剪辑具有更高的效率和可靠性[33]，因为它包含音频和视频。 在这个实验中，选择了中文电影片段，因为所有的参与者都是中国人。视频长度为4分钟，可以分为：积极，消极和中性。保持以下选择标准实验的总时间应该很短，否则受试者可能会感到疲劳。电影片段应该很好地理解，而不需要澄清。剪辑应该刺激单一目标情感。 它不应该包含混合的情感。每部电影都经过编辑，以创造连贯的情感引发和最大限度地提高情感意义。实验中使用的胶片夹的细节在表1中给出。每个受试者都经历了三次实验：积极的，消极的和中性的。因此，15名受试者总共经历了45次实验每个实验总共有15次试验每次试验开始时都有5秒的开始提示然后，电影片段播放4分钟，每个片段后分配45秒进行反馈。 在此期间，参与者被要求报告他们对所显示的视频剪辑的情绪反应。呈现的顺序以这样一种方式安排，即针对相同情感的两个剪辑不会连续显示详细的方案在图中给出。1.一、2.2. 数据采集与处理每个受试者分三次进行实验每次会议之间的时间间隔为一周或更长。这一过程确保了在各个阶段和个体之间神经活动的稳定模式同时记录面部视频和EEG数据受试者坐在一个大屏幕前，屏幕上播放电影片段按照国际10-20系统[34]，使用ESI NeuroScan系统以1000Hz的采样率从62通道有源AgCl电极帽记录EEG数据。SEED数据集包含下采样、预处理和分段版本的EEG数据。它被下采样到200 Hz。应用0 - 75 Hz的带通滤波器以去除任何伪影。总共有45个材料文件，每个实验一个。每个主题文件包含15个数组。在这项工作中，我们使用了带通滤波器（3-30Hz）来去除不必要的频率。 在EEG信号中，高达3 Hz代表Delta频段，它存在于深度睡眠或昏迷中。 由于受试者在试验期间是清醒和警觉的，因此在我们的处理中拒绝了Delta Band。高于30 Hz的频率也被删除，因为它不代表任何关于情绪影响的大脑活动2.3. 脑电地形图关于SEED数据集的62个电极放置的图示如图所示。 二、它可以推广到矩阵X的m n。这里，m和n分别表示水平测试点和垂直测试点中的最大点数。在本文中，mn等于98矩阵X. 图中的红圈点。 3是SEED数据集的EEG电极。 这些点指示相应电极的EEG信号的相对PSD值。将灰点相加形成一个完整的9 × 8矩阵.这些点是周围红色点的插值EEG地形图构建的方法在图4中逐步示出。将用于从多通道EEG信号形成地形图图像的伪码添加到MPDiX A中。●●●●●●医学博士Rahman等人阵列11（2021）1000723×T→∞ð Þ ð ÞZ2表1实验中使用的积极、消极和中性情绪刺激的电影片段序列号情感标签电影剪辑来源01负唐山地震02负回到1942年（战争电影）03积极泰囧04积极第1111章调戏书生05积极Just Another Pandora'sBO06中性世界遗产-中国的积极、消极和中性情绪的电影片段示例正极夹片负极夹片中性夹片调情学者回到1942年的中国世界遗产中国唐山大地震世界遗产利用特定邻域离散数据点构造新点的方法是插值法。通过对邻域点进行插值，得到9.8矩阵的72个点，并计算出10个附加点灰度点的插值过程可以是计算如下：信号xt的频率成分为_xω，其通过傅立叶变换计算然后，PSD可以计算如下[35，36]：SxxωlimEjbxωj2（3）中文（简体）<$0<$m<$1;n<$0<$m-1;n<$0<$m;n<$1 <$m <$0<$m;n-1 <$Kn≤8;m;m2N感兴趣的带的PSD（PSDBOI）与感兴趣的带的PSD的比率是：总频带（PSD总）被称为RPSD。PSD的值每个人的情况都不同，而同一个人的情况也不同。因此，私营部门司不是一个可靠的信息来源其中，Γ（m，n）表示灰点的所需值是围绕Γ（m，n）的点的值这里，K是分子中非零元素的数量2.4 RPSD计算和归一化无论时间和地点[27]。RPSD解决了这个问题，将相关频带的PSD与信号的总频率范围的PSD值进行比较[27，28]。因此，RPSD可以表示为（4）。PSDBOI信号的功率谱密度是指功率在其频率上的分布RPSD总（四）在一个实施例中，频率分量表示信号中包括的频率分量的影响设P是信号x（t）的平均功率，则总时间段T的功率为，为了减少受试者间的变异性，每例受试者的RPSD可以通过在0和1之间缩放来标准化[34]，如（5）所示。π-πmin1P/lim（2）第二个条件：π0¼π最大-πmin（五）T→∞T0其中eπ0是特征的归一化值πmax，πmin是特征的归一化值。分别为主题特征的最大值和最小使用Fig. 1. 每例受试者共面临45项试验。没有连续的试验是针对同一种情绪的。公司简介不（1）医学博士Rahman等人阵列11（2021）1000724图二、根 据 国际10-20方法的数据采集装置的62个电极的位置。图3. 以RPSD为特征构造脑电信号特征矩阵。显示的灰色点是从周围的红色点插值得到的在地形图的构建过程中，共插入了10个新的点医学博士Rahman等人阵列11（2021）100072572个位置的标准化RPSD值（如图所示）。 3）脑电地形图的构建。2.5. 基于CNN的分类器对于自动特征提取和分类，在此使用CNN工作CNN是一种机器学习系统，其中模型自动学习从图像，数值或视频中分类对象。 它能够通过最小化分类误差来优化每个滤波器的权重参数，从而从输入数据中进行学习。CNN由一个输入层和一个输出层以及多个隐藏层组成它将图像作为输入，见图4。 从多通道EEG构建地形图图像的过程流程图。医学博士Rahman等人阵列11（2021）1000726× ×¼ ××图五、 卷积神经网络的不同层，包括作为输入层的图像，卷积中的不同滤波器，ReLU和池化层，以及最终得分的最终输出层。通过多个隐藏层。 它将输出作为一个可能的类名。CNN的隐藏层通常由卷积层，ReLU层，池化层，全连接层，批归一化层组成[37]。CNN中各层的一般模式如图所示。 五、关于这项工作的不同层的设计细节将在下面简要讨论。在这项工作中，地形图像被认为是CNN的输入彩色图像可以表示为m n c，其中m是图像的宽度，n是图像的高度，c是通道的数量，例如，RGB图像具有C3。这里，输入图像大小为192 192 3。卷积层用于特征提取。 它被认为是CNN架构的核心构建块[38]。卷积层见图6。建议的CNN中各层的不同参数值以及相关层的澄清。图第七章 原始EEG数据和滤波后EEG信号之间的比较。用8-32 Hz带通滤波器对EEG信号进行滤波医学博士Rahman等人阵列11（2021）1000727图八、 EEG地形图图像的示例。AF7、AF5、AF6、AF8、PO9、PO10、CB5、CB3、CB4和CB6是来自周围点的内插点图第九章 比较（a）消极情绪、（b）中性情绪和（c）积极情绪的地形图。包含边缘系统的大脑中心部分在这些情绪期间总是活跃的，因为这部分负责创造情绪。医学博士Rahman等人阵列11（2021）1000728××××BpB¼¼ ¼ ¼¼∞∞¼图10. 基于RPSD和PSD的地形图，呈现了积极、消极和中性情绪的EEG信号的空间功率水平分布的变化。这是受试者3的相应结果。通过使用来自前一层的局部连接神经元的补丁来变换输入数据这个卷积层卷积了192个1923图像通过沿着垂直和水平输入图像移动滤波器。在创建卷积二维层时，输入参数的filter大小指定为8 8。 步幅被称为过滤器移动的步长。对于通过输入图像的8 8滤波器扫描，在本研究中使用步长1。在扩张卷积中，滤波器通过在元素之间插入空格来扩展，而不增加参数或计算的数量我们将（[3，3，4，4]）零填充应用于输入图像边界这里，g表示要与核矩阵Xh卷积以产生新矩阵XG的输入图像矩阵x。在我们提出的CNN结构中，输入通道通过批量归一化层进行归一化。它通常用于卷积层和ReLU层之间，以加快CNN的训练过程并降低对网络初始化的敏感性。批量归一化层通过计算小批量和每个输入通道的均值和方差来归一化其输入然后计算归一化激活为[39]，pi-μ垂直和水平添加零值这个设计的卷积层的输出大小可以等于：piBB（八）输出尺寸¼1S1IS-FS-1*DF12P（6）在这里，当小批量方差非常小时，p i 1/4输入; μB 1/4均值; σ2 1/4方差; ε提高了数值稳定性。使用修正的线性单元或ReLU作为对这里，IS图像的输入大小; S步幅; FS滤波器大小; DF扩张因子; P填充。所以，二维卷积层的数学公式是：输入数据阈值。在输入体积上运行ReLU会更改PIX el值，但不会更改输出中输入数据的空间维度。ReLU比其他函数更受欢迎，因为它G½m;n] ¼XXh 1/2i;j]：g1/2m-i;n-j]（7）使神经网络更快[39]。我们提出的CNN模型中这些层的细节如图所示。图第六章全连接层用于计算类分数，见图11。 （a）准确性和（b）关于迭代的所提出的CNN结构的训练和验证的损失。2i<$-∞j < $-∞医学博士Rahman等人阵列11（2021）1000729表2使用CNN对15名受试者进行分类准确性。受试者准确度，25%数据用于训练，75%数据用于测试（%）50%数据用于训练和50%数据用于测试的准确性（%）消极、中性和积极情绪的地形图如图所示。第九章在这些图像中需要注意的一点是，大脑的中心部分在所有三种情绪中总是活跃大脑的中央部分或内侧颞叶由边缘系统组成[40]。有人说边缘系统负责情绪的形成1 82.79 93.482 90.91 1003 84.85 92.484 90.85 95.245 84.70 100690.91 90.71783.82 90.718 84.85 95.249 88.82 10010 93.94 90.4811 92.91 95.2412 85.73 88.6713 90.88 94.4814 96.97 94.4815 92.91 98.24[41]. 因此，不管情绪类型如何，边缘系统总是活跃的。另一个重要的问题是使用RPSD代替PSD来制作地形图像。 假设基于功率电平分布的图像在RPSD的情况下比在PSD的情况下更好。基于这一论点，我们已经提出了PSD和RPSD为基础的地形图中的图像。 10. 可以清楚地看到，功率水平分布-在RPSD的情况下比PSD的情况下更精确地形图像作为CNN的输入，用于特征提取和情感分类。为了给CNN提供数据，有三种类型的EEG数据对应于大脑的三种情绪状态。由于每个参与者都参与了3种不同的情绪状态（积极，消极和中性），并且每个状态有15次试验所以，有来自每个参与者的15× 3/ 45个多通道EEG数据平均标准偏差八十九点零五六94.633.68所提出的CNN结构相对于迭代的准确性和损失如图所示。11（a）和图11（b）分别。这里，最大时期被认为是15。我们选择了过滤器的尺寸，作为网络的输出输出卷的维数是1×1×N，其中N是输出类的数量（这里是类的数量N^3）。3. 结果和讨论处理、图像形成、特征提取和数据分类的所有步骤均在Matlab 2018a中执行。 本研究中使用的数据来自SEED数据集。已经对数据集进行了一些预处理，例如，将数据下采样至200 Hz，在0至75 Hz范围内应用带通滤波器以去除伪影。尽管进行了这种预处理，但也进行了一些其他处理在8至32 Hz范围内应用带通滤波器以去除噪声。 原始和带通滤波EEG信号的图形表示如图所示。第七章图图8示出了EEG地形图图像的一个样本，其中从相邻点内插10个新数据点：AF 7、AF 5、AF 6、AF 8、PO 9、PO 10、CB 5、CB 3、CB4和CB 6。计算每个电极的RPSD，并在0-1的范围内进行归一化。每个RPSD值根据每个电极的位置映射到二维图中。这些地点都有特定的名称。图中还显示了一个颜色条。8来代表我们大脑在不同情绪下不同位置的活动水平。不同的情绪对人脑产生不同的影响一部悲伤的电影会让人情绪不稳定，而一个自然的场景可以对我们的大脑产生舒缓的效果。情绪状况的状态改变了在不同情绪期间所采取的EEG结果。的比较卷积层基于试错法。使用Matlab模拟器多次检查每个结果以选择最佳模式。 卷积层，批量归一化层，ReLU层，池化层在这项工作中使用了两次。最后的结果是对三类情绪状态的分类准确度：积极、消极和中性情绪状态。因此，全连接层产生3个输出类。我们已经做了实验与拟议的CNN在两个sce-narios。在第一种情况下，25%的数据用于训练，其余75%用于测试。同样，在第二种情况下，50%的数据用于训练，其余50%用于测试。对每个参与者随机选择五次训练和测试数据，并根据每个参与者相应的五次分类准确度的平均值将所得分类准确度制成表格。表2给出了所提出方法的分类准确度。 我们发现，我们提出的工作所达到的平均分类准确率在第一种情况下为89%，在第二种情况下为94%。这一结果是迄今为止应用于SEED数据集的其他最新方法的最高分类精度。表3显示了方法的比较及其分类准确性。4. 结论在这项研究工作中，人类的情绪已检测到多通道脑电信号。利用RPSD将多通道情绪脑电信号这些图像结合了脑电信号表3与其他最近的方法与SEED数据集的比较作者研究方法分类器平均准确度（%）&W. Zheng等人，2017 [13]组稀疏典型相关分析86.65W. L. Zheng等人，2017 [14]微分熵作为特征判别图正则化EX treme学习机79.28W. L. Zheng等人，2015 [17]临界频段调查深度信仰网络86. 08 八点三十四分Y. M. Jin等人，2020 [30]差分熵域自适应网络79.19Y. Yang，2018 [42]微分熵作为特征具有子网节点的分层网络86.42M. A. Rahman，2019等[43]基于PCA和t统计量的特征选择方法SVM和ANN 85.855.72和86.57 四点零八分基于RPSD的情绪脑电地形图提取方法数据SVM：支持向量机[44，45]，ANN：人工神经网络[44，45]。美国有线电视新闻网89.0564.32（25%数据为培训）94.63 3.68（50%数据用于培训）医学博士Rahman等人阵列11（2021）10007210¼¼¼¼¼¼¼¼¼信号. 在这项工作中使用了CNN进行特征提取和分类，并发现分类准确性显著提高。在SEED数据集上，与其他方法相比，该方法取得了最高的分类准确率89.056%4.32（使用25%的数据进行训练，其余75%的数据进行测试）和94.63%3.68（使用50%的数据进行训练，其余50%的数据进行测试）。从这个令人信服的输出，预计所提出的专家系统将有效地工作在其他类型的EEG信号分类，这将是我们的下一个重点。竞合利益作者对本出版物没有利益冲突资金确认没有资助组织/研究所支持这项研究工作。附录A伪代码：EEG地形图图像（用于MATLAB R2018a）：数据加载总估计通道的RPSD值;%加载2D EEG数据Xc [水平轴坐标]; %获取x轴yc [垂直轴坐标]; %获取y轴点trlen每个电极的标准化值; %找到标准化值Xi linspace（min（Xc），max（Xc），30）; yi linspace（min（yc），max（yc），30）;[XI，YI] meshgrid（Xi，yi）; %使用Xi和yi创建网格zcgriddata（Xc，yc，trlen，Xi，YI，“自然[cs，hh] contourf（Xi，YI，ZI，20，'LineStyle'，'noneset（hh，'EdgeColor '，'none'）着色解释set（gca，'Visible '，'off'）;作者声明马里兰州Asadur Rahman：概念化，方法论，正式分析，软件，调查，资源，草案准备。 Anika Anjum：方法论，形式分析，软件，调查，草案。马里兰州Mahmudul Haque Milu：形式分析，数据整理，调查 ， 起 草 。 Farzana Khanam ： 形 式 分 析 ， 数 据 管 理 ， 调 查 ， 起 草 。Mohammad Shorif Uddin ：验证，可视化，审查&编辑。马里兰州Nurunnabi Mollah：监督，审查编辑&资金这项研究没有收到任何资金知情同意这项工作中报告的研究不需要任何知情同意。伦理批准本文不包含任何作者对人类参与者或动物进行的它使用了一个公开的数据集。为了使用这个数据集，保留了引用指南的适当说明引用[1] 拉扎勒斯河情感和适应。美国：牛津大学出版社，1991.[2] Mueller SC.情绪对认知控制的影响：与发展和青少年精神病理学的相关性。《心理学前沿》，2011年，第2卷，第327页。网址：http：//doi.org/10.3389/fpsyg.2011.00327[3] Tyng CM，Amin HU，Saad MNM，Malik AS.情绪对学习记忆的《心理学前沿》2017年8月;8（1454）：24。https://doi.org/10.3389/fpsyg.2017.01454.[4] [14]李晓，李晓，李晓.音乐与情绪：愉快与不愉快音乐处理的电生理学相关性。Psychophysiology 2007;44（2）：293-304. https://doi.org/10.1111/j.1469-8986.2007.00497。X.[5] Knyazev GG，Slobodskoj-Plusnin JY，Bocharov AV.情绪面部表情内隐和外显加工的性别差异：事件相关θ同步研究。Emotion 2010;10（5）：678-87.https://doi.org/10.1037/a0019175.[6] Mathersul D，Williams LM，Hopkinson PJ，Kemp AH.调查模型的影响：脑电图阿尔 法 不 对 称 ， 抑 郁 症 和 焦 虑 之 间 的Emotion 2008;8 （ 4 ） ： 560-72.https://doi.org/10.1037/a0012811网站。[7] Ahern GL，Schwartz GE.人类大脑中积极和消极情绪的差异侧化：EEG频谱分析。神经心理学1985;23（6）：745-55。https：//doi.org/10.1016/0028-3932（85）90081-8.[8] 作者：Jiang H.分类的特征选择。 Intell Data Anal 1997;1（3）：131-56.https：//doi.org/10.1016/S1088-467X（97）00008-5.[9] 吴晓松，王晓松，王晓松.基于离散小波变换的脑电情感分类J Biomed Sci Eng 2010;3：390 - 6. 网址：http：//doi.org/10.4236/jbise.2010.34054[10] Petrantonakis PC，Hadjileontiadis LJ.基于高阶交叉的脑电情感识别。IEEE TransInf Technol Biomed 2010;14：186- 97. 0.1109/TITB.2009.2034649。[11] Petrantonakis PC，Hadjileontiadis LJ.使用混合自适应滤波和高阶交叉分析从大脑信号 进 行 情 感 识 别 。 IEEE Transaction on Affective Computing 2010;1 ： 81 - 97.https://doi.org/10.1109/T-AFFC.2010.7网站。[12] [10]李文辉，李文辉，李文辉. 利用多通道脑电推断人类情绪状态。 Eur J Sci Res2010;48（2）：281- 99.[13] 郑伟基于组稀疏典型相关分析的多通道脑电情感识别。IEEE Transactions onCognitive and Developmental Systems2017;9（3）：281-90。https://doi.org/10.1109/TCDS.2016.2587290网站。[14] 郑文龙，朱继英，陆宝丽。“随着时间的推移，从EEG中识别情绪识别的稳定模式。IEEE Transaction on Affective Computing 2017;1. 网址：http：//doi.org/10.1109/TAFFC.2017.2712143[15] 吴文龙，王文龙，王文龙.基于脑电的连续音乐情感识别99. IEICE信息系统交易;2016。p. 1234-41. https://doi.org/10.1587/transinf.2015EDP7251网站。[16] Jirayucharoensak S，Pan-Ngum S，Israsena P.““基于EEG的情感识别，使用深度学习网络和基于主成分的协变量移位自适应。2014年世界科学杂志：1-10。https://doi.org/10.1155/2014/627892。2014年，627892。[17] 郑文龙，陆宝龙。使用深度神经网络研究基于EEG的情感识别的关键频带和通道IEEETransactionsonAutonomousMentalDevelopment2015;7 （ 3 ） ： 162-75.https://doi.org/10.1109/TAMD.2015网站。[18] Yin Z，Wang Y，Liu L，Zhang W，Zhang J.使用转移递归特征消除的跨主题EEG特征 选 择 用 于 情 绪 识 别 。 2017 年 11 月 19 日 ， 前 Neurorob 。https://doi.org/10.3389/fnbot.2017.00019网站。[19] 李新，齐晓艳，孙晓琴，谢建良，范茂德，康俊宁。一种改进的多尺度熵算法在情绪脑电特征提取中的应用 Journal of Medical Imaging &Health Informatics 2017;7：436-9.https://doi.org/10.3772/j.issn.1002-0470.2015.10-11.001.[20] Schirmer A，Adolphs R.从面孔、声音和触觉的情绪知觉：比较和收敛。Trends Cognit Sci 2017;21（3）：216-28. 网址：http：//doi.org/10.1016/j.tics.2017.01.001[21] Rigoulot S，Pell MD. 用你的耳朵观察情绪：情绪韵律隐含地引导对面孔的视觉注意。PloS One 2012;7（1）：1-11.https://doi.org/10.1371/journal.pone.0030740。[22] Banziger T，Grandjean D，Scherer KR. 从面部、声音和身体表情中进行情感识别：多 模 态 情 感 识 别 测 试 （ MERT ） 。 Emotion 2009; 9 （ 5 ） ： 691-704.https://doi.org/10.1037/a0017088网站。[23] Stathopoulou IO，Tsihrintzis GA.“从身体动作和手势的情感识别”，智能交互式多媒体系统和服务。2011年7月p.295-303. https://doi.org/10.1007/978-3-642-22158-3_29网站。[24] 王晓文，聂东，陆宝林.基于频域特征和支持向量机的脑电情感识别。神经信息处理2011;7062：734-43. https://doi.org/10.1007/978-3-642-24955-6_87网站。[25] 林燕萍，王春春，郑泰和。音乐听觉中基于脑电的情感识别IEEE（Inst Electr ElectronEng）Trans Biomed Eng 2010;57（7）：1798-806。网址：http：//doi.org/10.1109/TBME.2010.2048568[26] 李英，黄健，周宏，钟南.通过混合深度神经网络利用脑电多维特征识别人类情绪。应用科学2017;7（10）。https://doi.org/10.3390/app7101060网站。[27] Rahman MA，Rashid MMO，Khanam F，Alam MK，Ahmad M.通过统计和人工神经网络方法进行基于EEG的大脑警觉性监测。国际J高级医学博士Rahman等人阵列11（2021）10007211Comput Sci Appl 2019年1月;10（1）。https://doi.org/10.14569/IJACSA.2019.0100157.[28] 放大图片作者：Khanam F，Rahman MA，Ahmad M.在萨拉特的心理生理活动期间评估EEG信号的α相对功率。2018年科学，工程和技术创新国际会议（ICISET）。孟加拉国：吉大港国际伊斯兰大学（IIUC）; 2018年。第1-6页。https://doi.org/10.1109/ICISET.2018.8745614. 10月27日至28日[29] Mahmud M，Kaiser MS，Hussain A，Vassanelli S.深度学习和强化学习在生物数据中的应用。 在IEEE Transactions on Neural Networks and Learning Systems 2018年6月;29（6）：2063-79。https://doi.org/10.1109/TNNLS.2018.2790388.[30] Noor MBT，Zenia NZ，Kaiser MS，Mamun SA，Mahmud M.“深度学习在磁共振图像检测神经系统疾病中的应用：阿尔茨海默病，帕金森病和精神分裂症检测的调查。脑信息学2020;7（11）。https://doi.org/10.1186/s40708--00112-2.[31] 放大图片Rahman MA，Uddin MS，Ahmad M.通过卷积神经网络从fNIR和EEG信号对脑机接口的自主和图像运动进行建模和分类。健康信息科学系统2019;7（22）。网址：http：//doi.org/10.1007/s13755-019-0081-5[32] 情绪EEG数据集。可在：http://bcmi.sjtu.edu.cn/home/seed/index.html.[33] 金英，罗英，郑伟，陆波.基于领域自适应网络的脑电情感识别。橙色技术国际会议。新加坡：ICOT）; 2017年。第222- 225页。https://doi.org/10.1109/ICOT.2017.8336126。[34] Homan RW，Herman J，Purdy P.“国际10-20系统电极放置的大脑位置。脑电图临床神经生理学1987;66（4）：376-82. https：//doi.org/10.1016/0013-4694（87）90206-9.[35] 李伟杰，李伟杰. Spikes：E X Exploring the Neural Code（ComputationalNeuroscience）.麻省理工学院出版社; 1999年，ISBN978-0262681087。[36] 斯科特·米勒斯，乔德斯·唐纳德.概率和随机过程。出版社：Academic Press;2012. p.370- 5[37] Krizhevsky A，Sutskever I，Hinton GE.使用深度卷积神经网络进行Imagenet分类。Adv Neural Inf Process Syst 2012：1097 - 105.https://doi.org/10.1145/3065386。[38] 本吉奥·昆·扬图像、语音和时间序列的卷积网络，《大脑理论和神经网络手册》。一九九五年[39] Acharya UR，Oh SL，Hagiwara Y，Tan JH，Adeli H.深