基于脑电信号的主体独立情感识别：VMD和深度学习

沙特国王大学学报使用VMD和深度学习从EEG进行主体独立情感识别Pallavi Pandey，K.R. SeejaIndira Gandhi Delhi Technical University for Women，Kashmere Gate，Delhi 110006，India阿提奇莱因福奥文章历史记录：2019年7月30日收到2019年9月27日修订2019年11月5日接受在线发售2019年保留字：变分模式分解价-唤醒模型深度神经网络情感计算本征模式函数A B S T R A C T基于脑电信号的情感识别被证明是一个很好的选择，因为它不能像语音信号或面部表情那样被模仿。情绪的EEG信号不是唯一的，它因人而异，因为每个人对相同的刺激有不同的情绪反应。因此，脑电信号是受试者相关的，并被证明是有效的受试者相关的情绪识别。然而，主体独立的情绪识别在诸如瘫痪或烧伤面部的情绪识别的情况下起着重要的作用，其中事件之前的主体的情绪的EEG不能用于建立情绪识别模型。因此，有必要确定共同的EEG模式对应于独立于受试者的每种情绪。本文提出了一种基于变分模式分解（VMD）和深度神经网络（Deep Neural Network，DNN）的脑电信号独立情感识别方法。使用基准DEAP数据集对所提出的方法进行的性能评估表明，VMD和深度神经网络的组合在从EEG进行与受试者无关的情感识别方面的表现优于现有技术。©2019作者由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍情感识别与情感计算领域相关联。情感计算是研究计算机如何处理和识别情感的研究。人类日常生活中情绪的主要部分是注意力的管理（Dolan，2002）和决策（Lerner等人，2015年）。一个情绪不平衡的人可能对执行日常任务反应不快。所以很明显，情绪在人的一生中扮演着重要的角色。脑电图记录是一种非侵入性的方法，因此研究人员正在使用它来研究与情绪反应有关的大脑神经活动。来自EEG的情绪识别已经被研 究 人 员 在 受 试 者 依 赖 的 情 况 下成功地探索（ Liu和 Sourina ，2014）。 在主题相关的方法中，来自同一用户的EEG数据用于训练以及测试情感识别系统。这些类型的情绪识别工作得很好*通讯作者。电子邮件地址：seeja@igdtuw.ac.in（K.R. Seeja）。沙特国王大学负责同行审查对于像在线游戏这样的应用，其中可以捕获玩家的EEG数据以训练模型，并且稍后该模型用于在玩游戏时评估用户的情感/情绪。然而，为了识别面部烧伤或瘫痪的人的情绪，事件之前的人的记录的EEG信号需要可用于执行受试者相关情绪识别。大多数情况下，基于脑电数据的情感识别的需求是在难以捕捉面部表情的情况下产生的。 在这种情况下，一个主题独立的EEG为基础的情感识别系统是必要的。同样，如果一名抑郁症患者前来诊断，其早期数据在他健康时不可用，则也可以采用受试者独立方法。情绪检测有各种应用，如压力管理（Kalas和Momin，2016），愤怒管理（Mohamed等人，2012）和抑郁症检测（Cai等人，2018年）。类似地，驾驶员的状态检测是处于愤怒/压力、困倦还是平静状态（Dabbu等人，2017年）。如果驾驶员不处于冷静状态，则会产生某种警报。另一个是ATM机用户的恐惧检测（Masood和Farooq，2019）。如果用户处于恐惧状态，这意味着她/他受到威胁，然后ATM将不会发送钱。在文献中，我们可以发现，不仅脑电图，但其他生理-生理信号，如肌电图，面部肌肉张力，血液https://doi.org/10.1016/j.jksuci.2019.11.0031319-1578/©2019作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comP. 潘迪，K.R.Seeja/ Journal of King Saud University1731压力体积和皮肤传导性（Picard等人，2001;Chanel等人，2011）也被用来检测情绪。各种技术，如短时傅立叶变换（STFT）（Lin等人，2010;Ackermann等人，2016），多重分形去趋势波动分析（Paul等人，2015）和经验模式分解（EMD）（Zhuang等人，2017; Mert和Akan，2018）用于从EEG中提取各种频带。几个其他特征，如功率谱密度（PSD）（Lin等人，2010; Ackermann等人，2016）和离散小波变换（Aydin等人，2016; Pandey和Seeja，2019 a，b）也从EEG频带中提取用于情感识别。在一项比较研究中（Jatupaiboon等人，2013）在用于情绪识别的EEG的各种特征上，与用于分类两种情绪的其他特征（如谱功率不对称、高阶谱、高阶交叉、共同空间模式和不对称空间模式）相比，PSD表现最好- 快乐和不快乐。作者报告称，β和γ频带以及通道T7和T8与其他频带和其他电极对相比，结果良好使用各种分类器（Alarcao和Fonseca，2017）对EEG数据的情绪进行分类。其中支持向量机（SVM）（Wang等人，2011年; Shaanxi和Moghimi，2016年）是文献中报道最多的。它们中的大多数是主题依赖的情绪分类器。在一些依赖于对象的方法中，线性SVM（Wang等人，2014）表现良好，而在其他一些研究中RBF SVM（Atkinson和Campos，2016;Chanel等人， 2009）、多项式SVM（Lan等人，2016）和自适应SVM（Liu等人，2013年，取得了良好的成绩。K-最近邻（KNN）分类器（Xu和Plataniotis，2012; Mohammadi等人，2017）也被发现在使用EEG数据的情绪分类中是有效的。很少有（Jirayucharoensak等人，2014; Zhengand Lu，2015）情感分类也尝试了深度学习。大多数现有的工作（Petrantonakis和Hadjileontiadis，2010年;Soleymani等人，2012; Lin等人，2014）关于主题独立的情感分类是在 自 制 的 数 据 库 上 ， 因 此 很 难 对 它 们 的 性 能 进 行 比 较 研 究 。（Petrantonakis和Hadjileontiadis，2010）使用高阶交叉在具有16个受试者的自制数据库上提取特征。他们使用SVM分类器对六种基本情绪进行了分类，获得了83.33%的准确率。在另一项研究中（Soleymani等人，2012），在自建的数据库上，使用SVM获得了62.1%的三个唤醒水平和50%的三个效价水平的准确率。 Lin等人（2014）创建了一个包含26名受试者的EEG数据库，并采用了两种方法-受试者依赖性和独立性。对于独立于被试者，SVM对效价和唤醒的准确率分别为61.09%和57.33%。大多数基于DEAP数据库的情感检测研究都依赖于主题。Zhuang等人（2017）提出了一种使用八个电极数据的受试者依赖性情绪识别方法，他们在DEAP数据库中实现了69.10%的效价准确率和71.99%的唤醒准确率。Atkinson和Campos（2016）在DEAP数据库上使用EEG的各种统计特征和SVM分类器，并实现了效价的73.14%和觉醒的73.16%的准确性。此外，通过三个级别的效价和唤醒分类，他们得到了准确性，唤醒率为60.7%，效价为62.33% Zhang等人（2016）用SVM对四种情绪进行了主体依赖和独立分类。他们从DEAP数据库中提取了16名受试者的30个电极的数据。主题相关分类的准确率为62.59%，主题无关分类的准确率为58.75%。Li等人（2018）研究了两个数据库-DEAP和SEED。在DEAP上，他们对积极和消极情绪的准确率为59.06%，在SEED数据上，他们使用SVM获得了83.33%的准确率。在所提出的方法中，经验模式分解（EMD）和变分模式分解（VMD）被用来从EEG数据获得固有模式函数（IMF）。对于每个IMF，计算两个特征，即功率谱密度的峰值和信号的一阶差分，然后将这些特征馈送到深度神经网络中进行分类。2. 材料和方法2.1. EEG数据EEG是一种非侵入性程序，用于沿头皮跟踪大脑的电功能，因此它是研究人员在多种应用中的首选（Read和Innis，2017）。人类情感识别就是其中的一个应用。代表性EEG信号可以具有10mV至100mV的幅度和大约1 Hz至100 Hz的频率范围。脑电主要有五种频段：δ频段小于4Hz，大于或等于4且小于8Hz的Theta带，大于或等于8且小于或等于14的Alpha带，大于或等于14且小于15的Beta带。40 Hz，伽马波段大于或等于40 Hz。脑电信号的记录有单极记录和双极记录两种方式。可以获得单极记录通过放置在头皮上的电极和位于耳垂处的参考电极之间的电压差。在双极记录中，记录两个头皮电极的电压差。受试者将戴上电极帽，同时观察固定持续时间的刺激，并使用EEG记录软件进行EEG记录电极帽中的电极将被放置在如10/20国际电极放置系统（Acharya等人，2016年，如图1所示。数字10/20用于建立对相邻电极之间的距离的约束。限制是相邻电极应该彼此远离颅骨的前后或左右总距离的百分之十或百分之二十。头被分割成不同的叶瓣几个叶位置用字母表示。2.2. 情绪表征情绪可以用分类模型或维度模型来表示（Mauss和Robinson，2009）。情绪在分类模型中被标记为“惊讶”或“愤怒”情绪。在维度模型（Lang，1995）中，情绪是用几个维度来表达的，比如效价，唤醒，支配和喜欢/不喜欢。使用效价和唤醒的二维模型如图2所示。情绪被标记为这个效价-唤醒空间中效价轴从负向正向变化，唤醒轴从被动向主动变化在这个模型中，空间被分为四个象限。化合价和arous-sal值在包含值1至9的量表上评定如果效价量表的评级大于5并且唤醒大于5，则情绪可以是如果效价小于5，唤醒大于5，那么情绪可能是“愤怒”或“害怕”，并落在第二象限，依此2.3. DEAP数据库据我们所知，DEAP数据库（Koelstra等人， 2012）是用于情绪识别的计算机上可用的EEG数据库，其包含最大数量的子EEG。SEED和MAHNOB是另外两个可用的EEG数据库，用于情感识别，包含15和301732P. 潘迪，K.R.Seeja/ Journal of King Saud University××ð ÞFig. 1. 10-20电极放置系统（Acharya等人，2016年）。图二.情绪的效价-唤醒模型（Jirayucharoensak等人， 2014年）。主题分别。DEAP数据库包含16名男性和16名女性受试者的数据，因此数据没有性别偏见。通过让参与者戴上电极帽观看一分钟的视频，并要求他们对自己的情绪进行评价来收集数据。以这种方式，当受试者观看视频时记录EEG，并且他们使用自我评估模型（Morris，1995）在1至9的效价唤醒量表上评定他们感觉到多少效价和唤醒，如图所示。3.第三章。有40个视频，对于每个视频，这个数据库保存了40个电极的读数。作者已经预处理了数据根据国际10/20电极放置系统，将32个有源AgCl电极放置在受试者头皮上，以512 Hz记录EEG。然后将数据下采样到128 Hz。数据库的统计数据如下：电极数量- 40个文件数量数据维度-2.4. 特征提取EEG信号的固有模态函数（IMF）提供关于信号的有意义的时间-频率信息。该方法利用EMD和VMD技术计算脑电信号的IMF当信号被分解成各种振荡分量时利用EMD或VMD方法提取脑电信号的IMF信号后，计算出信号的PSD峰值和一阶差分两个特征2.4.1. 经验模态分解（EMD）在EMD（Huang等人，1998），对于信号s t，通过使用称为筛选的重复过程来获得其IMF。每个IMF都必须满足两个条件。第一个是零交叉和极值的数量必须相同或相差最多一个。接下来，由局部最大值定义的上包络和由局部最小值定义的下包络的平均值为零。查找IMF的完整过程包括以下步骤：P. 潘迪，K.R.Seeja/ Journal of King Saud University1733ð Þ2ð Þð Þð Þ ¼ -ð Þ ¼ ð Þ-联系我们Þ ≤ ≤ð ÞP¼X英国，英国2图三. 自我评估-用于评价视频的人体模型（Morris，1995）。1) 找出所有的最小值和最大值在s中。2) 利用插值法，通过连接极大值和极小值分别得到上包络e nv maxmax tt和下包络e nv mint。3) 计算env ma xt和env mi nt的平均值。mtenvmaxtenvmint。 减去平均值IMF的带宽之和，使得所有uk的和等于主信号。该优化问题可以用公式表示（Dragomiretskiy和Zosso，2014），如等式（1）中给出的。（二）、min（Xjj@t½dtj=ptωukt]e-jwktjj2）<$2<$K的原始信号S别说了。不好意思。到得到的细节作为使得其中s是原始信号，必须4) 杀了他满足IMF的两个基本条件。5) 为了获得第一IMFI t，重复上述步骤（a）至（b）。（e）直到它满足货币基金组织所要求的两个条件。现在，该获得的细节信号d（t）将是第一IMF i。e I td t.. . 或下货币基金组织，计算的剩余x t s t I t.该残留物将被称为新信号。现在将再次重复上述步骤。6) 整个过程将继续，直到剩余信号将满足某些停止标准（比如，它变成常数）。在其分解的IMF分量方面的原始信号在等式中示出。（一）X分解为k个IMF。使用VMD获得的三个IMF的样本如图所示。 五、2.4.3. 功率谱密度功率谱密度描述了信号的功率如何在频率上分布。在本研究中，Welch方法（Rahi和Mehra，2014）用于计算IMF的PSD。2.4.3.1. Welch方法1. 对信号s[0]，s[1]，.. . ，s[N1]分成k个片段。2. 对于每个段1到k，计算频率v i = M处的加窗离散傅立叶变换，其中M= 21我 M= 2，如等式中所示。（三）、SkvXS½m]w½m]exp-j2pvm3联系我们1/1我不知道你是谁M其中m不同于（k1）L到M+（k1）L1，w[m]是胜利，在上面的等式中，k表示所获得的IMF的数量，并且Ii t是第i个IMF。使用EMD获得的六个IMF的样本如图所示。 四、2.4.2.变分模式分解（VMD）：VMD（Dragomiretskiy和Zosso，2014）是一种时频分解方法。它是为了克服EMD中存在的局限性，如下所示：dow函数，M表示分段大小，n-dL是在线段之间移动的点3. 对于每个段，使用等式（1）计算修改的周期图值。（四）、Pkv1=wabsSkv24i. EMD使用递归方法，不允许返回-其中，wMm¼0w2½m]沃德纠错ii. 它无法正确处理噪音VMD不使用递归方法，而是使用并发方法从信号中提取固有模式函数这是一种自适应方法，将信号分解为k个IMF，并给出具有各自中心频率wk的模式集uk。这些模式的总和代表原始信号。 与EMD相比，VMD对噪声的抵抗力较低，并且它不会留下残留噪声（Jiang等人， 2019年）。在VMD中，IMF的识别被认为是一个优化问题。优化算法的目标是最小化4. 通过使用等式（1）找到所获得的周期图值的平均值来估计功率谱密度（五）、KLsv1=K Pkv5k¼12个相邻段共有的点的数量等于（M-L），即两个相邻段将被（M-L）个点重叠。在得到功率谱密度信号后，选取其峰值作为特征。图6（a）和（b）分别示出了使用Welch方法针对低价类和高价类鉴定的样品PSD。K1734P. 潘迪，K.R.Seeja/ Journal of King Saud University见图4。使用EMD的前六个IMF（受试者1的电极fp1用于高价）。图五.使用VMD的前三个IMF（受试者1的电极fp1用于高效价类）。可视化这两个图，很明显，IMF的PSD的峰值可以区分这两个类，因此它被选为情感识别的特征。2.4.4. IMF第一差第一个差值表示从一个周期到下一个周期的时间变化如果yt表示时间序列y在时间t处的值，则第一差^yit-yit-1。在这项研究中，我们分析了在一段时间内（即，在各种情绪刺激期间）EEG的电压变化，我们还选择IMF的一阶差作为特征。2.5. 支持向量机支持向量机是一种机器学习技术，它通过绘制最大边缘超平面来分离数据，P. 潘迪，K.R.Seeja/ Journal of King Saud University1735见图6。 第一IMF的PSD（方法-VMD，电极fp 1，受试者1）（a）低价级（b）高价级。很好.对于不可分数据，通过引入误分类惩罚项，找到最大化间隔和最小化误分类的超平面。它将数据映射到使用核函数。如第1节所述，各种研究表明SVM是基于EEG的情感分类任务的更好分类器，因此在本研究中选择SVM与DNN进行性能比较。2.6. 深度神经网络它是一种机器学习技术，可用于学习特征以及执行分类任务。DNN的主要如果一个神经网络由三个以上的层组成，包括输入层和输出层，则该网络属于深度神经网络的范畴。具有三个隐藏层的深度神经网络的简单模型如图7所示。隐藏层的数量和每个隐藏层的神经元数量可以变化。DNN还具有从数据中检测更强特征的能力，因此在本研究中选择DNN用于情感识别任务。2.7. 拟议方法所提出的使用EEG信号的情感识别方法的示意图如图所示。8.第八条。受试者将在EEG记录期间佩戴电极帽，并观看视频。通过这种方式，情绪将被诱发，并且相应的EEG将被记录。然后对信号进行预处理，去除伪影。最后建立了用于情感识别的预处理脑电数据库。在这项研究中，使用的基准DEAP数据库已经预处理。然后利用EMD和VMD技术对脑电信号进行特征提取。获得的特征被输入深度神经网络来区分高/低效价和高/低唤醒。这些高/低效价和唤醒指标用于获得如第2.2中所述的情绪标签。所提出的主体独立情感分类的方法概述如下：1. 数据收集从DEAP数据库中选择所有40个视频的电极fp1、fp2、F3和F4对应的EEG数据在32名受试者中，数据对应于选择30名受试者进行训练，选择2名受试者进行测试，以使其成为纯粹的受试者独立方法。2. 特征提取从脑电信号中提取两个特征这些特征是从脑电信号的IMF中计算出来的对于每个EEG信号，使用EMD或VMD提取IMF然后利用Welch方法计算了各IMF的功率谱密度。选择PSD的峰值作为特征。计算IMF的第一个差异作为第2.4.4中描述的另一个特征。3. 分类从顶部IMF计算的两个特征被组合在一起以形成特征向量。然后，DNN分类器用对应于选择用于训练的30个受试者的特征向量进行训练，然后用对应于选择用于测试的2个受试者的特征向量进行测试。3.实验和结果所提出的方法已在Python中使用tensor-flow平台实现。优化算法采用基于梯度下降的优化算法，激活函数为Relu。在输出层，使用soft max函数。DEAP数据库包含32个电极的EEG记录，对应于40个视频和32个见图7。 深度神经网络1736P. 潘迪，K.R.Seeja/ Journal of King Saud University×××见图8。 所提出的从EEG进行情感识别的方法的示意图。科目我们选择了来自四个电极的EEG记录，即fp1、fp2、F3和F4（Petrantonakis和Hadjileontiadis，2010），因为这些电极位置已经被识别为情绪特异性的。此外，我们认为效价/唤醒等级大于5为高，小于或等于5为低。3.1. 实验1：EMD特征在本实验中，脑电信号被分解成几个IMF的经验模态分解。对于一些EEG信号，获得的IMF的总数是11，并且对于一些信号，基于停止标准（即，当IMF成为常数时）。然后选择最大的IMF进行特征计算。对于每个选定的IMF，PSD的峰值和IMF的第一差被计算。对于一个电极获得的特征的总数是6。(i.e.、因此，对于4个电极（fp1、fp2、F3和F4），24. (i.e.、432）的情况。然后将所选IMF的特征提供给两个所选分类器- SVM和DNN。基于穷举实验选择每个EEG信号的顶部IMF的数量。在尝试了不同的选择，如前一个IMF，前两个IMF，前三个IMF等，我们得到了最好的结果与前三个IMF如表1所示。如表1所示，前三个IMF与EEG信号高度相关，因此对于第二个实验，仅前三个IMF被考虑用于特征提取。3.2. 实验2：基于VMD的特征在本实验中，脑电信号被分解成几个IMF使用VMD。然后选择每个信号的前三个IMF进行特征提取。计算每个选定IMF的PSD的峰值和一阶差作为特征。然后，将获得的特征向量输入SVM以及DNN。在支持向量机的情况下，线性，多项式和径向基函数（RBF）核进行了检查，发现径向基函数是最适合的基于VMD的功能。类似地，通过改变隐藏层的数量和隐藏层中的神经元的数量来检查DNN的不同拓扑。如表2所示，在三个隐藏层处获得最佳结果。表3示出了具有基于VMD的特征的分类器（具有RBF核的SVM和具有三个隐藏层的DNN）的性能比较。我们使用来自2个单极（fp1和fp2）的数据进行实验，也是为了减少特征的数量，如表3所示。然而，用来自四个电极的特征获得最佳结果4. 讨论从实验中发现，1. PSD的峰值和一阶差分等IMF特征对情感分类是有效的。2. 前三个IMF的特征，尤其是前三个IMF，对于情绪识别任务来说信息量更大。3. 如文献中所发现的，电极fp1、fp2、F3和F4的EEG记录与情绪有关。4. 基于VMD和DNN的特征对于唤醒和效价分类都表现最好。图中示出了基于EMD和VMD的特征在觉醒和效价的分类准确性方面的比较。9.第九条。在DEAP数据库中，效价和唤醒以1-9（低到高）的量表进行评级。根据这个因此，利用所提出的二元分类模型，可以识别四种不同的情绪。已经进行了各种尝试来开发如第1节中所解释的人类情感识别系统。然而，他们中的大多数是依赖于学科的方法，并使用自我创造的方法，表1SVM vs. DNN（基于EMD的特征）。所选IMF的唤醒或效价对于每个信号训练数据量（来自30名受试者的数据）测试数据量（2名受试者的数据）分类器核函数精度打开训练数据（%）试验数据的准确度（%）唤醒3 1200× 24 80× 24 SVMRBF83 58.4Polynomial多项式92 56深度神经网络94 60唤醒6 1200× 48 80× 48 SVMRBF86.5 56.8Polynomial多项式94 50深度神经网络化合价3 1200× 24 80× 24 SVMRBF80 57.6Polynomial多项式深度神经网络91.75 56化合价6 1200× 48 80× 48 SVMRBF82 56Polynomial多项式深度神经网络90.5 52.8P. 潘迪，K.R.Seeja/ Journal of King Saud University1737表2不同DNN拓扑的准确性。隐藏层数Valence隐藏层的神经元数量唤醒隐藏层的神经元数量准确度（%）化合价准确度（%）唤醒3(12（第24、12段）（7，14，7）62.5061.254(12（第24、12、3段）(12（第24、12、3段）55.0059.755(12（第24、12、21、12段）(12（第24、12、21、12段）60.0056.756(100、200、100、200、100、200）(100、200、100、200、100、200）56.2552.50表3SVM vs. DNN（基于VMD的特征）。效价/唤醒电极数量分类器3个隐藏层的神经元数量训练数据量（来自30名受试者的数据）测试数据量（2名受试者的数据）试验数据的准确度（%）唤醒4（fp1，fp2，F3，F4）DNNSVM（7，14，7）–1200× 2480× 2461.2557.50价DNN(12（第24、12段）62.50唤醒2（fp1，fp2）SVMDNNSVM–（4、8、4）–1200× 1280× 1258.7557.5055.00价DNNSVM(10、20、10）–60.0056.25见图9。 比较不同方法的准确度。表4基于效价-唤醒的情绪分类。数据库中的受试者数量较少，以评估模型。我们已经将我们的结果与在文献中发现的、在基准DEAP数据库上的最先进的主题独立技术进行了比较，并在表5中示出。5. 结论提出了一种基于脑电信号的拟议表5与最先进技术的性能比较文章方法数据库特征提取分类器准确度（%）（Li等人， 2018年）受试者独立性DEAPSTFTSVM59.06积极和消极情绪（Lan等人， 2019年度）（Rayatdoost和Soleymani，受试者独立性主题DEAPDEAP微分熵不同的光谱地形图域自适应技术卷积48.93对于三级效价唤醒-55.702018年）提出独立学科DEAP带VMD神经网络深度神经网络价 格 - 59.22 唤醒 -61.25 价 格 -62.50价唤醒情感阳性（6被动（1平静/满足阳性（6活动（6快乐/兴奋阴性（1被动（1悲伤/抑郁阴性（1活动（6愤怒/害怕1738P. 潘迪，K.R.Seeja/ Journal of King Saud University方法学上，从IMF中提取PSD峰值和一阶导数两个特征用于情感分类。从脑电信号中提取IMF的两种方法，即EMD和VMD。在基准DEAP数据集上对所提出的方法进行了实验评估，发现来自前三个IMF的基于 VMD的特征优于基于EMD的特征。还发现，与SVM分类器相比，深度神经网络分类器在与主体无关的情感识别中表现更好。在所提出的方法中，用于建立和测试模型的对象的EEG数据是不同的，因此它是一个广义的情感识别系统。因此，所提出的方法可以用于从EEG的任何人的数据不用于训练的分类器的情感识别。竞争利益作者声明，他们没有已知的可能影响本文所报告工作引用Acharya，J.N.，Hani，A.J.，奇克，Thirumala，P.，Tsuchida，T.N.，2016.美国临床神经生理学会指南2：标准电极位置命名指南。Neurodiagnostic J. 56（4），245-252。Ackermann，P.，Kohlschein，C.，Bitsch，J.A.，Wehrle，K.，Jeschke，S.，2016.基于脑电的自动情感识别：特征提取、选择和分类方法。e-Health Networking，ApplicationsandServices （ Healthcom ） ， 2016IEEE18thInternationalConference on（pp. 1-6）。美国电气与电子工程师协会。Alarcao，S.M.，Fonseca，M.J.，2017.使用EEG信号的情绪识别：综述。IEEE Trans.情感计算。阿特金森，J.，Campos，D.，2016.结合脑电特征选择和核分类器改进基于BCI的情感识别。专家系统应用47，35-41。Aydin，S.G.，Kaya，T.，Guler，H.，2016.基于LabVIEW的脑电信号情绪价唤醒模型的小波研究。大脑信息 3（2），109-117。蔡洪，汉，J.，陈玉，沙，X.，王志，胡，B.，例如，2018年一个普遍的方法，以脑电图为基础的抑郁症检测。 复杂性香奈儿，G.，Kierkels，J.J.，Soleymani，M.，Pun，T.，2009.回忆范式中的短期情绪评估。Int. J. Hum. Comput. 种马。 67（8），607-627。香奈儿，G.，Rebetez，C.，Bétrancourt，M.，Pun，T.，2011.基于生理信号的游戏难度适应性情绪评估。IEEE传输系统，人，控制论-第一部分：系统论。41（6），1052-1063。Dabbu，S.，Malini，M.，Reddy，B.R.，Vyza，Y.S.R.，2017.基于人工神经网络的脑电时频联合分析检测驾驶员困倦。国防生命科学J. 2（4），406-415。多 兰 ， R.J. ， 2002. 情 感 、 认 知 和 行 为 。 Science 298 （ 5596 ） ， 1191-1194.Dragomiretskiy，K.，Zosso，D.，2014年。变分模式分解IEEE Trans.信号处理。62（3），531-544。Huang，N.E.，沈志，Long，S.R.，Wu，M.C.，施惠鸿，郑昆，Liu，H.H.，1998年非线性非平稳时间序列的经验模态分解和Hilbert谱分析. Proc. R. Soc.London A 454（1971），903-995.Jatupaiboon，N.，Pan-ngum，S.，Israsena，P.，2013.基于EEG的实时幸福感检测系统。Sci.世界J。江，L. Zhou，X.，中国科学院，切湖，加-地Rong，S.，温，H.，2019.基于无载波UWB雷达的二维VMD特 征 提 取 与 重 构 在人体运动识别中的应用。 Sensors 19（9），1962.Jirayucharoensak，S.，Pan-Ngum，S.，Israsena，P.， 2014. 使用深度学习网络和基于主成分的协变量移位自适应进行基于EEG的情感识别。Sci.世界J。Kalas，M.S.，Momin，B.F.，2016.使用EEG信号的压力检测和减少。在：2016年国际电气，电子和优化技术会议（ICEEOT），pp。 471- 475[数据库] Koelstra，S.，Muhl，C.，Soleymani，M.，李，J.S.，Yazdani，A.，Ebrahimi，T.，帕特雷岛，2012. Deap：用于情绪分析的数据库;使用生理信号。IEEE Transactionson Affective Computing，3（1），18兰，Z.，Sourina，O.，Wang，L.，美国，Liu，Y.，2016年。 使用稳定特征的基于EEG的实时情绪监测。视觉计算 32（3），347-358。兰，Z.，Sourina，O.，Wang，L.，美国，Scherer，R.，Müller-Putz，G.R.，2019年。基于EEG的情感识别的域自适应技术：两个公共数据集的比较研究。IEEE Trans.认知发展系统 11（1），85-94。Lang，P.J.，一九九五年情绪探测：动机与注意力的研究Am.Psychol.50（5），372.Lerner，J.S.，李，Y.，Valdesolo，P.，Kassam，K.S.，2015年。情绪和决策。Annu. Rev. Psychol. 66，799-823.Li，X.，Song，D.，张，P.，张玉，侯，Y.，胡，B.，2018年 探索脑电特征在跨主体情绪识别中的应用。前面Neurosci. 12，162。Lin，Y.P.，Wang，C.H.，Jung，T.P.，Wu，T.L.，Jeng，S.K.，Duann，J.R.，Chen，J.H.，2010年。脑电图-基于情感识别的音乐听觉。IEEE生物医学学报Eng.57（7），1798-1806。Lin，Y.P.，Yang，Y.H.，Jung，T.P.，2014.融合脑电动力学与音乐内容以评估音乐聆听中的情绪反应。 前面Neurosci.八，九十四。Liu，Y.，Sourina，O.，2014.基于受试者相关脑电的实时情感识别算法。在：计算科学交易XXIII。施普林格，柏林，海德堡，pp.199- 223Liu，Y.H.，吴CT高永宏，陈耀堂，字耀堂，2013.基于核特征情感模式和自适应支持向量机的单次脑电情感识别。在：医学和生物学工程学会（EMBC），2013年第35届IEEE年度国际会议，第35页。 4306- 4309马苏德，N.，Farooq，H.，2019.研究双刺激诱发人类恐惧情绪状态的脑电模式。传感器19（3），522.Mauss，I. B.，罗宾逊，医学博士，2009.情绪的措施：一个审查。科根不客气。23（2），209-237。Mert，A.，Akan，A.，2018年 基于多元经验模式分解的脑电信号情感识别。模式肛门。Appl. 21（1），81-89。Mohamed，M.，全，L.R.，Ahmad，I.L.，Chuan，L.C.，哈米德，S.H.，2012. 基于脑电、语音和心跳的愤怒状态判定。Int. J. Comput. Sci. Eng.4（12），1897.Mohammadi，Z.，Frounchi，J.，阿米里，M.，2017.基于小波变换的脑电信号情感识别系统。神经元计算Appl. 28（8），1985-1990年。Morris ， J.D.，1995. 观 察： SAM ： 自 我评 估 模 型; 情 绪反 应 的 有效 跨 文 化测 量 。 J.Advertising Res. 35（6），63-68.Pandey，P.，Seeja，K.R.，2019.基于主体独立方法的脑电信号情绪状态识别。In：Mishra，D.，杨，X.S.，乌纳尔A.（编），数据科学和大数据分析。数据工程与通信技术讲座笔记。新加坡斯普林格。Pandey，P.，Seeja，K.R.，2019年b.使用深度神经网络从EEG信号中进行独立于主体的情感检测。In：Bhattacharyya，S.，Hassanien，A.，Gupta，D.，Khanna，A.，潘岛（编），创新计算与通信国际会议。网络与系统讲义。新加坡斯普林格。保罗，S.，Mazumder，A.，戈什，P.，Tibarewala，D.N.，Vimalarani，G.，2015年。以MFDFA为特征提取器的脑电情感识别系统。在：机器人，自动化，控制和嵌入式系统（RACE），国际会议上，页。 1比5。Petrantonakis，P.C.，Hadjileontiadis，L.J.，2010.基于高阶交叉的脑电信号情感识别。IEEE Trans.Inf Technol.BioMed. 14（2），186-197。皮卡德，R.W.，Vyzas，E.，Healey，J.，2001.走向机器情绪智力：情感生理状态分析。IEEE传输模式分析马赫内特尔23（10），1175-1191。Rahi，P.K.，梅拉河，巴西-地2014.不同窗技术下welch法功率谱估计之分析。Int. J.Emerging Technol. Eng. 2（6），106-109.Rayatdoost，S.，Soleymani，M.，2018.基于跨语料库脑电的情感识别。在：2018年IEEE第28届信号处理机器学习国际研讨会（MLSP），pp。 1比6里德，G.L. ，Innis， I.J. ， 2017. 脑电图（ EEG ）。 Int. EncyclopediaCommun. Res.Methods，1-18.拉塞尔，J.A.，1980.一种复杂的情感模式。J. Psychol. Soc. 39，1161-1178. Shawn，H.，Moghimi，S.，2016.通过分析脑电有效连通性，自动检测大脑对情感音乐的反应。Comput.Hum.行为举止。58，231-239.Soleymani，M.，Pantic，M.，Pun，T.，2012.响应视频的多模态情感识别。IEEETrans.情感计算 3（2），211-223。王晓文，Nie，D.，Lu，B.L.，2011.基于脑电频域特征和支持向量机的情感识