商业EEG设备与情绪识别的研究现状和挑战

制作和主办：Elsevier沙特国王大学学报基于EEG的情绪识别：商业EEG设备和机器学习技术Didar Dadebayeva，Wei Wei Goha，Ee Xion Tanba泰勒大学计算机科学与工程学院，1，Jalan Taylorb国际医科大学药学院生命科学系，第1001号。126，Jalan Jalil Perkasa 19，57000武吉加里尔，马来西亚阿提奇莱因福奥文章历史记录：收到2020年2021年2月23日修订2021年3月22日接受2021年4月1日网上发售关键词：脑电图情感识别消费级脑电机器学习分类A B S T R A C T基于脑电信号特征的情感识别是当前大数据研究的热点之一。随着当前市场上商业EEG设备数量的增加，有必要了解当前的趋势，并为研究人员和年轻的从业者提供对情感识别系统未来研究的见解本文旨在评估流行的消费级EEG设备的状态，并回顾过去五年来对这些低成本设备用于情感识别的可靠性进行的相关研究。此外，还与研究级器械进行了比较。本文还重点介绍了基于EEG的情感识别研究的关键领域，包括不同的特征提取能力，特征和机器学习算法。最后，本文提出了基于EEG的情感识别系统的构建所面临的主要挑战，重点讨论了商业EEG设备的数据采集过程和机器学习算法的版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。内容1.导言43862.消费级EEG设备43862.1.小行星43872.2.OpenBCI 43882.3.NeuroSky 43883.情绪和脑电图特征43883.1.情感定义43893.2.情感模型3.3.脑电图43893.4.基于EEG的情绪识别过程43893.5.参与者43913.6.中国人43913.7.电极的放置3.8.预处理43923.9.特征提取43933.10.情绪分类4394*通讯作者。电子邮件地址：dadebayevdidar@sd.taylors.edu.my（D. Dadebayev）。沙特国王大学负责同行审查https://doi.org/10.1016/j.jksuci.2021.03.0091319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comD. Dadebayev、Wei Wei Goh和Ee Xion Tan沙特国王大学学报43863.11.研究综述4.挑战和建议43975.结论4398资金4398竞争利益声明参考文献43981. 介绍在过去的几十年里，基于脑电图的情绪识别研究在许多学科中得到了普及。然而，关于情绪状态及其结构的现有科学数据仍然有限。基于脑电图（EEG）的情感的成功探索在医学和计算机科学、营销、教育和娱乐等各个领域都引起了极大的兴趣下面的表1显示了一个列表，最近的研究，重点是基于EEG的情绪识别。文献检索使用流行数据库，如Google Scholar、Springer Link Online Libraries、Multidisciplinary Digital Publishing Institute（MDPI）和ScienceDirect（Elsevier），主要关键词为脑电图、EEG、情绪分类、情绪预测和情绪分类。在EEG中，电极被放置在患者EEG并不记录单个神经元的活动，而是检测神经元群体同时活动时产生的信号它记录每个电极周围大脑小区域的EEG提供了大脑中的电活动的图像，其表示为不同频率、振幅和形状的波它可以用来测量在完成任务或观察刺激等事件期间的大脑活动，或者在没有特定事件的情况下测量自发的大脑活动尽管在不同领域的潜在应用，utiliza-EEG技术在实验室之外的应用受到设备和软件设置所花费的大量时间、由 一 束 连 接 线 引 起 的 用 户 不 动 以 及 研 究 级 设 备 的 高 成 本 的 限制（Grummett等人，2015年）。最近，工程师和EEG研究人员已经探索了克服这些问题并在现实生活环境中实现平滑和可靠的EEG信号收集的方法（Callan等人，2015; Ratti等人， 2017年）。目前市场上有几种低成本的消费级EEG设备，具有无线信号传输和无凝胶EEG数据收集功能。这样的设计使得EEG设备在日常生活环境中更加便携和易于使用。尽管研究级EEG设备对于临床机构中的情绪识别仍然是优选的，但是已经使用消费级EEG设备进行了类似的研究并且已经呈现了可靠的结果（Maskeliunas等人， 2016年）。通过EEG，可以通过机器学习算法捕获和研究大脑活动信号，以预测情感识别模式并将其转换为命令。通常，分类或回归模型用于此任务。算法的类型由实验期间呈现的输出和刺激确定因此，当情绪被描绘为多维尺度，并且每个尺度是连续变量时，回归将是优选的。然而，当情绪被反映为一个单独的类别或情绪尺度被划分为子类别时，将应用分类算法。本研究旨在对我国农村地区的农民工现状进行全面调查，低成本消费级EEG设备，用于评估情绪状态，并提供对这些EEG设备的质量、功能、特征和机器学习分类方法的此外，研究的挑战进行了讨论，重点是数据收集过程与负担得起的EEG设备和机器学习算法的性能。本文的其余部分组织如下：第2节涵盖了对不同类型的经济型EEG设备的综述;第3节介绍了EEG特征，包括对先前研究和所用方法的综述;第4节介绍了对综述研究的讨论;第5节介绍了消费级EEG设备的挑战;第6节是结论。2. 消费级EEG设备在过去的十年中，非侵入性EEG设备的目的已经从基于研究的应用转变为更多的商业用途（Rashid等人，2018; Ratti等人，2017;Wei和Ma，2017）。购买研究级EEG设备可能很昂贵，这可能会减少研究产出并切断研究资金。许多研究人员正在寻找一种更便宜的脑电图设备，以产生可比的数据质量。目前市场上提供各种消费级EEG设备，其成本低，组装/拆卸简单，并且性能令人满意考虑到所获得的EEG数据的质量和可靠性，主要在这项研究中提出了六个低成 本 的 消 费 级 脑 电 图 设 备 。 例如， EPOC X 、 EPOC+ 、 EPOCINSIGHT、EPOC FLEX、OpenBCI和NeuroSky MindWave。表2总结了这六种经济实惠的EEG设备，包括发布年份、价格、电极数量和采样容量。在这六款设备中，EPOC FLEX是最昂贵的型号，因为它主要用于医疗应用，起价为1699美元。其余的产品价格从299美元-799美元，取决于传感器数量和规格。Ancientiv提供三种许可计划，以满足各种需求。有免费许可证和专业许可证。免费许可证是为脑机接口API设计的。专业许可证专为神经科学研究而设计，包括学生，学术和商业类型的计划。Pro许可证允许实时查看和导出原始EEG和性能指标数据营业执照是为涉及研究和产品开发的商业用途而 设 计 的 智 能 产 品 是 无 线 的 ， 使 被 访 者 可 以 更 自 由 地 移 动 。OpenBCI代表开源脑机接口。OpenBCI产品的价格在750 - 1080美元之间，具体取决于传感器的数量。OpenBCI还提供了一个“自己打印”选项，使用户能够3D打印头戴式耳机，这也与传统的头帽兼容。该制造商致力于提供开放式和对患者友好的EEG解决方案，提供更广泛的大脑研究工具选择。NeuroSky MindWave模型具有D. Dadebayev、Wei Wei Goh和Ee Xion Tan沙特国王大学学报4387表1最近的研究涉及情绪识别测量脑电数据。参考标题（Asghar等人， 2019） 基于EEG的多模态情感识别，Bag of Deep Features：一种最优特征选择方法（Huang等人， 2019）一个基于EEG的脑机接口的情感意识障碍患者的认知功能及其应用（Jingru et al.， 2019） 情绪识别实验研究基于脑机接口和脑波（Krishna等人， 2019年度）基于神经网络的脑电信号情感分类调Q小波变换（Lakhan等人， 2019年）消费级大脑感知情感识别（Sorinasa等人，2019年度）一种实现正负情绪识别（Zeng等人， 2019）使用改进的EEG情绪分类基于SinNet的深度学习模型（Alazrai等人， 2018） 基于EEG的情感识别使用二次时频分布（Ganesh等人，2018年）依赖于竞争者和不依赖于竞争者基于脑电信号的情绪分类消费级细分市场。消费级产品价格较低，可访问性和简单的设计，使研究人员能够在没有电子和工程知识的情况下轻松研究人脑活动。前面提到的EEG设备由三家制造商生产，分别是Anchativ、OpenBCI和NeuroSky，我们将在下一节中详细介绍。2.1. EmotivAntotiv是消费级EEG设备的最大制造商之一。目前市场上有四种EPOC 产 品 ： EPOC X 、 EPOC+ 、 EPOC FLEX 和 INSIGHT（“EPOC+”）|大脑数据测量硬件和软件解决方案，”n.d. ）. EPOC X是2020年为纪念成立10周年而发布的最新产品，它提供了著名的前体型号EPOC+的功能。EPOC X型号具有改进的设计，使神经科学研究的范围更广.有14个电极用于跟踪大脑皮层关键特征（Katsigiannis和拉姆赞，2018年）DREAMER：情绪识别数据库通过来自无线低成本现成设备的包括通过蓝牙无线连接、改进的信号质量、带有旋转头带的舒适设计、运动传感器（Liu等人， 2018）实时电影诱导离散情感脑电信号（Zhuang等人，2018）调查自我诱导情绪的模式脑电信号（Chai等人， 2017）一种快速，高效的域自适应技术，基于跨域脑电的情绪识别（Al-Galal等人，2016年）基于EEG的情绪识别，而听用芳香配价模型比较《古兰经》诵读与放松（Kumar等人， 2016） 用于情绪识别的EEG的双谱分析（Zhang等人，2016）基于ReliefF的EEG传感器选择方法情感识别（Zheng等人， 2016年）非侵入式和多模态可穿戴传感，量化焦虑（Ahmad等人， 2015年：《区分不同的人类大脑状态》基于分形维数的脑电信号非线性分析（Javaid等人， 2015）基于EEG的实时人类情绪识别它可以检测头部的运动，以及强大的盐水基生物传感器，trodes（“EPOC X - 14通道无线EEG耳机|《明史》，注：）.EPOC+主要用于学术目的。它将传感器分布在整个头皮上，覆盖尽可能多的区域，并提供简单的组装/拆卸（“EPOC+ 14通道无线EEG耳机|《明史》，注：）. 该型号是EPOC的升级版，市场上已不再有除了常规的EEG电极外，EPOC+还提供了另外九种内置运动电极，如陀螺仪，加速度计，磁力计，每种类型都有三个传感器。陀螺仪和加速度计收集所有三个方向上的加速度和围绕每个轴的旋转信息，而磁力计则监控空间中的实际位置和方向通过这种方式，连续时间内的微小移动可以被额外的磁场数据抵消，使用户能够跟踪（Thammasan等人，（2015年）（Liu和Sourina，2014）基于脑电的音乐熟悉度及认知功能情感基于EEG的基于分形维数的主体相关情绪即使在非常复杂的运动中，也能更清楚地看到位置的实际变化。对于那些寻求更友好的设备（（Peng等人， 2014）基于EEG的情感识别与流形正则极限学习机（Wang等人， 2014）使用机器学习方法从EEG数据进行情绪状态分类（Zheng等人， 2014） 基于EEG的情感分类使用深度信念网络（Koelstra等人， 2012年）DEAP：一个使用生理信号进行情绪分析的数据库（Nie等人， 2011年）在观看过程中基于EEG的情绪识别电影通道无线EEG耳机|EMOTIV，”n.d. ）. 它的设计与半干聚合物传感器，并有五个主要传感器和两个参考传感器，并有效地检测大脑数据。INSIGHT模型更适合日常使用，而不是研究应用。作为最昂贵的型号，EPOC FLEX与其他型号的不同之处在于它是一种研究级EEG设备。它配备了更多数量的传感器，包括34个盐水浸泡的毡垫和一个控制盒，可以传输数据线-（Inventado等人，（2010年）利用EEG数据中的先前情感状态和连续情感标签预测ITS中学生将典型的凝胶电极帽系统切换到移动记录设备（“EPOC Flex - 32通道无线EEG设备|《明史》，注：）.（Lin等人， 2009年）EEG为基础的情感识别在音乐听：A多类支持向量机方案比较（Müller等人， 2008） 机器学习用于实时单次试验EEG-分析：从脑机接口到心理状态监测（Bos，2006）基于EEG的情绪识别最低的电极数量和199美元的最低价格，提供主要为冥想和睡眠设计的神经反馈技术，尽管这并不限制其研究能力。可负担得起的EEG设备的数量正在增加在当前的市场上，由于脑机接口（BCI）技术早期的EPOC设备与一个名为Test-Bench的软件一起发布，用于记录原始EEG数据。软件开发工具包（SDK）和PureEEG软件可用于使用原始EEG数据构建新程序。自2019年12月31日起，对TestBench、SDK和PureEEG的支持已被逐步取消，尽管可以在制造商的Github页面上在线访问更多有限的开源SDK（“N.D. ）. 对于TestBench和PureEEG用户，Reactiv提供了一个EmotivPRO解决方案，用于数据收集和事件标记。EmotivPRO提供灵活的云存储和快速数据分析选项，无需导出数据。对于早期SDK版本的用户，Corpativ鼓励切换到CortexSDK。Cortex SDK是最新的API，将EEG记录与第三方软件相结合，使研究人员和从业人员能够开发BCI软件或创建定制游戏。D. Dadebayev、Wei Wei Goh和Ee Xion Tan沙特国王大学学报4388表2六个负担得起的脑电图设备的总结。装置发行年份价格（美元）电极采样率（Hz）EPOC FLEX20181699+最多32（+2）*128EPOC X202079914（+2）*128/256EPOC+201369914（+2）*128/256专业洞察20152995（+2）*128OpenBCI2014750/10808/16250/125NeuroSky MindWave20181991512* （+2）表示位于左右乳突处的参考传感器。2.2. OpenBCIOpenBCI 产品 于2014 年首 次发 布， 作为 与开 源图 形用 户界 面（GUI）捆绑的开源硬件和固件（“OpenBCI- 开源生物传感工具（EEG，EMG，EKG等）”，n.d. ）.与其他经济实惠的EEG设备相比，OpenBCI产品仅用作放大器。采样率因通道数量而异，Cyton生物传感板具有250 Hz的8个通道，Cyton+ Daisy生物传感板具有125 Hz的16个通道数据。除了大脑数据，OpenBCI板还收集心脏和肌肉有多种耳机可供选择，包括带有计算机辅助绘图（CAD）的选项其中用户可以3D打印头戴式耳机用于特定的研究目的。OpenBCI还提供了一个名为Pro- cessing的程序，可用于编写开源应用程序。OpenBCI 产 品在 实 验研 究 中 越来 越 受欢 迎 。几 项 工作 证 明了OpenBCI设备收集的EEG信号的可靠性和潜力例如，Frey（2016）表明，从OpenBCI获得的EEG数据足以用于比研究级EEG设备电极更少的实时应用。Notaro和Diamond（2018）的另一项研究评估了在线学习者同年，Rahma和Nurhadi（2018）使用OpenBCI EEG设备来测量学习者在阅读任务时的注意力。Shen等人（2017）检查了驾驶员此外，开发了新的基于JAVA的EEG软件。它可以检测、显示和分析各种受 试 者 的 EEG数 据 （ Stylianos 等 人 ， 2019 年 ） 。 Nguyen 等 人（2018）提出的另一项研究使用了轻型耳内生物传感（LIBS）系统，该系统可以不断收集来自人类大脑，眼睛和肌肉的电信号。进一步的发现与基于EEG的情绪识别有关，涉及不同数量的参与者（Al-Galal等人 ，2016; Javaid 等 人 ， 2015; Katsigiannis 和 Ramzan ， 2018;Lakhan等人，2019年;Liu等人，2010年）。鉴于数据收集的灵活性，该设备可以帮助研究人员了解人类情绪是如何被激发和控制的。2.3. NeuroSkyNeuroSky Inc.是2004年成立的消费级脑机接口技术（-ECG-生物传感器，”未注明日期）. NeuroSky堪称消费级脑电产品的 先驱 他 们 的第 一 个 产品 于 2007 年 推出 ， 这 是 一个 NeuroskyMindSet。NeuroSky Mind- Set在市场上的轰动意味着进一步升级的 消 费 级 产 品 的 发 布 ， 如 MindWave ， MindWaveMobile ，MindWave Mobile Plus和MindWave Mobile 2。然而，目前全球只有MindWave Mobile 2，而早期型号MindWave Mobile 2型号是一种流行的低成本EEG设备。开发人员表示，它可以检测认知功能数据，如注意力和冥想状态，只有一个脑电图，特罗德该电极位于前额上，其记录来自人脑额叶的电数据虽然NeuroSky设备以其实惠的价格，使用简单和快速的数据处理而闻名，但由于只有一个电极，它们的灵敏度和性能质量较与其他商用EEG设备相比，这些设备也很难消除噪声值得注意的是，很少有研究表明NeuroSky使用定制设备。Wei和Ma（2017）使用带有单个干电极的定制EEG设备来评估台湾儿童Lim等人（2012）采用了一种定制的装置，其中两个干电极取代了单个默认电极。该研究评估了ADHD儿童的训练计划，并声称额外的电极显着提高了设备性能。因此，研究人员仍然倾向于使用OpenBCI或NeuroSky产品。3. 情绪和脑电特征对基于EEG的情感识别的兴趣不断扩大，揭示了EEG数据收集和分析的各种策略这些策略旨在揭示情绪是如何被诱导和检测的，并进一步应用于开发脑机系统。目前可用的低成本EEG设备的可靠性已经基于准确性、便利性和数据采集质量进行了评估（Debener等人，2012; Frey ， 2016; Kanoga 等 人 ， 2019;Lakhan 等 人 ， 2019;Maskeliunas等人， 2016年）。本研究通过文献综述，探讨了低成本消费级EEG设备文献检索主要在常用引文数据库中进行，如Google Scholar、Springer Link Online Libraries、多学科数字出版研究所（MDPI）和Science Direct（Elsevier）。基本搜索设置用于确定属于我们研究兴趣的主题。检索词和关键词为：情感或情绪;情绪识别或分类; EEG或脑电图;经济实惠或消费级; OpenBCI;MindWave;和NeuroSky。对初始检索进行了细化，涵盖了2015年至2020年过去五年中发表的研究，共检索到319篇文章，如图1所示。然后，我们根据文章类型对结果进行了细化，排除了书籍章节、会议摘要、研究生学位论文和综述文章。检索仅限于英文出版物。然后，这个数字减少到54。在根据实验设置中使用的EEG设备类型、参与者数量、情绪刺激、评估的情绪和机器学习技术进行详细修订后，选择了8篇出版物，并在表3中列出。假设这些研究可能在消费级EEG设备的适用性和可靠性方面提供最先进的研究。该表还列出了每项研究采用的预处理技术、提取的特征和机器学习算法，以及准确性结果。我们还列出了消费级设备的挑战。Zheng等人的两项研究级EEG器械研究。（ 2014年）D. Dadebayev、Wei Wei Goh和Ee Xion Tan沙特国王大学学报4389Fig. 1.筛选和选择文章的程序。和Zheng et al. （2019年）纳入表3，以提供数据质量和最终结果的差异。这10项研究表明，他们对EEG数据的评估不同。他们还使用低成本的消费级EEG设备来捕获数据，并使用各种机器学习分类模型。3.1. 情感定义人类情感没有明确的定义。它是一种复杂的现象，与人的精神状态和情感密切相关，包括心理、身体和社会方面（Ekman等人，1987年）。情绪可以被描述为人类大脑状态的变化，作为对特定事件的反射。情感状态是研究人员用于情绪状态的更常用术语（Picard，2000）。人类情感的研究有着悠久的历史，目前涵盖了心理学、计算机科 学 、 神 经科 学 、 医 学 、 社 会学 和 哲 学 等 各 个 领 域（ Ekman 和Davidson，1994）。美国哲学家、心理学鼻祖威廉·詹姆斯（WilliamJames，1884）认为，情绪是人体变化产生的感觉。 他认为，任何情绪都是由人体内部特定的物理变化引起的，比如肌肉运动、面部表情和内脏运动活动。Lange（1885）也提出了类似的想法;因此，进一步的研究将其概念定义为James-Lange理论（Cannon，1927）。这一理论为未来基于生理信号的人类情感状态研究奠定了坚实的基础（Ekman，2005）。3.2. 情感模型情绪的产生激活了不同的大脑区域，知道如何对它们进行分类是至关重要的。虽然不同的研究者提出了不同的情绪分类模型，但在通用模型上没有达成共识现有的模型分为两类，对每种情绪使用离散定义，或基于维度尺度对情绪进行分类（Scherer，2005）。离散情感模型基于一小群普遍的离散情感对情感进行分类。它们被称为普遍的，因为它们在不同的文化中是共同的，有些是适用的灵长类动物和其他哺乳动物。因此，它们是自然栽培的（Panksepp，1998）。几十年来，离散的情绪模型包括六种情绪状态：快乐，悲伤，恐惧，愤怒，焦虑，焦虑。感到骄傲和厌恶（Ekman，1992）。离散的情感模型经常应用于计算机预测多种情感状态的情感识别系统中。然而，这些模型并不能充分反映情感的复杂性。其次，建立了一个情感状态的维度模型来描述情感在这个模型中，情绪被归类为一组尺度。每个尺度都是多维系统的一个维度尺寸可以是连续的或离散的，具有最小值和最大值。然后，可以根据每个尺度的值或多维扩展中的点来解释和描述情绪这种方法使研究人员能够专注于情绪识别任务，而不必担心要遵循哪种情绪常用的量纲模型之一是Russel它使用两个维度来分类情绪。一个是效价量表，另一个是唤醒量表。效价标度能够捕捉从愉快到不愉快的感 觉。 另一 方面 ，唤 醒量表 捕捉了从活 跃到 不活跃 的感觉（Russell，1980），如图所示。 二、3.3. 脑电图EEG是监测和记录有关人脑电活动的信息的过程EEG信号由大脑神经元的自发和有节奏的脉冲形成。在神经科学和心理学中，EEG信号被认为可以描述情感大脑状态和人类行为。（Ackermann等人，2016年）。EEG经常应用于情绪识别研究（Bozhkov等人，2015; Liu和Sourina，2014; Wang例如，2019年）。人类情感状态 的 微 妙 波 动 可 以 通 过 EEG 信 号 捕 获 （ Dietrich 和 Kanso ，2010）。然而，EEG信号很弱，难以记录。它们可以容易地被由心电图（ECG）、眼电图（EOG）和肌电图（EMG）产生的其他生理信号干预（Subha等人， 2010年）。因此，EEG信号的结构是非线性和混沌的（Garrett等人， 2003年）。原始EEG信号通常经历去噪和预处理。3.4. 基于EEG的情绪识别过程既往研究（Bairavi和Sundhara Kumar，2018; Blanco等人，2019;Lakhan等人，2 0 1 9 ; Müller和Fritz，2015; ZhengD. Dadebayev、Wei Wei Goh和Ee Xion Tan沙特国王大学学报4390表3摘要最近的情绪识别实验研究从脑电图设备。参考装置参与者（女性/男性）刺激情绪评估数量的电极预处理特征提取分类算法准确度结果Lakhan等人OpenBCI43（21/22）视听化合价（高/8汽车，PSDK-Means67.44%（2019年）Javaid等人OpenBCI8（1/7）(film拖车）视听低）唤醒（高/低）化合价（高/3 8陷波滤波器陷波滤波器，Higuchi聚类支持向量机-径向基函数唤醒率为66.67%3个电极（2015年）低）带通案例：唤醒（高/低）滤波器唤醒率59.1%，效价68.39%8电极外壳：唤醒率为87.62%，效价为83.28%穆勒和NeuroSky17（1/16）受试者诱发的化合价（高/1带通PSD决策树71.36%弗里茨（2015年）MindWave（表演）变更任务）低）唤醒（高/滤波器积极和负低）情绪Bairavi和NeuroSky18名儿童音频化合价（高/1带通PSD随机百分之八十二孙达拉MindWave（音乐片段）低）滤波器森林百分之七十一Kumar唤醒（高/SVM-Sigmoid百分之六十七（2018年）Zheng等人NeuroSky20受试者诱发的低）焦虑1带通部分朴素贝叶斯KNNKNN百分之五十六百分之六十二点五（2016年）MindWave（骑着一辆固定自行车）(high/中度/低度）滤波器自相关，移动性，复杂性，小波系数均值，小波幂系数支持向量机-径向基函数百分之五十Blanco等人Emotiv18名（均为男性）视觉压力（高/14（+2）带通RMSLogistic70.72%（2019年）EPOC（Stroop颜色低）FIR滤波器回归68.63%词滤波器QDA66.09%卡齐扬尼斯Emotiv23（9/14）干扰试验）视听化合价（高/14（+2）FIR滤波器，PSDKNN支持向量机-径向基函数62.49%和拉姆赞EPOC(film剪辑）低）唤醒（高/ASR、CAR价62.17%（2018年）Liu等人Emotiv30（均为男性）视听显性（高/低）化合价（高/14（+2）带通PSD支持向量机-径向基函数觉醒占主导地位61.84%65.09%（2018年）EPOC(film剪辑）低）唤醒（高/低）滤波器，独立分量分析负面情绪86.43%积极Zheng等人ESI15（8/7）视听化合价（高/62带通私营部门司KNN情绪70.43%（2019年）NeuroScan(film剪辑）低）滤波器微分线性84.08%唤醒（高/熵，回归78.21%低）微分支持向量机-径向基函数83.26%不对称，理性SVM-线性GELM91.07%Zheng等人ESI6（3/3）视听化合价（高/62带通不对称性，差异尾微分DBN-hmm87.62%（2014年）NeuroScan(film剪辑）低）滤波器熵DBN86.91%唤醒（高/GELM85.67%低）SVM-线性84.08%KNN69.66%D. Dadebayev、Wei Wei Goh和Ee Xion Tan沙特国王大学学报4391注：支持向量机（SVM）、径向基函数（RBF）、K近邻（KNN）、二次判别分析（QDA）、功率谱密度（PSD）、分形维数（FD）、均方根（RMS）、深度信念网络（DBN）、隐马尔可夫模型（HMM）、图正则化极限学习机（GELM）、独立分量分析（ICA）、有限脉冲响应（FIR）、子空间重构（ASR）、公共平均参考（CAR）。D. Dadebayev、Wei Wei Goh和Ee Xion Tan沙特国王大学学报4392图二. Russell Valence-Arousal Model（Russell，1980）.例如，2014，2016; Javaid等人，2015; Katsigiannis和Ramzan，2018; Liu等人，2018年; Zheng等人，2019）已经展示了六个主要的基于EEG的情感识别过程。主要包括参与者和刺激的选择、信号采集、预处理、特征提取和分类。这一过程如图所示。3.第三章。基于EEG的情绪识别过程的前两个步骤是招募参与者和选择情绪诱发所需的强大我们没有发现任何证据的通用指令，以确定高度有效的刺激，从评论。许多研究表明，实验参与者的选择过程与实验刺激密切相关选择过程主要取决于个人在信号采集步骤中，要求参与者佩戴EEG设备。他们暴露于实验刺激（音频/视频），并收集参与者EEG并不单独记录神经元的活动，而是在神经元同时活动时记录来自神经元群体的信号它主要从每个电极周围的大脑小区域收集数据EEG呈现大脑中由不同频率、振幅和形状的波构成的电活动的图像接下来，数据将经过预处理阶段，其中从所获得的EEG数据中过滤外部伪影和干扰，包括降噪以及空间和时间过滤。分析干净的特征提取是基于脑电信号的情感识别系统中最关键的步骤之一对于哪种特征代表哪种情绪并没有明显的清晰度（Jenke et al.， 2014年）。从预处理后的脑电数据中提取与情绪状态高度相关的特征，最后，使用机器学习分类器来训练和解释EEG数据。3.5. 参与者参与者的数量可能会因研究类型和研究领域而异。在表3所列的综述研究中，参与人数由6人至43人不等。大多数研究都有相当多的参与者，以提高实验的可靠性。两项实验研究（Javaid等人，2015; Zheng等人，2014年）有不到10个participants，只有4个（Katsigiannis和Ramzan，2018年; Lakhan等人，2019年; Liu等人，2018年; Zheng等人，2016年）至少有20名参与者。其他四项研究涉及15至18岁的多名参与者（Bairavi和Sundhara Kumar，2018; Blanco等人，2019; Müller和Fritz，2015; Zheng等人， 2019年）。从 表 3 中 ， 只 有 四 项研 究 在 选 择 参 与 者 时 考 虑 了 性 别 因 素（ Lakhan 等 人 ， 2019 年 ; Zheng 等 人 ， 2014;Katsigiannis 和Ramzan ， 2018; Zheng 等 人 ， 2019 年 ） 。 根 据 Brody 和 Hall（2008）的观点，情绪表达的性别差异是由于基于生物学的气质倾向和社会化而采用与性别相关的规则来表达情绪。有人声称，在各种文化中，女性比男性更能表达情感（Kring和Gordon，1998年）。换句话说，女性被认为比男性表达更高水平的情绪状态，特别是幸福和归咎于负面情绪，如内疚，焦虑，恐惧，悲伤，和羞耻（布罗迪和霍尔，2008）。也有人声称，在中年和老年，女性的情绪识别准确性比男性好（Demenescu等人，2014年）。基于这些发现，可以推断，性别和年龄因素是显着的，当处理情绪识别系统。在基于EEG的情绪识别研究中，它们应该被认为是一个招聘属性，以研究不同性别和年龄的情绪是如何表达的。3.6. 刺激根据Yu Chen和Mehmood（2019）的说法，情绪可以通过主体诱导或事件诱导的方法来诱导。受试诱发法要求被试回忆起早期数据收集实验中的情绪，然后记住它;而事件诱发法则使用各种方式来诱发受试的情绪。音频和视频文件是常用的。虽然一些研究使用心理意象来诱导情绪（Blanco等人，2019年; Zheng等人，2016），大多数研究依赖于视听刺 激， 如 图 片， 音 乐 片段 和 视频 来 唤 起特 定 的 情绪 （Bairavi 和Sundhara Kumar，2018; Katsigiannis和Ramzan，2018; Lakhan等人，2019年）。视听刺激主要基于维度情感模型来选择（Chanel等人，2009年）。Petrantonakis和Hadjileontiadis（2010）的一项研究使用视觉刺激和面部表情记录来检测悲伤，快乐，厌恶，恐惧，惊讶和愤怒的基本情绪。Lin等人（2010年）的一项研究收集了参与者暴露于音频刺激时的EEG数据。获得的大脑信号被进一步分类为快乐、喜悦、愤怒和悲伤。有时，研究人员使用音频和视频刺激的组合，如Nie等人（2011）的研究，其中12个电影片段被彻底选择来诱导积极和消极的情绪。与其他情感刺激方法相比，电影剪辑在足够短的持续时间内提供了坚实的情感背景、动态的和生物学上合适的刺激，并且标准化简单。在Coan等人（2006年）的一项研究中，参与者被要求通过模仿来表达他们的情感，假设人类的情感可以被图三. 从脑电信号中检测情绪的过程。D. Dadebayev、Wei Wei Goh和Ee Xion Tan沙特国王大学学报4393通过面部表情揭示。然而，这种方法是不可靠的，因为人类可以迅速采用和伪造他们的内心情感。Kothe et al.（2013）要求参与者回忆可以诱发某些情绪状态的记忆，同时记录EEG数据。这种方法完全由参与者控制，一些研究将其称为调查的主要方式（Damasio等人，2000年）。然而，对于参与者来说，回忆具有相应情绪的合适记忆片段可能是麻烦的，从而导致不可靠的结果。一 些 研 究 使 用 自 我 选 择 的 情 绪 刺 激 。 例如， Lakhan 等 人（2019）使用了从互联网电影数据库中选择的120个充满情感的预告片片段（&“IMDb：评级，评论，以及在哪里观看最佳电影电视节目，”n. D. ）来评估OpenBCI的适用性，OpenBCI是一种用于情感识别的消费级EEG设备。同年，布兰科等人（2019）使用Stroop颜色词干扰测试来诱导受试者的轻度压力。使用Microsoft Paint产生视觉刺激（颜色词）以刺激应激反应。 Zheng等人（2016）采用了类似的刺激。他们指导参与者骑一辆固定自行车，想象对手正在超越他们，以引发焦虑情绪。这三项研究的结果有几个公开可用的刺激数据库，特别是国际情感图片系统（IAPS）和国际情感数字化声音（IADS）。两者都包括一组全面的图像和声音 ， 并 由 100 名 参 与 者 评 估 效 价 ， 唤 醒 和 主 导 水 平 的 标 记 率（Bradley和Lang，2007）。值得注意的是，听觉刺激不太受欢迎，即使它被证明与视觉刺激同样有效（Zhou等人， 2014年）。使用公开的刺激数据集的优点是，研究人员不需要评估和整理有效的刺激，他们的实验。所有刺激都已经过验证，可用于EEG数据收集。3.7. 放置电极情绪识别研究的一个重要方面是电极放置。有一种标准化的技术将电极放置在头皮上，并且该技术根据10 -20国际系统（Herwig等人， 2003年）。数字"10”和“20”表示相邻电极之间的实际距离，这是大脑从前到后或从左到右的整个距离的10%或20%，每个电极都和Gomez-Gil，2012年）。额外的电极可以位于任何可用的空点上。该系统的另一个变体 图图4示出了基于10-20国际系统的电极放置，而图5示出了基于10-10国际系统的电极布置。每个电极都有一个独特的标签，由一个或两个字母后跟一个数字组成。这些字母与放置电极的大脑区域相关，例如，字母T表示颞叶，O表示枕叶，F表示额叶，P表示顶叶，C表示中央。偶数代表右半球的电极，奇数代表左半球的电极。位于右半球的所有电极在左侧具有完全相反的电极，标签编号增加1。这些电极对被称为对称的。在回顾的研究中，电极数量范围为3 - 62 ，并根据10-20 系统放置 三项研究（ Bairavi 和SundharaKumar，2018; Müller和Fritz，2015; Zheng等人， 2016）使用NeuroSky MindWave Mobile。如前面第2.3节所述它导致低灵敏度以及可扩展性，从而影响产品可用性。对于基于EEG的情感识别，完美的组合