基于心电图和光电容积图的情感识别系统比较

沙特国王大学学报基于心电图和光电容积图的Sharifah Noor Masidayu Sayed Ismaila，Nor Azlina Ab.Azizb，Satii Zainab Ibrahimaa信息科学技术学院，多媒体大学，75450 Melaka，马来西亚b多媒体大学工程技术学院，75450 Melaka，Malaysia阿提奇莱因福奥文章历史记录：2021年11月8日收到2022年3月15日修订2022年4月17日接受2022年4月22日在线提供保留字：情感计算情感识别系统心电图光电容积图A B S T R A C T心电图（ECG）和光电容积描记图（PPG）是从心脏活动的电信号导出的，经常用于诊断和监测心血管疾病。在情感计算领域，这两种信号可以用来识别人类的情感，这是由市场上能够收集ECG或PPG的可穿戴设备的广泛可用性所支持的。ECG经常被用作用于ERS的单峰信号，但是PPG信号作为单峰ERS的使用仍然是有限的。对于ECG是否比PPG更适合ERS，或反之亦然，尚无共识。只有少数研究比较了ECG和PPG。因此，这项工作旨在通过开发采用ECG和PPG的ERS并评估这两种信号在ERS中的有效性来缩小这一差距。这是通过从47个参与者和两个公共数据集收集的数据完成的。从收集的数据的结果表明，心电图是优于识别唤醒情绪的准确率高达68.75%，而PPG优于识别效价高达64.94%和维度类别的准确率为37.01%。研究结果表明，尽管目前的趋势是研究人员更喜欢ECG而不是PPG，但PPG信号可用作开发ERS的唯一模式，其结果相当与使用ECG信号获得的那些相比。版权所有©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍在过去的十年中，许多研究人员开发了情感识别系统（ERS）来识别人类的情感缩略语：ECG，心电图; PPG，光电容积描记图; ERS，情绪识别系统; EEG，脑电图;TEMP，温度; EMG，肌电图; GSR，皮肤电反应; SVM，支持向量机; NB，朴素贝叶斯;KNN，K最近邻; DT，决策树; VR，虚拟现实; AUC，曲线下面积; AUBT，奥格斯堡生物信号分析; TEAP，从生理信号中提取情绪特征的方法; IBI，心跳间隔; HRV，心率变异性;RBF，径向基函数; MMH，最大边缘超平面; RESP，呼吸; SKT，皮肤温度; EOG，眼电图; MCO，运动控制命令; SOP，标准操作规程; ADHD，注意缺陷多动障碍。*通讯作者。电 子 邮 件 地 址 ： sharifahayuismail@gmail.com （ S.N.M. ） Sayed Ismail ） ，azlina. aziz@mmu.edu.my（N.A. AB. Aziz）。沙特国王大学负责同行审查制作和主办：Elsevier（Ghali和Kurdy，2018）。此外，ERS使许多领域受益匪浅，如计算机科学，零售，治疗和多时间- dia背景（Katsigiannis和Ramzan，2018; Pollreisz和Taherinejad，2017; Rakshit等人，2016年）。随着人工智能（尤其是机器）和深度学习算法的快速发展，预计未来将大规模使用ERSERS可以使用面部表情来开发（Kuruvayil和Palaniswamy，2021; Soleymani等人，2012）、演讲（Mannepalli等人，2018;Özseven，2019; Sun等人， 2019）和生理信号（Schmidt等人，2018; Kim和Jo，2020）。 经验工作利用了生理信号，如脑电图（ EEG ） （ Katsigiannis 和 Ramzan ， 2018; Koelstra 等 人 ，2012 ） 、 温 度 （ TEMP ） （ Ali 等 人 ， 2018; Sanches 等 人 ，2016）、心电图（ECG）（Sarkar和Etemad，2020; Wang等人，2019）、肌电图（EMG）（Sharma等人，2019; Alzoubi等人，2012）、皮肤电反应（GSR）（Bachynskyi，2018; Raheel等人，2020 ） 和 光 电 容 积 描 记 术 （ PPG ） （ Goshvarpour 和Goshvarpour，2018; Lee等人， 2019年）的报告。这些信号在ERS中的应用例如，人类可以操纵或伪造面部、声音或步态标志。另一方面，收集的生理数据更难被操纵，有助于更可靠和准确的情感识别。https://doi.org/10.1016/j.jksuci.2022.04.0121319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comSharifah Noor Masidayu Sayed Ismail，Nor Azlina Ab.阿齐兹和西蒂Zainab易卜拉欣沙特国王大学杂志由 于 其 客 观 性 和 每 个 人 一 致 的 大 脑 模 式 （ Kuruvayil 和Palaniswamy，2021; Saran等人，2020;Bursic等人，2020），EEG已被证明是最准确和最值得信赖的生理信号（Qiu等人，#20182;的情感。虽然EEG是用于ERS的有前景的模态，但是它需要将设备佩戴在头部，这对受试者是不方便的。与人类情绪密切相关的另一个信号是心脏相 关 信 号 ， 即 ECG 和 PPG （ Agrafioti 等 人 ， 2012 年 ; Shalini 和Vanitha，2013年）。现成的心脏可穿戴设备（即，智能手表/腕带），其精度接近医疗设备（Ragot等人，2017年; Zhao等人，2018年）可用，可用于ERS。这些可穿戴设备为ERS中突兀的传感器使用提供了解决方案。此外，这两种信号在识别情绪方面也表现出良好的性能（ Goshvarpour 和 Goshvarpour ， 2018;Su 等 人 ， 2019;Udovicicetal.， 2017）。ECG和PPG是用于诊断的与心脏相关的两个生理信号（Ullah等人，2020; Tayel和El-Bouridy，2008; Mohamed等人，2015; Wang等人，2007）和监测心血管疾病（Mena等人，2018; Wang等人，2018）如心脏病发作，心律失常和心包炎，有些报告的准确率超过99%。ECG是用于检测心脏中的电活动的信号，而PPG是用于测量心脏活动期间的血液体积变化的信号此外，这两种信号经常与其他生理信号结合使用，通常与EEG、GSR和EMG结合使用，以检测人类情绪。许多研究已经证明，将心脏数据与附加信号（特别是EEG）相结合有助于ERS 的 性 能改 善 （ Rakshit等 人 ， 2016 年 ; 哈 珀 和南 方 ，2019 年 ;Tivatansakul和Ohkura，2015年）。此外，ECG被广泛用作ERS中的单峰信号，并且在检测情绪方面非常好（Agrafioti等人，2012; Hsu等人，2020; Minhad等人，2017;Nardelli等人，2015年）。尽管PPG被用于多模式ERS（Di Lascio等人，2019; Jang等人，2015; Koelstra等人，2012; Maaoui等人，2014;Mavridou等人，2018; Raheel等人，2019），并有助于改善情绪分类，PPG作为一个单峰信号在ERS中的使用仍然是不够的。这提出了关于在ERS中使用PPG技术作为单峰信号的问题。缺乏比较ECG和PPG的研究，特别是关于这两种信号在检测情绪方面的效率。因此，本研究旨在通过开发基于通过可穿戴设备获得的ECG和PPG的ERS并评估这两种信号在ERS中的功效来解决这些问题。47名参与者在观看视频时获得了基于心脏的信号，这些视频引发了六种基本情绪（快乐，悲伤，愤怒，恐惧，厌恶和惊讶）和中性情绪。在使用四种机器学习分类器（支持向量机（SVM）、朴素贝叶斯（NB）、K-最近邻（KNN）和决策树（DT））通过情感分类来评估两种信号的功效之前，分析所收集的信号并提取特征。性能是用准确度和F1评分。此外，使用两个公共数据集; DREAMER总体而言，结果表明，基于PPG的ERS的性能与基于ECG的ERS相当这些研究结果表明，使用PPG作为单峰信号在ERS可能有一个光明的未来相当于心电图。此外，研究结果还表明，我们的ERS模型是可靠的，以应付不平衡的数据分布。此外，使用收集的数据进行的研究发现，传感器因此，使用可穿戴设备构建ERS的研究人员需要考虑这个问题。以下部分提供了基于ECG和PPG的ERS相关研究的概述。第3节描述了数据集，并对提取特征和分类的方法进行了3540实验结果见第4。第5包含了论文2. 相关作品本节描述了使用ECG和PPG作为单峰信号的情绪识别方面的一些现有工作。虽然ECG和PPG信号都与心脏活动基本相关，但与ERS中采用ECG作为单峰信号相比，采用PPG作为单峰信号仍然不足。因此，在ERS中使用ECG信号的研究数量高于在ERS中使用PPG信号的研究数量（参见表1）。例如，Agrafioti等人（Agrafioti等人，2012年）分别获得了89%和76.19%的效价和唤醒准确度，利用使用参与者胸部上的Hidalgo的Equivital传感器捕获的ECG信号。另外，Nardelli等人（Nardelli等人，2015）使用使用实验室设备记录的ECG信号，特别是BIOPAC ECG100C心电图放大器，实现了84.72%的效价和84.26%的唤醒。Minhad等人的ERS（Minhad等人，2017年）使用ECG信号开发，并使用Kendall Med- itrace 500实现了快乐-愤怒情绪的最大准确性，达到83.33%。在Hsu et al.的工作（Hsu等人，2020），Nexus-10的ECG信号获得82.28%的效价和73.67%的唤醒。Rakshit等人发现了基于PPG的ERS （Rakshit等人，Goshvarpourand Goshvarpour（Goshvarpour andGoshvarpour，2018）作品。Rakshit及其同事（Rakshit等人，2016）使用便携式设备（脉搏血氧仪）测量指尖的PPG，而Goshvarpour和Goshvarpour（2018）使用非便携式设备（Biosemi ActiveTwo系统）测量参与者拇指的PPG。这两项研究都获得了约86.70-91.11%的准确性分类离散的情绪，如快乐，悲伤和仇恨。有一项研究比较了基于ECG的ERS与基于PPG的ERS（Mavridou等人，2018年2018年）. 使用定制的胸带记录ECG。PPG信号是使用耦合到虚拟现实（VR）齿轮的定制传感器在参与者的前额上测量的。未报告准确性。另一方面，ERS分类高和低唤醒的曲线下面积（AUC）对于ECG和PPG分别为65.37%和 62.06%这表明，系统虽然ECG主要用于情绪识别，如表1所示，但它主要是从非可穿戴设备记录的。存在许多现成的可穿戴心脏信号设备（即，智能手表），其能够以与医疗设备相当的精度测量生理信号（Ragot等人，2017年; Zhao等人，2018年）。这些设备可用于替代ERS中的实验室设备，因为它们通过指尖或手腕评估心脏活动，这是侵入性和干扰较小另外，采用可穿戴设备的ERS可以具有许多优点，包括易用性、非侵入性和成本效益，以及进行连续和长期记录的能力（Mutke等人，2021;Hsiao等人，2017; Weiler等人， 2017年）。这项工作的新颖性是开发一种基于ECG和PPG信号的ERS，使用可穿戴设备测量指尖（ECG）和手腕（PPG）上的心脏信号，以及检查ECG和PPG作为 ERS中的单峰的功效。3. 方法ERS模型是根据图1中的流程图开发的。根据输入数据建立单独的模型。数据在分类之前经过特征提取阶段。表1使用ECG和PPG信号的现有ERS的总结Ref参加人数所用刺激情感模型使用的方式可穿戴设备传感器位置特征提取分类器结果（%）（Agrafioti等人， 2012年）（Nardelli等人，（2015年）4427视觉、游戏音频维维ECGECG是的（Hidalgo没有胸部艾因托文时域和频域的统计特征线性判别分析（LDA）价格唤醒化合价（Rakshit等人，（2016年）33视听离散PPG（ECG100C心电图放大器来自BIOPAC inc）是（右臂，左臂，左腿）指尖来自时间和频域统计特征判别QDA SVM唤醒快乐（Minhad等人，（2017年）69图像，视频，离散ECG（脉搏血氧仪）没有艾因托文来自时间和频域统计特征SVM，NB，KNN，悲伤中性SVM视听（肯德尔Meditrace 500）（右臂，左臂，左腿）来自时间和频域高斯NBKNN（Mavridou等人，2018年，11视听维ECG、PPG是的前额（前额上方区域）统计特征SVM高斯AUC PPG2018. ）（Goshvarpour32视听离散PPG（定制PPG传感器和ECG胸带）没有颞浅静脉和动脉）和胸部拇指来自时间和频域统计特征SVMAUC ECG爱和Goshvarpour，2018年）（Hsu等人， 2020年）61音频维ECG（Biosemi ActiveTwo系统）没有艾因托文从相空间统计特征SVM仇恨娱乐化合价我们的数据集47视听离散ECG、PPG（NeXus-10）是的（右臂、左臂和左腿）指尖（ECG）和手腕从时域和频域统计特征SVM，NB，KNN，唤醒（参见第4）（Kardia Mobile单导联ECG传感器和Maxim Integrated Max HealthPPG腕带）（PPG）从时域和频域DTSharifah Noor Masidayu Sayed Ismail，Nor Azlina Ab.Aziz和Siti Zainab Ibrahim沙特国王大学学报3541Sharifah Noor Masidayu Sayed Ismail，Nor Azlina Ab.Aziz和Siti Zainab Ibrahim沙特国王大学学报3542Fig. 1. ERS进程。然后将数据划分为训练数据和测试数据，其中训练数据用于训练分类器。在这项工作中评估了四种分类器然后使用测试数据对模型进行测试。3.1. 数据3.1.1. 公共数据集本研究使用来自DREAMER数据集（Katsigiannis和Ramzan，2018）和DEAP数据集（Koelstra等人，2012年）。由Katsigiannis和Ramzan开发的DREAMER数据集是公开可用的，并为情绪研究提供EEG和ECG信号。本研究忽略了EEG信号，仅关注ECG。数据集中包括来自23名参与者的414个ECG记录，这些参与者暴露于18种视听刺激。每个参与者都对他们所经历的唤醒、效价和主导性进行评分，评分范围为1-5。由于本研究主要关注唤醒和效价，因此排除了优势评级。本研究采用唤醒和效价中点阈值的五点量表。与原始论文中使用的分布类一样，数据集在唤醒方面略有不平衡，44%表示高唤醒，56%表示低唤醒。当涉及到价，39%表示高价，61%表示低价。此外，本研究包括维度类别的分类，以确保覆盖唤醒-价平面的大部分，如Koelstra等人所建议的（Koelstra等人，2012年）。因此，对于维度类别，高/低价和唤醒被组合，后来命名为：高唤醒高价（HAHV），高唤醒低价（HALV），低唤醒高价（LAHV）和低唤醒低价（LALV）。维度情感中的不平衡类可参见图2（HAHV为18%，HALV为26%， LAHV为21%，LALV为35%图二、总体梦想家类别分布：a）效价，b）唤醒，和c）维度类别。Sharifah Noor Masidayu Sayed Ismail，Nor Azlina Ab.Aziz和Siti Zainab Ibrahim沙特国王大学学报3543图3.第三章。总体DEAP类别分布：a）效价，b）唤醒和c）维度类别。同 时 ， DEAP 包 括 EEG 和 外 周 生 理 信 号 ， 即 GSR 、 呼 吸（RESP）、皮肤温度（SKT）、PPG、EMG和眼电图（EOG）。然而，本研究仅考虑PPG信号。DEAP从32名暴露于40种视听刺激的个体中收集PPG信号。参与者在1-9的范围内对他们的唤醒、效价和支配力同样，优势评级被删除，因为这项研究只关注唤醒和效价。这项研究采用了9点量表与中点阈值的唤醒和效价。因此，数据集具有不平衡的唤醒，58%表示高唤醒，42%表示低唤醒。化合价也表现出不平衡的类分布，55%表示高价，45%表示低价。 观察到尺寸分类的轻微不平衡分布，34%指示HAHV，21%指示HALV，23%指示LAHV，22%指示LALV，如图所示。3.第三章。3.1.2. 我们的数据集：A2ES除了两个公共数据集外，本研究还使用低成本可穿戴设备收集了每位参与者的ECG和PPG信号数据。该数据集被称为A. 刺激选择Michelini、Acuña、Guzmán和Godoy（Michelini等人，2019）断言，视听刺激可以随着时间的推移引发连续和强大的情绪状态，证明这种方法可以有效地引发人类情绪。尽管开发了许多包含来自世界各地的电影剪辑的数据集，但还是出现了一些问题。例如，Sato等人和Gabert-Quillen等人发现，刺激反应在不同的培养物之间显著不同（ Sato 等 人 ， 2007;Gabert-Quillen 等 人 ， 2015 年 ） 。 此 外 ，Alghowinem等人（Alghowinem等人，2014）指出，语言差异可能会干扰情感诱导过程，导致由于语言理解困难而无法诱导出所需的情感。此外，Uhrig等人（Uhrig，等人，2016年）还报告说，个人的年龄和性别会影响他们的情绪。由于这些，许多研究者设计了一套新的视听刺激适合于从各自的参与者中引出情感。这项研究还选择了新的视听刺激，从亚洲个人通过亚洲收集的视频，而不是现有的集中在西方电影集。在实验之前，进行了试点研究，以选择和验证新的视听刺激集，为参与者提供更相关、适当和有效的刺激，以引发所需的情绪（Sayed Ismail等人，2021年）。从包括电影、纪录片、电视节目和广告在内的各种视频中选择摘录，以引发所需的情感。刺激的选择基于Zhu、Zheng、Peng、Duan和Lu建立的两个标准（Zhu等人，2014年）：（a）录像的长度不应过长，以避免参与者疲劳或厌倦，并避免在同一刺激中出现多种情绪，但应足以传达内容并引发所需的情绪，以及（b）参与者必须理解录像，无需进一步解释。在初步研究中，选择了二十四（24）个视频，以在效价和唤醒的二维模型中唤起特定的情绪反应。该研究于2020年4月7日至2020年6月20日COVID-19大流行期间进行;因此，采用在线调查收集42名参与者的回应，而不是物理实验室会议的典型方法，以遵守马来西亚试点研究的结果表明，几个视频引起的情绪在参与者的种族和民族之间存在显着差异，表明一个人的背景和文化会Sharifah Noor Masidayu Sayed Ismail，Nor Azlina Ab.Aziz和Siti Zainab Ibrahim沙特国王大学学报3544表2所选视频的信息。ID源描述持续时间（分钟）目标情感1https://www.youtube.com/watch? v=vcQRzcrDtbk（颜色变化屏幕颜色变化无声。1.30中性2屏幕）https://www.youtube.com/watch? v= 51 LkdysQ 0 gc（泰国广告-一个关于一个总是帮助别人的人的故事，3.06快乐3总是帮助别人的人（https://www.youtube.com/watch? v=KGqBfyQFG_g（小莫阿纳在期待任何回报小莫阿娜在海边玩耍的场景。2.44快乐4海）https://www.youtube.com/watch? v=2Tpb1XyqGOQ（最后一战，一个场景，每个人都唱着咒语来保护霍格沃茨。2.22快乐5霍格沃茨）https://www.youtube.com/watch? v=SwX4W9SwzSA（河流声音）一条河的视频与溪流水的声音和平静1.30中性6https://www.youtube.com/watch? v=YqqSR4bn8xs（尽量不要鸟的声音。一系列会让观众望而却步的视频。2.30惊喜7退缩）https://www.youtube.com/watch? v=q6AsllXpKBU（杂耍魔方一个男孩一边玩杂耍一边解魔方的视频3.24惊喜立方体）89https://www.youtube.com/watch? v=kvymoFdjuHw（人类计算器）https://www.youtube.com/watch? v=jEnd8JIMii4（日落和波浪一个男孩在没有计算器的情况下解决数学问题的视频。一个视频的日落与海水的声音。4.191.30惊喜中性10声音）https://www.youtube.com/watch? v=lQHlZoB1Yjw（僵尸逃脱一群人在躲避僵尸的攻击。3.26恐惧11）https://www.youtube.com/watch? v= 9 tw-y2 mF 3_8（附驱魔场景的一部分。4.33恐惧《招魂》（The Conjuring）1213https://www.youtube.com/watch? v= El 459 haKYh 4（飞机失事现场-飞行）https://www.youtube.com/watch? v=jBb2ZbuSvvg（雨声）一架飞机由于发动机故障开始坠毁的场景。一段雨声的视频。5.001.30恐惧中性14https://www.youtube.com/watch? v=dqN6HP5sr6Y（切菌一段医生清除病人脚趾甲上真菌的视频4.00厌恶15钉子）https://www.youtube.com/watch? v=i_ecmh3OT-4（吃青蛙一个女孩吃青蛙的ASMR。3.15厌恶16Mukbang）https://www.youtube.com/watch? v=qKl4BjW8FEk（肉末一段时间的碎肉，离开了26天。4.41厌恶17时间间隔）https://www.youtube.com/watch? v=WxgtahHmhiw（道路闭路电视繁忙道路的闭路电视录像。1.21中性18（视频）https://www.youtube.com/watch? v=0iOsZyT6uwA（社交一个社会实验的视频，一个男人要求随机2.04伤心19实验-求职者）https://www.youtube.com/watch? v=LyRRoP-PlUY（男孩说帮他系领带一个男孩在大脑前向家人告别的视频3.58伤心手术前再见（Goodbye to Family Before Surgery）手术2021https://www.youtube.com/watch? v=HJHfPRuZdbs（婚礼上的情感父亲）https://www.youtube.com/watch? v=a1wp1RnC7kk（鸟飞）一系列的婚礼视频捕捉新娘和他们的父亲的时刻。一群鸟飞过丛林的视频。4.181.30伤心中性22https://www.youtube.com/watch? v=LmyYRaGqVdI（Uber一个老人对优步司机粗鲁的视频3.42愤怒23乘客故事）https://www.youtube.com/watch? v=rSr-8 wMERoU（吃猫）一群人打猫、做饭、吃猫的视频。2.00愤怒24https://www.youtube.com/watch? v=jXFJwOEaYh4（幼儿飞行中的愤怒（Tantrum on Flight）一段视频，一个孩子在8小时内大喊大叫，飞行4.34愤怒25https://www.youtube.com/watch? v=k_okcNVZqqI（墨滴视频）一段墨滴带声音的视频。1.30中性来自参与者的反馈表明，所选择的视频成功地引发了所需的情感。然而，一些参与者表示不熟悉调查中使用的术语“效价”和“唤醒”。这种限制可能会限制研究结果，因为研究人员也遇到了将效价和唤醒映射到离散情绪模型中用于情绪标签目的的困难（Fontaine et al.，Dec.2007）。因此，离散情绪被用于收集A2ES的情绪数据，因为它们被所有人普遍体验，而不管他们的种族起源、性别、年龄或教育背景（Miranda Correa等人，2018年）。该试点研究设置和发现的细节报道在（Sayed Ismail et al.， 2021年）。根据试点研究的结果，选择了二十五（25）个视频用于A2ES数据收集，每种情绪（快乐、惊讶、恐惧、厌恶、悲伤和愤怒）三个片段，中性情绪七个片段。表2列出了每个视频的ID、来源、描述、持续时间（一到五分钟）和目标情感。视频ID反映视频播放列表的顺序。视频B. COVID-19期间的数据收集本次实验历时两个月，从2020年11月10日至2020年12月31日。于此期间，马来西亚受到第二波COVID-19大流行的影响，马来西亚当局实施了移动控制令（MCO）。多媒体大学的机构委员会已经允许根据当局的标准操作程序（SOP）在MCO期间进行这项实验。因此，每次会议仅限于一名参与者，每天只授权两次会议（上午和晚上）。参与者在实验前一天通过邮件或消息通知。 与此同时，他们必须填写健康申报表，以确认他们身体健康。如果受试者身体不适，则推迟试验。在会议开始时，参与者被要求坐下来听实验者阅读和解释一般说明。他们被要求签署一份同意书如果他们同意参与的话。一旦获得同意，实验者解释所使用的ECG和PPG模式如果Sharifah Noor Masidayu Sayed Ismail，Nor Azlina Ab.Aziz和Siti Zainab Ibrahim沙特国王大学学报3545见图4。CCTV捕捉到的数据收集会话参与者在此过程中撤回同意，实验将停止。之后，参与者必须填写谷歌表格，作为自我评估工具。本表由四部分组成。第一部分提供了有关实验的一般信息，并简要介绍了其目的。由于实验是在 COVID-19 大流行期间进行，第一节亦载有COVID-19预防措施的参考第二部分收集关于参与者的人口统计学数据，例如他们的姓名、年龄、性别、种族、职业以及他们可能具有的 任 何 医 疗 状 况 ， 例 如 心 脏 病 、 面 瘫 或 注 意 力 缺 陷 / 多 动 症（ADHD）。第三部分为COVID-19健康声明，包括体温及COVID-19症状（发烧、咳嗽、流鼻涕、呼吸困难或喉咙痛此外，参与者必须披露他们是否与COVID-19患者或疑似COVID-19患者有密切接触。此外，他们必须提及他们是否在过去14-30天内前往红区州或其他国家表格的最后一部分是情绪的自我评估实验人员在连接ECG和PPG设备并验证信号读出之前向参与者解释了这一部分ECG传感器连接到KardiaMobile应用程序，而PPG传感器连接到Health Map应用程序。实验者和被试在实验室中被一个盾牌隔开并保持一米的社交距离。根据SOP，在颗粒-裤子离开后，实验室内的整个站，包括使用的设备，被彻底消毒。CCTV系统记录了整个会话，用于方案合规性验证。图4中描绘了其中一个会话，参与者在照片的左侧，右侧是实验者。C. 情绪数据采集的参与者本研究共有47名参与者。根据参与者在实验中自我报告的数据，他们没有精神疾病、心血管疾病或COVID-19症状。受试者D. 设置和程序实验在受控环境中进行，以避免外部干扰。在实验中使用两个PCS。一种是让实验者将视频片段和问卷投射到参与者身上。另一个是让参与者观看视频片段并回答问卷。图五、来自KardiaMobile的ECG设备（AliveCor，2022）。见图6。 Maxim Integrated的PPG器械（Maxim，2018）。Sharifah Noor Masidayu Sayed Ismail，Nor Azlina Ab.Aziz和Siti Zainab Ibrahim沙特国王大学学报3546×一个23.8英寸的显示器用于显示视频，而一个外部扬声器用于播放音频。空调的温度设定在24摄氏度。但是，根据需要进行了调整，以确保参与者使用KardiaMobile单导联ECG传感器采集ECG。KardiaMobile已获得美国食品药品监督管理局（FDA）的批准，可捕获ECG信号，灵敏度为96.6%，特异性为94.1%（AliveCor，2019; William，2018）。的传感器具有两不锈钢电极测量三厘米三厘米。参与者被要求将他们的指尖放在在实验期间观看视频的同时，将传感器保持一分钟。参与者被鼓励在视频结束前一分钟记录他们的ECG信号;然而，只要他们认为情绪体验很强烈，他们就可以自由地这样做。一旦参与者将指尖放在传感器上，它就可以在30秒内以300 Hz的采样率捕获ECG读数（参见图5）。信号被直接传输到KardiaMobile应用程序，实验者可以在那里监控它。如果信号不足或记录过程中发生错误，参与者必须重新记录ECG。使用Maxim Integrated Max Health Band腕带以100 Hz采样率记录PPG信号（图6）。Maxim提供FDA批准的器械（Graham，2017;SemiMedia，2019），因此，选择Maxim PPG带进行数据收集。在这项研究中参与者被要求在他们的非优势手上戴上腕带来自带传感器的输出和原始数据从带无线传输到智能手机应用程序健康地图。实验者使用健康地图来监测和记录每个视频的信号和时间戳，以供将来参考。在观看完每个视频后，参与者被要求选择他们当时正在经历的情绪使用了七种离散的情绪注释：高兴、愤怒、悲伤、厌恶、惊讶、恐惧在离散情绪之后，他们被要求在李克特量表（Likert，1932）上对情绪进行评级，最低评级为1，最高评级为5。如果参与者在实验过程中有任何问题，他们可以向实验者寻求澄清。整个会议持续了90分钟。在实验结束时，实验者检查表格，以确保所有要求的信息都提交了，最后一部分也完成了。在离开实验室之前，参与者被要求提交自我评估表。实验人员在参与者离开后提取原始ECG和PPG数据由于PPG连续捕获整个会话的信号，因此实验者必须首先根据每个视频的时间戳对数据进行分段。最后，每一个人--见图7。 在实验过程中。Sharifah Noor Masidayu Sayed Ismail，Nor Azlina Ab.Aziz和Siti Zainab Ibrahim沙特国王大学学报3547见图8。总的来说，我们的数据集类别分布：a）效价，b）唤醒和c）维度类别。表3所用数据集的摘要DREAMER DEAP我们的数据集受试者人数视频数量刺激类型视听所用信号（采样率，Hz）ECG（256）PPG（512）ECG（300）和PPG（100）设备SHIMMER ECG传感器Biosemi ActiveTwo System KardioMobile单导联ECG和Maxim Integrated Max Health PPG腕带情感标注模型维度维度离散情绪使用唤醒，效价，维度评分值1患者的ECG和PPG数据被存档在安全的云存储位置中以供进一步分析。图7中的流程图显示了实验的整个过程，包括COVID-19预防程序。然后将参与率重新标记为唤醒和效价的高和低以及维度类别（HAHV、HALV、LAHV、LALV）。由于分类组的存在，类的分布不平衡。三个不同的饼图说明了我们的数据集的类的总体分布（参见图8）。唤醒等级是不平衡的，65%的人被归类为高唤醒，35%的人被归类为低唤醒。此外，化合价类别明显不平衡，58%的化合价为高价，42%的化合价为低价。最后，在四维情感象限中存在不平衡（HAHV为36%，HALV为29%， LAHV为22%， LALV为13%）。本研究中使用的三个数据集的详细信息汇总并列表于表3中。3.2. 特征提取本研究采用Augsburg生物信号分析仪（AUBT）对心电数据进行预处理和特征提取（Wagner， 2014）。 Wagner开发 了 AUBT来分 析生理 信号，如ECG，RESP，EMG和GSR。AUBT工作在Win-Win环境下，使用MATLAB7.1.AUBT经历了各种预处理过程（例如，低通滤波和归一化）。图9示出了来自我们和DREAMER数据集的ECG信号图像。PQ峰值的检测以及从预处理信号生成的统计特征（例如平均值、最小值、最大值和标准偏差）是从时域中的每个信号提取的80个特征中的一个。此外，同样的统计特征也可以从一阶和二阶导数的近似中获得。提取的ECG特征的缩略语和解释见表4。相比之下，PPG数据被预处理，并且使用用于从生理信号提取情感特 征 的 方 法 （ TEAP ） 来 提 取 特 征 。 技 经 评 估 组 成 立 于 2017 年（Soleymani等人，2017年）由Soleymani，Villaro-Dixon，Pun和Chanel分析生理信号，如EEG，GSR，PPG和EMG。在Windows上，TEAP与MATLAB和Octave兼容，只需要它们的信号处理和统计工具箱。当加载原始数据和采样率时，自动进行利用低通滤波的预处理。图 10表示来自DEAP和我们的数据集的PPG信号图像。Sharifah Noor Masidayu Sayed Ismail，Nor Azlina Ab.Aziz和Siti Zainab Ibrahim沙特国王大学学报3548图9.第九条。ECG信号可视化：a）来自DREAMER数据集的ECG和b）来自我们数据集的ECG表4使用AUBT提取的时域和频域ECG特征的缩写和描述。缩写描述p、q、r、s、t p-、q-、r-、s-、t-峰值（ECG）hrv心率变异性平均值表5使用TEAP提取的时域和频域PPG特征的缩写和描述。缩略语均值_均值IBI的HRV平均IBI平均IBI中位数std标准差min最小值max最大值范围最大值maxRatio最大值的数量除以信号MSE 1、MSE 2、MSE 3、MSE 4、MSE 5、Sp0001、sp0102、sp0203、sp0304血流速度图_LF、血流速度图_MF、血流速度图_HF5层4个频率范围的功率谱密度3级频率值指定范围pNN 50相差超过50 msec的连续RR间期对的相对数量振幅信号三分心率变异性三角指数上图描述了来自DEAP数据集和我们的数据集的PPG信号之间的显著差异。这两个数据集之间的差异可归因于所使用的设备以及PPG信号的模式。PPG信号以两种不同的模式运行：透射和反射（Kamshilin和Margaryants，2015; Renesas，2020）。当光接收器和光源彼此相对放置时，透射模式发生，其间有透照的血管组织。当检测器和光源能量比功率谱密度和行车记录功率彼此相邻定位以监测由组织发出的光。根据Jago和Murray（Jago和Murray ， 1988 ） ， Kim 等 人 （ Kim 等 人 ， 1986 ） 、 Shelley等 人（Shelley等人， 2005）和Cennini等人（Cennini等人，2010），这两种方法对于测量血容量的变化和监测个体的脉搏量都是可接受的。有十七(17)从时域和频域特征检索的特征，包括平均值、心跳间隔（IBI）、心率变异性（HRV）和多尺度熵、功率谱密度、血流速度描记图功率以及功率谱密度