基于EEG的眨眼信号分类：CWT-Transfer学习流水线的研究

⃝可在www.sciencedirect.com上在线获取ScienceDirectICTExpress 7（2021）421www.elsevier.com/locate/icte基于EEG的眨眼信号分类：一个CWT-Transfer学习流水线Jothi Letchumy Mahendra Kumara，Mamunur Rashidb，Rabiu Muazu Musac，Mohd AzraaiMohd Razmana，Norizam Sulaimanb，Rozita Jailanid，Anwar P.P. Abdul Majeeda，e，马来西亚彭亨大学制造与机电一体化工程技术学院创新制造、机电一体化和运动实验室，26600 Pekan，Pahang Darul Makmur，Malaysiab马来西亚彭亨大学电子电气工程技术学院，26600 Pahang，马来西亚cCentre for Fundamental and Liberal Education，Universiti Malaysia Terengganu（UMT），21030 Kuala Nerus，Terengganu Darul Iman，Malaysiad电子工程学院，MARA技术大学（UiTM），40450 Shah Alam，Selangor Darul Ehsan，马来西亚Centrefor Software Development Integrated Computing，Universiti Malaysia Pahang，26600，Malaysia接收日期：2020年9月20日;接收日期：2020年12月24日;接受日期：2021年1月16日2021年1月21日在线提供摘要脑-机接口技术在促进中风后患者进行日常活动的能力方面起着至关重要的作用，living.脑电信号的特征提取和分类是实现该系统的关键部分。本研究调查了迁移学习模型ResNet50 V2，ResNet101 V2和ResNet152 V2在通过微调支持向量机（SVM）分类器进行分类之前，从CWT转换的基于眨眼的EEG信号中提取特征的有效性。结果表明，ResNet 152 V2-SVM流水线在所有训练、测试和验证数据集上都能实现出色的准确性c2021 韩 国 通 信 和 信 息 科 学 研 究 所 （ KICS ） 。 出 版 社 ： Elsevier B.V. 这 是 CC BY 许 可 下 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by/4.0/）。关键词：脑机接口;连续小波变换;脑电;迁移学习;支持向量机1. 介绍脑卒中是一种突发性最强的神经系统疾病。此外，在马来西亚，它分别被列为死亡和住院的前五名和前十名原因[1]。这种疾病幸存下来的患者通常会留下长期的身体残疾，如肢体无力、记忆缺陷、言语问题和泌尿系统疾病[2]。值得指出的是，据报道，上肢和下肢运动功能通常受到最大的影响[2然而，通过康复治疗可以改善患者通讯作者：马来西亚彭亨大学制造与机电工程技术学院创新制造、机电 一 体 化 与 运 动 实 验 室 （ UMP ） ， 26600 Pekan ， Pahang DarulMakmur，Malaysia。电子邮件地址： amajeed@ump.edu.my（A.P.P. Abdul Majeed）.同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2021.01.004快速发展的中风后康复技术。非侵入性BCI技术是一种控制系统，其利用大脑信号来控制可以与大脑和外部环境交互的外部设备的命令。在无创BCI技术中，电极被放置在患者的头皮上以收集大脑信号。被广泛使用并且可以容易地收集的最常见的大脑信号是脑电图（EEG）。EEG信号通过根据国际10-20系统在头皮上放置电极来获得。它是通过电极和参比电极之间的电位差来测量的。这个信号可以应用到基于BCI的技术中，为中风后患者创造一个智能环境。重要的是要注意在这个节骨眼上，信息提取是脑机接口应用中最关键的方面之一。一个完善的BCI系统有两个基本的构建块，即，EEG特征的重要集合的识别以及给定机器学习模型对提取的特征进行2405-9595/2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY许可下的文章（http://creativecommons.org/licenses/by/4.0/）。J.L. Mahendra Kumar，M.Rashid，R.M.Musa等人ICT Express 7（2021）421422×××× ×已经对上述构建模块进行了大量的研究;例如，基于眨眼的EEG信号已经被[6]用于利用它来控制假肢设备。作者利用快速傅立叶变换（FFT）和采样范围来提取所收集的EEG信号的特征。提取的特征，然后实施到支持向量机（SVM），线性判别分析（LDA），和k-最近邻（kNN）分类算法。通过曲线下面积-受试者工作曲线（AUC-ROC）和混淆矩阵评价分类器的性能。结果表明，FFT流水线与LDA分类器一起显示出最好的分类准确率（CA）为83.3%。Issa，Peng，You和Shah [7]研究了从基于频率-时间的EEG信号中提取的五种情绪的分类，即，悲伤快乐愤怒恐惧和厌恶采用连续小波变换（CWT）算法 提取标准偏差向量（SDV）特征。分类过程通过SVM、kNN和概率神经网络（PNN）进行。结果表明，基于多项式核的SVM分类器产生了最高的CA为91%。随 着深 度学 习模 型的 发展 ，特 别 是卷 积神 经网 络（CNN），研究人员已经在不同的领域采用了这种技术。尽管如此，值得注意的是，传统的CNN模型通常需要大量的超参数调整来实现这样的结果，因此，研究人员已经通过迁移学习（TL）利用了预训练的CNN模型。TL及其关联模型已经在无数的应用中得到了成功的证明[8这种技术也被用于睡眠状态EEG信号的分类[11]。一类TL模-els，即，利用ResNet对原始脑电信号进行功率谱密度（PSD）特征提取。提取的特征被馈送到完全连接的层（本文中被描述为常规CNN）中。将拟议的管道与其他管道进行了比较，快速傅立叶变换（FFT）-多层感知器（MPC）以及PSD-MPC。研究表明，PSD-ResNet- CNN模型产生了睡眠状态的最佳CA，女性和男性受试者分别为87.8%和83.7%本研究旨在评估不同TL模型在从EEG眨眼时间序列信号中提取特征的有效性，所述EEG眨眼时间序列信号通过CWT算法转换为尺度图图像，随后通过优化的SVM以及传统的CNN（全连接层）分类器对特征进行分类。被用来评估开发的管道的性能指标是CA以及混淆矩阵。2. 方法2.1. 数据收集基于眨眼的EEG信号是通过五通道AMATIV Insight设备收集的[12]。的位置根据国际10-20系统，在节点AF 3、AF 4、T8、T7和Pz放置电极。 信号从AF3和AF4节点收集，其中AF3负责收集左眨眼信号，而AF4负责收集右眨眼信号。这些信号是从五名没有任何神经系统疾病史的健康受试者中收集的。受试者被告知坐在符合人体工程学的椅子上，在收集信号之前放松他们的思想。实验在位于马来西亚彭亨大学电气工程技术学院的一个封闭的房间中进行。在进行研究之前，从机构研究伦理委员会获得伦理许可在每个类上记录实验60 s以相应地收集所需信号。这些说明以PowerPoint幻灯片的形式展示。值得注意的是，三类眨眼动作，即右眨眼，左眨眼和不眨眼，分别从每个受试者。每堂课，受试者都被要求重复六次。因此，在整个实验过程中从所有5名受试者采集的样本总数为90。2.2. 连续小波变换连续小波变换是一种小波变换，它由时间序列的低频和高频组成。连续小波变换在预处理步骤中是一种非常有效 的 方 法 ， 特 别 是 在 非 平 稳 信 号 （ 如 EEG 信 号 ） 中[13CWT通过时间和高频分辨率提供详细的时频域分析。该方法将原始的眨眼脑电信号转换为脑电信号连续小波变换系数的全值表示--尺度图。生成的尺度图被调整为224224，以适应TL模型。2.3. 特征提取：迁移学习模型迁移学习模型是预先训练的卷积神经网络（CNN）。这些预先训练的模型在计算机视觉中很受欢迎，因为它可以产生非常准确的模型[18TL模型是缺乏训练模型的数据集的最佳解决方案，它利用预训练模型来相应地训练模型在本研究中实现的TL模型是具有7 7 1024扁平尺寸的ResNet50 V2TL模型的权重被冻结以提取用于分类的特征。在这项研究中，传统CNN模型固有的全连接层（FCL）与支持向量机分类器交换2.4. 分类：SVM和CNN支持向量机（Support Vector Machine，SVM）是一种利用核参数将输入数据转换到高维空间的有监督机器学习算法J.L. Mahendra Kumar，M.Rashid，R.M.Musa等人ICT Express 7（2021）421423表1通过网格搜索评估超参数参数超参数伽马0.01、0.1、1、10、100核线性，RBF，多项式，Sigmoid正规化0.01、0.1、1、10、1002、3度通过确定具有最大余量的超平面来分离数据[24]。SVM分类器已在无数应用中成功实现[24SVM的调整参数是核、正则化（c）、度和伽马（γ）。核技巧在更高的维度上计算分离邻接。c参数通知算法在训练模型时需要避免相反，gamma表示在数学算法中考虑接近合理线的点。评价的超参数列表见表1。将数据分为三个数据集，即训练、验证和测试数据集，分层比例为60：20：20。通过网格搜索算法和五重交叉验证方法，从125个模型中选出最佳模型。网格搜索用于确定所采用的SVM分类器的最佳超参数。在此值得一提的是，流水线由给定的TL模型组成，该模型与优化的SVM分类器配对。为了比较所提出的管道的功效，还评估了保留完全连接层的传统CNN模型。通过TL模型提取的相同特征被馈送到完全连接的层中，第一层由50个具有ReLu激活函数的隐藏神经元组成。使用的dropout值为0.5。然后将输出馈送到具有三个隐藏神经元的最终隐藏层，其中三个隐藏神经元具有softmax激活函数。在本研究中，亚当优化算法使用的时期为50和批量大小为10。通过混淆矩阵和分类精度（CA）来评估管道的性能。混淆矩阵用于可视化数据集的错误分类[29]。使用Spyder IDE开发和评估模型3. 结果和讨论基于眨眼的数字信号被转换成标度图，并被馈送到所选择的TL模型中以提取显著特征。提取的特征被送入微调的SVM分类器模型以及传统的CNN模型（具有完全连接的层）。图1描绘了通过CWT-Morlet小波算法获得的标度图图像。图图2描绘了通过常规CNN分类器和微调SVM模型分类的所有三个TL模型的CA。据观察，与传统的CNN管道相比，通过SVM管道获得的CA更好。此外，可以看到ResNet50 V2的训练数据集达到了98%的CA图1.一、（ a）左眨眼（b）右眨眼（c）无眨眼的比例图图像。图二. 评估的（a）CWT-TL-CNN（b）CWT-TL-SVM管道的分类准确性。而另外两个TL模型的CA达到了100%在训练阶段。通过验证数据集，ResNet152 V2获得了100%的CA。然而，通过测试数据集，所有三个TL管道都实现了100%的CA。因此，可以说明，与评估的其他管道相比，ResNet152 V2优化的SVM可以更好地对基于眨眼的EEGJ.L. Mahendra Kumar，M.Rashid，R.M.Musa等人ICT Express 7（2021）421424图3.第三章。R e s N e t 1 5 2 V2 管道测试数据集混淆矩阵。与ResNet 152 V2一起工作以实现通过网格搜索优化技术识别的最高CA的最佳SVM模型的超参数是具有二次次数的多项式核，其伽马和正则化值为0.01。图3描述了ResNet 152 V2-SVM管道测试数据集的混淆矩阵。可以观察到，没有图像被错误分类。0表示左眨眼，1表示右眨眼，2表示无眨眼类。4. 结论在这项研究中，不同的TL框架提出了眨眼的EEG信号的分类。结果表明，ResNet 152 V2-SVM流水线可以产生100%的卓越CA。研究结果是相当有前途的，未来的工作应该包括其他TL模型以及分类器的信号分类。此外，它表明了使用BCI系统的管道来控制康复设备以进一步为中风后患者提供更好的ADL的可能性。CRediT作者贡献声明Jothi Letchumy Mahendra Kumar：概念化，写作-原始草稿，方法论，软件，调查。Mamunur Rashid：数据管理，软件。Rabiu Muazu Musa：可视化，形式分析。Mohd Azraai Mohd Razman：可视化，调查。NorizamSulaiman：概念化、资源、项目管理。Rozita Jailani：方法，资源，验证。 安瓦尔·P·P 概念化，监督，写作-评论&编辑.竞合利益作者声明，他们没有已知的可能影响本文所报告工作确认这项研究由马来西亚彭亨大学通过RDU 180321资助。引用[1] K.W.卢，S.H. Gan，Burden of stroke in Malaysia，Int. J. Stroke 7（2012）165http://dx.doi.org/10.1111/j.1747-4949.2011.00767.x[2] E.S.劳伦斯角科肖尔河Dundas，J. Stewart，A.G.拉德河Howard，C.D.A. Wolfe，多种族人群中急性卒中损伤和残疾患病率的估计，Stroke 32（2001）1279http://dx.doi.org/10.1161/01.STR.32.6.1279[3] T.A. Schweizer ， R.L. MacDonald ， 中 风 的 行 为 后 果 ， 2014 ，http://dx.doi.org/10.1007/978-1-4614-7672-6。[4] Z. 塔哈，美联社。Abdul Majeed，A.F.Zainal Abidin，文学硕士哈希姆·阿里I.M. Khairuddin，A. M.Y. Deboucha黄保泽，一种用于步态康复的下肢外骨骼混合主动力控制，Biomed。生物医学工程师。Tech.（2017）http://dx.doi.org/10.1515/bmt-2016-0039，[Epub ahea.[5] F.F. Mairami，N.宾夕法尼亚州沃伦Allotey，J.S. Mak，D. D.记录中风对中等收入国家的影响：马来西亚案例研究，残疾。康复中心42（2020）102//dx.doi.org/10.1080/09638288.2018.1493544网站。[6] M. Rashid，N.苏莱曼，M.Mustafa，B.S.巴里，M.G.萨迪克M.J. Hasan，基于Wink的人脸表情分类机器学习方法，SN Appl.Sci. 第2（2020）号第183页。[7] M.K. 德 利 马 扬 提 湾 Purnama ， N.G. 阮 先 生 Faisal ， K.R. 我 是 F.Indriani，M.库博角，澳-地Satou，通过EEG信号的高维FFT特征对睡 眠 阶 段 的 脑 电 波 进 行 分 类 ， Appl. Sci. 10 （ 2020 ）http://dx.doi.org/10.3390/app10051797。[8] W.M. Shalash，使用迁移学习的单EEG通道驾驶员疲劳检测，在：IST 2019 - IEEE Int. Conf. Imaging Syst. Tech。程序，2019年，页1http://dx.doi.org/10.1109/IST48021.2019。9010483。[9] J.J. Bird，J. Kobylarz，D.R. Faria，A. Ekárt，E.P. Ribeiro，生物信号处理的跨域MLP和CNN转移学习：EEG和EMG，2020年，pp.54789http://dx.doi.org/10.1109/[10] A. Agrawal，G.C. Jana，P. Gupta，使用癫痫脑电图信号的RGB特征进行癫痫发作检测的深度转移学习方法，在：Proc. Int. Conf.Cloud Comput. 技 术 科 学 云 计 算 2019-Decem ， 2019 ， pp. 367http://dx.doi.org/10.1109/CloudCom。2019.00063。[11] M.J. Hasan，D. Shon，K.林，香港Choi，D.S. J.M. Kim，使用功率谱密度和残差神经网络对多通道EEG信号进行睡眠状态分类，应用科学。10（2020）1http://dx.doi.org/10.3390/app10217639[12] C. Heunis，Export and Analysis of Actuativ Insight EEG Data Via，2016，pp. 1http://dx.doi.org/10.13140/RG.2.1.3081.4326[13] R.G. L 真 的 ， B 。 Kotchoubey ， Studentized continuous wavelettransform （ t-CWT ） in the analysis of individual ERPs ： Real andsimulatedEEGdata，Front.Neurosci.8（2014）1http://dx.doi.org/10.3389/fnins。2014.00279。[14] N.马蒙角耶拉西塔诺足球俱乐部Morabito，一种深度CNN方法，从时频图中解码上肢运动准备源级脑电信号的神经网络。124（2020）357http://dx.doi.org/10.1016/j.neunet.2020.01.027[15] A. Meintjes，A. Lowe，M. Legget，使用连续小波变换和卷积神经网络的基本心音分类，在：Proc. Annu.国际IEEE工程医学生物学会议 EMBS. 2018- 2018年7月，pp. 409http://dx.doi.org/10.1109/[16] C. Hyeon，Lee Kyu，Young-Seok，连续小波变换和卷积神经网络在解码电机中的应用，2019，pp. 1比11[17] Y. Wang，K.C.韦卢沃卢湾李，带限脑电的时频分析与脑机接口应用 的BMFLC 和 卡尔 曼滤 波器 ， 神经 工程 杂志 。 康复 中心 10（2013）1-http://dx.doi.org/10.1186/1743-[18] A.克罗诺普卢角Baziotis，A. Potamianos，一种从预训练语言模型进 行 迁 移 学 习 的 令 人 尴 尬 的 简 单 方 法 ， 2019 年 ， pp 。2089http://dx.doi.org/10.18653/v1/n19-1213J.L. Mahendra Kumar，M.Rashid，R.M.Musa等人ICT Express 7（2021）421425[19] P.L.C.罗德里格斯角Jutten，M. Congedo，Riemannian procrustes分析：脑机接口的迁移学习，IEEE Trans.Biomed。Eng. 66（2019）2390 http://dx.doi.org/10.1109/TBME。2018.2889705。[20] J. Tao，X. Fang，Toward multi-label sentiment analysis：a transferlearning based approach ， J. Big Data 7 （ 2020 ） 1 http://dx.doi 。org/10.1186/s40537-019-0278-0。[21] C.谭，F.太阳，W。Zhang，T.孔，脑电分类在脑-机接口与多种约束转移，在：Proc. Annu。国际会议，IEEE工程医学生物学会，EMBS。2018-2018年7月，pp.1058http://dx.doi.org/10.1109/EMBC.2018.8512507[22] H. Fauzi，M. I.沙皮艾湾Khairuddin，基于CUR算法的脑机接口迁移 学 习 ， 信 号 处 理 。 系 统 （ 2019 ） http://dx.doi.org/10 。1007/s11265-019-1440-9。[23] K. Rangasamy，文学硕士As'ari，N.A. Rahmad，N.F. Ghazali，使用预 训 练 的 深 度 学 习 模 型 进 行 曲 棍 球 活 动 识 别 ， ICT Express（2020）。[24] R. Gholami，N. Fakhari，支持向量机：原理、参数和应用，第一版，爱思唯尔公司，2017年，http://dx.doi.org/10.1016/B 978 -0-12-811318-9.00027-2。[25] S.O.奥贡拉纳岛Olabode，S.A.A. Oluwadare，G.B.张文龙，支持向量机在鱼类分类中的应用，北京：科学出版社。ICTAfr. J.Comput. ICT参考格式Afr. J. Comput. ICTs 8（2015）75-82.[26] F. Li，Y. Xia，F. Wang，中国山杨D. Zhang，X. Li，F.何，基于XDAWN空间滤波器和黎曼几何分类器的P300-EEG信号迁移学习算法，应用科学。10（2020）http://dx.doi.org/10.3390/app10051804.[27] Z. Taha ，R.M. Musa ，A.P.P. Abdul Majeed ， M.M. Alim ， M.R.Abdul-lah，基于健身和运动能力变量的高潜力射箭运动员识别：支 持 向 量 机 方 法 ， 2004 。 移 动 Sci. 57 （ 2018 ） 184http://dx.doi.org/10.1016/j.humov.2017。12.008[28] M. Bekbalanova，A. Zhunis，Z. Duisebekov，使用EMD和DWT预测EEG信号中的癫痫发作，在：2019年第15届国际会议。电子学。Comput. 计算：2019年，页一比四[29] P. Flach，机器学习中的性能评估：好的，坏的，丑陋的，以及前进 的 道 路 ， Proc. AAAI Conf. Artiff 。 内 特 尔 33 （ 2019 ） 9808http://dx.doi.org/10.1609/aaai。v33i01.33019808。