2022年虚拟现实智能硬件中的多模态协同脑机接口系统及改进算法研究

虚拟现实智能硬件2022年12月4日第1Citation：LiCunbo，Ning Li，Yuan Qiu，Yueheng Peng，Yengeng Wang，Lili Deng，Teng Ma，Fali Li，DezhongYAO，Peng XU.基于改进CSP特征提取算法的多模态协同脑机接口系统。虚拟现实智能硬件，2022，4（1）：22-37DOI：10.1016/j.vrih.2022.01.002·文章·基于改进CSP特征提取算法的多通道协同脑机接口系统CunboLI1 ， NingLI1 ， YuanQIU1 ， YuehenggPENG1 ， YifenggWanG1 ， LiliDENG1 ，TenggMA2，FaliLI1，DezhonggYAO1，PenggXU1*1. 电子科技大学生命科学与技术学院神经信息教育MoE重点实验室成都脑科学研究所临床医院，成都6100542. 郑州航空航天大学智能工程学院，郑州450015*通讯作者，xupeng@uestc.edu.cn收到日期：2021年1月26日修订日期：2021年4月6日接受日期：2021年4月14日国家自然科学基金（U19 A2082，61961160705，61901077）;国家重点研发计划（2017 YFB 1002501）;广东省重点&研发计划（2018 B 030339001）。摘要背景作为一种新的方法，人们直接与外部设备进行通信，脑机接口（BCI）的研究已经变得全面。然而，类似于真实世界的场景，人们期望在团队中工作，BCI系统应该能够复制团队属性。方法在公共空间模式（CSP）算法的基础上，提出了一种基于四阶累积量的特征提取方法（CSP 4-CSP）。利用运动视觉诱发电位（mVEP）脑电数据进行的仿真实验验证了该算法的鲁棒性。此外，为了自由选择范式，我们采用了mVEP和稳态视觉诱发电位（SSVEP）范式，并设计了一个多模态协作BCI系统的基础上提出的EST 4- CSP算法。使用多人游戏控制系统，同时促进外部设备上的两个用户的协调和竞争控制的可行性，证明了所提出的多模式协作系统框架。为了验证该方案的鲁棒性，我们招募了30名被试进行网络游戏控制实验，并对结果进行统计分析。结果仿真结果表明，该算法具有较好的抗噪性能。在线实验结果表明，被试能够可靠地使用所选的BCI范式进行游戏对抗操作。结论在噪声环境下，该算法能有效地从脑电数据中提取特征。此外，该方案可能为基于EEG的群体BCI研究提供一种新的解决方案。协作式脑-机接口;运动视觉诱发电位;稳态视觉诱发电位;游戏控制系统2096-5796/©版权所有2022北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.com李存波等：基于改进CSP特征提取算法的多模态协同脑机接口系统231介绍脑机接口（BCI）是一种通信系统，在该系统中，大脑活动产生的信息或命令可以被翻译到外部设备中，以实现控制，而无需大脑的外周神经和肌肉输出通路[1-3]。脑电信号作为一种常见的信号，以其方便、廉价等优点在脑机接口系统中得到了广泛的应用。基于脑电信号的脑机接口系统需要解决的关键问题是对脑诱发脑电信号的解码。诱发脑电信号反映了脑电生理活动的反应模式，可以用来提取相应的特征，实现解码。常用的刺激范例包括P300[4]、运动想象（MI）[5]、运动视觉诱发电位（mVEP）[6]和稳态视觉诱发电位（SSVEP）[7]。MI被提出用于恢复瘫痪患者的运动功能，通过运动想象（如左/右手想象或足部运动）实现身体运动外部设备[5，8，9]。mVEP是一种基于运动的刺激，与运动刺激的位置和时间相关[10，11]。此外，mVEP显示出最大的振幅和最低的受试者间和受试者内变异性，并已被广泛用于BCI系统[12，13]。在基于SSVEP的BCI系统中，参与者被要求选择性地专注于以略微不同的频率重复反转的多个模式之一，并且诱发的EEG信号被解码用于特定指令[14，15]。基于上述范例，研究人员设计了各种BCI系统，并在实际的在线应用中采用它们[16-18]。外部设备的控制是脑机接口系统应用中的一个重要课题。例如，虚拟飞行设备的控制[19，20]，通过结合P300和SSVEP的轮椅控制[21]，以及基于SSVEP的自定步调BCI拼写器[22]。此外，BCI系统也已应用于临床研究。例如，在中风恢复中使用运动想象[23，24]，解释晚期帕金森病（PD）患者的病理性脑活动[25]，以及利用基于P300的BCI通信设备治疗晚期肌萎缩侧索硬化症（ALS）[26]，为临床脑疾病的干预和治疗提供了新的选择。尽管BCI系统的应用已经取得了很大的进展，特别是在外部设备控制和临床研究中，但由于EEG信号的低信噪比（SNR）和差的空间分辨率，仍然存在一些挑战[27-29]。此外，大多数BCI研究主要集中在单一刺激范式上，而忽略了参与者对刺激模式的差异偏好，导致个体表现存在显著差异，在应用中无法实现高分类精度[21，30 -32]。研究人员已经提出了从信号采集，刺激范例和特征提取算法的角度来克服这些限制的框架。例如，引入一些信号处理技术，包括经验模式分解和小波分析[33，34]，或改进常见的特殊模型算法以获得稳定有效的系统[9，35，36]。此外，一些研究采用深度学习技术来减少分类器的影响，进一步提高系统性能[37-39]。与探索算法改进的研究相反，其他人提出了新的刺激范例，并通过克服SSVEP或mVEP的缺点来设计高效BCI系统[12，39，40]。与此同时，研究人员试图通过结合不同的实验范式来提高BCI的性能，有些人专注于混合系统。例如，Zhou等人将SSVEP和EOG结合起来，提出了一种混合异步BCI系统[30]。Xu等人使用P300和SSVEP设计了高速混合BCI系统[34]。实验结果证明，混合BCI系统比传统BCI方案实现了更好的性能[30- 32，41，42]。虽然这些研究可以在一定程度上提高系统的性能，但仍然存在一些挑战，并且需要更鲁棒的系统方案。表1提供了BCI研究中广泛使用的刺激范例和特征提取算法的总结。24虚拟现实智能硬件2022年12月4日第1表1脑机接口系统作者年刺激信号特征方法结果Chen等人[12个]2018mVEPEEG多通道EEG数据72.2%Beveridge等人[13个国家]2019mVEPEEGP100、N200、P30076%、62%和35%He等人[36个]2019MI脑电图CSP方法93.70%-99.33%Xu等人[34个]2020SSVEPEEGCCA方法81.67% 79.17%Gao等人[39]第三十九届2020SSMVEPEEGCNN-LSTM框架96.83% 91.86%Zhou等人[30个]2020SSVEP脑电图CCA方法百分之九十五点四二Duan等人[四十三]2020MIEEGZero-shot学习91.81%Dagdevir等人[第四十四届]2021MIEEGHjorth算法82.58%BCI系统旨在实现有效的交互，改善交互体验;这意味着人与BCI系统之间的交互应与实际场景中的交互一致[36，45，46]。因此，现实世界的应用需要配备有社会特征的BCI系统。为了模拟真实场景，研究人员提出了多用户BCI系统的概念，使用它可以改善系统的交互体验。这种协作BCI系统已经成为BCI研究的主要焦点[47-49]。对于多用户协作BCI，处理多任务处理的有效性和准确性是系统实现的关键[50]。研究人员在处理类似游戏任务时对不同参与者组进行了比较实验[13，51]，并揭示了在复杂任务中结合mVEP和SSVEP的可能性。类似的研究表明，多用户条件比单用户条件更受欢迎，并且在多用户条件下参与者的表现显着改善[52，53]。然而，相对较少的研究集中在设计混合多人在线系统[54]。对于基于脑电信号的在线脑机接口系统，指令的实时解码是系统性能的一个重要指标。换句话说，EEG处理算法应该以低时间复杂度为特征。在这项工作中，我们提出了一个4阶累积量特征提取方法（404-CSP），以提高在线BCI系统的性能。为了验证该算法的鲁棒性，我们进行了mVEP数据采集实验，并将采集到的EEG数据用于仿真验证实验。在真实的在线BCI系统中，实验刺激范式中参与者的个人偏好会影响解码的准确性。因此，为了进一步提高性能，我们设计了一个新的混合和多模态BCI游戏系统，采用的mVEP和SSVEP刺激的BCI系统的范例。与基于单范式的脑机接口系统相比，该系统具有更大的范式自由度，参与者可以根据个人偏好自由选择刺激范式。为了验证系统方案的可行性，我们招募了30名参与者进行对抗性游戏实验。实验结果验证了所提出的多模态系统方案的可行性。该算法为脑电特征提取提供了一种新的方法，而混合多模式脑机接口游戏系统则为多用户脑机接口系统提供了一种潜在的可行性。本文的其余部分组织如下。第二部分介绍了该方法，包括数据采集系统、特征提取算法、系统设计和控制机制。模拟和在线实验以及相应的实验结果在第3节中给出。第4节对实验结果进行了详细的分析和讨论，第5节给出了结论。25李存波等：基于改进CSP特征提取算法的多模态协同脑机接口系统2方法2.1数据采集系统在 本 研 究 中 ， 使 用 图 1 中 的 UEA-16 FZ 设 备（Symtop Instrument，Beijing，China）来捕获头皮EEG信号。要求受试者佩戴具有15通道Ag-AgCl 电 极 （“FC 3” 、 “FC 4” 、“F3” 、 “F4” 、“Cz”、“CP 3”、“CP 4”、“C3”、“C4”、“C5”、“C6” 、 “P3” 、 “P4” 、 “C6” 、 “P6” 、 “P7” 、“P8”、“P9”、“P10”、“P11”、“P12”、“P13”、“P13”、“P14”、“P15”、“P15”、“P16”、“P17”、“P18”、“P19”、“P19”、““O1”、“O2”）。根据国际10-20系统放置电极[55]。为了脑电图图1UEA-16 FZ数据采集系统。记录时，“AFz”电极用作参考通道，电极阻抗保持低于5kΩ。EEG信号被放大，以1000 Hz采样，并在0.5- 45 Hz范围内进行带通滤波。2.2改进的CSP特征提取算法两个刺激，mVEP 和SSVEP ，被用来唤起EEG 信号用作系统输入。迄今为止，典型相关分析（CCA）作为一种成熟的算法，已广泛应用于基于SSVEP模式的BCI系统[56]。由于脑电信号具有低信噪比的特点，从脑电信号中提取识别特征是非常困难的，尤其是mVEP模式，还有许多挑战需要解决。因此，需要更鲁棒的算法来提高BCI系统性能。传统的公共空间模式（CSP）方法可以从脑电信号中提取功率分布特征，但对噪声的敏感性限制了CSP方法的广泛应用。在统计学中，具有抗噪性的累积量被用来反映信号的分布。为了获得更好的性能，我们结合传统CSP方法和累积量理论的优点，提出了一种mVEP模式的CSP算法。在下文中，我们详细介绍了所提出的RIS 4-CSP算法。假设EEG序列信号X是一个零均值随机平稳过程，累积量矩阵M可以定义为[57，58]M=cum（X，X，X，X）=E[X（n）X（n）X（n）X（n）]- 3E [X（n）X（n）]E[X（n）X（n）]=M40- 3M220（一）其中M40和M20分别是X（kp阶混合矩Mpq定义为[59]Mpq=E[X（k）p-qX*（k）p-q]（2）其中p和q是偶数，q的范围是[0，p]。根据等式(1)，EEG信号的4阶累积量矩阵M可以用正交分解表示为TT11不1 1吨M=YY=USV=US2S2V=（US2）（VS2）（三）其中Y表示M的正交分解结果，U是单位正交化矩阵（U=V），S是对角矩阵。传统的CSP算法是基于脑电信号的协方差矩阵的但很26虚拟现实智能硬件2022年12月4日第1对噪声敏感，高斯噪声对分类精度影响很大。因此，我们采用4阶累积量矩阵来代替传统CSP算法中的协方差矩阵。最优投影问题可以表示为wTM1wwTY1Y1TwJ（w）=wTM2w=wTY2Y2Tw（4）其中M1和M2表示从两类EEG信号估计的两个不同的4阶累积量矩阵。使用拉格朗日乘子，方程中的优化问题。(4)可以表示为L（λ，w）=（1/S）wT M1w-λ（wT M2w-S）（5）最优问题可以用凸优化方法重写为M2- 1M1w=λw（6）与传统的CSP算法类似，w可以从广义特征向量获得。从Eqs。(1-6)通过对EEG信号的分析，得到了用于提取EEG信号的特征的滤波器，提取的特征可用于分类。2.3系统设计与控制机制本研究设计了一个多人协作博弈的脑机接口系统，基于所提出的EST 4-CSP特征提取算法。受试者可以根据个人喜好从SSVEP和m-VEP中自由选择刺激模式。该系统采用客户机-服务器（C/S）模式。客户端与服务器端的通信采用TCP/IP协议。服务器端根据客户端发出的指令，以窗口消息的形式实现相应的控制操作和界面显示。系统实现框架如图2所示。每个客户端有四个模块：前端提示模块、数据采集模块、数据处理模块和输出模块。前端提示模块主要用于计算机与被试者之间的交互，实现了被试者信息的采集、刺激范式的选择、阻抗检测、脑电信号显示、实验任务提示等功能。在实验之前，参与者被要求填写个人信息并选择首选范式。实验者可以根据阻抗检测和脑电信号显示模块的实际情况来判断实验条件。在实验过程中，被试按照任务提示界面和选择刺激范式进行实验。数据采集模块采用数据存储技术，将实时采集的脑电数据存储在内存的公共区域，供计算线程读取。使用第2.1节中介绍的数据采集系统采集诱发EEG信号。的功能图2系统方案结构。客户1和客户2是两个不同的玩家。每个范例都有相应的特征提取算法，两个客户端的解码控制命令通过TCP/IP协议传输到服务器。27李存波等：基于改进CSP特征提取算法的多模态协同脑机接口系统数据处理模块主要完成对脑电信号的处理，包括伪影处理、带通滤波（mVEP为1- 10 Hz，SSVEP为0.5- 45 Hz）和特征提取。然后，提取的特征被用来训练线性判别分析（LDA）分类器和识别的控制指令。输出模块本质上是一个输出接口，它采用LDA分类器的分类结果作为命令来控制外部设备，并将命令实时传输到服务器，实现对游戏角色的最终控制。2.3.1图形界面在我们的系统中，两个刺激范例被用来唤起任务EEG信号。并为每种范式设计了相应的实验刺激交互界面。mVEP是由物体运动的视觉刺激引起的大脑中颞区和内侧颞区的皮层电位变化。mVEP的刺激界面，在图3中，有四个虚拟正方形标记为1，2，3和4，分别对应于向前移动、左转、右转和射击的命令。图3m-VEP刺激接口在实验过程中，一条从虚拟正方形右侧向左侧移动的红色垂直线形成了一个短的水平运动刺激，参与者通过查看相应的模块来生成控制命令。由于SSVEP具有信息传输速率高、反应时间短等优点，SSVEP刺激范式被广泛应用于脑机接口研究中。SSVEP采用固定频率的闪光刺激来唤起人脑的相关视觉皮层。因此，敏感频段的选择至关重要。在预实验中，我们采用了频率和诱发脑电信号之间的相关性分析，以达到更好的性能。相关系数按降序排列，并选择前K个最大相关系数对应的基频作为敏感频带。在前期实验的基础上，我们选取了两个基频（8Hz、12.8Hz），通过对所选频率序列进行编码，生成了四个有效的指令，分别对应于向前移动、左转、右转和射击的控制。在实验过程中，四个正方形根据屏幕上给定的频率周期性地闪烁。参与者被要求看着四个闪烁的方块中的一个，以唤起相应的EEG信号。刺激界面如图4所示。图4用于SSVEP的刺激诱导界面。28虚拟现实智能硬件2022年12月4日第12.3.2控制机构采用客户机-服务器（C/S）模式，实现多用户同时协调和竞争控制。如图2所示，在所提出的系统中有两个客户机和一个服务器。客户端负责范例选择、LDA分类器训练、在线测试和消息发送。首先，参与者选择了第2.3.1节中介绍的首选实验范式。客户端还固定了相应的信号处理流程。然后，诱发脑电信号被用来提取特征来训练LDA分类器。在我们的系统中，所提出的mVEP诱发的EEG信号的特征提取算法，并使用现有的CCA算法从SSVEP诱发的EEG信号的特征提取。在实验中，训练的LDA分类器用于实时指令解码。解码后的客户端指令通过TCP/IP多线程通信接口发送到服务器设备，服务器设备以窗口消息的形式调用相应的游戏操作。服务器的显示界面如图5所示。在协作游戏系统中有两个玩家。在实验过程中，玩家需要控制各自的角色完成避障操作。同时，玩家控制角色实现前进、左转、右转、射击等操作。图5服务器显示界面，用于游戏操作。服务器端负责客户端的连接请求、消息接收、消息分析和游戏运行控制。它采用多线程技术，接受并解析客户端发送的请求，根据控制指令实时控制游戏角色的运行，并显示游戏角色的控制界面。服务器端和客户端通过TCP/IP套接字通信协议连接。详细连接原理如图所示6.客户端和服务器端根据套接字通信协议建立端口。服务器端口需要绑定到本地IP地址才能接收客户端连接请求。建立服务器端口后，客户端可以使用IP地址请求连接到服务器。一旦建立连接，信息交换就通过三方握手过程进行。服务器端接收到客户端的分类结果后，通过Windows消息调用相应的游戏操作来控制游戏角色，并在屏幕上显示游戏界面。29李存波等：基于改进CSP特征提取算法的多模态协同脑机接口系统图6客户端和服务器端之间的交互过程图。3实验和结果首先进行了仿真实验，以验证所提出的E44-CSP特征提取算法的鲁棒性，其细节和实验结果分别在第3.1节和第3.2节中给出。该方法被应用于一个真实的多人游戏环境中，控制脑机接口系统。对于真实的BCI系统，我们招募了30名受试者来研究系统方案的可行性，实验细节和相应的结果在第3.3节中给出。3.1脑电数据采集为了验证mVEP诱发EEG采集系统的性能，我们招募了11名受试者（年龄23±3岁，右利手）。所有参与者在参与实验之前都必须阅读并签署知情同意书。我们的研究已获得电子科技大学（UESTC）伦理委员会的事先批准。我们设计了相应的mVEP实验程序，并使用数据采集系统获得了所需的EEG数据。我们现在将详细描述mVEP的实验过程。对于mVEP实验，有四种类型的刺激标记为1-4，以引导参与者到相应的刺激。在实验中，提示随机出现，要求参与者根据当前提示看相应的刺激界面。例如，当数字2显示在屏幕上时，受试者应该看第二个刺激块。在实验过程中，为了唤起相应的EEG，一个红色的条从块的右边滑动到左边。EEG信号由红条的滑动频率诱发，其基于刺激块而变化一共有180次试验，持续270秒的mVEP诱发的实验任务。每次试验重复六次实验刺激，重复之间的间隔为60 ms。因为每次重复都需要30虚拟现实智能硬件2022年12月4日第1PN140ms，每次测试需要1.2s才能获得完整的诱发脑电数据。两次试验之间的休息期持续300 ms。mVEP任务的实验范例如图7所示。图7mVEP任务的实验范例。3.2仿真及结果为了验证所提出的特征提取算法的鲁棒性，我们对传统的CSP算法进行了评估，并提出了基于mVEP EEG数据LDA的MSP 4-CSP方法，对提取的特征进行分类。将高斯噪声引入到真实脑电信号中，模拟脑电信号中的噪声。对于每个对象，高斯噪声服从一维高斯分布N（μ，σ2），其中μ和σ2分别是训练集的均值和方差引入的高斯分布的强度噪声逐渐增加（SNR= 0 dB、-5dB、-10dB、-15dB、-20dB）。SNR定义为[60]SNR=10 ×Log1P（七）其中PS是EEG信号能量，PN是噪声能量。将获得的mVEP EEG数据分为训练和测试，每个受试者使用2倍交叉验证方案;换句话说，一半的数据用于训练，剩下的一半用于测试，并且重复这种划分20次。从脑电信号中提取CSP和M44-CSP特征。LDA分类器使用训练特征集，并与测试集的分类准确率进行对比分析。mVEP的重复20次模拟实验的平均结果如图8所示。与传统的CSP算法相比，本文提出的基于CSP的特征提取方法具有更高的准确率和更强的鲁棒性。对于mVEP EEG数据，实验结果稳定在82%-83%，高于传统CSP特征的结果稳定在52%-56%。因此，我们在我们的脑机接口系统中采用了MSP 4-CSP算法，以进一步探索所提出的多模态协作BCI系统方案。图8mVEP EEG数据的模拟结果。31李存波等：基于改进CSP特征提取算法的多模态协同脑机接口系统3.3实时在线脑机接口系统为了验证该方案的可行性，我们招募了30名受试者（年龄23±3岁，右利手）进行在线测试。首先，被试被要求从mVEP和SSVEP中自由选择一种范式。然后将受试者分为两个受试者的15个组合。最后将15个组合平均分为mVEP-mVEP（M-M）、SSVEP-SSVEP（S-S）和SSVEP- mVEP（S-M）3组。在在线实验中，玩家通过2.3节描述的系统界面设计实现了对角色的控制，控制角色执行前进、左、右和射击等命令。由于mVEP和SSVEP之间的差异，三组的在线实验程序不同。使用S-S，受试者可以直接通过系统界面进行控制。然而，在M-M和S-M组合中，实验分为两个阶段：训练和测试。要求选择mVEP模式的受试者首先训练滤波器和分类模型。在训练阶段，使用EEG信号来训练EQ 4-CSP特征提取滤波器和相应的LDA分类器。然后，在测试阶段使用过滤器和分类器进行特征提取和分类。在线实验中，我们统计了实验过程中受试者的控制命令数量和双方的战斗时间。表2列出了不同模式组之间和同一组内的命令编号和相应作战时间的差异。这些差异主要是由于不同参与者之间的个体差异。为了更直观地呈现实验结果，我们提供了每个注释所需的平均时间，并对每个模式组的5个组合进行了平均。在M-M模型中，5种组合的平均每条评论用时分别为3.99s和3.67s。S-S模式的平均时间为6.34s和6.56s，大于M-M模式的平均时间。此外，S-M的平均时间分别为5.80s和4.74s，这与M-M和S-S的平均时间一致。Table2 所有的实验室都是为不同的组准备的。所有值表示两个链接的结果（以“y/“分隔）模式编号实验结果参数（客户端1/客户端2）评论数量战斗时间每条评论的时间平均时间（s）M-M116/1658/573.63/3.563.99/3.67267/67251/2503.75/3.73355/73270/2734.91/3.74418/1766/623.67/3.65564/63319/3134.98/4.97S-S152/52344/3446.62/6.626.34/6.56213/1381/836.23/6.3839/857/546.33/6.7545/631/396.20/6.50515/1698/1046.53/6.50S-M115/2098/996.53/4.955.80/4.74210/1760/626.00/3.65337/23149/1514.03/6.57416/27106/1036.63/3.81546/60308/2986.70/4.9732虚拟现实智能硬件2022年12月4日第14讨论最近，研究人员提出了几种方法来提高BCI系统的性能，并为BCI的临床应用做出了大量努力[46，61]。大量的注意力已经被投入到鲁棒特征提取算法的开发中，以提高BCI系统的性能[62]。EEG信号的特征表明，所提出的方法必须具有抗噪性[18]。因此，我们在传统CSP算法的基础上引入了累积量免疫的特性，提出了一种基于累积量免疫的CSP特征提取方法。图8所示的仿真结果证实，基于所提出的RIS 4-CSP方法的实验结果比传统CSP算法的实验结果更稳定。具体而言，对于传统的CSP方法，分类精度逐渐下降，而mVEP EEG数据的噪声强度增加。然而，对于所提出的BS 4-CSP算法，分类结果保持稳定，并且当噪声强度增加时不会发生性能下降。从图8中，我们还观察到，对于mVEPEEG数据，所提出的MSP 4-CSP比传统的CSP方法获得了更好的结果。仿真结果一致证明，使用该算法提取的特征具有更好的性能，并验证了所提出的方法在BCI系统的实际应用的可行性。在在线BCI系统中，解码来自主体的意图的实时性是系统性能的关键指标，因为它决定了这些系统的响应速度。从表2所示的在线实验结果中，我们可以看到，所提出的方法具有比现有CCA方法更短的响应时间。对于S-S作战模式，平均指令周期时间约为6.34-6.56s。而M-M的平均时间为3.67-3.99秒，比S-S快。对S-M图形组的平均结果表明，SSVEP和mVEP的反应时间分别为5.80s和4.74s。从三种模式的实验结果比较，我们可以得出结论，所提出的EQ 4-CSP方法在实时在线BCI系统中取得了更好的性能。大多数脑机接口研究都集中在单模态刺激诱发范式上，以实现接口系统[8，11，14]。然而，在实际应用中，个体对唤起范式的偏好会显著影响交互效果。因此，一个可以根据个人偏好独立选择唤起范式的BCI系统对于改善用户体验至关重要。此外，社会属性决定了个体不能独立于群体，个体之间的互动也是社会生活的重要组成部分。具有社交属性的BCI系统对于增强用户在实际应用中的沉浸式体验具有重要意义。通过实际在线实验对本文提出的多通道协同脑机接口系统方案进行了验证，结果表明该方案是可行的。该方案将使用户能够根据个人喜好选择范例，并大大提高了交互性能，为未来更逼真的交互式多用户BCI提供了一种可行的解决方案。5结论本文提出了一种脑电信号特征提取的新算法-RP 4-CSP算法。为了验证该算法的鲁棒性，我们在低信噪比环境下进行了仿真实验。实验结果表明，与现有的CSP方法相比，该方法具有更好的性能.为了进一步验证该算法的可行性，设计了一个多通道协同BCI系统，并将该算法应用于实际在线系统。李存波等：基于改进CSP特征提取算法的多模态协同脑机接口系统33为了评估所提出的多模态协作BCI系统的稳定性，我们招募了30名受试者并进行了对抗性实验。实验结果表明，所提出的算法和系统方案是可行的、稳定的，为多用户脑机接口研究提供了一种可行的解决方案。日后，我们会招募更多参与者，以进一步评估建议的系统方案。此外，我们预计在多用户端BCI系统中实现所提出的方案将是一个关键的研究方向。竞合利益我们声明我们没有利益冲突。引用1Piho L，Tjahjadi T.基于互信息的脑电信号自适应加窗情感识别方法。IEEE Transactions on Affective Computing，2020，11（4）：722DOI：10.1109/taffc.2018.28409732龙建宇，李永庆，余天宇，顾志华.基于BCI的2-D光标控制的具有混合功能的目标选择。IEEE Transactions onBiomedical Engineering，2012，59（1）：132DOI：10.1109/tbme.2011.21677183吴伟杰，王伟杰.基于运动想象的脑-机接口系统在脑卒中后上肢神经康复中的应用.生物学和医学中的计算机，2020，123：103843 DOI：10.1016/j.compbiomed.2020.1038434作者：A.谈论你的头顶：走向利用事件相关脑电位的智力假体。脑电图与临床神经生理学，1988，70（6）：510DOI：10.1016/0013-4694（88）90149-65Pfurtscheller G，Neuper C.运动想象和直接脑机通信。IEEE会议录，2001，89（7）：1123DOI：10.1109/5.9398296郭芳，洪宝，高晓荣，高世凯.一种使用运动起始视觉诱发电位的脑-神经工程学报，2008，5（4）：477DOI：10.1088/1741-2560/5/4/0117杨文辉，李文辉，李文辉.基于稳态视觉诱发反应的脑机接口。康复工程学报，2000，8（2）：211DOI：10.1109/86.8478198钱克，尼科洛夫P，黄丹丹，费丹英，陈晓东，白奥。A motor imagery based online interactive brain-controlledswitch：Paradigm development and preliminary test.临床神经生理学，2010，121（8）：13049张英，南春生，周国新，金军，王晓英，齐文奇.运动想象BCI的时间约束稀疏组空间模式。IEEE Transactions onCybernetics，2019，49（9）：3322DOI：10.1109/tcyb.2018.284184710Beveridge R，Wilson S，Coyle D.神经游戏中的3D图形、虚拟现实和运动视觉诱发电位。脑研究进展，2016，228：329DOI：10.1016/bs.pbr.2016.06.00611郭芳，洪宝，高晓荣，高世凯.一种使用运动起始视觉诱发电位的脑-神经工程学报，2008，5（4）：477DOI：10.1088/1741-2560/5/4/01112陈俊杰，李志荣，洪宝，马业，恩格尔，张丹.基于运动诱发VEP视网膜定位的单刺激多靶点脑机接口IEEETransactions on Biomedical Engineering，2019，66（2）：46413Beveridge R，Wilson S，Callaghan M，Coyle D.运动诱发视觉诱发电位（mVEP）的神经游戏：虚拟现实智能硬件2022年12月4日第134成人对青少年IEEE Transactions on Neural Systems and Rehabilitation Engineering，2019，27（4）：57214李伟杰，李伟杰，李伟杰. SSVEP脑反应的优化与应用八命令脑机接口。神经科学通讯，2010，469（1）：34DOI：10.1016/j.neulet.2009.11.03915Cecotti H一个自定进度和校准少SSVEP为基础的脑IEEE Transactions on Neural Systems and RehabilitationEngineering，2010，18（2）：127DOI：10.1109/tnsre.2009.203959416张文辉，张文辉.基于SSVEP的主机的自定进度操作具有以下功能：“一个可行的限制性系统，现在是一个混合BCI。神经系统与康复工程研究，2010，18（4）：409DOI：10.1109/tnsre.2010.204083717杨伟华，王伟华. SSVEP BCI用于控制四肢瘫痪患者的手部矫形器。IEEE神经系统与康复工程学报，2011，19（1）：118作者：J. J.脑机接口。Current Opinion in Biomedical Engineering，2017，4：194DOI：10.1016/j.cobme.2017.11.00419LaFleur K，Cassady K，Doud A，Shades K，Rogin E，He B.使用基于非侵入性运动成像的脑机接口在三维空间中控制四轴飞行器。Journal of Neural Engineering，2013，10（4）：046003 DOI：10.1088/1741-2560/10/4/04600320杜德A J，卢卡斯J P，皮桑斯基M T，何B.使用基于运动想象的脑机接口对虚拟直升机进行连续三维控制。PLoSOne，2011，6（10）：e26322DOI：10.1371/journal.pone.002632221李英，潘杰，王芳，于忠.结合P300和SSVEP的混合BCI系统及其在轮椅控制中的应用IEEE生物医学工程学报，2013，60（11）：3156DOI：10.1109/tbme.2013.227028322Cecotti H一个自定进度和校准少SSVEP为基础的脑IEEE Transactions on Neural Systems and RehabilitationEngineering，2010，18（2）：127DOI：10.1109/tnsre.2009.203959423Pichiorri F，Morone G，Petti M，Toppi J，Pisotta I，Molinari M，Paolucci S，Inghilleri M，Astolfi L，CincottiF，Mattia D.脑机接口促进中风恢复期间的运动想象练习神经病学年鉴，2015，77（5）：851–DOI：10.1002/ana.2439024黄国光，蔡国胜，潘国胜，王国胜，秦正英，郭国胜，罗伟，关国胜。脑卒中患者基于EEG的运动想象脑机接口机器人康复的随机对照试验。临床脑电图与神经科学，2015，46（4）：310DOI：10.1177/155005941452222925Little S，Pogosyan A，Neal S，Zavala B，Zrinzo L，Hariz M，Foltynie T，Limousin P，Ashkan K，FitzGerald J，Green A L，Aziz T Z，Brown P.晚期帕金森病的自适应脑深部电刺激。神经病学年鉴，2013，74（3）：449DOI：10.1002/ana.2395126[11] Nijboer F，Sellers E W，Mellinger J，Jordan M A，Matuz T，Furdea A，Halder S，Mochty U，Krusienski DJ，Vaughan T M，Wolpaw J R，Birbaumer N，Kübler A.肌萎缩侧索硬化症患者的基于P300的脑机接口。临床神经生理学，2008，119（8）：1909DOI：10.1016/j.clinph.2008.03.03427姚萍，徐刚，贾玲，段军，韩春，陶婷，王艳，张松。基于欠阻尼二阶随机共振的SSVEP多尺度噪声抑制与特征频率提取。神经工程学报，2019，16（3）：036032李存波等：基于改进CSP特征提取算法的多模态协同脑机接口系统35DOI：10.1088/1741-2552/ab16f928吴华，牛英，李芳，李永春，付宝祥，石国明，董明华。并行多尺度滤波器组卷积神经网络用于运动想象脑电分类。神经科学前沿，2019，13：1275DOI：10.3389/fnins.2019.0127529严文强，徐国华，陈良堂，郑晓文.基于时频图像融合的稳态运动视觉诱发电位增强方法。计算智能和神经科学，2019，9439407 DOI：10.1155/2019/943940730周永军，何世辉，黄庆英，李永庆.一种结合SSVEP和EOG信号的混合异步脑机接口。IEEE生物医学工程学报，2020，67（10）：2881DOI：10.1109/tbme.2020.297274731放大图片创作者：J.混合BCI。神经科学前沿，2010，4（30）：3032马涛，李华，邓丽玲，杨华，吕新，李平英，李芳玲，张荣，刘天杰，姚德正，徐平.运动想象与运动诱发电位相结合的运动控制混合脑机接口系统.北京：中国神经科学出版社，2000，14（1）：158 - 159.神经工程学报，2017，14（2）：026015DOI：10.1088/1741-2552/aa5d5f33作者：A.运动想象脑机接口系统中脑电信号分类的信号分解方法比较生物医学信号处理与控制，2017，31：398DOI：10.1016/j.bspc.2016.09.00734徐明平，韩建，王永军，荣天平，明东.使用并发P300和SSVEP功能实现高速混合脑机接口的100多个命令代码。IEEE生物医学工程学报，2020，67（1