脑机接口的挑战及发展：ITR和命令集规模的增长

工程7（2021）1710意见和评论基于脑电的脑机接口实际应用面临的挑战徐敏鹏a，b，何峰a，b，郑子萍a，b，c，顾晓松b，d，董明a，ba天津大学精密仪器与光电子工程学院生物医学工程系，天津300072b天津大学医学工程与转化医学研究院，天津300072cSwartz Center for Computational Neuroscience，University of California，San Diego，CA 92093，USAd南通大学神经再生联合创新中心江苏省教育部神经再生重点实验室，南通226001It has been almost 50 years since the term ‘‘brain–computerinterface” (BCI) was first proposed by Jacques Vidal在1973年[1]。与在设备之间传输非生命信息的传统电子接口不同，BCI在活体大脑和非生命设备之间建立了一座通信从技术上讲，BCI是一种测量大脑活动并将其转换为人工输出的系统，以取代，恢复，增强，补充或改善天然中枢神经系统输出[2]。脑电描记术（EEG）是目前脑机接口中最常用的脑电信号.从电子通信的角度来看，脑电脑机接口的两个最重要的问题是将人的思想转换成可检测的脑电信号的编码策略因此，信息传输速率（ITR）是在通信系统中广泛使用的用于评估BCI的编码和解码效率在过去的十年中，BCI的ITR大幅增加。更具体地说，最大的比特率在2010年左右只有大约1.5比特每秒（bps）[3]，但在2015年增加了两倍[4]，最近达到了7个基点[5]。从另一个角度来看，BCI可以被视为处理器，其处理用户请求的命令因此，对BCI指令处理方式及其能力进行评估是十分必要的.一个明确的指标是BCI可以处理多少不同的命令，即命令集的大小。在过去的十年中，BCI命令的数量显著增长，从2010年的约30个增加到2020年的100多个[6]。另一个重要指标是BCI是否可以使用异步方法操作。然而，这一领域仍不发达。除了这两个方面，BCI也是一种测量心理活动的工具。与传统的测量仪器（如仅检测EEG信号本身的EEG放大器）不同，BCI检测信号背后的心理过程，如左手与右手运动想象活动的发生。因此，BCI的测量精度是等效的到最小的脑电图特征，以实时方式。BCI解码的信号越小，BCI接触的心理活动就越多。2018年，BCI的测量精度首次达到亚微伏的幅度水平[7]-即0.5l V-这显著拓宽了BCI的类别。1. 挑战尽管近年来BCI研究取得了巨大进展，但从实验室到市场的飞跃仍然具有挑战性。脑机接口是一门多学科交叉的学科，涉及神经科学、计算机科学、材料学、电子学、人机工程学和机械工程学等多个研究领域。因此，脑机接口的实际应用需要各领域研究者的共同努力。在这里，我们强调了两个需要BCI社区更多关注的巨大挑战。(1) 目前佩戴BCI的方式减少了其应用范围。到目前为止，几乎所有基于EEG的BCI系统都由电极、放大器和一些附件（如帽）组成。因此，这种系统的形状和佩戴方式直接决定了BCI的潜在应用场景。为了获得高质量的EEG，大多数研究都是使用高精度的多通道EEG仪器进行的，但是这些仪器太笨重而无法佩戴。因此，这些仪器只能用于科学研究和医疗应用。为了解决这个问题，便携式EEG产品已经开发出更小更轻，并且可以安装在头部上[8]。然而，便携式EEG仪器仍然需要帽或类似物来容纳电极。对于某些产品，头带用于固定电极，使其更紧凑，更易于佩戴。即便如此，仍然很难说服正常的健康人在日常生活中佩戴不舒适且丑陋的EEG帽或头带，因为当前的BCI系统具有有限的容量并且不能为健康人提供改善他们的生活的重要功能。实际上，在大多数情况下，https://doi.org/10.1016/j.eng.2021.09.0112095-8099/©2021 THE COMEORS.由爱思唯尔有限公司代表中国工程院和高等教育出版社有限公司出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程杂志首页：www.elsevier.com/locate/engM. Xu，F.他，T- P. Jung等人工程7（2021）17101711BCI提供的好处对于我们履行职责来说是微不足道的，甚至是不清楚的。因此，与希望使用BCI来替换、修复、增强、补充或改善大脑正常输出的有动机的患者相比，佩戴EEG帽/头带或BCI对于健康个体来说因此，增加BCI的可访问性是将最直接的人机通信形式(2) BCI中不自然的脑机（BC）交互阻碍了BCI的有用性。在过去的50年里，BCI社区将其大部分精力投入到增加大脑和计算机之间的ITR上，而忽视了它们之间交互的用户友好性。因此，脑机接口范式严重不发达，目前的脑机接口研究几乎可以说是基于大约30年前发明的范式，如运动想象[9]、P300-speller[10]和稳态视觉诱发电位（SSVEP）[4，5，11]。这些传统的BCI范例已经通过将信息从大脑传输到计算机而成功地得到了证明。然而，它们对于大脑来说是不自然的，因此需要比传统人机界面更多的认知资源来执行动作。例如，SSVEP-BCI是目前在ITR方面最有效的BCI系统。它可以在大约1秒内产生一个命令[4，5]。然而，为了获得高质量的SSVEP，用于编码BCI命令的闪烁器必须足够大和强烈，这将占用相对大部分的视觉资源。而且，这种刺激性的视觉刺激不仅与用户的主观意图无关，甚至会扰乱用户，使他们感到不舒服。因此，尽管该BCI系统在某些场景下可以很好地工作，但其不自然的交互方式对于用户来说是不可接受的，这降低了其在实践中的有用性。2. 未来研究方向必须立即采取行动解决这两个紧迫的挑战，我们认为这是现阶段实际应用BCI的主要障碍由于两者都是复杂的问题，不可能在单一学科内解决，因此需要协同工作，以收集具有不同专业知识的研究人员的智慧在这里，我们总结了几个重要的研究课题，有望克服这些挑战。我们希望这些主题将在BCI社区引起有价值的讨论和(1) 用于评估BC互动的新指标。在以前的研究中，BCI性能通常通过分类准确性和ITR来评估然而，这两个指标都只关注于评估BCI的信息传输;它们不适合评估真实复杂人机交互场景中BC交互的效率因此，从实践的角度来看，应该提出新的指标来衡量BCI系统的整体性能，例如脑手比（BHR）[13]。BHR是通过将使用BCI实现的性能分数除以使用手实现的性能分数来计算的，对于同一个人的相同任务。(2) 脑机接口硬件的创新使其更加用户友好。如上所述，目前的BCI硬件对于大多数健康人来说是不可接受的。因此，迫切需要在EEG电极、电路、组装方式、安装机制和佩戴方法方面进行创新，以使BCI硬件更加紧凑、舒适和易于使用。例如是一种可以隐藏在头发下面的小型脑电图记录装置将比目前的一些型号更受欢迎。(3) 低认知负荷的BCI范例。传统的脑机接口模式往往耗费用户许多认知资源，使得脑机接口交互不自然和“呆板”。因此，我们强烈建议研究人员从传统的BCI范式转移到开发新的BCI范式，可以显着降低用户的认知负荷。(4) 脑电机制和特征指导的脑机接口算法BCI算法是解码大脑意图的关键环节。在图像和语音识别领域，要识别的对象可以由人清楚地识别。因此，研究人员可以使用他们的经验和推理来指导特征的提取和分类器的构建然而，原始的脑电图信号对人类来说是相当难以理解的。因此，如果我们不知道EEG如何展开或它包含什么特征因此，对EEG机制的透彻理解将极大地帮助和指导BCI算法的设计[7]-尽管这种理解在大多数以前的研究中被忽视此外，不同个体之间以及单个个体内随时间推移的普遍且难以捉摸的EEG变化性限制了BCI中使用的特定大脑反应的可重复性，从而降低了大脑解码算法的可推广性[14高级BCI算法需要减轻受试者内和受试者间的变异性，以便创建鲁棒的BCI。了解这种EEG变异性背后的神经机制是一种很有前途的方法，将有助于解决这个问题。综上所述，脑机接口的发展已经进入了研究脑机接口交互作用的阶段。因此，所有关于大脑与计算机之间的自然交互的问题--包括但不限于上述四个关键问题--都应在未来得到深入研究。致谢我们感谢国家重点研发计划（2017YFB1300300）、国家自然科学基金（62122059、81925020、61976152、81630051）和中国科协青年科学精英资助计划（2018QNRC001）的资助。引用[1] 维达尔JJ。直接的脑机通讯。Annu Rev BiophysBioeng 1973;2（1）：157-80.[2] WolpawJR ， Millán JDR ， Ramsey NF. 脑机 接 口 ： 定 义 与 原 理 。 Handb ClinNeurol2020;168：15-23.[3] 潘克尔RC，Puthusserypady S，Sun Y. 基于SSVEP的控制状态检测的异步P300BCI。 IEEE Trans Biomed Eng 2011;58（6）：1781-8.[4] 陈翔，王毅，中西明，高翔，郑泰平，高世。高速拼写与非侵入性脑机接口。ProcNatl Acad Sci USA 2015;112（44）：E6058-67.[5] 姜军，尹娥，王春，徐明，明东.将动态停止策略并入基于SSVEP的高速BCI中。JNeural Eng 2018;15（4）：046025.[6] 徐明，韩建，王永，郑泰和，明东. 使用并发P300和SSVEP功能实现高速混合脑机接口的100多个命令代码。IEEE Trans Biomed Eng 2020;67（11）：3073-82。[7] 徐明，肖X，王Y，齐宏，郑泰普，明东. 基于微小视觉刺激诱发的微事件相关电位的脑机接口。IEEE Trans Biomed Eng2018;65（5）：1166-75。[8] Siddharth，Patel AN，Jung TP，Sejnowski TJ.面向现实世界应用的可穿戴多模态生物传感系统。IEEE Trans Biomed Eng2019;66（4）：1137-47。[9] 王凯，徐明，王永，张松，陈丽，明东.增强脑机接口运动前EEG模式的解码。JNeural Eng 2020;17（1）：016033.M. Xu，F.他，T- P. Jung等人工程7（2021）17101712[10] 肖X，徐明，金军，王勇，郑泰波，明东.用于ERP成分的单次试验分类的判别性典型模式匹配。IEEE Trans BiomedEng 2020;67（8）：2266-75。[11] 徐明，齐宏，万斌，尹涛，刘忠，明东.结合P300电位和SSVEP阻断特征的混合BCI拼写器范例。J Neural Eng2013;10（2）：026001.[12] 脑机接口神经技术小组。标准路线图：脑机接口的神经技术。次报告.纽约：IEEE;2020年2月报告编号：IC17-007[13] Mei J ， Xu M ， Wang L ， Ke Y ， Wang Y ， Jung TP ， et al. Using SSVEP-BCItocontinuous control a Quadcopter with 4-DOF motions. 2020年第42届IEEE医学工程国际年会论文集&生物学会（EMBC）; 6月20日至24日;蒙特利尔，QC，加拿大。纽约：IEEE;2020年。[14] 徐丽，徐明，柯艳，安翔，刘世，明东. 深度学习EEG解码中的跨数据集可变性问题。2020 年《前沿神经科学》;14：103。[15] 蒋国俊，魏CS，Nakanishi M，Jung TP.跨学科迁移学习提高了脑机接口的现实应用的实用性。在：2019年第9届国际IEEE/EMBS神经工程会议（NER）的论文集;2019年3月20日New York：IEEE; 2019.[16] Wei CS，Lin YP，Wang YT，Lin CT，Jung TP.一种用于在基于EEG的困倦检测中消除对象间和对象内变化的对象转移框架。神经影像2018;174：407-19。