脑机接口导航的虚拟现实与真实环境进展报告

引文：胡浩辰，刘悦，岳康，王永天。使用Brain计算机接口在虚拟和真实环境中导航：进展报告。虚拟现实智能硬件，2022，4（2）：89-114DOI：10.1016/j.vrih.2021.10.002虚拟现实智能硬件2022年12月4日第2期·回顾·使用脑机接口在虚拟和真实环境中导航：进展报告郝车宁胡1，于娥李IU1，2*，康玉娥1，永田万G1，21. 北京理工大学光学与光子学院混合现实与先进显示北京工程研究中心，北京1000812. 北京电影学院未来视觉娱乐先进创新中心，北京100088*通讯作者，liuyue@bit.edu.cn投稿时间：2021年8月23日修订日期：2021年9月29日接受日期：2021年10月8日广东省重点领域研究发展计划（2019B010149001）、国家自然科学基金（61960206007）、111项目（B18005）资助摘要脑机接口（BCI）有助于绕过周围神经系统，直接与周围设备进行通信。基于脑机接口的导航技术已经从虚拟环境中探索原型范式发展到在真实环境中以电动轮椅或移动机器人的形式准确完成操作者的运动意图。本文总结了过去20年中在真实和虚拟环境中使用的BCI导航应用。横向比较应用于脑机接口的各种范式及其独特的信号处理方法。由于控制方式从同步向异步的转变，虚拟环境中导航应用的发展趋势也进行了评述。以高层指令和底层指令的对比为主线，介绍了BCI导航在现实环境中的两大应用：移动机器人和无人机。最后，BCI导航的实验室外的场景的应用程序;研究的挑战，包括人为因素在导航应用程序的交互设计;和混合BCI的BCI导航的可行性进行了详细讨论。脑-机接口;虚拟现实;人机接口;导航;运动想象;稳态视觉诱发电位1引言脑-机接口（BCI）是一种新兴技术，它可以直接将人的意图转化为控制指令，而不需要周围神经系统的参与，从而通过提供患者因缺乏运动功能而无法使用的交互工具，有效地改善患者的生活。患有诸如肌萎缩性侧索硬化症（ALS）、脑瘫、肌肉萎缩性侧索硬化症等疾病的患者。2096-5796/©版权所有2022北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.com虚拟现实智能硬件2022年12月4日第2期营养不良、脑干中风和多发性硬化症不能使用标准设施来驱动辅助车辆（例如轮椅）。BCI允许这些患者以有效和自主的方式与辅助设备进行交互。从虚拟环境（VE）中的原理原型的研究开始，不同的BCI范例，以帮助这些患者在不同程度的自动化系统的帮助下恢复自由移动的能力进行了研究。这些基于BCI的导航应用程序结合了多种BCI范例和分层命令系统，具有独特的功能，并适用于基于所使用的BCI范例的特性的独特场景。有两种类型的BCI：侵入性（EcoG，LFP）和非侵入性BCI（EEG，MEG ，fNIRS，fMRI，PET）。来自临床手术的可能感染风险意味着侵入性BCI，如皮质电图（EcoG）和局部场电位（LFP），对于实验室外控制执行器的信号采集是不可行的。同时，受限于对驱动器嵌入式设备相对低成本和快速处理速度的要求，脑磁图（MEG）和功能磁共振成像（fMRI）不适合控制电动轮椅或机器人，以及功能近红外光谱（fNIRS）的低时间分辨率阻碍了机器人执行符合任务条件的动作。因此，我们在本进展报告中仅讨论用于虚拟和真实环境中导航的脑电图-BCI（EEG- BCI）。我们从Web of Science数据库中收集了100多篇文章，使用关键词“脑机接口”，“BCI”或“BMI”;“虚拟现实”或“VR”和“导航”。“这次审查的贡献是双重的。首先，我们对BCI导航系统的信号采集设备、特征提取和分类方法以及控制模式进行了深入的回顾，为BCI导航系统设计者提供了全面的材料。其次，我们讨论了BCI导航系统的当前趋势和挑战，即混合BCI的使用和影响系统配置的人为因素，从而为更智能和以人为中心的脑控执行器铺平了道路。本文的其余部分组织如下：第2节简要介绍了范式，采集设备，特征提取和分类方法，用户界面和控制模式的BCI系统用于导航应用。第三节介绍了BCI导航的三个典型应用：虚拟环境导航、脑驱动机器人导航和无人机导航。第四部分分析了现有脑机接口导航系统的发展趋势，总结了存在的问题。最后，第5节总结了本研究。2导航脑机接口系统图1示出了基于BCI的导航应用的框图。信号处理单元接收由采集装置采集的用户脑信号并输出控制信号。控制单元中的执行器接收控制信号并在自主导航系统的帮助下创建命令，然后自主导航系统通过反馈单元将命令返回到用户界面以形成闭环控制。该范例指定了与BCI交互时使用的认知任务。本进展报告将简要回顾采集设备，实验协议，和信号处理方法，用于导航应用中使用的每个范例。2.1脑信号采集与处理2.1.1采集设备由于脑电信号的空间分辨率很差，必须使用导电膏，并采用专业级放大器来保证信号质量。同时，一些应用程序使用商业-90Haochen HU et al：Navigation in virtual and real environment using brain computer interface：a progressreport（胡浩辰等：使用脑机接口在虚拟和现实环境中导航：进展报告）图1脑控导航设备的框图，由四个组件定义，即：例如，采集装置、信号处理单元、控制单元和用户接口。级脑电采集设备，如Emotive EPOC。与湿电极相比，干电极的信噪比（SNR）由于其高输入阻抗而相对较低[1]。这种设备的成本较低;然而，它们仅适用于不需要高信号质量和简单分类算法的算法，例如稳态视觉诱发电位（SSVEP）。根据参考文档[2]和[3]，SSVEP BCI系统只需要一个或两个通道的EEG信号进行特征提取和意图解码（表1）。采集设备表1BCI导航应用典型产品湿电极脑电图帽干电极脑电图仪BioSemi EEG cap[4]、gTec[5 - 14]、Biopac MP150[15]、ADInstrument[16]、Compumedic[17 - 19]、actiCHamp[20，21]、BIOPAC[22]、g.MOBIlab+[23][第24-27话]2.1.2特征提取和分类方法基于感觉运动节律（SMR）的范例通常采用频域中的频带能量作为区分特征[4，16]。感觉运动特征的提取主要由带通滤波和空间滤波两部分组成，可以有效地搜索到替代包含足够判别信息的传感器域数据的特征空间。典型的空间滤波方法包括基于神经学的知识驱动方法[28，29]和数据驱动方法[30]。为了提高特征的分辨率，已经开发了特征选择方法[4]。共同空间模式是运动想象范式中使用的特征提取算法，其可以在空间滤波之后最大化两种类型的信号的特征之间的方差差。它也被广泛用于导航应用[6，31 - 33]。基于P300的范例通常直接使用原始信号进行特征提取，因为P300信号的特征通常存在于时域中。类似于基于SMR的范例，基于SSVEP的范例也使用频域特征。常用的特征提取算法有91虚拟现实智能硬件2022年12月4日第2期典型相关分析（CCA）[18]，并且选择与当前信号具有最大相关系数的参考信号频率作为分类输出。简单的线性分类器包括线性判别分析（LDA）[6，21，34]和支持向量机（SVM）[15，31，35]，而复杂的非线性分类器包括神经网络[16]。P300的特征主要表现在时域上。SSVEP的特征主要存在于频域，分类算法通过计算脑电信号与特定频段的相关系数来区分不同类别的信号。早期的应用程序通常使用简单的分类器。根据分类器的决策边界，分类器可以分为线性分类器和非线性分类器。前者包括LDA和SVM，而后者包括几种类型，包括神经网络，隐马尔可夫模型和贝叶斯二次分类器。EEG分类器的主要挑战是对多个主题进行概括。在过去的十年中，已经开发了许多算法来解决学科间变异问题。迁移学习通过将目标域和源域的特征转换到不变的特征空间来解决协方差移位问题。正则化方法限制了分类器的复杂性，以避免仅最小化经验风险而导致的过拟合。自适应分类器[36]使用来自目标受试者的数据实时更新分类器参数，同时解决会话间和受试者间变化的问题，使其明显优于静态分类器[37]。同时，端到端矩阵分类器[38]和深度学习方法[39 - 41]也被广泛使用。矩阵分类器利用黎曼几何理论对信号的协方差矩阵流进行分类，在多任务上达到了最先进的性能。基于深度学习的卷积神经网络也用于各种范式，尽管由于缺乏足够的数据，它们的性能仍然不是最佳的[37]。2.2BCI的范式2.2.1感觉运动节律特定身体部位的表象运动可以调制SMRs的幅值。基于这种现象的SMR范式使受试者能够以可以控制的速度输出几个预定义命令（通常是四个或更少）中的一个。这种模式通常分为训练和在线阶段。在训练阶段，受试者被要求执行一个基于视觉或声音线索的运动想象任务一段时间，通常只涉及某个部分，没有具体的动作。使用先前收集的受试者的训练数据训练解码器。然后，在在线阶段中使用解码器来确定对象当前正在执行的运动想象任务的类型，给定EEG信号的片段。使用基于SMR的BCI来控制虚拟角色或物理机器的移动有两个优点。首先，互动是直观的。人类在真实环境中的运动具有自主控制的特点，而刺激诱发反应控制范式由于其时间锁定的特性，无法实现真正的自主控制。这导致用户在需要保持运动控制时频繁响应命令。在需要快速反应的刺激诱发范例中也缺乏相应的实时控制机制。具有鲁棒信号处理方法的基于SMR的范例可以补偿这些缺点。同时，由于人体在环境中的运动总是涉及到肢体的运动，所以使用假想运动也是直观的，便于用户记忆。92Haochen HU et al ： Navigation in virtual and real environment using brain computer interface ： aprogressreport第二个涉及SMR范式的导航应用。虽然P300或SSVEP范例通常具有更高的信号解码精度[42，43]，但它们通常需要用户在输入指令的整个过程中盯着用户界面屏幕。这个过程容易导致视觉疲劳，并限制了用户在导航时执行多任务的能力。SMR范式的一个主要挑战是次优信号解码方法，这是由于无法控制尺寸。由于脑电信号的空间分辨率差、信噪比极低，即使是最先进的信号处理算法也只能输出不到5个控制信号，精度也不高。因为它是目前不可能获得一个更高的信噪比与非侵入性设备的信号，更复杂和强大的信号分析方法，应开发，以提高SMR信号分类的准确性。对于控制维度有限的问题，光标移动和选择的控制可以有效地扩展控制命令的数量，代价是引入更多不必要的中间步骤。不同的受试者会为不同的运动想象任务产生个性化的EEG特征，这导致了严重的受试者间变异性问题[42]。研究人员最近提出了各种方法来解决这个问题引起的协方差漂移现象。迁移学习[44]用于将受试者的特征约束到相同的不变特征平面（域泛化）。它还利用目标域的数据来提高用源域数据训练的分类器的性能（域自适应）。自适应分类器[45]通过在测试阶段使用目标受试者的数据重复更新分类器参数来解决训练和测试阶段之间的差异问题。2.2.2稳态视觉诱发电位SSVEP是由固定频率的视觉刺激引起的视觉诱发电位。它包含类似正弦的波形，其频率与视觉刺激的基频和谐波频率相同。通过识别该分量，可以从EEG信号解码用户当前观看的屏幕区域。用户界面通常包含多个闪烁模式块，每个闪烁模式块代表由实验方案预定义的不同选项。选项菜单可以与多个媒体演示文稿相结合，例如LCD屏幕，LED灯和HMD。图2显示了由闪烁刺激诱导的SSVEP的应用，与计算机屏幕无关。基于SSVEP的BCI的主要优点是与自发信号相比其相对较高的信息传输速率（ITR）[3]根据参考文档[1]，BCI的运动应用需要比图2[49]中使用的SSVEP用户界面，用于导航具有正面摄像机的移动机器人。93虚拟现实智能硬件2022年12月4日第2期神经假体应用。在BCI开发的初期，LCD甚至CRT屏幕被用于用户界面子单元。随后，LED闪烁[46]被证明在唤起大脑信号时具有比LCD和CRT更大的频率幅度，特别是在较低的频带中。参考文献[47]得出结论，基于SSVEP的BCI系统是BCI控制的轮椅系统的最实用和资源成本最低的方法，因为其对采集设备的低SNR和低通道数要求、易于实施的信号处理方法和高信息传输速率。SSVEP所面临的一个主要挑战是占据阻碍视野的刺激模式。最近，最小不对称视觉诱发电位的提出[48]缓解了这个问题。同时，采用更先进的信息编码技术，可以提高SSVEP的ITR。通过参考置于中心凹视觉外侧的微小刺激，结合空间码分多址方案编码命令输出，解决了遮挡视野的问题，通过提高精度和指令数，提高了整个系统的ITR。2.2.3 P300与SSVEP范式类似，P300范式也要求被试将视觉注意力集中在他们想要选择的选项的视觉表征上。自从在参考文献[50]中首次出现以来，P300范例已经广泛用于基于BCI的通信应用中，例如P300拼写器，因为它可以提供比基于SMR的范例更多的控制命令，并且不需要额外的训练。由于这种模式最初用于通信，基于P300的系统提供的命令数量足以用于使用高级命令的运动应用（第4.2.2节）。在基于P300的导航应用中，提供低级指令的范例允许用户使用特定选项来控制致动器的移动，并通过解码用户的视觉注意点来输出实时控制指令，如图3a所示。提供高级指令的范例通过实时视频或使用SLAM建立的三维地图向用户呈现空间信息，并向用户提供场景中可能被视为目的地的三维位置的选项。通过选择这些目标点，执行器在自主导航系统的帮助下移动到目标区域，如图3b所示。基于事件相关电位的控制信号的一个常见问题是，它们要求受试者将他们的视觉注意力的一部分分配给用户界面的视觉刺激，这导致令人疲惫的较重的工作量。硬件存在另一个缺点：更多的控制命令对应于更短的刺激频率间隔。在具体的硬件实现中，用户界面的视觉反馈的实际刷新率可能不稳定，这对信号解码算法的准确性构成潜在风险。2.3导航控制模式根据输入数据的处理方式，用于导航的BCI系统可以分为同步或异步[1]。2.3.1同步控制早期基于BCI的导航应用使用同步方法。在同步控制94Haochen HU et al ： Navigation in virtual and real environment using brain computer interface ： aprogressreport图3基于SSVEP的导航系统的两种不同用户界面。(a)基于SSVEP的应用程序的低级命令面板[51];（b）P300导航系统中的高级命令用户界面[52]。模式下，用户根据系统的提示在固定时间内执行认知任务，例如想象身体运动或查看他们想要选择的选项的位置。因为诱导控制信号的视觉刺激不能由用户以自定步调的方式控制，所以基于P300和SSVEP范例的BCI通常被认为是同步的。在图4c所示的应用中，用户所在的空间的地图被简化并呈现给用户。用户选择平面中的位置以输出他/她的移动意图，并控制化身移动到目标区域。这是通过将平面中特定位置的元素作为P300范式中的视觉选项，并使它们以一定的顺序闪烁来完成的。这种控制方法具有运动直接、快速的优点;然而，它适用于已知的环境，并且修改程度不高。图4d所示的应用程序使用P300界面，使用户能够使用低级指令灵活控制虚拟角色的每个动作;因此，它适用于未知场景。SMR范例通常被认为是异步的。然而，SMR范式的早期部分遵循一定的时间顺序;即，用户只能在指定的时间范围内使用EEG生成控制信号，并且时间间隔由实验者指定。这样的应用包括图4a中所示的应用。参与者在沉浸式CAVE系统中使用一种运动想象来控制虚拟角色的视角的向前和向后方面。为了增加控制的维度，图4 b所示的应用允许用户使用EEG信号来控制虚拟旋转指针并选择多个移动指令;因此，SMR BCI可以在次优信号分类精度的限制下有效使用。2.3.2异步控制同步控制模式允许用户仅在特定情况下输出控制命令，在某些复杂情况下可能无法提供有效的响应速度的时间间隔95虚拟现实智能硬件2022年12月4日第2期图4四种经典的同步导航系统(a)用户使用运动想象在VE中向前移动[13];（b）虚拟指针使用一类运动想象从四个命令中选择[53];（c）使用P300给出目标目的地的高级命令[54];（d）使用P300给出化身移动的低级命令[55]。随后的命令受到分类算法所需的EEG信号长度的限制。为了解决这个问题，提出了异步控制，其中EEG信号被连续地实时解码，以使用户能够以自定步调的方式控制导航。为了实现异步控制，必须实现非控制（NC）/意图控制（IC）状态的检测。在NC状态下，直到系统检测到用户的IC状态，用户的EEG信号将不用于输出估计的用户的当前精神状态。SMR范式更适合于异步模式，因为它的内源性起源。如前所述，基于SMR范例的BCI的信号分类准确性并不令人满意，特别是在多个分类的情况下。如果将解析IC/NC状态的任务强制添加到分类器，则分类器的精度可能降低。为了解决这个问题，通常采用分层结构。如图5a所示，一类运动想象分类控制信号与致动器的提示动作相结合，以实现4类控制信号的控制维度。图5b所示的控制方法使用三个假想运动的分类器的联合输出作为IC状态中不同精神状态的输入，并判断系统当前是否处于IC状态。图5c和图5d所示的方法通过一类运动想象信号的连续输出值来控制虚拟指针的平移和旋转，以分别切换NC/IC状态和不同的输出命令。目前，运动想象是最广泛使用的异步控制方法，因为它的内源性来源。次优的分类精度和受试者间的变异性是成功实施基于运动想象的异步控制的主要障碍。为了解决这些问题，已经提出了各种迁移学习方法[56，57]。同时，96Haochen HU et al：Navigation in virtual and real environment using brain computer interface：aprogressreport图5基于SMR的BCI导航系统的四种不同控制策略。(a)参考文献[1]中使用的控制策略[19]将一个运动想象任务的输出扩展为四个命令;（b）参考文献[58]的控制图，使用3类运动想象实现异步控制;（c，d）虚拟选择指针，用于在NC/IC模式[21，59]之间切换。97虚拟现实智能硬件2022年12月4日第2期异步控制方法也使用更复杂的范例进行改进，例如顺序运动想象[32]。2.4用户界面脑控导航系统的用户界面设计取决于具体的应用需求。例如，在设计脑驱动电动轮椅等应用时，必须确保驾驶员的安全。为了实现这一目标，提供高级命令的BCI系统必须将周围环境信息集成到用户界面中，或者在提供给用户的运动选项中隐含地体现环境感知。视觉反馈可以通过实时视频流或重建的3D环境图像提供给用户。在图6a所示的应用中，环境信息被重构并与提供给用户的移动选项组合，并在用户视角的移动之后实时更新。在图6b所示的应用中，可以到达的物理位置实时地在视频流上空间注册。用户通过注视视频中对应的蓝点，将电动轮椅导航到目标位置。图6基于P300的BCI导航系统的不同用户界面。(a)P300重建3D环境模型的用户界面[5];（b）P300实时视频流的用户界面[5]。3典型应用基于BCI的导航首先应用于虚拟企业。早期的应用受到设备实时处理能力的限制，只能采用简单的信号处理方法;因此，只能输出少数几种控制信号类型。用户通过BCI控制化身的移动，并通过VE的变化接收反馈。随着BCI技术的发展，BCI系统的ITR不断提高，使用BCI控制现实世界中的设备已经成为可能这98Haochen HU et al ： Navigation in virtual and real environment using brain computer interface ： aprogressreport第一章将首先介绍虚拟环境中的BCI导航，然后回顾BCI导航在现实世界中的两个主要应用：脑驱动机器人导航和无人机导航。3.1虚拟环境中的导航基于VE的反馈为用户提供了更真实的视觉、听觉和触觉信息，从而加速了BCI使用的学习过程。Pfurtscheller等人使用运动想象BCI来控制虚拟角色在虚拟公寓中导航[13]。实验使用CAVE系统来构建虚拟现实（VR）环境。在进入VR环境之前，用户根据标准Graz-BCI范例接受额外的训练，并要求他们在一维轨迹上走到路线的终点。此外，实验发现，与PC刺激呈现相比，VE并没有显著提高用户的表现。作者将其归因于过度的视觉刺激造成的分心。Robert等人设计了一个基于线索的BCI范例。10名初始BCI用户在3次培训后可以在虚拟公寓中自由移动[60]。当受试者到达任何节点时，他们执行适当的运动想象任务，以确定将遵循的路径。与参考文献[13]类似，Friedman等人在CAVE VE[61]中为受试者控制的化身的移动添加了一个维度。参与者通过想象左手和右手的动作在虚拟酒吧间旋转。在虚拟的街道上，他们可以通过想象脚和手的运动来控制来回的运动。实验结束后对问卷的分析表明，不同被试对在场的感受不一致，而不同任务的在场差异不显著。更可靠的解码算法和新交互的出现可以帮助提高现有BCI系统的能力。Vourvopoulos等人提出了一种使用多模态交互方法的BCI-VR系统[10]。参与者被要求驾驶一艘小船在VE中穿过湖上的一系列指定位置。每达到一个目标，受试者就会得到一定的分数，目标是获得尽可能多的分数。参与者使用左手和右手的运动想象来控制方向的船体在一个自我节奏的方式。在训练阶段，视觉反馈和振动触觉反馈被用来指导用户想象的动作。与真实环境中的BCI导航相比，VE可以防止导航应用程序做出危及用户安全的行为，因为受试者不熟悉BCI操作或系统错误分类（表2）。在VE中使用运动想象BCI可以促进用户运动相关脑区的兴奋[62]，以促进运动康复。潜在的机制是运动想象和运动执行具有相似的神经表征区域和动力机制[63]。3.2脑驱动机器人辅助机器人可以帮助运动技能受损的患者完成日常生活中的任务，从而为残疾人社区提供便利。然而，对于像ALS病患者这样运动功能受损较严重的患者，为残疾人设计的交互方式，如吸吸系统或简单开关，都无法满足他们的交互需求，更不用说普通的键盘和鼠标输入了。相反地，尽管有自动导航系统的辅助，但是由于这些系统的肌肉功能的丧失，这些系统的用户界面仍然需要用户提供超出用户能力的高级控制指令。BCI控制的机器人可以帮助肌肉99虚拟现实智能硬件2022年12月4日第2期表2虚拟环境[64个][第六十五章][14个][第六十六话][12个][第六十一届][60个][第十一届][67个][68个][58个][69]第六十九届[70个国家][五十三]ParadigmSMRP300SMRSMRSMRSMRSMRSMRSMRSMRSMR预处理0.1- 100Hz0.5-30Hz8- 12赫兹0.5-30Hz0.5-30Hz8-30Hz0.1-100Hz0.5-30Hz8-30Hz6-36Hz特征提取频带功率对数频带功率对数频带功率对数频带功率波段功率CSP带特征选择的频带功率区分敏感学习矢量量化频带功率分类器阈值LDA阈值LDALDALDA阈值LDASVMLDALDA反馈化身移动改变物品状态化身旋转头像旋转主题前进、停止或后退主题前进、停止或后退主体佩戴快门眼镜的受试者向前、停止或向后Avator运动模式异步同步异步同步异步（分类器阈值）异步（分级器阈值）异步异步同步异步同步其他使用SMR的作品其他使用SSVEP的作品其他使用P300[2019 - 04 - 19 00：00][2019 - 04 - 19 00：[73]、[74]、[75]、[76][18][23]，[35]，[77]，（高频）[78]，[79]，[80]，[81]，[82]，[83]，[84]、[85]、[86]、[87]、[88][5][2019 - 05 - 19 00：00][操作辅助设备并使电子设备能够日常使用的功能，以及提高他们的生活质量。脑控移动机器人可以分为两类：一类是类似于低级指令范式的，通过脑电信号直接控制机器人的每一个运动指令。另一种是结合用户意图输出和智能导航系统功能的共享控件。前者的主要优点是价格低，技术复杂性低;然而，它们也有低级指挥控制的所有缺点，如上所述。虽然共享控制方式成本高、设备复杂，但通过使用高度智能的规划算法，可以有效防止用户疲劳，保证用户的安全。共享控制的一个例子是双层控制方法，它使用主体的大脑信号向虚拟控制层输出控制意图[92]，虚拟控制层确定主体的命令是否符合根据当前环境动态定义的安全要求（表3）。在增强对环境的相对适应性和减少用户的心理负荷之间存在折衷。一方面，具有低级控制的导航系统可以比具有高级控制的导航系统为用户提供更多的移动自由度。高自由度的导航系统使用户能够根据环境做出合理的移动命令，避免了刚性控制范式无法穿越复杂地形的困境。另一方面，用户难以保持提供信号的精神状态，所述信号可以100Haochen HU et al：Navigation in virtual and real environment using brain computer interface：a progressreport（胡浩辰等：使用脑机接口在虚拟和现实环境中导航：进展报告）表3不同的脑控移动机器人导航应用范式预处理特征提取分类器导航模式UI执行器特性[第72话]α活性原始信号原始信号LinearClassifier半自动预定义目标图像图像[九三]节律活动半自动预定义目标图像Sony AI‐BO，环境控制适应不同级别的适应性，根据设置而定[33个][五十二]SMRP300拉普拉斯滤波器0.5-30Hz带通频带功率r2度量意图活动分类器（LDA）+运动方向分类器（QDA）逐步线性判别分析手动控制半自动基于动态视频人形机器人轮式机器人机器人导航和摄像头探索[19个]SMR滤波器8- 16赫兹带通CSP分析（SWLDA）LDA手动控制GUI人形机器人只有一个电机图像[九十四]高频SSVEP过滤1-100Hz带通滤波频带功率最大特征带碰撞检测的手动控制SSVEP闪烁器机 器人Pio‐neer3-DX带CAN‐[23日]SSVEP8 - 19赫兹带-典型相关分析LDA手动控制SSVEP闪烁器在VC-C4轮式机器人[95个国家]SSVEP通过5-30Hz带通（共同国家评析）多变量同步最大特征半自动SSVEP闪烁器轮式机器人使用vSLAM来产生低级别的COM[96个国家]SSVEP过滤0.5-30Hz带通滤波器指数（MSI）CCA最大特征半自动SSVEP闪烁器轮式机器人曼兹与一个人的合作，在低级别之间进行[79个]SSVEP5- 12赫兹带通频带功率模糊特征阈值手动控制SSVEP闪烁器轮式机器人控制和高级控制单通道[9]第一章P300过滤0.5-30Hz原始信号，逐步线性离散高级别动态视频轮式3种模式带通滤波通道选择犯罪分析命令基于EO的GUI机器人在相当长的一段时间内，分类器都不能有效地识别出轮椅，并且根据轮椅与环境之间的相互作用迅速调整精神状态超出了一些用户的能力（表4）。这很容易导致用户的精神负荷过高，导致疲劳，影响任务表现。参考文献[5]结合了两种控制模式。用户可以通过P300界面（图7）在高级和低级命令之间切换，这为平衡问题提供了一个有价值的解决方案。3.3无人驾驶航空器无人机可以执行陆地机器人无法完成的任务，如在大型场景中快速移动，并克服地面障碍。这些功能可以为运动功能受损的患者提供扩展的可能性，并可用于健康人的娱乐。然而，无人机的不稳定性给无人机鲁棒控制算法的设计带来了很大的困难。101--------虚拟现实智能硬件2022年12月4日第2期表4不同BCI控制的轮椅应用范式预处理特征提取分类器导航模式模式反馈特性[3]第一章SMR0.1Hz高通功率谱高斯低层COM异步视觉观察-虚拟环境-过滤密度+canoni-分类器碰撞指令tion铁路列车单平均参考变量分析检测提前预订[五]《中国日报》[第十五条]P300P300埃伦斯0.5 30Hz带通滤波1 35Hz带通滤波伊西斯带通道选择的原始信号原始信号逐步线性判别分析SVM高级别指挥和低级别指挥低级命令同步同步3D 再 现 虚 拟环境目视观察COMM的层次结构[16个][6]美国SMRSMR8 40Hz带通滤波8 32Hz带通滤波和公共平均参考频带功率CSP动态Elman神经网络LDA低级命令低级命令异步视觉观察tion异步视觉观察tion[七]《中国日报》P300在低级别命令和高级别命令之间的切换仅需要用户输入（如有必要）同步目视观察[17个]心理非运动想象0.1 40Hz带通滤波功率谱密度人工神经网络低级命令异步视觉观察tion[18个国家][34个]SSVEPP3006 30Hz带通滤波0.1-20HzCCA带段选择的原始信号最大值SVM在低级别命令和高级别命令之间的切换仅需要用户输入（如有必要）高级命令同步同步目视观察2d界面[20个]SMR5- 17 Hz频段-频带功率LDA低层COM异步视觉观察-虚拟训练-[第七十七章][35]第三十五届SSVEPSSVEP通滤波共同平均参考，0.1 100 Hz带通滤波8 30Hz带通滤波谱F检验功率谱密度基于规则的分类器SVMmand低级命令带碰撞检测的低级命令同步同步tion目视观察目视观察环境先行[22日][三十一]P300顺序SMR0.5 25Hz带通滤波---812Hz带通滤波原始信号CSP模板匹配SVM在低级命令和高级命令之间切换带运动开关的异步视觉观察tion异步视觉观察-运动开关tion[八]《中国日报》[八十九]P300P3000.1 30Hz带通滤波原始信号LDA-LASSO之间切换低级命令和高级命令仅同步[21日]顺序9- 15 Hz频段-频带功率LDA低层COM异步视觉观察-在虚拟环境中训练-SMR通滤波mandtion提前了解环境[32个]顺序4- 30 Hz频段-CSPLDA低层COM异步视觉观察-虚拟环境-102SMR通滤波mandtion提前进行远程培训Haochen HU et al ： Navigation in virtual and real environment using brain computer interface ： aprogressreport图7参考文献[5]中使用的控制策略，左转和右转标志表示低级命令，而蓝色点表示用户从构建的地图中选择的地方。无人机根据其运动动力学可分为三种类型：旋转艇、飞艇和固定翼艇[97]。旋转飞行器因其易于操控和经济的特点，在室内应用中得到广泛应用，使其成为脑控无人机原型机开发的首选。无人机的控制系统包括手动和自动控制的混合。由于脑机接口的信息传输速率低，以及无人机的不稳定性，目前主流的脑控无人机多采用半自主控制，即自主系统与人工指令共享控制。无人机的自主姿态控制保证了稳定的运动输出。因此，对脑控无人机的研究主要集中在将高级脑控命令转换为低级运动命令的时间的优化上，以平衡低BCI ITR导致的命令和操作节奏的鲁棒性与无人机控制的高速要求之间的权衡。一种可能的解决方案是通过训练提高BCI分类系统的准确性，从而增加命令输入的ITR。大多数脑控无人机使用的范例是SMR[98 <$100]，这需要大量的校准工作来构建独立于主体的分类器。同时，控制维度的改善也有助于ITR的提高。在文献[101]中，受试者使用人体运动学来控制虚拟直升机的上下以及左右运动，在文献[102]中，虚拟直升机的二维运动扩展到三维。另一种方法是通过改进控制模式来提高无人机的自主控制程度，以降低对BCI ITR的需求。与直接控制无人机运动方向的控制策略（图8）相比，参考文献[98]允许受试者选择无人机下一时段的飞行轨迹，从而充分利用无人机的片上计算资源。有必要为BCI控制的无人机寻找更多符合市场需求的创新应用领域。与受信号质量差和次优算法限制的不稳定BCI控制相比，使用其他模态的无人机控制方法更易于学习，鲁棒性更强，更成熟。智能规划和控制算法的进步使得一些无人机系统不再依赖操作员手动提供运动指令。相比之下，使用大脑信号控制无人机的主要优势在于其巨大的潜力。未来，基于误差相关电位的信号处理算法可以帮助无人机控制系统根据用户的运动意图实时调整无人机的姿态和动作。层次化的用户认知模型可以将用户的高层语义指令解码为个体的低层103虚拟现实智能硬件2022年12月4日第2期图8无人机在虚拟环境中的不同控制模式[97]。无人机群的运动指令，使得操作者能够获得自主导航无人机群的宏观语义控制能力。相关应用可以帮助暂时或永久失去常规输入方法的人控制周围的设备，并进一步提高健康用户与电子设备交互的能力。4趋势和挑战从最初的应用类型，其中化身的一维运动由单个运动想象任务控制到使用更多控制指令的系统，其中通过智能算法实时检测用户的IC/NC状态，基于BCI的导航应用随着更鲁棒的信号分类方法和用户友好的训练协议的发展而变得越来越精细。4.1BCI导航在设计基于BCI的导航应用时，必须考虑人为因素。这影响了BCI系统的学习效率，从而间接影响了系统的信息传输速率。以脑控电动轮椅为例，控制人为因素，使用户在满足其期望的同时消耗最小的能量。可以考虑的因素包括座椅、踏板和扶手的设计[103]。然而，最重要的因素是轮椅运动控制模式的设计。在基于BCI的电动轮椅的设计中，目标用户遭受一定程度的创伤，容易出现精神疲劳。太长时间专注于产生符合脑电识别系统特性的控制命令，可能会增加用户的精神负担，从而降低脑控辅助设备的可用性。为了提高系统的人机工程学性能，有必要对脑控导航系统的硬件和软件进行优化设计。在硬件方面，能够提供高速数据传输的无线设备将有效扩展用户的活动空间，减少用户因精神上受到束缚而产生的疲劳感未来的软件发展趋势更多104Haochen HU et al ： Navigation in virtual and real environment using brain computer interface ： aprogressreport多样化。高级命令需要与先进的自主导航系统合作，为用户提供高效的交互模式和与低级命令控制相当的避障性能。自适应用户模型的开发将允许导航系统在复杂环境中以最少的人为指令在多个任务之间切换，从而减少用户的认知负荷。用户停止交互的意图的准确检测还可以通过每当用户感到筋疲力尽时将控制权限转移到自主导航系统来减少用户的精神工作负荷。关于导航应用，BCI的设计存在若干要求。在参考文献[104]中，虚拟导航应用程序的设计空间分为两个维度：速度控制和方向控制。控制的两个维度意味着对BCI设计的不同要求。在本综述的大多数应用中，用于速度控制的BCI不需要连续输入;但是，除非用户想要切换状态，否则它会保持特定的速度值。用于控制方向的BCI需要输出连续值并及时停止转向意图。前者更适合于面向目标的BCI，而后者则适合于过程控制类型的BCI实现。在实际环境中，为轮椅设计的导航应用程序应考虑用户的安全。由于脑机接口的不稳定特性[37]，运动想象的识别结果需要多次确认才能实现稳定控制。同时，应将客观检测和规避纳入共享控制框架，以进一步降低安全风险。4.2公元前2000年，我为一个同步的控制系统设计了一个“bra i n -s w it ch“信号基于系统输出所依赖的不同组合信号，混合BCI可以大致分为两类：通过混合多种BCI范式的分类结果产生最终系统输出的BCI和将BCI与其他生物信号（如EMG或EOG）相结合的BCI。前者要求受试者调整自己的心理状态，同时产生多个控制信号。第二种控制模式的引入为导航以外的应用提供了可能性，或者为运动控制增加了新的维度。前者的代表包括控制额外的机器人手臂来完成任务指令或环境中的电气设施。后者中新增加的运