脑机接口导航的虚拟现实与真实环境进展报告

4 浏览量更新于2025-01-16 收藏 4.19MB PDF 举报

引文：

胡浩辰，刘悦，岳康，王永天。使用

Brain

计算机接口在虚拟和真实环境中导航：进展报告。虚拟现实智能硬

件，

2022

，

（

）：

89-114

DOI

：

10.1016/j.vrih.2021.10.002

虚拟现实智能硬件

2022

年

月

日第

期

·回顾·

使用脑机接口在虚拟和真实环境中导航：进展报告

郝车宁胡

，于娥李

，

，康玉娥

，永田万

，

北京理工大学光学与光子学院混合现实与先进显示北京工程研究中心，北京

100081

北京电影学院未来视觉娱乐先进创新中心，北京

100088

*通讯作者，

liuyue@bit.edu.cn

投稿时间：

2021

年

月

日

修订日期：

2021

年

月

日

接受日期：

2021

年

月

日

广东省重点领域研究发展计划（2019B010149001）、国家自然科学基金（61960206007）、111项目（B18005）资助

摘要

脑机接口（

BCI

）有助于绕过周围神经系统，直接与周围设备进行通信。基于脑机接口的导航

技术已经从虚拟环境中探索原型范式发展到在真实环境中以电动轮椅或移动机器人的形式准确完成

操作者的运动意图。本文总结了过去

年中在真实和虚拟环境中使用的

BCI

导航应用。横向比较应

用于脑机接口的各种范式及其独特的信号处理方法。由于控制方式从同步向异步的转变，虚拟环境

中导航应用的发展趋势也进行了评述。以高层指令和底层指令的对比为主线，介绍了

BCI

导航在现

实环境中的两大应用：移动机器人和无人机。最后，

BCI

导航的实验室外的场景的应用程序

;

研究的

挑战，包括人为因素在导航应用程序的交互设计

;

和混合

BCI

的

BCI

导航的可行性进行了详细讨论。

脑

机接口

;

虚拟现实

;

人机接口

;

导航

;

运动想象

;

稳态视觉诱发电位

1引言

脑

机接口（

BCI

）是一种新兴技术，它可以直接将人的意图转化为控制指令，而不需要周围神经系

统的参与，从而通过提供患者因缺乏运动功能而无法使用的交互工具，有效地改善患者的生活。

患有诸如肌萎缩性侧索硬化症（

ALS

）、脑瘫、肌肉萎缩性侧索硬化症等疾病的患者。

2096-5796/©

2022

北京中科学报出版有限公司

Elsevier B. V.

代表

KeAi Communization Co. Ltd.

提供的出版服务。这是

CC BY-

NC-ND

许可证下的开放获取文章（

http

：

//creativecommons.org/licenses/by/4.0/

）。

www.vr-ih.com

虚拟现实智能硬件

2022

年

月

日第

期

营养不良、脑干中风和多发性硬化症不能使用标准设施来驱动辅助车辆（例如轮椅）。

BCI

允许这

些患者以有效和自主的方式与辅助设备进行交互。从虚拟环境（

）中的原理原型的研究开始，不

同的

BCI

范例，以帮助这些患者在不同程度的自动化系统的帮助下恢复自由移动的能力进行了研

究。这些基于

BCI

的导航应用程序结合了多种

BCI

范例和分层命令系统，具有独特的功能，并适用

于基于所使用的

BCI

范例的特性的独特场景。

有两种类型的

BCI

：侵入性（

EcoG

，

LFP

）和非侵入性

BCI

（

EEG

，

MEG

，

fNIRS

，

fMRI

，

PET

）。来自临床手术的可能感染风险意味着侵入性

BCI

，如皮质电图（

EcoG

）和局部场电位

（

LFP

），对于实验室外控制执行器的信号采集是不可行的。同时，受限于对驱动器嵌入式设备相

对低成本和快速处理速度的要求，脑磁图（

MEG

）和功能磁共振成像（

fMRI

）不适合控制电动轮

椅或机器人，以及功能近红外光谱（

fNIRS

）的低时间分辨率阻碍了机器人执行符合任务条件的动

作。因此，我们在本进展报告中仅讨论用于虚拟和真实环境中导航的脑电图

-BCI

（

EEG- BCI

）。

我们从

Web of Science

数据库中收集了

100

多篇文章，使用关键词

“

脑机接口

”

，

“BCI”

或

“BMI”;“

虚

拟现实

”

或

“VR”

和

“

导航

”

。

“

这次审查的贡献是双重的。首先，我们对

BCI

导航系统的信号采集设

备、特征提取和分类方法以及控制模式进行了深入的回顾，为

BCI

导航系统设计者提供了全面的材

料。其次，我们讨论了

BCI

导航系统的当前趋势和挑战，即混合

BCI

的使用和影响系统配置的人为

因素，从而为更智能和以人为中心的脑控执行器铺平了道路。

本文的其余部分组织如下：第

节简要介绍了范式，采集设备，特征提取和分类方法，用户界面

和控制模式的

BCI

系统用于导航应用。第三节介绍了

BCI

导航的三个典型应用：虚拟环境导航、脑

驱动机器人导航和无人机导航。第四部分分析了现有脑机接口导航系统的发展趋势，总结了存在的

问题。最后，第

节总结了本研究。

2 导航脑机接口系统

图

示出了基于

BCI

的导航应用的框图。信号处理单元接收由采集装置采集的用户脑信号并输出控制

信号。控制单元中的执行器接收控制信号并在自主导航系统的帮助下创建命令，然后自主导航系统

通过反馈单元将命令返回到用户界面以形成闭环控制。该范例指定了与

BCI

交互时使用的认知任

务。本进展报告将简要回顾采集设备，实验协议，和信号处理方法，用于导航应用中使用的每个范

例。

2.1 脑信号采集与处理

2.1.1

采集设备

由于脑电信号的空间分辨率很差，必须使用导电膏，并采用专业级放大器来保证信号质量。同时，

一些应用程序使用商业

虚拟现实智能硬件

2022

年

月

日第

期

典型相关分析（

CCA

）

[18]

，并且选择与当前信号具有最大相关系数的参考信号频率作为分类输出。

简单的线性分类器包括线性判别分析（

LDA

）

，

34]

和支持向量机（

SVM

）

[15

，

35]

，而复杂的非线

性分类器包括神经网络

[16]

。

P300

的特征主要表现在时域上。

SSVEP

的特征主要存在于频域，分类算法通过计算脑电信号与特

定频段的相关系数来区分不同类别的信号。

早期的应用程序通常使用简单的分类器。根据分类器的决策边界，分类器可以分为线性分类器和

非线性分类器。前者包括

LDA

和

SVM

，而后者包括几种类型，包括神经网络，隐马尔可夫模型和贝

叶斯二次分类器。

EEG

分类器的主要挑战是对多个主题进行概括。在过去的十年中，已经开发了许多算法来解决学

科间变异问题。迁移学习通过将目标域和源域的特征转换到不变的特征空间来解决协方差移位问

题。正则化方法限制了分类器的复杂性，以避免仅最小化经验风险而导致的过拟合。自适应分类器

[36]

使用来自目标受试者的数据实时更新分类器参数，同时解决会话间和受试者间变化的问题，使其

明显优于静态分类器

[37]

。同时，端到端矩阵分类器

[38]

和深度学习方法

[39 - 41]

也被广泛使用。矩阵分类

器利用黎曼几何理论对信号的协方差矩阵流进行分类，在多任务上达到了最先进的性能。基于深度

学习的卷积神经网络也用于各种范式，尽管由于缺乏足够的数据，它们的性能仍然不是最佳

的

[37]

。

2.2 BCI的范式

2.2.1 感觉运动节律

特定身体部位的表象运动可以调制

SMRs

的幅值。基于这种现象的

SMR

范式使受试者能够以可以控

制的速度输出几个预定义命令（通常是四个或更少）中的一个。这种模式通常分为训练和在线阶

段。在训练阶段，受试者被要求执行一个基于视觉或声音线索的运动想象任务一段时间，通常只涉

及某个部分，没有具体的动作。使用先前收集的受试者的训练数据训练解码器。然后，在在线阶段

中使用解码器来确定对象当前正在执行的运动想象任务的类型，给定

EEG

信号的片段。

使用基于

SMR

的

BCI

来控制虚拟角色或物理机器的移动有两个优点。首先，互动是直观的。人类

在真实环境中的运动具有自主控制的特点，而刺激诱发反应控制范式由于其时间锁定的特性，无法

实现真正的自主控制。这导致用户在需要保持运动控制时频繁响应命令。在需要快速反应的刺激诱

发范例中也缺乏相应的实时控制机制。具有鲁棒信号处理方法的基于

SMR

的范例可以补偿这些缺

点。同时，由于人体在环境中的运动总是涉及到肢体的运动，所以使用假想运动也是直观的，便于

用户记忆。

Haochen HU et al

：

Navigation in virtual and real environment using brain computer interface

：

progressreport

第二个涉及

SMR

范式的导航应用。虽然

P300

或

SSVEP

范例通常具有更高的信号解码精度

[42

，

43]

，但

它们通常需要用户在输入指令的整个过程中盯着用户界面屏幕。这个过程容易导致视觉疲劳，并限

制了用户在导航时执行多任务的能力。

SMR

范式的一个主要挑战是次优信号解码方法，这是由于无法控制尺寸。由于脑电信号的空间分

辨率差、信噪比极低，即使是最先进的信号处理算法也只能输出不到

个控制信号，精度也不高。

因为它是目前不可能获得一个更高的信噪比与非侵入性设备的信号，更复杂和强大的信号分析方

法，应开发，以提高

SMR

信号分类的准确性。对于控制维度有限的问题，光标移动和选择的控制可

以有效地扩展控制命令的数量，代价是引入更多不必要的中间步骤。

不同的受试者会为不同的运动想象任务产生个性化的

EEG

特征，这导致了严重的受试者间变异性

问题

[42]

。研究人员最近提出了各种方法来解决这个问题引起的协方差漂移现象。迁移学习

[44]

用于将

受试者的特征约束到相同的不变特征平面（域泛化）。它还利用目标域的数据来提高用源域数据训

练的分类器的性能（域自适应）。自适应分类器

[45]

通过在测试阶段使用目标受试者的数据重复更新

分类器参数来解决训练和测试阶段之间的差异问题。

2.2.2 稳态视觉诱发电位

SSVEP

是由固定频率的视觉刺激引起的视觉诱发电位。它包含类似正弦的波形，其频率与视觉刺激

的基频和谐波频率相同。通过识别该分量，可以从

EEG

信号解码用户当前观看的屏幕区域。用户界

面通常包含多个闪烁模式块，每个闪烁模式块代表由实验方案预定义的不同选项。选项菜单可以与

多个媒体演示文稿相结合，例如

LCD

屏幕，

LED

灯和

HMD

。图

显示了由闪烁刺激诱导的

SSVEP

的

应用，与计算机屏幕无关。

基于

SSVEP

的

BCI

的主要优点是与自发信号相比其相对较高的信息传输速率（

ITR

）

[3]

根据参考文

档

[1]

，

BCI

的运动应用需要比

图

2 [49]

中使用的

SSVEP

用户界面，用于导航具有正面摄像机的移动机器人。

剩余28页未读，继续阅读

cpongm

粉丝: 6

脑机接口导航的虚拟现实与真实环境进展报告

论文研究-基于虚拟仪器LabVIEW的脑—机接口系统.pdf

脑机接口的研究及其综述

系统设计报告模板 虚拟现实导航

脑机接口产业专题报告：盛放前夜，未来已至.pdf

UE4和airsim环境下的无人机自主导航与目标跟踪

脑机接口用户界面设计精要：构建直观易用交互体验的秘密

C++ OpenCV人脸跟踪与虚拟现实：实现沉浸式人机交互，探索虚拟世界的无限可能

虚拟现实与增强现实中的模态分析：应用案例深度解析

Qt虚拟现实和增强现实：开发虚拟应用

电子科技大学820真题VR_AR技术探索：虚拟现实与增强现实的未来

最新资源

系统设计报告模板虚拟现实导航