视觉信息学4（2020）1Brain–computer control interface design for virtual householdappliances张凡a，1，杭玉a，姜杰a，张伟，1，王张掖b，秦徐佳a，张伟，1a中国浙江工业大学计算机科学学院b浙江大学CAD CG国家重点实验室ar t i cl e i nf o文章历史记录：接收15十一月2019收到修订版2019年12月12日接受2019年12月16日在线发售2019年保留字：Brain–computer稳态视觉诱发电位的典型相关分析a b st ra ct脑机接口是一种新型的人机交互方式。这种交互有助于人脑直接使用脑电图（EEG）信号控制或操作外部设备。在这项研究中，我们首先采用典型相关分析方法，通过计算脑电数据与多组不同频率的谐波之间的相关系数来找到刺激频率。然后，我们选择最大的相关系数作为刺激频率，从而识别稳态视觉诱发电位。之后，我们引入功率谱密度来调整刺激频率和投票机制，以减少错误激活率。最后，我们建立了一个虚拟的家电版权所有2021作者。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍脑-机接口（BCI）是计算机科学和脑科学的一个混合交叉学科领域。它研究如何使用神经信号直接与外部机器交互，以及如何通过大脑信号控制或操作外部设备。在机器接口系统中，脑电图（EEG）信号通常被认为是输入（Lin et al. ，2007）。必须在人脑中预设一个控制装置;因此，脑机接口分为两种类型：植入式和非植入式（Gao，2009）。 根据大脑活动模式的分类，BCI系统可以分为事件相关的去同步/同步（Jia et al. ，2007）、稳态视觉诱发电位（SSVEP）（Li et al. ，2013）、事件相关电位P300信号（Bakardjian et al. ，2010）和慢皮层电位（Zhu et al. ，2010年）。BCI技术可以提供一种新型的人机交互，提高人机之间的信息传输速度，从而有助于混合现实环境，将虚拟内容融入现实世界，并使虚拟内容能够响应现实世界（Chen et al. ，2017年）。当受到固定频率的视觉刺激时，人类的视觉皮层连续地对刺激频率作出反应*通讯作者。电子邮件地址：jj@zjut.edu.cn（J. Jiang），qxj@zjut.edu.cn（X. 秦）。1张凡、姜杰、秦徐佳国家自然科学基金资助项目（U1736109，U1609217，61772456）。https://doi.org/10.1016/j.visinf.2019.12.001（刺激频率的基频或倍频程）称为SSVEP（Maggi et al. ，2006年）。监测这种潜在的变化可以大致判断人类注视的视觉刺激。作为一种成熟的脑机接口实现方案，SSVEP有多种实现方法，如功率谱密度（PSD）（Liu et al. ，2003; Kong et al. ，2015）、主成分分析、典型相关分析（CCA）、最小能量编码和平均最大对比度组合（Gao，2009; Jia et al. ，2007; Nanet al. ，2011），其目前被使用。研究人员已经使用SSVEP实现了几个实际应用。例如 ， 东 京 农 业 和 工 业 大 学 实 施 了 一 个 八 类 赛 车 控 制 系 统（Bakardjian et al. ，2010），它可以使用脑电波控制车辆的速度和方向马耳他大学在阴极射线管屏幕上实现了一种大脑控制的音乐播放器;因此，当看到不同频率的控制器时，播放器可以执行暂停、上下和音量控制等功能清华大学团队设计的BCI数字拼写系统（Jia et al. ，2007）可以以精确的速率达到46比特/分钟的输入速度。华南理工大学的李元庆团队将SSVEP与P300信号相结合，完成了一个由a BCI（Li et al. ，2013），可实现在线控制轮椅运动和停止两级控制。斌等等人（2009）提出了一种在线的基于多通道SSVEP的BCI系统，其使用典型相关分析（CCA）方法来提取与SSVEP相关联的频率信息。（Lin et al. 提出了一种基于SSVEP脑机接口的基于提取频率特征的识别方法2468- 502 X/©2021作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinf2F. Zhang，H.余，J.Jiang等人/视觉信息学4（2020）1×cos（2πnf）×FX=-√y（BCI）。（Zhang et al. 首先提出了一种多路CCA扩展算法MCCA，该算法利用协同CCA优化SSVEP识别相关分析中的参考信号，交替地从构造的EEG张量的通道-路和试验-路阵列中选择参考因此，我们打算引入一种独特的投票机制，可以有效地解决在非有效刺激时间段内识别效果不稳定的问题。2. SSVEP信号及其特征SSVEP是一种特征性的脑电波信号，两个变量组。这些典型变量之间的协方差被认为是两组变量之间的典型相关系数。选择成对的代表性变量来表示两个变量组之间的关系，可以降低计算复杂度，同时保持良好的相关性（Hou和Sun，2012）。给定两组数据矩阵X和Y，找到一对权重向量组wx，wy使得它们之间的线性组合此时得到的相关系数是典型的相关系数，公式如下：E[wTXYTwy]X以检测源刺激。当目标凝视时在以固定频率闪烁的光源处，频率也可以在脑电波中检测到，maxρ（x，y）wx，w y.E[wTXXTwx]E[wTYYTwy]多频率（Pan et al. ，2011; Yan et al. ，2009年）。在根据在对象的脑波中检测到的频率信号，可以确定注视的源刺激。目前，主要有两种方法来刺激SSVEP信号。在第一种方法中，多个光源被激励以不同频率同时闪烁。实验者专注于一个刺激。然后对实验者观察到的光源频率进行分析，确定脑电波中的频率信号，从多个来源中寻找激发信号的原始在第二种方法中，单光源刺激在不同的频率下在不同的时间段闪烁受试者注视刺激或休息，根据指令等待。然后，存在于脑电波中的SSVEP可以清楚地分析在凝视刺激期间。这两种方法的区别在于，多源激励可以完成多类化的任务，而单源激励适合于噪声控制。SSVEP信号具有率相关性，与人体生理反应相关。此外，它还具有以下三个特点：SSVEP信号通常依赖于多个频率的谐波当受试者观察光源刺激时，可以检测刺激频率和倍数的潜在信号。例如，当受试者观察9Hz光源时，除了能够检测到基本上9Hz的频率之外，受试者还可以检测到18Hz甚至27Hz的频率在此基础上，在同时闪烁的光源中，受试者会尽量避免两个频率具有倍数关系的情况，以避免干扰。SSVEP是不需要特殊训练的自然生理反应。信号由光刺激并直接从视网膜传输到视觉中心。鉴于信号不是高级认知功能，它不需要受试者进行预先训练，适合不同性别和年龄的受试者SSVEP的信息传输速率高。与其他脑机接口方法相比，SSVEP具有较高的信息传输率和信噪比。3. 基于CCA的3.1. CCACCA方法通常可以掌握两组变量之间的关系（Wang et al. ，1980; Volosyak et al. ，2009），其用于比较相关性并获得对典型变量的协方差矩阵来表示找到典型的相关系数就等于找到-求两组变量之间典型变量对的协方差系数首先对两个原始变量集进行QR分解，然后在秩完成后进行奇异值分解。在去除舍入误差之后，获得ρ3.2. SSVEP识别SSVEP具有谐波放大相关性，而CCA可以找到两组变量之间的相关性。因此，脑电波数据和它们的标准谐波之间的典型相关性分析可以被执行。通过寻找典型相关系数，实现了基于典型相关分析的SSVEP识别当受试者观察源刺激时，观察到脑电波中的刺激频率和多个刺激频率的脑电波分量。因此，可以将真实脑电波数据视为一组变量，而将刺激信号频率及其倍频的谐波视为另一组变量。然后，通过典型相关分析方法计算不同频率下的典型相关系数，得到真实脑电波数据与各组谐波之间的具有最大系数的组合被认为最相关。因此，该组的谐波频率刺激可能产生SSVEP。真实的脑电波数据矩阵为m1n，其中m1为通道数，n为采集点数。构造了一个附加的参考谐波矩阵m2n，其中m2产生参考谐波的公式如下：sin（2πnf）Y f=[fs ]，n=1，. . .，N.fs其中f是可能的刺激频率。结合精度和计算复杂性的考虑，我们选择n3。因此，m26，其中三个是正弦谐波，三个是余弦谐波，频率分别为1，2，分别为可能刺激频率的3倍。F因此，必须对不同的k种刺激频率建立k组参考谐波矩阵，每组根据真实脑电波数据矩阵进行典型相关分析运算，得到k个典型相关。选择最大系数，并且将对应的谐波频率视为真实刺激频率。公式如下：fs= maxρ（f），f = f1，f2，. . . ，f k.=···F. Zhang，H.余，J.Jiang等人/视觉信息学4（2020）134. 基于SSVEP识别的虚拟家电控制界面设计基于SSVEP的虚拟家电控制系统从刺激范例中提供稳定频率的闪烁光源，接收脑电波信号，分析SSVEP信号，确定被试观察到的刺激频率，控制显示在屏幕上的虚拟家电，并用于直观地演示SSVEP在现实生活中的潜在应用。当受试者从刺激范例注视闪烁图像时，从脑电波中识别SSVEP信号，并且激活虚拟家电控制界面4.1. 激励范式设计刺激范例用于提供稳定的频率源闪烁，其刺激受试者的大脑以产生稳定的可识别的因此，范例的质量直接影响到系统在线的准确性和响应延迟。长时间看闪烁的光源会导致视觉疲劳。因此，在有效的测试段之间，增加休息时间对于恢复眼睛，减少疲劳，提高脑电波质量是必要的（Wu，2008）。鉴于该范例涉及个人EEG数据的收集和在线测试，必须单独设计用于这两种情况的EEG信号采集过程。脑电数据采集用于算法训练和系统的离线评估。因此，该过程需要较长的有效数据段，并且需要较少的测试时间。在线测试用于系统的在线评估;因此，需要额外的测试时间来评估准确性和时间延迟。根据Pfurtschelleret al. （2010）和Shyu et al. （2010），本研究拟采用以下方法：EEG数据采集：共设置5个频率（6.666 7、在每个样本中，受试者休息5秒，并采集15秒;该过程重复三次。在线测试：共设置三个频率（9、10和12 Hz）。测试过程中，受试者按要求检测指定频率，直至系统提供结果。受试者休息5秒并重复测试30次。4.2. 在线解码模块设计在线解码功能的目的是及时分析采集的数据，通过典型的相关分析识别诱发电位，并将识别的电位转换成标签传输到显示界面。基本解码过程如图1所示。由于原始脑电信号中含有眼电噪声和环境噪声，信号预处理包括高通滤波和去噪。4.3. 虚拟设备控制状态系统有三种状态：停止、在线控制和伪在线显示. 状态转换如图所示。 二、停止：系统接收不到脑波信号，整个系统不工作，等待控制器下一步操作。Fig. 1. 在线解码模块的原理图。图二. 虚拟家电控制状态图。图三. 虚拟设备控制界面示意图（空调启动）。• 在线控制：系统实时接收脑电波信号数据，识别SSVEP。识别结果立即显示在控制界面中。···4F. Zhang，H.余，J.Jiang等人/视觉信息学4（2020）1见图4。 虚拟设备控制界面示意图。伪在线：导入采集到的脑波数据文件4.4. 虚拟设备控制接口设计设计了一个虚拟家电控制界面操作界面，选择了空调、电视机、空气净化器三种家电作为虚拟家电的控制对象。如图3、整个控制原理图窗口分为两部分。左侧为虚拟家电的激活示意图界面，右侧为特定家电激活后的控制界面。在激活界面中，每个虚拟设备下都有一个激活指示灯和激活提示，当虚拟设备处于非活动状态时，指示灯为红色，激活提示为“OFF”。激活时，指示灯变为绿色，激活提示为“ON”。在任何情况下，都不会同时激活两个或多个虚拟应用程序。不同的家具被激活后，右边显示的控制界面是不同的。电视机和空气净化器启动时的控制界面如图所示。 四、5. 实验验证5.1. 实验设计通过放大器采集脑电波信号，读取脑电波信号进行分析和电位识别，然后在控制窗口上控制相应的虚拟家电。放大器设备使用NeuroScan同步EEG信号的时钟同步系统。然后，脑电波信号通过同步系统传输。整个实验硬件设备的连接如图所示。 五、从放大器发送的信号只能由Scan 4.5软件接收。放大器采样频率为500 Hz，高通滤波为0.3 Hz，低通滤波为50赫兹。收集帽共有64个通道。在这项研究中，我们选择了枕叶局部区域的通道，共有11个通道（Huang et al. P1、PZ、P2、PO5、PO3、POZ、PO4、PO6、O1、OZ和O2。 选择通道在头皮中的具体位置（Yan et al. ，2009年）。实验设计收集五个分类频率：[6.6667，7.5，8.57143，10和12 Hz]，每个分类刺激持续15 s，重复2次。在每15秒的刺激之后，给予受试者5秒的休息期。5.2. 实验结果和改进方法识别结果和有效刺激如图所示。六、蓝色是实验记录的识别结果，红色是有效刺激时间段内的预期结果。横坐标表示提供结果的采样点，并且两个采样点之间的间隔为0.2s。纵坐标表示在五个类别中分类后获得的频率结果：[6.666 7、7.5、8.571 43、10和12Hz]。该公式是根据准确度计算的。我们可以正确的识别结果SynAmps 2，共有64个通道。该器件包括时钟同步电路，该时钟同步电路允许放大器准确度=所有识别结果×100%与其他设备（例如磁共振扫描仪）精确同步，而不需要快速采集速率。此外，电源和系统设施可以与该装置相匹配。匹配帽通过并口连接到放大器，将电极通道上的电压信号传输到放大器，并由放大器将电压信号转换为脑电信号放大器连接到得到如表1所示的识别结果。图图6和表1表明，非有效刺激时间段的识别效果不稳定，并且出现较大的频率波动。一部分稳定的识别结果在一个有效的刺激时间段，但也得到了许多错误的识别结果。经过分析，我们推导出以下原因：（1）刺激范式在显示屏上运行，设计频率与实际有表1识别准确性。图五. 设备连接图。刺激一款二段频率（赫兹）准确度（%）准确度（%）6.666786.7927.58853.338.571434457.331057.3348124745·F. Zhang，H.余，J.Jiang等人/视觉信息学4（2020）15×=表3不同投票模式下的准确性统计模式'4-3''5-4''6-5''10-7''10-8''10-9'比率/%72.8477.2480.5780.8284.2887.70表2见图6。 识别结果示意图。在线测试。为了区分它是否处于凝视状态，我们在识别结果的统计中加入了投票机制;即在一定范围内，只有当某个频率的出现次数达到一定阈值时，才是统计该频率如果某个频率的结果相比之下，如果许多频率并且没有结果是特别高的，则受试者被认为处于非注视状态并且不被计入统计结果中。投票策略表示为因此，在x频率校准。刺激频率（Hz）改善前（Hz）改善后（Hz）6.66676.3996.6677.57.3327.498.571438.3328.571109.5999.9991211.6712闪烁频率CCA算法是一种确定频率的相关性分析脑电波中所有信号的频率不能单独通过CCA算法（2）个人数据包含未受刺激的刺激的无效信号时间段。识别算法不能直接区分人眼是否在观察刺激频率，无效信号时间段也被计入统计，降低了准确性。对于第一个原因，我们引入PSD分析来观察信道中的信号频率。脑电波信号是时间维度中的波。如果必须在频域中分析波信号，则应分析PSD。它的作用是对信号进行快速傅里叶变换，频率分布。由于SSVEP信号的频率包含在脑电波中，因此需要刺激信号附近的明显峰值及其倍频区域。可以通过观察PSD图来检测准确的捕获频率。在第一个有效期（6.666 7 Hz）内对9个通道的数据进行PSD计算，结果表明并非所有通道都能清楚区分峰值。九个通道从左到右，从上到下编号，如图所示。7.第一次会议。图a、b、c、e和f在6.6667Hz附近显示出明显的峰值，但在其它信道中没有观察到明显的峰值，这表明即使执行CCA操作，也不能清楚地区分CCA以获得正确的结果。经过检查，我们发现这种现象是由屏幕本身的频率刺激引起的。LCD刷新率为60 Hz;但是，实际获得的频率不是设计中的刺激频率，这意味着显示刺激范例（程序之间的时间片切换）的计算机的操作系统中可能存在问题。我们使用另一台计算机，它只运行刺激范式程序并重新获取频率。经过PSD分析后，误差大大减少或消除（图1）。8）。我们还校准了其他四个频率以类似的方式（表2）。第二个原因，我们认为这个问题有一个由于眼睛休息和外部干扰，结果，只有当该值等于或超过同一结果的数量y时，该值才计入统计结果我们先尝试“4-3”的投票策略。如图9所示，横坐标表示采样点，两个采样点间隔0.2 s。纵坐标表示五个类别的频率（6.6667、7.5、8.571 43、10和12 Hz）。图例“4-3”投票策略“表示每连续四个结果进行一次如果存在出现次数大于或等于3的结果，则投票阈值被视为检测结果，并在图中以蓝点绘制。在图中，投票段长度为4 0.2 s 0.8 s。图例除了上述因此，活化结果如图1A所示。10个。结合图1和图2计算了不同投票方式下的准确率。9和10的结果在表3中获得的值。表3显示，随着投票阈值的增加，无效间隔中的值（不是红色范围）显著减小，并且精度不断提高。在改进采集频率校准和引入表决机制后，系统识别准确率超过72.84%，最高达到87.70%。6. 结论本研究采用典型的相关分析方法实现对SSVEP的有效识别，并引入投票机制优化识别率。在此基础上，进一步实现了一个虚拟家电接受指令后，受试者注视相应数字的频率刺激。在短时间延迟之后，识别算法提供一组识别结果，并通过投票决定是否产生结果标签如果识别正确，则另一个演示屏幕上的相应虚拟家电如果识别失败，则所有虚拟设备都处于非活动状态，并且指示灯为红色。因此，没有可用的控制面板。在此基础上，利用PSD分析进行频率校准，并采用合理的表决方法，提高了在线系统的稳定性和准确性。在三类识别的情况下，在线测试的准确率超过72.84%，这是足够的目的，成功地使用该系统。6F. Zhang，H.余，J.Jiang等人/视觉信息学4（2020）1见图7。每 个 通道的PSD示意图。纵坐标表示功率频率比，横坐标表示频率。图8.第八条。通 道 3 的PSD的 改 进 前后。F. Zhang，H.余，J.Jiang等人/视觉信息学4（2020）17图9.第九条。“ 4 - 3 ” 投 票 策 略 下 的 激活结果。见图10。不同投票策略下的激活结果。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作引用Bakardjian，H.，田中，T.，Ciclovski，A.，2010. SSVEP脑反应的优化及其在八命令脑机接口中的应用。Neurosci. Lett. 469（1），34-38。Bin，G.，例如，2009.基于典型相关分析方法的在线多通道SSVEP脑机接口。神经工程学杂志6（4），046002-046008。陈志，王玉，孙，T.，例如，2017.探索沉浸式城市分析的设计空间。目视告知。1（2），132Gao，S.K.，2009.神经工程与脑机接口。下巴NNULAKE生命科学21（02），177-180.Hou，S.D.，Sun，Q.S.，2012.稀疏保持典型相关分析及其在特征融合中的应用。自动化学报Sin. 38（04），659Huang，M.L.，吴警官Yin，G.，2008.基于稳态视觉诱发电位的脑-机接口实验研究。北京大学出版社Technol.28（11），957-961。贾，C.，徐，H.，洪湾，例如，2007.使用基于SSVEP的BCI技术的人机界面。在：增强认知基础国际会议，卷。十一岁施普林格，柏林，海德堡，pp.3-119Kong，W.L.，Xue，Z.J.，Chen，L.，中国地质大学，2015.基于虚拟现实环境的脑机接口技术研究进展。J. Electr. Meas. 仪器29（03），317-327.李，Y.，潘杰，王福，例如，2013.结合P300和SSVEP的混合BCI系统及其在轮椅控制中的应用IEEE生物医学学报Eng.60（11），3156-3166.林芝，张，C.，吴伟，例如，2007.基于SSVEP的脑机接口的典型相关分析的频率识别。IEEE生物医学学报Eng.54（6），1172-1176。林 芝 ， 例如 ， 2006.基 于 SSVEP 的 脑 机接 口 的 典 型 相关 分 析 的 频率 识 别 。 IEEETrans.BioMed. Eng. 53（12），2610Liu，H.S.，杨，F.S.，高旭荣，2003.三维脑电时空模式识别系统的研究。Prog. Nat.Sci. 13（04），59马吉湖，Parini，S.，皮奇尼湖例如，2006.基于SSVEP协议的四命令BCI系统。在：医学和生物学社会工程。EMBS '06。第28届IEEE国际年会，2006年第一卷。IEEE，第1264-1267年。南，W.，黄智明，王，B.，例如，2011.最小能量组合法与典型相关分析法在SSVEP检测中的比较。 在：神经工程（NER），2011年第五届国际IEEE/EMBS会议上，卷。四十六IEEE，第9472潘杰，高旭荣，例如，2011.稳态视觉诱发电位频谱和相位特性的脑电图研究。J. 清华大学51（02），250Pfurtscheller，G.，艾莉森，B.Z.，Bauernfeind，G.，例如，2010年。混合BCI。前面Neurosci. 4（3）。Shyu，K.K.，李，P.L.，李明翰例如，2010.基于FPGA的低成本SSVEP BCI多媒体控制系统的研制。IEEE生物医学学报CircuitsSyst. 4（2），125-132.沃洛夏克岛Cecotti，H.， Gräser，A.， 2009. 频率选择对基于SSVEP的脑机接口的 LCD 屏 幕的 影响 。 In： InternationalWork-Conference on Artificial NeuralNetworks，vol. 70.施普林格，柏林，海德堡，pp. 6713王世瑞例如，1980.典型回归及其在趋势面分析中的应用。J. 云南大学Nat. Sci. 1980年，3吴志华，字军，2008. SSVEP脑机接口应用与任务认知研究J. Univ. 电子学。Sci.Technol. 中国05.颜志，字，Bin，G.Y.，例如，2009.用于基于SSVEP的脑机接口的具有两个频率的左右场刺激。《清华大学学报》第49卷第12期，2013-2016年。张玉，例如，2013.基于SSVEP的脑机接口的L1正则化多向典型相关分析IEEE Trans.神经系统戒毒所Eng. 21（6），887Zhu，D.，中国科学院，Bieger，J.，莫利纳，G. G.， 例如， 2010. 基于SSVEP的BCI中使用的刺激方法的调查。Comput.内特尔Neurosci. 2010年，1.
