基于脑信号分析的虚拟现实晕机预测

10580基于脑信号分析的虚拟现实内容深度晕机预测器Jinwoo Kim1，Woojae Kim1，Heeseok Oh2，Seongmin Lee1，andSanghoonLee1延世大学2电子通信研究所&摘要如果我们可以解释用户在体验虚拟现实（VR）时的认知状态，并从视觉刺激中估计认知状态，那会怎么样？在本文中，我们解决了上述问题，通过开发一个脑电图（EEG）驱动的虚拟现实晕机预测模型。EEG数据已被广泛用于学习大脑活动的认知表示。在第一阶段，为了充分利用EEG数据的优点，将其转换为多通道谱图，其能够说明谱系数和时间系数的相关性。然后，应用卷积神经网络（CNN）对EEG谱图的认知表示进行编码。在第二阶段中，我们通过设计一个递归 神 经 网 络 （ RNN ） 来 训 练 VR 视 频 序 列 上 的cybersickness预测模型。在这里，编码的认知表示被转移到模型中，以训练视觉和认知特征，用于晕机预测。通过所提出的框架，可以自动预测反映大脑活动的电脑病水平。我们使用8通道EEG数据记录大脑活动，同时超过200名受试者体验44种不同的VR内容。经过严格的训练，我们证明了所提出的框架可靠地估计认知状态，而无需EEG数据。此外，与现有的VR网络病预测模型相比，它实现了最先进的性能。1. 介绍尽管虚拟现实（VR）设备被有效地集成到各种应用中，例如电影、游戏和医疗保健，但体验VR时发生的晕网病被认为是VR产业的障碍。与立体3D显示不同，VR环境伴随着复杂的认知-大脑中的生理因素。因此，很难确定晕机的确切原因。特别地，晕电水平根据个体差异（例如，先前经验、易感性、性别、年龄等）。在这方面，生物信号被视为反映个体差异的最客观的方式之一（例如，皮肤电反应（GSR）、光电体积描记图（PPG）、脑电图（EEG）、皮肤温度（SKT）等）。然而，即使研究者认识到这是预测的最重要因素，因此，使用传感器的测量目前，有一些主要的工作来预测3D应用程序的这种视觉不适[22，23]。由于未能将个体差异纳入其制定或建模的度量中以找到一般的共同因素，因此性能已被阈值化。最近，随着卷积神经网络（CNN）的突破性发展[9，10，18]，在图像/视频内容分析领域有了重要的应用[15，16]。在本文中，我们做了一个开拓性的工作，一般化的个体差异的VR cybersickness通过使用的VR视频序列。然而，一般的VR视频序列是根据用户在有限的虚拟空间中的头部运动来记录的因此，基于CNN的模型，特别是视觉特征驱动的方式强烈地依赖于从观看的VR视频序列提取的特征，而没有任何个体差异的线索。为了克服这一局限性，我们设计了一种新的深度学习框架，通过分析大脑活动来识别人类认知特征空间，以进行网络病预测。此外，该框架通过依赖VR内容而不是大脑来10581Fp1 Fp1FP2FP2脑电信号FP1脑电频谱图Fp2Fp1脑电频谱图FP2用户1晕电脑等级：5VR视频用户2晕电脑等级：1图1.由不同用户诱发的EEG数据的示例：原始EEG信号和经变换的频谱图被表示为FPl和FP2，其记录八个标记中的额叶的大脑活动。每个用户在相同的内容中显示不同的晕机水平。信号.为了实现这一点，我们从现有技术对VR晕电病的观察开始[5图1示出了当两个用户经历相同内容时记录的EEG数据，并且Fpl和Fp2是在八个标记中指定额叶的大脑活动如图所示，每个用户的晕电分数给出不同的水平，尽管他们经历相同的内容。在这里，我们可以发现EEG数据比记录的VR视频更加清晰，这取决于晕电水平。基于这一观察结果，我们的目标是将EEG信号编码到相对于VR晕机的认知表示此外，通过将认知表示转移到基于VR视频的深度模型上，我们在没有EEG信号的情况下执行网络病预测通过我们的框架，它使机器能够分析和理解脑电信号的模式，这是脑-机接口（BCI）研究的重要目标之一。由于BCI的主要目的是直接从EEG数据中对特定模式进行分类，因此我们相信所提出的框架具有超越BCI方法的显著影响为此，该框架的基本思想如下：通过对EEG信号进行分类的认知表征学习，以及使用VR视频在中间状态下表达视觉和认知特征的cybersickness学习在这些步骤中，认知表征学习起着重要的作用，因为它捕捉了个体间和个体内的差异。为了获得更多细节，我们首先将EEG数据转换为频谱图，然后由CNN编码。注意，频谱图包括时间域和频谱域。但由于通用CNN滤波器处理2D轴上的全向相关，难以将频谱图直接应用因此，我们提出了一种新的CNN方法，通过专用于频谱图域的几何处理，即，时间和光谱。我们的贡献总结如下：• 我们提出了一种新的深度学习架构，通过区分与VR网络病相关的特征空间，水平。• 我们提出了一种方法，用于计算和结合视觉和认知功能与VR视频单独的cybersickness预测。• 我们将发布一个庞大的VR内容数据库，其中包括记录的EEG数据，它还包含一个模拟各种受试者的飞行员疾病问卷（SSQ）测量2. 相关工作目前，已经发表了许多理论论文感觉冲突理论指出，电脑病是由来自视觉-前庭系统的信息之间的冲突引起的[28]。主观垂直理论认为，电脑病是由分别来自身体传感器和大脑的感知和预期信息之间的冲突引起的[3]。在[4]中，有人建议，这两个理论可以结合起来，开发一个机制的cybersickness发生。基于这些观察，10582已经开发了许多电脑病预测模型。然而，由于描述该机制的每个传感器模块是未被定义为确定性函数的黑盒模型，因此用于晕机预测的一般策略遵循自上而下的换句话说，模型的设计假设，认知冲突的运动是主要因素的cybersickness。例如，作者在[12，14，24]中使用从包含运动信息的光流中提取的特征在文献中已经开发了使用脑信号的计算模型例如，自组织神经模糊推理网络（SONFIN）是一种基于模型的神经网络。第二阶段：网络病学习。认知代表假设EEG数据的功率谱反映了与电脑病的相关性[20]。特别是，EEG数据已通过利用原始1-D信号进行癫痫发作检测的顺序模型进行分析[1]。然而，由于基于序列模型的EEG数据处理在时间特征空间中被强烈地优化，因此模型倾向于不能概括谱相关性以及通道间相互作用。从先前的研究发展而来，[2]的作者提出了一种深度学习方法，该方法通过将EEG数据转换为一系列拓扑保持多光谱图像来保留空间、光谱和时间结构。虽然提取的显着特征是不太敏感的失真和变化，在每个维度，这种方法无法显示令人满意的性能时，少量的标记被用来记录大脑信号。存在一些其他方法，其通过在中间阶段估计认知状态来学习用于图像分类的EEG方法[25，30]。这些研究的主要目的是从图像中解释人类的思维，并将其转移到学习的EEG流形，而我们的方法旨在同时从图像序列中寻找视觉和认知表征。3. 该算法本文中描述的方法基于以下直觉。• 视觉信息是从VR视频中提取的特征向量，其在内容间晕网病预测中具有优越性。但对同一内容下受试者的疾病程度预测能力较弱• 从VR视频中诱发的EEG数据传输传达主观间差异的认知信息事件，即，个体差异，关于虚拟现实的网络病。图图1示出了根据不同受试者的EEG数据的相同VR内容的定量差异图2.拟议方法概述。我们的工作由两个阶段组成。第1阶段：网络使用EEG频谱图训练与VR晕机相关的认知状态。第2阶段：网络学习互补的视觉和认知特征，用于使用VR视频序列进行晕机预测。• 我们假设，如果视觉认知信息是通过VR视频互补学习的，那么模型将概括主观间和主观内的差异。推论通过上述直觉，我们提出的方法被设计为具有两阶段学习以用于如图1中所示的网络病预测。二、第一阶段我们的工作-为了学习这种表示，将记录的EEG数据转换为频谱图。然后，训练频谱图编码器以从EEG频谱图中提取描述晕电病这是在CNN中实现的，具有用于多通道感知频谱和时间相关性分析的动态滤波器形状。训练过程由网络病水平监督，而用于认知表示的全连接层（FCL）在该过程中被学习。EEG数据的使用在应用方面是不合理的，因为它需要额外的设备来获得信号并且降低了设备的实用性。因此，第二阶段-晕机通过结合CNN和RNN训练视频编码器，提取视觉特征，并且将FCL之后的特征映射到在阶段1中学习的最后，最后的特征向量，级联与视觉和认知功能，通过FCL分类到晕电水平。EEG频谱图频谱图编码器（CNN）晕屏水平阶段1：认知表征学习。认知特征VR视频序列视频编码器（CNN+RNN）晕屏水平视觉特征10583电脑病等级5VR内容44主观数量202数据的数目8,888可视化顺序顺序主观测试30秒暂停时间3分钟表1.主观实验的参数3.1. 数据采集据我们所知，没有公共数据库用于cybersickness预测。因此，我们引入了一个名为ETRI-VR的新的网络病数据库，包括各种视觉运动和不同类型的参考场景：具有高度复杂成分的城市场景;由相对简单的物体排列组成的“天体空间”场景。注意，每个场景的路径是预先脚本化的，并且除了用户的头部运动之外，不反映控制操作。通过使用构建的ETRI-VR内容，我们收集了人们对每个场景的意见，在cybersickness。在实验过程中，44个VR内容分为3个会话。在每个会话中，VR内容连续显示给202名受试者。两次治疗之间的休息时间为3分钟，要求受试者在每个内容结束时根据Likert样量表进行主观评价：5=极度不适，4=强烈不适，3=不适，2=轻度不适，1=舒适。 最后，我们收集了不同的主题--44×202=8，888个内容的得分使用HTC VIVE进行主观实验和帧率测试保持在96fps以上，以最小化由与心理物理方面无关的运动到光子等待时间引起的电脑病。实验过程的总结示于表中。1.一、在VR内容使用期间，还使用8个头皮电极收集EEG数据，如图1B所示。1.遵循国际制度[29]。EEG数据的采样率和分辨率分别设置为250Hz和16位。活 泼 地 带 通 滤 波 器 （ 0 。 3100Hz ） 和 陷 波 滤 波 器（60Hz），以最大限度地减少电源线噪声的影响[20]。所收集的EEG数据的长度随时间变化虚拟现实的内容 根据每个EEG数据，第一个和最后250个样本（1. 0）被丢弃，以便排除来自先前根据[30]所示的经验的任何可能的干扰。然后，3，450个样本（14. 0s）中间区域的EEG数据用于实验。在采集EEG数据之后，通过滑动窗口使用傅里叶变换（FFT）进行频谱图变换，即，数据块被确定为0。5、一个窗口。因此，EEG频谱图可以用Is表示，这是一个形式为Is∈R8×64×53的多维阵列，其中每个频谱图尺寸为64×53，通道数为3.2. 第一阶段：认知表征学习该阶段主要用于将晕电病编码为EEG数据的低维表示。细节描述在图1中。3.第三章。现有的方法集中在时间特征空间上以区分EEG数据[30]。另一方面，所提出的方法考虑到EEG通道的相互关联性和频谱和时间域上的内部相关性。出于这个原因，EEG数据被转换成频谱图并堆叠在输入管道中，即，8通道叠加频谱图。注意，频谱图的每个轴分别指示时间域和频谱域。将现有的CNN方法直接应用于EEG谱图存在问题CNN操作通过正方形滤波器（例如，3×3和5×5）。然而，频谱图的系数仅在水平方向上相关谈话或垂直方向。为了克服这一点，我们通过之前音频信号处理工作启发的以下网络对EEG数据的频谱图进行编码[27]。首先，时间网络通过取不同大小的水平核来训练时间依赖性。其次，谱网络通过不同大小的垂直核学习谱依赖第三，时间和频谱网络被级联以联合地编码时间和频谱特征。具体情况如下：• 时间依赖性内核（1 × m）：能够通过捕获频谱图的水平系数来学习时间线索例如，这样的滤波器是专门制作与电脑病相关的时间表征如图1的模型所示。3、深具有1×mi个核的卷积运算用于时间网络，其中i∈ {1，2和3}表示第i个卷积层。内核长度每一个卷积层的平均值逐渐减少前一层的一半。注意，由于时间轴中的卷积运算过程，保留了频谱分辨率。• 频谱依赖性核（n乘1）：被设计为通过使用频谱图的垂直系数来学习频谱线索为了捕获光谱相关性，将具有nj×1个核函数的卷积网络应用于EEG谱图，其中j∈{1，2，3}表示第j个卷积层。和tem一样在多孔网络中，每个卷积层的核长度逐渐减少前一层的一半请注意，频谱网络仅通过降低频谱维度来学习频谱相关性，同时保留时间分辨率。105842时间网络图3.认知表征学习的总体架构。网络由两部分组成：时间网络和频谱网络。这两个网络提取的时间和频谱特征向量的EEG频谱图，分别，和特征向量连接来表达的认知表示。最后一个特征向量被分类为通过FCL后的晕机水平在时间和频谱网络中，除了第一层之外，两个跨步卷积用于子采样。在每个卷积层中，连续采用批量归一化[11]和泄漏整流线性单元（LReLU）[21]在每个网络结束后，最大池时间xt和频谱xs特征向量被连接，并且我们将该向量表示为认知表示xcr。然后，两个FCL被用来discrim- inate功能到cybersickness水平。在训练之后，时间和频谱网络被用作阶段2中的认知特征的基础事实。3.3. 第二阶段：Cybersickness Learning最终的目标函数由两项构成;预测损失和回归损失L=Lpre+β·Lreg，（1）其中，L_pre表示晕电水平与最后一个FCL的输出单元之间的标准交叉熵损失，L_reg表示认知特征上的回归损失，并且β是用于调整两者之间的折衷的常数。届回归损失由认知特征和认知表征我们的目标是从视觉刺激中估计认知状态，而无需EEG数据。为此，我们提出了一个深度模型，该模型在模仿阶段1中编码的认知表征的同时预测晕电总体架构如图1所示。4.第一章输入VR视频首先被采样为与EEG样本相同以同步两个数据。然后，每个采样的VR视频中的帧被馈送到ResNet18[9]以提取空间特征。在从VR视频序列中提取空间特征之后，时间特征然后被认为是在这里，我们使用堆叠的长短期记忆（LSTM）网络作为顺序网络。然后，我们从堆叠的LSTM网络的最后一步中获取视觉特征向量xv对于精确的表达式，让组合的ResNet18和堆叠的LSTM作为视频编码器。在通过视频编码器之后，FCL用于提取认知特征xc。然后将其与视觉特征xv连接以产生最终的特征向量。在模型的最后，网络两个FCL被用来分类的最终特征向量上的晕机水平。Lreg=xc−x cr2。（二）4. 实验结果在本节中，我们首先描述实现细节。然后，我们分析了我们提出的网络中的各个组件的贡献。性能分析分为两部分-测试1：认知表征学习和测试2：电脑病学习在测试1中，我们验证了EEG频谱图驱动的网络真正将认知状态编码为相对于第3.2节中提出的晕动病的低维向量。在测试2中，我们证明，所提出的网络学习的认知状态，仅使用VR视频的cybersickness预测通过transfer的编码的认知表示的中间特征空间。4.1. 实现细节对于实验，使用第3.1我们将数据库随机分为训练（80%）、验证（10%）和测试（10%）时间依赖滤波器认知表示步幅=1最大池步幅=2步幅=216168最大池5晕 屏水平8步幅=18128脑电频谱图步幅=2步幅=216936光谱相关滤波器16光谱网络1×������11×������21×������1级联1×������11×������11×������210585ResNet18认知表示FCLResNet18ResNet18FCL FCLVR视频空间特征顺序学习回归分类晕电脑水平图4.晕机学习的整体架构输入的VR视频通过组合的CNN-RNN网络来提取视觉特征。视觉特征被赋予全连接层以表示认知特征，并且这两个特征被连接。集为确保性能有效性，随后进行了20次重复的Monte-Carlo交叉验证。我们在pytorch框架上实现了所提出的网络[26]。所有网络的初始权重值应用于[8]提出的方法，该方法根据输入维度归一化为方差。我们使用Adam优化器来训练网络，动量参数β1= 0。9和β2= 0。第999章和……larization参数=10−6 [17]。学习率最初设定为5 ×10-4。使用分割验证和测试集进行总体实验评价。然而，在最终模型中，整体样本被用作训练集来编码。在阶段2中，我们将输入维度的大小调整为3×224×224。以采样间隔r对VR视频进行均匀采样。每种性能的比较将在第4.3节中分析采样间隔。4.2. 测试1：认知表征学习在本节中，我们测试了三个单独的消融套件：时间网络、光谱网络以及将时间网络和光谱网络相结合所提出的模型。3.第三章。这里，比较一个基线网络。基线网络采用利用正方形核的通用CNN架构。因此，除了滤波器核的形状之外，基线的结构与所提出的模型相同在表2中，根据详细核形状示出了通过不同配置实现的性能，以分析EEG谱图的时间和频谱依赖性。每个 评 估标 准 的 顶 部模 型 以 粗 体显 示 。基 线网 络（n1，m1）=（3，3）的验证（测试）准确度最差，为58。32（56.89）%。在时间网络的情况下，验证（测试）准确度为81。38（80.57）%，在（n-1，m-1）=（1，28）处，其中滤波器尺寸是最水平的，即，时间相关性是最长的。 另一方面，在一项研究中，在频谱网络中，预测性能优于捕获小频率分辨率的窄核形状。验证（测试）的最佳性能为85。在（n1，m1）=（8，1）时，平均值为51（83.74）% 这与特定频率而不是宽带的特征与晕电高度相关的事实一致[20]。此外，谱网络比时域网络对核形状的鲁棒性更好。总的来说，建议的网络与（n1，m1）=（1，28）-（8，1）的预测性能是最优于其他配置。BCI研究已经研究了EEG信号的大脑区域如何影响VR晕电。为了进一步对此做出贡献，我们使用声谱图的独立通道作为输入来测试模型，并比较预测准确度。更具体地说，所提出的网络是使用独立的谱图维度来学习的。表3示出了根据八个大脑区域（Fp1、Fp2、F3、F4、T3、T4、P3和P4）的性能比较每个区域的预测精度几乎相似，但P3和P4区域略好。因此，可以得出结论，我们的工作与之前的BCI研究一致，因为VR晕电水平与枕中线脑区的反应高度相关，而不是其他脑区[20]。4.3. 测试2：网络病学习为了验证所提出的模型是否真正使用VR视频来学习认知状态，我们测试了两个场景：视觉-认知预测因子视觉预测器仅将视觉特征作为级联认知特征视觉特征LSTMLSTMLSTMLSTM10586模型核形状（n1，m1）最大池VA：(mean±标准）助教：(mean±标准）（三、三）（二、二）五十八32 ±1。百分之七十一五十六89 ±1。百分之八十六基线网络（5，5）（二、二）六十岁。77±2。百分之四十一61岁09 ±2。百分之三十三（7、7）（二、二）61岁31 ±1。百分之八十九61岁83 ±1。百分之四十一（1，7）（1，12）63岁49 ±2。百分之十三六十五17 ±2。百分之八十八时态网络（1，14）（1，8）67岁16 ±2。百分之七十二69岁。16 ±2。百分之三十八（1，28）-81. 38 ±3。01%八十57 ±2。百分之四十九（8，1）（13，1）八十五51 ±1。百分之三十三83岁74 ±2。百分之八十一光谱网络（16，1）（9，1）81. 57 ±1。百分之七十六八十27 ±1。百分之四十九（32，1）-七十三。51±1。百分之三十三七十七。74±2。百分之八十一（1，7）-（8，1）（1，12）-（13，1）84. 33 ±1。百分之十九83岁72 ±1。百分之八十七建议网络（1，28）-（32，1）-86岁。01 ±1。百分之十二八十五91 ±1。百分之二十二（1，28）-（8，1）（0，0）-（13，1）87岁46± 2。百分之三十七87岁13± 1。51%表2.根据核形状的不同网络的最大验证准确度（ 顶部预测精度的模型用粗体表示。区域FP1FP2F3F4T3T4P3P4VA（%）82.2182.1582.5281.1983.5583.1385.9386.43TA（%）81.7883.2381.3783.4282.1082.7184.6686.16表3.根据脑标志物区域，在VA处的最大验证准确度（最好的两个标记区域以粗体显示。第2阶段的最后一个FCL。 视觉-认知预测器是如图1中所描绘的完整版本。4.第一章在这里，使用两种现有的基于手工制作的特征的方法[14，24]和一种基于深度学习的方法[13]对性能进行基准测试。由于基准方法的设计不反映个体差异，因此预测的晕电评分回归到每个内容的平均意见评分（MOS）。然而，所提出的模型是基于对个人晕电水平的分类。因此，我们将基准方法的最后回归器修改为分类器以与离散的晕电水平匹配，然后使用ETRI-VR数据库训练基准方法。在表4中，将基准方法的验证准确度和测试准确度与拟定模型进行了比较。如表中所示，视觉认知特别地，与视觉-认知有趣的是，所提出的模型的验证（测试）性能显示26。55（26. 20）%高于视觉预测值。从这一观察结果可以看出，采用认知特征有助于模型概括个体差异以实现更高的准确性。特别是，认知特征仅从视觉特征表达，这是一个令人印象深刻的结果，考虑-10587这表明没有使用任何客观指标，例如EEG数据。此外，与表2和表4相比，视觉认知预测器的预测准确度优于EEG驱动的晕电这一结果意味着，认知和视觉特征都是相对于晕机有意义的信息，并且当它们被整合时会导致更强大的性能。我们使用混淆矩阵来说明视觉当VR晕机水平严重时，例如4和5，它显示出准确的预测性能，而1和2级则更加混乱。我们预计这是由于低级别的VR晕电边界，用户在做出决定时感到模棱两可。为了进一步讨论我们的模型是否真正学习了个体差异，我们通过将认知特征转移到第1阶段来测试网络。为了更详细地了解，我们使用在阶段2中学习的认知特征作为在阶段1中学习的最后一个FCL中的输入在表5中，报告了使用认知表示和认知特征的预测准确度的结果。转移认知特征的预测模型事实上，优化完成后，认知表示和特征之间的MSE为0.52，这意味着两个空间之间的距离非常接近。在我们的实验中10588预测准确度（%）类型模型基准提出VA：TA：(mean±标准）（平均值±标准值）Padmanaban等人 [24]I'm sorry. 94± 2。33%50.48 ±3。百分之八十一Kim等人 [14]55. 72± 4。百分之 三十一37±4。百分之十七Kim等人 [13]63. 12± 1。百分之 七十二83±1。百分之八十八视觉预测器68.93±1。69. baby 03 ±1。百分之二十四视觉48±1。99%89。16 ±1。87%表4.不同网络在VA处的最大验证准确度（精度中的顶级型号是粗体。VA（%）TA（%）cognitive representation认知特征9087岁百分之四十六85. 91%8887岁86. honeymoon 35%86表5.最大验证准确度（（8280900 02 04 06 08 1080采样间隔（r）70605040302010图5.预测VR晕电水平与主观评价水平的混淆矩阵。回归损失收敛到零附近，因此可以得出结论，该模型从视觉特征估计认知状态，而无需任何先前的生理线索。因此，个体间和个体内的差异被有效地解决以预测VR晕电病。这些观察结果是认知神经科学研究的延伸，其估计来自视觉刺激的EEG响应[30]。如第4.1节所述，输入VR视频帧以采样间隔r均匀采样并通过网络。因此，在高采样间隔下，期望模型比低采样间隔检测快速变化的运动根据采样间隔的结果如图所示。六、实际上，根据采样间隔的预测精度几乎是r=4。 预期根据采样间隔，在低水平晕机内容中的预测准确度将存在差异，而不是在高水平晕机内容中。图6.根据输入VR视频采样间隔的赛博病预测精度。5. 结论在本文中，我们提出了一种新的VR晕机预测框架，其中深度学习模型仅使用VR视频学习个体差异。我们的框架包括两个阶段。在第一阶段中，EEG频谱图驱动的分类进行cybersickness的水平，通过表示认知状态的低维向量。为了提取一个有意义的认知表征的cybersickness，我们的新架构整体上考虑了EEG通道的相互关联通过严格的测试，我们证明，设计一个架构，以反映时间和频谱依赖性是必不可少的线索，以描述cybersickness。在第二阶段中，通过将认知表征转移到中间特征空间，基于RNN的网络旨在提取用于晕机预测的视觉最重要的是，所提出的模型在ETRI-VR数据库上实现了最先进的性能，并且在没有EEG数据的情况下通过VR视频可靠地估计了个体谢谢。这项工作得到了韩国政府（MSIT）资助的信息通信技术促进研究所（IITP）的支持（编号2017 -0-00289，开发一种调节人为因素参数以减少VR引起的疾病的方法）&VATA网络晕船水平181.3%13.3% 2.2% 1.4%百分之一点八2 百分之十一点八84.7%2.2% 0.8%百分之零点五3百分之二点五1.0%92.2%2.2%二点一厘4百分之二点四0.6% 1.6%93.8%百分之一点六5百分之二0.4% 1.8% 1.8%94.0%10589引用[1] U Rajendra Acharya，Shu Lih Oh，Yuki Hagiwara，JenHong Tan，and Hojjat Adeli.深度卷积神经网络用于使用EEG信号自动检测和诊断癫痫发作。生物学和医学中的计算机，100：270- 278，2018。3[2] Pouya Bashivan ，Irina Rish ，Mohammed Yeasin ，andNoel Codella.使用深度递归卷积神经网络从EEG学习表示。arXiv预印本arXiv：1511.06448，2015年。3[3] Willem Bles、Jelte E Bos、Bernd De Graaf、Eric Groen和Alexander H Wertheim。晕动病：只有一个挑衅性的冲突？脑研究通报，47（5）：481-487，1998。2[4] Jelte E Bos，Willem Bles，and Eric L Groen.视觉诱发晕动病的理论。Displays，29（2）：47-57，2008. 2[5] 我们是Chelen、Matthew Kabrisk和SK Rogers。运动病脑电 反应 的频 谱分 析航空 ，空 间和 环境 医学 ，64（1）：24-29，1993。2[6] 陈玉杰、段正仁、庄尚文、林春玲、柯立伟、荣子平、林锦腾。运动病的空间和时间EEG动力学NeuroImage，49（3）：2862-2870，2010. 2[7] 陈玉杰、段正仁、林春玲、庄尚文、荣子平、林锦腾。晕动病相关的脑区和脑电激活。在增强认知基础国际会议上，第348-354页Springer，2009. 2[8] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun. 深入研究整流器：超越人类对imagenet分类的水平。在IEEE计算机视觉国际会议论文集，第1026-1034页，2015年。6[9] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。一、五[10] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，andKilian Q Weinberger.密集连接的卷积网络。在IEEE计算机视觉和模式识别会议论文集，第4700-4708页，2017年。1[11] Sergey Ioffe和Christian Szegedy。批次标准化：通过减少内部协变量偏移来加速深度网络训练。arXiv预印本arXiv：1502.03167，2015。5[12] Hak Gu Kim ， Wissam J Baddar ， Heoun-taek Lim ，Hyun- wook Jeong，and Yong Man Ro.使用深度卷积自动编码器测量VR视频内容中的异常运动以用于VR疾病评估第23届ACM虚拟现实软件和技术研讨会集，第36页。ACM，2017。3[13] Hak Gu Kim ， Heoun-Taek Lim ， Sangmin Lee ， andYong Man Ro. VRSA Net：考虑360 VR视频的特殊运动的IEEE Trans- actions on Image Processing，28（4）：1646-1660，2019。七、八[14] Jaekvung Kim 、 Woojae Kim 、 Sewoong Ahn 、 JinwooKim和Sanghoon Lee。虚拟现实疾病预测：视觉前庭冲突和VR内容的分析。2018年第十届多媒体体验质量国际会议（QoMEX），第1-6页。IEEE，2018年。三、七、八[15] Jongyoo Kim和Sanghoon Lee图像质量评估框架中人类视觉敏感度在IEEE计算机视觉和模式识别会议论文集，第1676-1684页，2017年。1[16] Woojae Kim 、 Jongyoo Kim 、 Sewoong Ahn 、 JinwooKim和Sanghoon Lee。深度视频质量评估器：从时空视觉灵敏度到卷积神经聚合网络。在欧洲计算机视觉会议（ECCV）中，第219-234页，2018年。1[17] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。6[18] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。神经信息处理系统的进展，第1097-1105页，2012年。1[19] 林锦腾、庄尚文、陈玉杰、柯立伟、梁胜富、荣子平。动态虚拟现实环境中诱发运动病在2007年第29届IEEE医学和生物学工程学会年度国际会议上，第3872-3875页。IEEE，2007年。2[20] 林锦腾、蔡淑芳、柯立伟。动态车辆环境中用于在线晕动 病 水 平 估 计 的 基 于 EEG 的 学 习 系 统 。 IEEETransactions on Neural Networks and Learning Systems，24（10）：1689-1700，2013。二三四六[21] Andrew L Maas、Awni Y Hannun和Andrew Y Ng。整流器的非线性改善了神经网络声学模型。在Proc.icml，第30卷，第3页，2013中。5[22] Heeseok Oh，Sewoong Ahn，Sanghoon Lee，and AlanConrad Bovik.立体3D图像的深度视觉不适预测器。IEEE Transactions on Image Processing ， 27 （ 11 ） ：5420-5432，2018。1[23] Heeseok Oh，Sanghoon Lee，and Alan Conrad Bovik.立体3D视觉不适预测：动态适应和聚散交互模型。IEEETrans-actions on Image Processing ， 25 （ 2 ） ： 615-629，2016。1[24] Nitish Padmanaban，Timon Ruban，Vincent Sitzmann，An- thony M Norcia，and Gordon Wetzstein.360立体视频中 疾 病 预 测 的 机 器 学 习 方 法 IEEE Transactions onVisualization and Computer Graphics，24（4）：1594-1603，2018。三、七、八[25] SimonePalazzo、ConcettoSpampinato、IsaakKavasidis、Daniela Giordano和Mubarak Shah。由大脑信号调节的生成性对抗网络在IEEE计算机视觉国际会议论文集，第3410-3418页3[26] Adam Paszke、Sam Gross、Soumith Chintala、GregoryChanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。pytorch中的自动微分。2017. 610590[27] Jordi Pons，Thomas Lidy，and Xavier Serra.用音乐激励的卷积神经网络进行实验。2016年第14届基于内容的多媒体索引（CBMI）国际研讨会，第1-6页。IEEE，2016.4[28] James T Reason和Joseph John Brand 晕车。学术出版社，1975年。2[29] F Scharbrough、GE Chatrian、R Lesser、H Luders、MNuwer和T Picton。标准电极位置命名指南。Am. EEGSoc，1990年。4[30] ConcettoSpampinato，SimonePalazzo，IsaakKavasidis ， Daniela Giordano ， Nasim Souly ， andMubarak Shah.深度学习人类思维，用于自动视觉分类。在IEEE计算机视觉和模式识别会议论文集，第6809-6817页，2017年。三、四、八[31] CS Wei，SW Chuang，WR Wang，LW Ko，TP Jung，and CT Lin.基于脑电频谱分析的运动病评估系统的研制在 2011 年 IEEE 电 路 与 系 统 国 际 研 讨 会 （ IS-IEEEInternational Symposium on Circuits and Systems）上CAS 2011），2011。2[32] 吴建普人体平行摆动诱发运动病的脑电变化。航天医学与医学工程，5（3）：200-205，1992. 2