虚拟现实头戴式显示器中眼-头协调信息检测：减少用户疾病，提高连续性

引文：范晓雄，蔡云，杨宇飞，徐天星，李一科，张松海，张方略。通过眼-头协调信息检测与场景无关的头部运动。虚拟现实智能硬件，2021，3（6）：501-514DOI：10.1016/j.vrih.2021.08.007虚拟现实智能硬件2021年11月3日第6·文章·通过眼-头协调信息徐晓雄，于才义，于飞，徐田，李彦，张松霞，韩方禄1. 清华大学，北京1000842. 新西兰惠灵顿维多利亚大学*通讯作者，fxx18@mails.tsinghua.edu.cn投稿时间：2021年5月30日修订日期：2021年7月31日接受日期：2021年8月12日摘要背景头戴式显示器（HMD）中的精确运动跟踪已广泛应用于沉浸式VR交互技术中。然而，始终跟踪用户的头部运动并不总是期望的。在HMD使用的会话期间，用户可以进行与场景无关的头部旋转，例如调整头部位置以避免颈部疼痛或对来自物理世界的分心做出响应。据我们所知，这是第一项针对与场景无关的头部运动问题的研究。方法我们训练一个分类器，利用时间眼-头协调信息序列检测场景无关运动。为了研究检测结果的有用性，我们提出了一种技术，暂停运动跟踪HMD场景无关的运动检测。结果/结论实验结果表明，场景相关的运动可以检测到使用眼头协调信息，忽略场景无关的头部运动在头戴式显示器提高了用户的连续性，而不会增加疾病或打破沉浸。虚拟现实;以人为中心的计算;人机交互;交互范式;人机交互设计与评价方法;用户模型1引言头戴式显示器（HMD）上的虚拟现实以其沉浸式体验而闻名，并已应用于教育[1]和医疗保健[2]等各个领域。HMD中的视图控制通常通过跟踪用户的头部旋转来引导，如在市场上常见的消费级产品（例如Oculus Quest或HTC Vive Pro）中所观察到的。因此，一些研究人员专注于在HMD中获得准确和灵敏的头部跟踪[3]，以及关于转向行为和重定向用户的技术解决方案的理论分析[4]。在大多数消费级HMD应用中，头部移动被连续跟踪以驱动虚拟环境中视图的方向和位置。然而，在某些场景中，用户可能会执行与VR环境无关的动作。例如，许多用户抱怨的症状，如2096-5796/©版权所有2021北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.com虚拟现实智能硬件2021年11月3日第6颈部疼痛和头痛[5]长期和连续使用HMD后;这些用户可以进行主动头部运动并改变姿势以减轻症状。用户还可以被现实世界的事件分散注意力，并在其他人触摸或与他们交谈时执行潜意识动作，同时沉浸在沉浸式VR活动中。这些行为被发现会阻碍用户的存在感或给用户带来视觉不适[6- 8]。跟踪这些运动可能会显著削弱VR系统的沉浸特性。对头部运动的连续反应并不最适合HMD;因此，需要准确检测这些运动。我们将由VR内容调用的运动或旨在与VR内容交互的运动定义为场景相关运动，而将由VR内容之外的其他因素引起的运动定义为场景无关运动。据我们所知，目前还没有关于识别场景无关运动和考虑这些运动改善VR体验的研究。我们的研究是第一个调查场景无关运动检测的研究，我们的研究结果可用于改善整体VR体验，减少这些运动一旦被检测到的影响。受先前关于凝视和头部运动的研究[9，10]的启发，我们提出了一种基于眼-头协调行为识别场景无关头部旋转的新方法。该方法在一个自收集的数据集上进行了训练和评估，并达到了可接受的精度。为了验证识别结果的适用性，我们设计了一种“视图跟随技术”，它可以由检测到的场景无关的运动自动旋转虚拟视图，以跟随用户头部旋转。进行了精心设计的用户研究，以在实际情况中利用该技术。实验结果表明，使用视图跟随技术可以显着减轻用户的不适感，这反过来又表明了识别过程的有用性。本研究做出了以下三项贡献：• 第一次进行了与场景无关的运动的检测。• 提出了一种基于眼头协调行为的身份识别方法• 识别结果的适用性进行了验证，在现实生活中的情况下，通过设计一个视图跟踪技术和执行用户研究。2相关工作2.1HMD视图控制中的负反馈现有的视图控制技术高度依赖于头部旋转;然而，这可能会导致头部和颈部受到明显的压力，并使现实世界的分心更有可能导致VR体验的明显中断。Wille等人发现，与平板电脑相比，使用HMD时应变更高，性能更慢，并且随着使用时间的延长，应变会更大[5]。Oh等人发现，现实世界的干扰对虚拟体验中的识别、回忆和社交存在产生了负面影响，并指出需要更多的研究来确定是否以及如何将现实世界的事件整合到虚拟环境中[8]。由于肌肉压力，使用HMD时几乎不可避免地会发生放松动作;此外，现实世界的分心也是不可避免和不可预测的。然而，据我们所知，还没有现有的工作已经进行，以减少放松动作或现实世界的分心，我们的目标是填补我们的研究空白所造成2.2虚拟现实环境已经进行了许多研究以基于给定行为来改善HMD的用户体验。502XiaoxiongFANetal：确定移动服务器的空间大小，以便于在数据库中进行数据处理Gandrud等人将眼睛注视数据、头部位置和头部方向信息相结合，以推断用户在到达远处决策点后的预期前进方向[4]。Zank等人证明，可以基于注视方向比位置数据更快地正确预测用户的最终转向方向[11]。近年来，越来越多的研究关注于对VR环境中凝视行为的理解;例如，Freedman等人对眼睛和凝视统计数据进行了详细分析，并指出头部跟随凝视的平均延迟为58 ms[12]。上述研究启发我们利用眼动数据来分析HMD中跟踪的用户运动的意图。2.3眼-头协调运动头部和眼睛之间的协调运动已经在认知心理学和神经心理学中研究了几十年[13，14]。特别是，几项研究[10，15- 17]都集中在不同条件下不同的眼-头协调模式，分析何时以及为什么出现某种模式，并验证和测量每个模式中眼睛和头部之间的延迟。此外，一些研究[10，18]已经证明，类似于物理世界的眼-头协调也存在于VR环境中。从心理学的角度，前人的研究为我们的研究提供了坚实的理论基础，在此基础上，我们提出利用眼动和头部运动的协调性来识别动作是否与虚拟场景相关。此外，最近的研究集中在探索在可能的现实生活场景中使用眼头协调运动。Doshi等人探索了不同注意力转移条件下的眼-头运动模式[9]。他们的研究结果表明，有可能应用眼-头动力学测量来检测驾驶员分心，以及对人类注意力状态在时间和安全关键任务中进行分类。这类似于检测与场景无关的运动，这进一步激发了我们的研究。3场景无关运动检测我们的研究重点是减少场景无关的运动的VR系统的沉浸特性的眼头协调行为的基础上的负面影响。我们首先定义了场景相关和场景无关的运动，并将它们分为几种类型。然后，我们进行试点实验，以验证眼头协调运动和场景相关性之间的相关性。基于以前的观察，我们提出了一种新的方法，使用眼头坐标数据作为输入，并区分场景相关和不相关的运动。3.1场景相关和场景无关运动我们将场景相关的动作定义为由VR内容调用或旨在与VR内容交互的动作。相应地，场景无关运动被定义为由VR内容以外的因素引起的运动。基于对使用VR HMD时凝视和头部运动的日常行为的观察，我们建议对头部运动进行分类，这为试点实验的设计提供了指导，如下所示：(1) 作者将与场景相关的头部旋转分为以下三类：• 探索VR环境，在此期间，用户旋转头部以观察周围环境或找到当前阶段的视觉焦点。• 由视觉线索带来的旋转，例如跟踪移动的物体。503虚拟现实智能硬件2021年11月3日第6• 由声音线索引导的旋转，如先前的研究所示[19]。(2) 与场景无关的头部旋转分为以下两类：• 在来自用户的激励下的主动移动，例如在佩戴HMD的同时移动头部以放松颈部或在尝试到达真实世界对象时执行的移动。• 对外界干扰的被动反应，如拍肩膀时头部抽搐基于先前关于眼-头运动模式的研究[15- 17，20]，我们提出了眼-头坐标信息与运动的场景相关性之间的相关性。为了验证这一假设，我们设计了一个试点实验，分析了各种类型的上述行动，以更好地理解识别任务。3.2初步实验场景相关和场景无关的头部旋转都是由不同类型的刺激引起的。我们采用了一个看电影的任务，以最好地覆盖场景相关的行动，因为大多数电影都包含视觉和声音线索，以及环境探索方面。对于与场景无关的头部旋转，我们在实验中采用了两种可能的动作，包括调整头部放松和在肩膀上轻拍时转动头部，分别对应于主动和被动的无关运动。作者邀请了20名参与者参加我们的初步实验，他们被要求观看一段身临其境的视频1。在实验过程中，他们被要求在指示文本出现在显示器上时调整头部，并转动头部以回应实验者的肩膀轻拍。我们使用HTC VIVE Pro记录了他们的视线转移和头部旋转程度的时间序列。实验结束后，我们回顾了录音，并手动标记了与场景无关的动作。如图1所示，在与场景无关的运动中，眼睛和头部的旋转几乎同时发生，速度非常相似。例如，关于在运动发生后的8个连续帧中眼睛和头部之间的位置差异，在被标记为与场景无关的150个运动中，64个病例的平均值小于5 °，112个病例的平均值小于10 °。这些特征与关于非预测运动的现有心理学研究结果一致[15，16]。对于图2所示的场景相关运动，我们发现眼睛旋转通常发生在头部旋转之前。然而，在场景相关的情况下，眼睛和头部旋转之间的确切延迟似乎是不一致的情况。此外，我们注意到，在一些情况下，上述的眼-头协调现象似乎不适用于几乎同时发生的旋转;在这些情况下，其他特征往往存在，如眼睛旋转的较早停止时间。通常，场景相关运动的模式变化，并且难以使用固定算法来检测。除了典型的相关和不相关样本外，还有一些样本的模式很难识别。在150个被标记为不相关的动作中，大约有35个案例可以被模糊地定义为困难的;对于相关的动作，这个数字很难确定，因为我们不能准确地定义场景相关性的有用特征。因此，我们采用机器学习方法，因为它们具有捕获复杂数据依赖性和鲁棒性的出色能力。3.3算法设计我们将上述问题建模为二元分类任务。给定一个包含1电子邮件地址：www.youtube.com/watch? v= SZ0fKW 5PttM504XiaoxiongFANetal：确定移动服务器的空间大小，以便于在数据库中进行数据处理图1九个与场景无关的典型动作例子，眼睛和头部的旋转总是以相似的速度几乎同时发生。图2场景相关动作的九个典型案例，其中眼睛旋转通常发生在头部旋转之前。505我i-k+ 1我i-k+ 1我虚拟现实智能硬件2021年11月3日第6在第i帧处的由gi，hi∈R3ti∈R时，算法的输出应该是一个时间布尔序列，表示在每帧中是否发生了与场景无关的运动。图3五个疑难案件的案例。3.3.1输入预处理根据前面的分析，该算法应该理想地基于颈部和头部的运动信息;因此，我们计算了每帧眼睛和头部的角速度。 具体地，我们使用下式来近似第i帧处的注视和头部取向的角速度Ei和HiE = gi+ 1 -gi我（一）ti+ 1 - 我不是H = hi+ 1 -hi我（二）ti+ 1 - 我不是其中gi、hi和ti分别是第i帧处的眼睛、头部和时间戳数据，如前所述。我们在输入序列的滑动窗口中对眼睛和头部的角速度进行分类。滑动窗口是k帧宽，范围从帧（i-k，i]，其中k是超参数。分类器应该为每个时间片输出一个布尔值，正值表示与场景无关的移动。我们将窗口内每个帧的眼睛和头部角速度连接为帧I处的输入特征，如下所示：In=HT，虽然可以将更多来自输入数据的信息引入到后期阶段，例如同一帧中的注视角度和头部方向之间的差异，但我们发现它们在我们的实验中只对分类结果产生负面影响。其原因被认为是缺乏大型数据集和过拟合现象。506我i= 1=∑j我我XiaoxiongFANetal：确定移动服务器的空间大小，以便于在数据库中进行数据处理3.3.2算法选择在从各种机器学习算法中进行选择时，我们考虑到首先，我们的数据集相对较小，因此可能会出现过拟合问题。其次，该方法必须在实时环境下表现良好，因此，它应该是轻量级的。此外，应该采用回归器而不是分类器，以更好地管理不同的k值并适应训练过程，这将在本文稍后进行解释。回归器的原始输出应该是范围[0，k]中的值，并且在后处理期间经由阈值δ我们测试了各种方法，包括支持向量回归机（SVR），多层感知器回归机（MLPR）和k-最近邻回归机（KNNR）。SVR可以描述如下：SVR=∑Nα*exp-γx-+b（4）其中α*和b是学习参数，N是训练样本的数量，γ是输入维度的倒数。MLPR有两个隐藏层，输出大小为4和2，每个隐藏层之后都有ReLU激活层，使用有限内存BFGS方法进行训练，最多迭代4000次，以确保参数收敛。它可以描述如下：MLPR（x）=ReLU（W2<$ReLU（W1<$x+b）+b）（5）KNNR可以描述如下：xargmaxcxi∈Nk（x）i= 1，2，其中cj是表示[0，k]中的整数的类别，Nk（x）是由欧几里德距离确定的k-最近邻的集合，并且I（）是指示函数。这些方法的超参数，例如MLPR中的学习率或KNNR中的邻居数，应该在选择过程中确定。4评价在本节中，我们进行了一个数据收集实验来构建我们的原始数据集，然后在数据集上执行训练和测试程序来确定算法的超参数。检测结果令人满意，验证了前面任务的分析和设计。4.1数据收集我们首先进行了一个实验，收集和注释足够数量的眼头旋转数据，以学习场景相关/不相关的动作过程中的眼头运动的模式。参与者被要求坐在不可旋转的椅子上观看5个360度视频。在观看这些视频时，他们被随机打断，并被要求对中断做出反应。某些中断由系统通过文本指令自动执行，例如“调整头部位置”或“向左转”，而其他中断，例如拍肩，则由实验者进行。两种刺激的比例接近1：1。以大约80 fps的速率同时记录中断、欧拉角中的眼-头旋转数据（双眼注视方向和头部取向数据）和时间戳。与此同时，我们的系统在VR显示器上记录了参与者的视图的视频。然后，我们注释了与场景无关的头部旋转的起始点，这可以在录制的视频中轻松识别。15名被试参与了本实验，共收集了350分钟的时间序列。在一个简单的预处理步骤中，我们将卡尔曼滤波器应用于原始方向数据，以防止硬件抖动干扰后续过程。507虚拟现实智能硬件2021年11月3日第6不幸的是，与实验中的帧数相比，通常只有少数与场景无关的动作。这导致阳性样本和阴性样本之间的显著不平衡。为了解决这个问题，我们首先过滤掉头部方向的角速度值保持为零的负样本，因为我们只在检测到明显的头部运动时触发分类器。然后，我们对过滤后的负样本进行随机下采样，以平衡正样本和负样本。为了生成训练过程的地面实况，有必要为每个帧提供关于场景无关性的正面或负面标签，因为注释器仅标记原始数据集中每个场景无关头部运动的开始。为了简单起见，我们将注释帧i之后的[i，i+c）帧标记为正，其中c是超参数;所有其他帧都标记为负。然后，如果窗口内正标记的帧的数量大于百分比阈值δ，则我们将时间片标记为（i−k，i]i为正，如图4所示最后，我们将数据集随机分为训练集和测试集的比例为4： 1。图4时间片标记方案，c =7，k =6，δ =0。7.4.2分类我们首先在KNNR上试验了不同的c和k值，因为它们在我们实现的相对早期阶段会影响数据集。例如，对于每个k值，可用时间片的长度和数量都会改变，这需要重新组织输入-输出对。该阶段中的KNNR使用n个邻居=6，δ =0。5.我们发现分类器对c和k不敏感，因为当c从6增加到14，k在[c−1，c+1]范围内时，准确度仅变化1%到3%;因此，我们设置c=7，k=6。因此，经处理的数据集包括4900个时间片样本，其中回归器的输入是36个特征的一维阵列，并且输出是指示动作是场景无关的单个布尔值。接下来，进行方法之间的比较，以确定合适的回归量以及δ值。我们在δ =0处粗略调整了MLPR和KNNR超参数。5.对于MLPR，有限内存BFGS方法的权重衰减为0.0001;对于KNNR，n个邻居=6。由于这是一个相当标准的二元分类问题，我们在选择过程中主要考虑了最终的准确率和f1分数，以及精确率和召回率分数。所示表1中， 当δ ∈ [0. 四，零。6]。最 后，δ =0的KNNR。月4精确度为0.8205，并且选择F1分数为0.7602用于视图跟随技术。值得注意的是，将这三种方法结合到一个投票回归器中并没有导致性能的提高。关于KNNR，我们调整了超参数n_neighbors。最后，我们选择n_neighbors=4，准确度为0.8487，f1-score为0.8090。分类任务的成功进一步确保了眼睛和头部之间的关系508XiaoxiongFANetal：确定移动服务器的空间大小，以便于在数据库中进行数据处理表1方法的比较方法δ精度精度召回F1支持向量回归机0.40.80640.67380.82950.74360.50.75760.67640.11440.19570.60.74350.66660.00990.0196多层感知器回归器0.40.78840.65420.79540.71790.50.7730.54190.77110.63650.60.77430.55760.60190.5789K-近邻回归量0.40.82050.69370.84090.76020.50.81920.62090.76610.68590.60.83970.70650.64670.6753运动存在于VR环境中的协调注视转移中，其可以用于区分与场景无关的头部运动与相关头部运动。为了验证识别结果的适用性，我们设计了一个视图跟踪技术。5应用和用户研究在本节中，我们提出了一个实用的视图跟踪技术的设计和实现，以利用检测结果。我们进行了一个对照实验，以验证VR电影观看体验的可行性和有效性。我们发现，该技术通过减少用户场景无关运动的影响，提供了更好的用户体验，从而在不增加疾病或破坏沉浸感的情况下实现更高的连续性。5.1视图跟踪技术我们提出了一个实用的技术，为看电影的情况。我们的设计忽略了检测到的与场景无关的动作，因为它们不适用于VR环境。这允许用户在执行这些动作时跟踪他们的原始目标，并且还赋予他们从一个位置平滑切换到另一个位置的能力，例如从坐姿切换到卧位。在我们的实现中，视频被投影到天空盒材质上，天空盒材质可以被认为是以观众为中心的球体的内表面。视频通常保持固定在VR环境中（世界锁定）;但是，它也可以在需要时设置为随着头部旋转（头部锁定），从而实现“视图跟随”效果。该技术围绕场景无关检测算法。从HMD收集实时眼睛和头部定向以及时间戳。当视频处于世界锁定状态时，来自HMD的头部旋转信息首先用于确定头部是否在移动。当一个明显的运动发生时，相关的存储信息作为一个序列被送入算法。如果算法检测到与场景无关的移动，则将视频设置为头部锁定。它一直保持头部锁定状态，直到注意到头部没有明显的运动;然后，它回到世界锁定状态。请注意，在实践中，状态之间的切换可能会反复发生;例如，当一个人将头猛地朝一个分心的地方移动，然后迅速缩回。5.2实验设计为了评估视图跟随技术的有效性，我们选择了三个评估维度：连续性疾病和沉浸感连续性是指用户可以跟踪509虚拟现实智能硬件2021年11月3日第6受试者在完成指定的头部运动时进行观察。疾病是指用户表现出3D晕动病症状的水平，包括VR中的眩晕、恶心、呕吐和头痛。沉浸感是指用户沉浸在虚拟世界和讲故事中而不会感到分心，脱离或迷失的水平。良好的连续性、低病态和不间断的沉浸感有助于获得更好的VR体验。该技术旨在通过减少用户场景无关移动的影响来提供更好的用户体验。相应地，我们设计了一个2×2混合设计研究来评估这种技术。我们选择了两个360度的视频，并使用它们进行了两组实验，A和B。在这些实验中，参与者被要求观看视频，其中一个应用该技术，另一个不应用，如表2所示。在这里，我们没有指定参与者观看两个视频的顺序，因为我们要求用户在两个实验之间休息5分钟，以消除随着VR观看时间增加而增加的疾病风险。组表2混合经验集视频1：入侵专辑中文名：Rain or ShineA B有我们的技术没有我们的技术没有我们的技术有我们的技术根据我们的研究目标，我们对实验的主要假设如下：• H1：与不包含场景无关头部运动的情况相比，使用我们的凝视引导视图控制技术的VR电影的连续性水平更高。• H2：是否将视线引导的视图控制技术应用于VR电影并没有引起疾病水平的显著差异。• H3：是否将视线引导的视图控制技术应用于VR电影并没有引起沉浸水平的显著差异。• H4：相同治疗的不同视频（使用或不使用该技术）在VR体验中的连续性，疾病或沉浸程度方面没有差异。我们将表2中的四个实验分为两组：视频1和视频2作为受试者之间的实验。每个视频都有以下两个条件：一个是使用我们的技术，另一个是不使用我们的技术，这是在主题内。H1、H2和H3是关于受试者内的假设，而H4是关于受试者间的假设。使用计算的p值进行显著性检验，以验证上述假设。我们研 究中使用的两 部360 度电影 是来自BaobabStudios2 的 Invasion 和 来 自 GoogleSpotlight Stories3的Rain or Shine（图6），这两部电影可以在网上免费获得。它们都是简短的（分别为6分钟和5.5分钟），数字动画叙事360度视频，具有有趣和迷人的情节，试图让参与者尽可能多地关注视频中的主题，可能的;此外，电影要求参与者进行各种眼睛和头部运动，从而使视频完全适合于检测算法的测试。2 https：/Twohttp://www.baobabstudios.com3https：//atap. Google. com/spotlight stories/510图5实验环境。左图：一名参与者正在观看电影片段。右上角：实验者记录参与者眼睛和头部转动的折线图。右下角：电影中的一个场景。XiaoxiongFANetal：确定移动服务器的空间大小，以便于在数据库中进行数据处理5.3设备和参与者所 提 出的 技 术 是 使 用Unity3D 游 戏 引擎 版 本2019.4.6实现的。HTC VIVE Pro Eye（嵌入眼动仪）被用作头戴式显示器进行头部和眼睛跟踪。该应用程序运行在一台台式电脑上，配有英 特 尔 酷 睿 I7 处 理 器 和 Nvidia GeForce GTX1080Ti显卡，速度约为每秒80帧。 在眼睛跟踪模块以120 Hz运行，头部跟踪模块以90 Hz运行的情况下，我们能够通过Unity3D记录每帧的头部和眼睛旋转数据。参与者被要求在这个过程中坐在一个不可旋转的椅子上，这与我们之前进行的数据收集实验一致。图 6 例如 的 仍 帧 从图6所用视频中的静止帧示例（出于研究和演示目的，在合理使用下使用单个帧）使用的视频（出于研究和演示目的，在合理使用下使用的单帧）。20名参与者（5名女性和15名男性）参与了用户评价研究，他们的年龄主要在21- 25岁之间。所有参与者都报告说他们以前有过VR体验，包括玩3D或VR游戏和观看360度视频。关于3D晕动病症状的评估，如眩晕、恶心、呕吐和头痛，9名参与者没有表现出晕动病症状，10名参与者表现出轻微的晕动病症状或偶尔晕车，1名参与者在玩3D游戏10分钟后出现晕动病症状。5.4程序在实验开始时，每个参与者都被要求完成一份背景调查问卷，以提供有关他们的年龄，性别，VR体验和3D晕动病症状的信息。实验中每个参与者的主要任务是观看两个VR视频，其中一个视频应用了视图跟踪技术，另一个视频则没有，然后提供关于这两种情况的反馈。在观看之前，参与者被告知他们在观看视频时会被打断几次，外部干扰，例如HMD的文本指令，实验者的动作或问题。他们还被要求通过完成指定的动作来回应干扰，例如通过转动他们的头，调整他们的头以获得舒适，并回答实验者的问题。在观看视频之前，每个参与者都要经过眼动跟踪软件的校准过程，以确保我们的技术的电影观看质量和分类准确性。每个参与者都观看了两部VR电影;我们的技术根据参与者被分配到的组应用于其中一个视频，如第5.2节所述。在看完电影后，参与者被要求对连续性，疾病和整体进行评级。511虚拟现实智能硬件2021年11月3日第6沉浸在他们的观看体验的两个视频在5点李克特规模。然后，实验者进行了一次非正式的访谈，以收集参与者认为值得注意的其他细节。5.5实验结果在收集问卷数据后，我们分析了每个视频的每个评价尺度的频率计数，无论是否使用我们的技术。我们准备了堆叠条形图来可视化百分比分布（图7、图8和图9）。然后，我们用4.2节中指定的比较组的分数进行了显著性检验，以验证我们的假设。为了验证假设H1，我们使用Wilcoxon符号秩检验分析了使用和不使用我们的技术的观看体验的连续性分数，发现了显著差异（p= 0.00680.05）。如图7所示，在使用我们的技术（平均值=4，SD=0.21）和不使用我们的技术（平均值=3.2，SD=1.01）的观看体验的评级分布之间存在显著变化，这表明当发生意外移动时VR电影观看体验的连续性的显著改善。为了验证假设H2，我们使用Wilcoxon符号秩检验分析了使用我们的技术观看视频和不使用我们的技术观看视 频 时 的 疾 病 数 据 ， 没 有 发 现 显 著 差 异（p=0.8738> 0.05）。 结果表明，在患病程度上，图7连续性评级的百分比分布。图8 疾病评级的百分比分布图9 浸入式评分的百分比分布视频与我们的技术，这验证了我们的视线引导视图控制技术不会增加VR体验中的疾病。为了验证H3，我们使用Wilcoxon符号秩检验分析了使用我们的技术观看视频和不使用我们的技术观看视频的沉浸数据，没有发现显著差异（p= 0.0840> 0.05）。注意，向外技术（平均值=3.85，SD=0.66）提供了比没有向右移位（平均值=3.35，SD=1.18）的评级，几乎成功地显著增加了沉浸。这验证了我们的技术不会破坏沉浸感，并且稍微增加了它。为了验证H4，我们使用Wilcoxon符号秩检验比较了具有相同处理的两部电影的三个标准的数据。对于不使用我们的技术观看不同电影的得分，我们没有发现连续性（p=0.3438> 0.05），恶心（p=0.2656 >0.05），512XiaoxiongFANetal：确定移动服务器的空间大小，以便于在数据库中进行数据处理0.05）或浸泡（p=0.7500> 0.05）。对于使用我们的技术观看两部电影的连续性数据，再次发现连续性（p=1.00> 0.05）、恶心（p=0.3438> 0.05）或沉浸（p=0.3438> 0.05）没有显著差异。这表明，不同的视频不会像我们想象的那样，在VR体验中意外的头部运动过程中引起不同的感觉。在实验后的非正式访谈中，参与者大多对该技术给予了积极的反馈。20名参与者中有17名注意到我们应用于其中一部电影的凝视引导视图控制技术，其中16名报告说这增加了整体沉浸感。一些用户报告说，他们花更少的时间重新寻找他们在中断之前一直在看的角色，这减少了在与场景无关的头部运动中失去焦点的不适感。然而，一些参与者声称在视图跟随发生后对场景方向感到困惑;因此，一旦检测到与场景无关的运动，也许可以呈现更用户友好的动作。尽管如此，用户研究的结果证实了我们技术的有效性。6结论和局限性据我们所知，这是第一个研究，探讨了检测场景无关的运动和应用的眼头协调运动模式的视图控制。我们的研究表明，场景无关的头部旋转可以有效地检测通过眼头协调行为。研究结果表明，眼头协调行为可以用于其他任务，如用户意图检测。我们还提出了一种视图跟踪技术，利用检测场景无关的头部旋转在一个共同的电影观看VR场景。研究结果还表明，我们的技术提高了叙事体验的连续性，而不会增加疾病水平或降低沉浸水平，这表明为了更好的用户体验，管理不相关的动作是明智的。然而，我们的研究有一些局限性。目前，我们将不相关检测问题建模为二进制分类问题。然而，我们承认现有的眼-头协调研究[1，10，16，20]表明在各种条件和任务中存在几种眼-头运动模式。这是可能的，该问题可以更好地建模的多类分类任务的形式。此外，需要更大的数据集，更多样化的VR活动，以促进眼-头协调研究的发展。场景无关动作的检测和眼头协调运动的利用在虚拟现实场景中具有重要的研究和应用潜力。我们期待着在这方面进行进一步的研究。竞合利益我们声明我们没有利益冲突。引用1张文龙，张文龙，张文龙.对虚拟现实在教育中的应用进行了系统的回顾。科技教育主题，2017，10（2）：852Mahrer N E，Gold J I.虚拟现实在疼痛控制中的应用：综述。当前疼痛和头痛报告，2009，13（2）：100-109DOI：10.1007/s11916-009-0019-83杨伟华，王伟华，王伟华.追踪眼之裂缝的头部。2014 IEEE International Conference on Robotics and Automation（ICRA）中国香港，IEEE，2014，187-194 DOI：10.1109/icra.2014.69066084Gandrud J，Interrante V.在VR中移动期间使用头部方向和注视方向预测目的地于：513虚拟现实智能硬件2021年11月3日第6ACM Symposium on Applied Perception（ACM应用感知研讨会）加利福尼亚州阿纳海姆市，纽约州，美国，ACM，2016，31–38DOI：10.1145/2931002.29310105放大图片作者：William M，Grauel B.头戴式显示器造成的应变。欧洲人类因素和人类工程学学会会议录，2013年，2676Waterworth E L，Waterworth J A.焦点、轨迹与感觉：虚拟体验的三个维度。网络心理学行为，2001，4（2）：203DOI：10.1089/1094931013001178937[10]杨文辉，李文辉.临在的时空变异：临在中断实验访谈的质性分析。Presence，2008，17（3）：293pres.17.3.2938Oh C，Herrera F，Bailenson J.沉浸和现实世界的分心对虚拟社交互动的影响。Cyberpsychology，Behavior，andSocial Networking，2019，22（6）：365DOI：10.1089/cyber.2018.04049Doshi A，Trivedi M M.复杂环境中视觉注意力转移过程中的头和眼注视动态。视觉杂志，2012，12（2）：9DOI：10.1167/12.2.910Pfeil K，Taranta E M II，Kulshreshth A，Wisniewski P，LaViola J J.虚拟现实和物理现实之间的眼头协调比较。第15届ACM应用感知研讨会论文集。温哥华不列颠哥伦比亚省加拿大，纽约州纽约市，美国，ACM，2018，1DOI：10.1145/3225153.322515711Zank M，Kunz A.用于重定向行走中的运动预测的眼动跟踪。2016年IEEE Symposium on 3D User Interfaces（3DUI）。Greenville，SC，USA，IEEE，2016，49DOI：10.1109/3dui.2016.746003012Freedman E G.在视觉定向过程中眼睛和头部的协调。实验脑研究，2008，190（4）：369-387DOI：10.1007/s00221-008-1504-813道奇河代偿性眼动的潜伏时间。实验心理学杂志，1921，4（4）：247-269 DOI：10.1037/h 007567614Clément G，Reschke M F.补偿性眼球运动。Springer Science Business Media，New York，NY，2010，163-18815放大图片作者：J.凝视潜伏期：头和眼潜伏期的可变相互作用。实验神经病学，1982，75（2）：389-406DOI：10.1016/0014-4886（82）90169-816比齐眼头运动的协调。《科学美国人》，1974，231（4）：10017作者：J. R.汽车镜采样时的头部运动预测。知觉和运动技能，1977，44（1）：283DOI：10.2466/pms.1977.44.1.28318[10]李文辉，李文辉.虚拟环境暴露后前庭-眼反射的改变。耳鼻咽喉科学报，2001，121（2）：211DOI：10.1080/00016480130004354119Rothe S，Hußmann H，Allary M.在电影虚拟现实中引导观众的演绎线索。第23届ACM虚拟现实软件与技术研讨会论文集。瑞典哥德堡。美国纽约，ACM，2017DOI：10.1145/3139131.3143421514