虚拟现实智能硬件的动态目标搜索辅助研究及其优先级分析

虚拟现实智能硬件2021年12月3日第6引文：赵子祥，周全伟，韩晓光，王丽丽。基于虚拟摄像机优先级的动态目标搜索辅助。虚拟现实智能硬件，2021，3（6）：484-500DOI：10.1016/j.vrih.2021.10.001·文章·基于虚拟摄像机优先级的Zixiang ZHAO1，Quanwei ZHOU1，Xiaoguang HAN4，5，Lili Wang1，2，3 *1. 北京航空航天大学计算机科学与工程学院，虚拟现实技术与系统国家重点实验室，北京1001912. 北京航空航天大学生物医学工程北京先进创新中心，北京1001913. 数学与理论系，鹏程实验室，深圳5180524. 香港中文大学，深圳9990775. 深圳市大数据研究院，深圳999077*通讯作者，wanglily@buaa.edu.cn投稿时间：2021年8月12日修订日期：2021年10月7日接受日期：2021年10月18日国家重点研发&计划（2019 YFC 1521102）;国家自然科学基金（61932003，61772051，62172437）;北京市自然科学基金（L182016）;北京市国际&科技合作项目（Z191100001619003）;深圳市大数据研究院（深圳518000）资助。摘要背景当用户在未知的虚拟场景中自由行走并搜索多个动态目标时，对环境缺乏全面的了解可能会对虚拟现实任务的执行产生负面影响。以往的研究可以帮助用户使用辅助工具，如俯视图或路径，和探索指导，例如，自动生成路径，根据用户的位置和重要的静态点在虚拟场景中。然而，在某些虚拟现实应用中，当场景具有复杂的遮挡，用户无法获得动态目标的任何实时位置信息时，上述辅助无法帮助用户更有效地完成任务。方法设计一种基于优先级的虚拟摄像机辅助系统，帮助用户高效地搜索动态目标。我们不是强迫用户去目的地，而是提供一个优化的即时路径，引导他们到他们寻求帮助时更有可能找到动态目标的地方。我们假设在虚拟场景中固定一定数量的虚拟摄像机来获得额外的深度图，这些深度图捕获场景的深度信息和动态目标的位置。我们的方法自动分析这些虚拟相机的优先级，选择目的地，并生成一个即时的路径，以帮助用户在寻找动态目标。我们的方法适用于各种虚拟现实应用程序，不需要人工监督或输入。结果设计了一个用户研究来评估所提出的方法。实验结果表明，与俯视图等三种传统导航方法相比，该方法能更有效地帮助用户发现动态目标。优点包括减少任务完成时间、减少重置次数、增加重置之间的平均距离以及减少用户任务负载。结论提出了一种基于虚拟摄像机优先级的路径搜索方法，提高了虚拟场景中动态目标的搜索效率2096-5796/©版权所有2021北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.com赵子祥等：基于虚拟摄像机优先级的动态目标搜索辅助485指导与传统的俯视图等三种导航方法相比，该方法能更有效地帮助用户发现动态目标。关键词搜索辅助;虚拟环境;路径引导;重定向1引言虚拟环境中的有效导航是虚拟现实应用的关键技术。人们需要确定他们在哪里，其他东西在哪里，以及如何到达VE中的特定目标或地方。用户界面的导航支持不足会导致用户迷失方向并迷路，阻碍并削弱用户在后续搜索任务中的表现。为了提高导航效率，研究人员做了大量的工作。特别设计的场景集成了一些显着的特征[1，2]或设置地标[3，4]，以提高导航的效率。这些方法需要对虚拟场景进行特殊的设计和处理，并且不能用于预先存在的虚拟场景或应用所需的特定虚拟场景。2D和3D地图还用于提供整个场景的概览，并让用户计划他们想要去探索的地方[5，6]。路径方法突出显示用户访问过的环境部分，或绘制用户的足迹，以帮助用户更有效地导航[7，8]。使用地图或试验方法，用户必须从第一人称透视图切换到头戴式显示器（HMD）中的地图或轨迹，这中断了3D场景的视觉连续性并增加了用户的时间成本和任务负荷。导游方法使用自动计算的路径将用户引导到重要位置[9，10]。这类工作只分析用户的当前位置和静态场景，不适合动态目标搜索任务。任务是在多用户在线竞争系统或搜索技能训练系统中搜索其他用户或动态目标。在这些场景中，通常需要隐藏动态目标的位置，用户无法直接访问其他玩家或动态目标的位置信息。搜索效率低有两个原因。一是由于复杂的遮挡，用户无法把握整个虚拟场景的全局结构和自己的位置。另一种是如果用户不知道目标移动时的位置，用户只能希望找到一个动态目标。固定监控摄像机拍摄的地图和一些额外的视图可以提供给用户参考动态目标的位置信息。然而，即使用户具有所有这些信息，仍然难以有效地找到动态目标，特别是当用户不熟悉虚拟场景时。本研究设计了一个基于虚拟相机优先级（VCP）的辅助，以帮助用户有效地搜索由其他独立个体控制的动态目标，而不是由本地主机。我们不是强迫用户去目的地，而是提供一个优化的即时路径，引导用户到他们寻求帮助时更有可能找到动态目标的地方。在虚拟场景中固定一定数量的深度相机以获得捕获场景的深度信息和动态目标的位置的附加视图。我们的方法自动分析额外的视图的优先级，选择目的地，并生成一个即时的路径，以帮助用户在寻找动态目标。VCP的维护是基于对额外视图的深度的分析。如果深度值在附加视图中变化，则用户更有可能在相机附近遇到目标。深度复杂度越高，视图越关键，相应相机的优先级越高。更高的深度复杂性意味着相应的视图将使更多具有遮挡的区域可见，并有更多机会捕捉动态目标。我们的方法适用于在线竞赛系统或搜索技能培训系统，486虚拟现实智能硬件2021年12月3日第6人工监控我们设计了一个用户研究，使用六种不同的策略来评估我们的方法。结果表明，该方法可以帮助用户更有效地发现动态目标比传统的导航和俯视图的方法。图1示出了两种情况，其中用户使用基于VCP的辅助来搜索公寓中的移动客人。这两种情况具有不同的目标分布，但是用户在这些图像中的位置是相似的。VCP的等级由顶视图图1a和1c中虚拟相机的小三角形图标上的不同颜色表示。红色是第一优先级，蓝色是第二优先级，黑色相机是其他优先级。图1 两对俯视图（左）和第一人称视角（右）。（a）中的黄色点和(c) 代表用户，绿点是目标。红色三角形是第一优先级相机，蓝色三角形是第二优先级相机，黑色相机是其他相机。红线表示生成的即时路径，用于引导用户进行最终确定。由于这两种情况下使用相机的优先级不同，因此辅助引导路径也不同。本文的贡献概括如下：(1) 为了帮助用户在虚拟现实场景中无法获取目标位置信息的情况下高效地搜索动态目标，提出了一种基于VCP的动态目标搜索方法。(2) 我们引入了VCP的概念，它表示在动态目标搜索中需要考虑的虚拟相机的顺序。我们还提出了一种计算视图优先级的方法(3) 我们给出了三种确定临时目的地的策略，并分析了各自的使用条件。(4) 我们进行了用户研究，以评估我们的VCP为基础的搜索方法的效率本文的其余部分如下。在第2节中，我们讨论了相关的前期工作。随后，我们的方法在第3节中介绍。第4节描述了我们为评价该技术而进行的主要用户研究。研究结果报告和讨论见第4.2节。最后，我们在第4.3节中讨论了这种方法的一些局限性，并在第5节中给出了结论。2相关工作在本节中，我们简要介绍了基于窗口部件或界面的方法、基于路径的方法和用于提高VE导航效率的寻路方法。为了更全面地了解有效的导航方法，我们建议读者阅读Darken等人[11]撰写的文献，其中列出了VE导航中的几种关键技术，并详细比较了它们的优缺点。我们的方法专注于没有用户相关配置的寻路方法。2.1Widget方法以前的一些作品在视野中集成了小部件或界面，以帮助用户探索VE，487赵子祥等：基于虚拟摄像机优先级的动态目标搜索辅助确保在航行过程中浸没。例如，使用虚拟二维地图[6]或微型三维世界[5]来提供调查知识和用户在场景中的位置，以提高导航效率。然而，当这些方法用于VR HMD时，通常需要从第一人称视角切换到地图或微缩世界，然后再切换回第一人称视角，这需要用户付出一定的努力，而且，用户不能过于频繁地切换。在VE[3，11]中突出显示地标可以有效地提高导航效率，但它仅适用于大规模环境。在虚拟场景中使用半透明的墙壁[12]可以帮助用户消除墙壁的遮挡并提高寻路性能。然而，这可能会使用户在到达目的地时感到困惑。这些方法提供了直观的界面，并且与现实世界中的目标搜索方法非常相似。它们只是为用户提供了一些关于场景的信息，用户需要根据这些信息自行决定如何搜索。这些方法并不为实现具体目标提供指导。此外，地图和地标是为静态场景生成和放置的，这对发现动态目标没有很大帮助。2.2Trail方法基于踪迹的方法在导航期间向用户提供踪迹或先前用户的踪迹作为访问线索。为了突出显示用户访问过环境的哪些部分，Darken et al. [7]允许用户指定放置标记的位置，或者自动沿着用户在VE中的路径绘制足迹。不是以固定频率对足迹进行采样，而是在正确的时间对足迹进行采样，使足迹更有助于导航[8]。有人提出了一套用于指导多人足迹的主足迹[13]。将先前用户的足迹提供给后来的用户作为参考可以提高检测效率，但会使未来访问的环境变得混乱。这些方法适用于静态目标。在搜索动态目标的情况下，由于动态目标的位置随时间而改变，因此先前用户的足迹和当前用户的自行足迹对于当前用户都不具有参考价值。2.3寻路方法寻路通常被定义为规划和形成策略的导航的认知方面。这是通过引导勘探技术来解决的。通常，引导方法包括两个步骤：离线计算步骤，其使用场景信息作为输入来导出整个游览路线，然后是在线交互导航步骤，其为用户提供引导的探索和改进的空间感知。为了自动识别重要区域，已经提出了使用视点质量的方法[14 - 17]。 这些方法通常估计从该位置获得的关于场景的信息量，并为场景中的每个位置分配质量值。视点质量可以以各种方式[18 - 21]计算，并用于不同类型的场景表示，例如基于几何的场景[17，20]，体积数据[22]和点云[23]。除了自动确定视点质量的方法之外，有一些方法结合了一些用户输入，例如某些场景实体的重要性，来计算视点的质量[22，24，25]。在VR导航中，视点质量已被用于连续地引导用户朝向看不见的感兴趣位置，并确定一组最佳或代表性位置作为相机路径的航路点[9，10，26，27]，以识别场景中最相关的区域[28，29]，并自动控制导航中的行驶速度[30]。虽然路线是自动计算的，但是一些方法需要场景的用户配置，这可能是不期望的。的488虚拟现实智能硬件2021年12月3日第6自动计算感兴趣位置的方法用于静态场景而不是动态目标。我们的方法不需要明确地知道目标的位置，而是基于在额外视图中看到的内容来分析目标的移动;因此，我们的方法不需要与用户相关的配置。还有一些与路径指导有关的其他改进。提出了一个河流类比，这允许从相机路径[31，32]的一些偏差。在[33]中介绍了一种可以对移动方向和速度进行交互控制的系统，该系统改善了跟随虚拟旅行时的交互。自动构建多视角可视化以消除遮挡并提高VR探索效率[34]。此外，为了进一步提高交互性，一些研究仅为用户可能感兴趣的一些重要场所提供建议[35]。由于路径生成是制导的基础，我们的工作重点是动态目标的路径生成方法，而不是改善用户友好的交互式制导。3方法为了在虚拟环境中实现多个动态目标的情况下，为用户寻求帮助提供指导，提出了基于VCP的动态目标搜索方法。该方法的基本思想是增加虚拟摄像机来捕捉额外的视图，计算额外视图的优先级，并根据这些优先级引导用户。我们的搜索方法有三个主要步骤：（1）VCP初始化;（2）VCP更新;（3）制导生成。动态目标搜索流水线如图2所示.该方法的输入是场景、动态图2动态目标搜索管道。目标、用户视点、用户方向和额外视图。输出是用户在指导下的视图。在VCP初始化过程中，我们计算了虚拟摄像机在虚拟场景为空的情况下（即没有考虑动态目标）捕获的额外视图的重要性。我们根据额外的视图的重要性对它们进行排序，并将排序后的额外视图的索引用作优先级。当用户执行动态目标的搜索任务时，如果用户请求指导，则立即更新额外视图的优先级。更新基于初始优先级和场景中具有动态目标的额外视图的深度。时间线索也被考虑。随后，我们使用几种策略来确定根据额外的视图更新的优先级的目的地。使用A* 方法生成从用户的位置到目的地的导航路径，并将其显示给用户作为指导。我们在下面的部分中提供了每个步骤的详细描述。VCP初始化在第3.1节中描述，VCP更新在第3.2节中讨论。目的地确定和导引路径生成的细节在3.3节中介绍。3.1VCP初始化对于虚拟相机捕获的每个额外视图，我们通过分析空场景视图的深度复杂度来深度复杂度越高，视图越关键489赵子祥等：基于虚拟摄像机优先级的动态目标搜索辅助这是因为更高的深度复杂性意味着相应的视图将使更多具有不同遮挡的区域可见，并且有更多机会捕捉动态目标。在VCP更新期间，初始化的VCP被用作动态目标足迹区域的权重。为了初始化VCP，我们首先引入一个称为深度复杂度的概念。额外视图的深度复杂度C用于描述由其他遮挡引起的深度不连续区域，其根据两个变量：Nd和Vd获得。Nd是局部深段的数量，Vd是额外视图中局部深段的长度的方差。图3说明了具有低（上面的行）和高（下面的行）深度复杂性的视图。原始视图显示在第1列中，深度缓冲区显示在第2列中，中心线的深度显示在第3列中。蓝线表示算法1中使用的中心线深度的平均值，作为变量m。局部深度段以黄色标记，从红色点开始，以绿色点结束。图3深度复杂度低的虚拟相机（左）和深度复杂度高的虚拟相机（右）拍摄的深度图比较。列1显示了额外的视图，列2显示了深度缓冲可视化。最后，在第3列中显示中心线的深度。第3列中的蓝线是平均值 有深度。VCP初始化的输入是没有目标对象的所有额外视图的深度图（由D表示）、用户的视点位置（由V表示）以及局部深度段的最小宽度与整个深度图的宽度的比率（由w表示），其被设置为用户研究的十分之一以确保段的宽度的下限。输出是排序的额外视图的索引（由C表示）。初始化包括两个步骤。首先，我们计算每个额外视图的深度复杂度。其次，我们根据其深度复杂度以降序对额外视图进行排序，以生成其初始优先级。使用算法1计算所有额外视图的深度复杂度。首先，我们创建了一个空集合S来存储所有的局部深度段（第2行）。对于列表中的每个深度图，我们考虑其水平中心线深度（第3行）。我们规定了局部深度段（第4行）的最小宽度。然后，我们确定了左端点和相应的右端点（第5-10行）。为了找到左端点，我们从中心线的第一个像素开始搜索。如果当前像素具有局部最大梯度值，或者如果其后续的w'像素逐渐均匀地增加，则将其用作490虚拟现实智能硬件2021年12月3日第6段（第6行）。具有最小局部梯度的像素或具有逐渐均匀减小的先前w'像素的像素被认为是片段的右端点（线9）。在将局部深段（l，r）添加到S中之前，有必要检查视图中的深段是否处于适当的观察角度（行11-12）。如果在3D空间中向量（V，L1）+向量（V，Lr）与向量（L1，Lr）之间的角度太小，则线段（L1，Lr）对于视点V来说太倾斜，也就是说（L1，Lr）不在正确的视角下，因此（l，r）将不会被添加到S。一旦我们获得了这个深度图中的所有局部深度片段，我们就记录了片段的数量和这些片段长度的方差（第14-15行）。在处理完所有额外视图的深度图之后，我们使用L2范数（第16-17行）规范化片段的数量和方差列表。最后，通过将归一化数和归一化方差相加来计算深度复杂度（第18-19行），然后返回深度复杂度列表（第20行）。在获得每个额外视图的深度复杂度之后，我们根据深度复杂度对视图进行排序，并使用排序后的视图索引初始化VCP。同时考虑数量和方差的原因是，数量大意味着额外的视图可以覆盖更多的通道，因此有更好的机会从不同的通道捕获目标，方差大意味着场景越复杂，目标穿过不同类型区域的概率越大。两者都将给予更高的优先权。在图3中，左图像的VCP小于右图像的VCP，因为在左图像中存在一个片段，而在右图像中存在两个片段。3.2VCP更新当目标对象在虚拟场景中自由移动时，目标对象可以出现在附加视场中。如果用户需要被提示，则导航到虚拟相机的位置，在该位置处，虚拟相机可以捕获其视图中的移动目标，这可以帮助用户更有效地找到目标对象。因此，我们需要找到具有更高VCP的额外视图来实时引导导航。当动态目标在场景中移动时，额外视图中动态目标的大小和移动趋势将发生变化。因此，我们需要考虑静态场景和动态目标在附加视图中的投影我们491赵子祥等：基于虚拟摄像机优先级的动态目标搜索辅助当用户需要提示时更新VCP。这里，我们不区分不同的目标，因为我们一起考虑目标的运动趋势，并计算出捕获目标的概率最高的位置。VCP更新基于对具有目标对象的额外视图的深度的分析。在该过程中，所有额外视图（初始和当前）的深度图列表、前一帧的动态目标区域比率以及额外视图的初始深度复杂度列表被用作输入。输出是附加视图的更新的深度复杂度。更新过程包括两个步骤。首先，我们计算每个视图的深度复杂度。其次，我们根据新的深度复杂度以降序对额外视图进行排序以更新VCP。复杂性越大，优先级就越高。使用算法2更新额外视图的视图深度复杂度。虽然固定摄像机所覆盖的静态场景不会发生变化，但摄像机捕捉到的目标是实时变化的。我们计算深度大于比最初的深度。这个数字与整个图像大小的比率是额外视图中目标的投影面积（第2行）。为了降低复杂度，深度图的大小被设置为100像素× 100像素，因此它可以满足60 fps的性能要求。如果当前额外视图中没有目标，则更新复杂度与初始化复杂度相似（第3行）。如果目标在额外视图的当前帧和前一帧中都可见，则我们计算当前帧中动态目标相对于前一帧的投影面积的变化率，并将其记录在v中（第5-7行）。当前帧与前一帧的比率的增加指示目标更接近额外视图，并且相应的捕获可能性增加。如果该比率很小，则意味着目标远离额外视图，并且相应的捕获可能性很小（第5行）。如果目标在额外视图的当前帧中唯一可见，但在前一帧中不可见，则我们将V设置为1.0（第6行）。最后，我们通过将更新后的复杂度、前一帧的动态目标面积比和变化率相乘来更新深度复杂度（第7行）。我们采用一个常数来调整乘积的值，保证了目标可见时额外视图的深度复杂度大于目标不可见时的复杂度。对于算法2，具有目标对象的额外视图的深度复杂度越大，当目标引导位置被设置为捕获额外视图的相机位置时遇到目标的概率越高。然后，我们对这个复杂度进行排序，并根据它们在复杂度列表中的排名更新额外视图的优先级。3.3制导生成当用户在搜索导航中要求提示时，呈现虚拟路径以引导用户。要生成此虚拟路径，必须设置目标。基于VCP的目的地设置策略考虑了场景和动态目标的信息，因此，下一步将使用最短路径作为用户到目的地的引导路径，而不是复杂的引导路径生成策略。这里，使用A* 算法来生成从当前用户位置到用户位置的引导路径492虚拟现实智能硬件2021年12月3日第6目的地我们提供了三种基于VCP的策略来设置目的地（图4）。图4通过俯视图比较我们的方法中使用的三种策略。在这种情况下存在三个动态目标，并且用户和动态目标在这三个图像中处于相同的位置。(a)、（b）和（c）分别对应于策略1、2和3。策略1：我们将捕获最高优先级视图的虚拟相机的位置设置为目标位置。直觉上，我们通常认为目标物体最有可能在与最高优先级视图对应的相机位置附近被捕获。因此，我们在策略1中将用户引导到具有最高VCP的相机的位置。策略二：我们将捕获第二高优先级视图的虚拟相机的位置设置为目标位置，并探索具有第二高优先级的相机的位置是否优于最高优先级位置。这是因为，一方面，在最高优先级位置处的额外视图不能总是保持其状态，并且第二高优先级位置很可能接下来变成最高优先级位置。另一方面，有时具有第二高优先级的相机的位置与具有最高优先级值的相机的位置相距不远。策略3：我们将最高优先级相机和第二高优先级相机的中点设置为目标位置。该策略不需要指示要导航的确切相机位置，但是提供了具有找到目标对象的高概率的方向。由于它的适应性，我们想探讨参与者是否更有可能找到移动目标后，这个导航提示。这种目的地设置方法是策略1和策略2之间的折衷。4用户研究针对每个场景设计了六个条件，即控制条件（CC1、CC2和CC3）和实验条件（EC1、EC2、EC3）。这些条件使用不同的指导策略。CC1：传统的空间漫游没有指导，用户四处移动，寻找虚拟场景中的动态目标。CC2：传统的空间漫游与迷你地图，其中包括顶视图的VE。用户的位置和方向被标记在地图上。地图是一个半透明的界面（alpha值为0.6，图5a），这是一个北向上的配置，其中地图显示和关闭按下按钮。CC3：传统的空间漫游与北向上的迷你地图。此外，由额外的虚拟相机捕获的一定数量的视图以第一人称视图显示（alpha值为0.6;图5 b）。493赵子祥等：基于虚拟摄像机优先级的动态目标搜索辅助图5 CC2（a）和CC3中的第一人称视图 （c）当用户要求提示时。除了VE布局外，CC2中的俯视图仅具有用户的位置和方向。黄色的点标记位置，白色的箭头标记方向，见（b），（a）的局部放大图。在CC3中，所有额外的虚拟相机的位置和方向作为一个重新标记在该重新标记中，都是基于CC2的重新标记中的一个重新标记，并且所有额外的虚拟相机的位置和方向作为一个重新标记是可操作的。 在C C 3中的计算器在图（d）中示出，（c）的部分示出。EC1：选择最高优先级相机的视点作为目的地（策略1）。EC2：选择第二优先级相机的视点作为目的地（策略2）。EC3：选择最高优先级和第二优先级相机的视点的中点作为目的地（策略3）。用户在场景中漫游并寻找移动目标。当用户需要提示时，控制条件提供顶视图（CC2）或额外的虚拟相机视图（CC3）。CC3中的迷你地图不仅有VE的俯视图（与CC2一样），还在地图上标记了额外的虚拟相机的位置和方向（图4）。实验条件根据不同的策略选择不同的导航目的地，并提供路线提示。用户可以自由选择是否遵循一条路线。4.1设计4.1.1参与者我们招募了16名参与者（2名女性，19-28岁，平均值=23.9，SD=2.1）。我们的七位参与者都有使用HMD VR应用程序的经验。参与者视力正常，矫正视力，没有人报告先前存在的平衡障碍。我们的研究采用了受试者内的设计，每个参与者在两个场景的六个条件中的每一个服务一次。在两种情况下，参与者的条件顺序是随机的。如果实验失败，则重复该实验。这意味着每个场景的每个条件有16个数据。4.1.2硬件和软件实现我们使用了一个HTC Cosmos VR系统，带有两个手持控制器，允许用户要求提示。每个HMD都连接到自己的工作站，配备3.6GHz英特尔（R）酷睿（TM）i7- 9900 KF CPU、32 GB RAM和NVIDIAGeForce GTX 1060显卡。对于每只眼睛，以60fps渲染VE。用户的跟踪物理空间是我们实验室中的一个4m×4m的空空间。每当参与者到达跟踪区域的边界时，HMD中呈现黄色网格。用户可以使用控制器触发重置操作，将VE旋转180°，然后重新定向并返回到他或她先前的方向。494虚拟现实智能硬件2021年12月3日第64.1.3虚拟环境和场景实验中使用了两个场景，旨在探讨不同空间大小对该方法的影响。每个用户在所有条件下执行每个场景。第一场。第一个场景是在一个室内公寓里会见步行的客人。公寓面积为30m×30m（图1）。公寓里有十个充满活力的客人。用户被要求在60秒倒计时后尽可能多地捕捉客人。客人的速度是0.4米/秒。客人的移动路径是在可用区域中随机生成的，确保它与用户的位置相连接。当参与者正在寻找移动的客人时，如果与移动的客人的距离小于0.6m，则认为找到了当前客人，并且客人将从虚拟场景中消失。参与者将继续搜索剩余的移动的客人，直到他们都被发现。六个额外的虚拟摄像机被固定在这个场景中，他们的分布如图4所示。第二场。在第二个场景中，用户需要在仓库中搜索移动机器人。该场景面积为15m×25m（图6）。机器人的运动也是随机产生的，其动作规则与场景1中的相似。考虑到场景2的大小是场景1的一半，我们在场景2中添加了额外的三个虚拟相机。4.1.4程序我们的研究采用受试者内设计，每个参与者在所有条件下服务，图6场景2中的用户学习。有十个机器人在场景2最初，用户已经找到4个目标。场景条件和试验顺序是随机的。每种情况的场景都在一分钟内完成。在每个场景之前，参与者都会得到一个三分钟的教程来理解任务并练习捕捉目标。在任务期间，系统显示当前捕获的目标数量和参与者的剩余时间。4.2结果测试场如图7所示，物理空间为4m×4m。对于每个场景和每个条件，使用以下四个指标来衡量任务性能：(1) 目标捕获（TAR）：实验期间捕获的目标用户数量;(2)每个目标的距离（DPT）：捕获每个目标之间的平均距离;(3) 每个目标重置（RPT）：在捕获每个目标之间重置用户的平均数量;(4) 每次重置距离（DPR）：用户在每次重置之间行走的平均距离。对于前两个指标，值越大，我们的方法越有效对于后两个指标，值越小，我们的方法越有效。的图7试验场。495赵子祥等：基于虚拟摄像机优先级的动态目标搜索辅助四个指标的六个条件的最佳结果以粗体表示。更多详情请参见表1、2和3。表1发现的目标数量和用户在每个目标上SD（EC）场景Scen条件AVGRPTSDEC1）/CCip（ECi）d尺寸AVGDPRSD（ECi））/CCip（ECi）d尺寸Scen表1报告了前两个度量TAR和DPT的平均值和标准差。由于在每个场景中，最初在VE中生成十个动态目标，因此每个用户的TAR是0到10之间的整数。表2报告了RPT和DPR这两个度量。这两个表都显示了每个场景和条件的结果。将EC1中的TAR与其他五种条件进行比较。表1报告了TAR值平均数的相对差异（第4列）。Shapiro-Wilk检验[36]显示TAR指标不呈正态分布;因此，我们使用Wilcoxon符号秩检验对条件之间的差异进行了统计分析（见第5列中的p值）。我们还报告了Cohen的d（第6列）以及传统的效应量量化（第7列）[37，38]。将d值转化为巨大（d>2.0）、非常大（2.0>d>1.2）、大（1.2>d>0.8）、中等（0.8>d>0.5）、小（0.5>d>0.2）和非常小（0.2>d>0.01）的定性效应量估计值。它们在本文中缩写为H、VL、L、M、S和VS。焦油 ±（EC1-CCiCo hn效果DPT ±（CCi（ECi）-CohenEffect场景条件AVG（EC））/CC pTARi id我平均EC）/CC p尺寸DPT1i d尺寸SD（EC）我EC17.75±0.83‒‒‒‒4.27±1.09‒‒‒‒EC27.38±0.865.1%0.430.44S4.23±0.940.8%0.800.03VSEC37.13±1.058.8%0.400.66M4.30±1.35百分之零点八0.820.04VS场景1CC15.25±0.6447.6%<0.01*3.38H5.60±1.15百分之二十三点八<0.01*1.54VLCC25.75±0.91百分之三十四点八<0.01*2.30H4.98±0.97百分之十四点三0.03*0.69MCC35.75±1.74百分之三十四点八<0.01*1.47VL5.06±1.70百分之十五点七0.160.56MEC18.38±0.98‒‒‒‒3.64±0.71‒‒‒‒EC28.13±0.863.1%0.450.36S3.73±0.76二点四厘0.750.12VSEC38.00±1.324.7%0.570.38S3.81±1.404.3%0.690.15VSEC11.04±0.28‒‒‒‒4.16±0.62‒‒‒‒EC21.05±0.18百分之一点三0.880.06VS4.19±0.710.7%0.960.05VSEC3e 11.05±0.27百分之一点四0.780.07VS4.07±0.92二点一厘0.710.12SCC11.52±0.4631.6%<0.01*1.25VL3.92±0.98百分之六点一0.450.35SCC21.30±0.22百分之二十点三0.01*1.23VL3.84±0.79百分之八点一0.120.56MCC31.23±0.35百分之十五点六0.04*0.60M4.08±1.021.9%0.520.09VS496虚拟现实智能硬件2021年12月3日第6表3原始任务负荷指数评分和模拟器疾病问卷评分场景场景1场景2条件EC1EC2EC3CC1CC2CC3EC1EC2EC3CC1CC2CCTLX平均值±TLX标准差28.02±11.9729.13±13.6430.75±13.3429.50±16.9334.96±13.5441.23±14.5026.65±10.2128.00±9.6529.88±15.5627.88±14.3630.46±13.3739.23±15.86（CCi（ECi）-EC1）/CCi（ECi）‒3.8%8.9%5.0%百分之十九点八32.0%‒4.8%百分之十点八4.4%百分之十二点五百分之三十二点一p‒0.780.470.750.120.02*‒0.650.270.420.370.01*Cohen‒0.090.220.100.541.07‒0.100.330.090.320.94效应量超级VS小号VS小号超级VSSVSSLPRE平均值± PRE标准差3.06±3.223.28±3.483.10±3.823.52±4.343.26±3.864.18±4.782.88±3.582.70±3.363.04±3.063.18±4.182.50±3.063.64±3.88POST平均值±POSTSD3.70±3.863.96±4.044.12±4.825.48±5.344.18±3.787.18±6.243.66±4.183.84±4.744.30±5.224.86±4.264.10±3.986.20±5.76p0.210.350.510.360.260.710.260.310.350.420.380.52tables.对于这两种场景，数据显示EC1在所有条件下具有最高的平均TAR。使用者可以选择沿着引导路径行走，这条路径有最大的概率抓住目标。因此，用户平均在EC1中捕获更多靶标，EC1在该指标上优于3个CC，具有统计学显著性（p 0.05）。具有最低TAR的条件是CC1。这是因为在这种情况下，用户无法获得任何帮助，并且会反复走到无用的地方。CC3的TAR标准差较高。用户需要分析虚拟相机的视图以识别目标的数量，从用户的自我中心视角切换到地图提供的偏心视角，并规划一条将自己引导到相机位置的路径。这往往需要心理负担。很少有用户可以从相机视图的帮助中受益。其余的用户放弃了这种分析，只使用CC3中的顶视图，这种辅助退化到CC2。EC1的TAR略高于EC2和EC3。两种情况之间没有显著差异。在EC3中，如果第一优先级相机远离第二优先级相机，则中点策略可能将目的地设置在无用的地方。因此，EC3中的TAR略小于其他两个实验条件。场景2的结果与场景1在该度量上的结果类似。参与者承诺更多的移动距离在EC1，从而表明他们在EC1比在CCs移动得更快。我们使用相对比例进一步分析了用户在这六种情况下行走的距离、用户捕获的目标数量和用户捕获的重置数量之间的关系。我们对用户步行的距离和在整个任务期间到达每个目标的重置用户的数量进行了平均，分别用DPT（表1）和RPT（表2）表示。在这两种情况下，三个EC中的DPT小于三个CC中的DPT，这意味着我们的方法需要更少的行走来捕获目标。与三个CC相比，EC1中DPT的平均降低在场景1中为18%，在场景2中为24%。在该指标上，EC1和CC之间存在统计学显著性差异（p0.05），CC3除外。如果用户有良好的空间认知能力，他或她可以从CC3中受益。DPT的价值在场景2中也显示出优势，其优势的程度比场景1更深。我们的方法可以为额外的视图提供更及时和准确的优先级，并帮助用户更好地执行。场景2中EC相对于CC的优势程度大于场景1中的EC相对于CC的优势程度。在两种场景中，EC1和CC之间的RPT具有统计学显著性差异（p0.05）。在两种任务中，EC1和CCs对RPT的效应量范围均大于DPT一个原因是赵子祥等：基于虚拟摄像机优先级的动态目标搜索辅助497在这些实验中，有四名参与者是资深游戏玩家，并且熟悉VR设备的操作。他们使用重置作为工具，以帮助更有效地探索VE。例如，如果它们注意到前面没有目标，它们将立即执行重置以旋转180°。他们更喜欢使用这种方便的界面，而不是人为地旋转他们的身体。另一个原因是，当他们在侧面遇到目标时，他们会使用重置来拾取旋转速度，因为他们认为这可以提高捕获效率。相比之下，我们在EC1中的方法提供了一条引导路径，这四个参与者倾向于沿着这条路径安全地走，而不是考虑是否使用重置作为工具来增强他们的探索效率。最终，与CC相比，这导致EC1中的DPR（表2）的少量增加，但不是统计学显著差异。我们使用Raw TLX[39，40]（表3，中间五列）测量任务负荷。我们对六个原始TLX任务负荷问题的得分进行了平均，这些问题的得分在5到100之间，以5分为增量。任务负荷值不遵循正态分布;因此，使用Wilcoxon符号秩检验分析差异。EC1的任务负荷与CC1和CC2无显著差异。然而，CC3的任务负荷明显高于EC1。我们将这种预期差异归因于CC3所需的用户认知负荷与EC1相比的额外增量。这是因为用户需要在虚拟相机的视图中识别目标的图形，然后规划到相应相机位置的路径。EC3的任务量大于EC1和EC2，EC2的任务量与EC1相似。这是因为有时在第一和第二优先级相机的中点处没有目标。如果用户到了那个点，什么也没看到，时间就浪费了，他们可能会感到沮丧和慌乱。EC1的任务负载与CC1的任务负载相似，表明EC1策略与常规方法相比不会给用户带来多得多的负载相比之下，EC1这一策略可能会增加用户的信心。使用标准模拟器疾病调查问卷测量模拟器疾病（表3，最右侧三列）。SSQ管理前和实验后的每项任务和条件。然后，我们使用总严重程度（TS）评分分析这些问卷[41]。所有条件显示TS前后增加低于70阈值，这通常用于检测发作模拟器疾病[42]。此外，参与者被告知，如果他们感到不舒服，可以随时停止实验，但所有参与者都完成了实验。SSQ评分不呈正态分布，使用Wilcoxon符号秩检验分析前后差异。所有差异均无统计学显著性。我们的结论是，在这些实验中，模拟器疾病是不是更关心我们的方法比它是传统的VR探索。这是意料之中的，因为我们的搜索帮助也是沉浸式的第一人称探索。辅助引导路径将不会显著地干扰用户，并且然后被常规地观看。4.3限制我们的方法的一个局限性是，用于获得包含场景和动态目标信息的额外视图的虚拟相机是根据经验手动固定在虚拟场景中的，这可能不是最佳实践。在未来的研究中，我们将在分析不同场景结构的基础上，设计自动摄像机布局算法。我们的方法的另一个局限性是，它是基于一个额外的视图中心线深度分析，以检测更深的部分，但如果场景有几个小的几何细节，深度不连续性将降低检测的鲁棒性。未来，对于复杂场景，我们应该结合智能滤波算法来检测片段，增强检测的鲁棒性。虚拟现实智能硬件2021年12月3日第6498最后，我们采用一种直接的策略来设置引导路径的目的地，但实际情况是虚拟摄像机和动态目标的位置并不相似，目标位置不准确会影响搜索效率。应考虑更精确的动态目标位置预测方法或更合理的目标设定策略。5结论提出了一种基于VCP路径引导的虚拟环境动态目标搜索方法。从本质上讲，当用户寻求帮助时，我们的方法为用户提供了优化的即时路径，使他们更有可能找到动态目标。该方法自动分析固定在虚拟场景中的一定数量的深度摄像机捕获的包含静态场景和动态目标信息的额外视图，计算这些额外视图