虚拟现实中跟踪和可视化行为数据的轻量级GIS工具

软件X 10（2019）100269原始软件出版物使用轻量级GIS从虚拟现实环境中跟踪和可视化行为数据的工作流和工具何塞湖Soler-Domínguez先生，Manuel Congress，Mariano AlcañizInstituto de Investigación e Innovación en Bioingeniería（I3B），Universitat Politècnica de València，Camino de Vera s/n.46022 西班牙巴伦西亚ar t i cl e i nf o文章历史记录：2018年6月2日收到收到修订版2019年1月23日接受2019年保留字：虚拟现实用户体验地理信息系统a b st ra ct在虚拟现实中评估用户行为对于参与沉浸式环境中设计和执行实验的行为信息可能会导致在VR体验期间的存在，参与或例如玩家的情绪方面的相关发现。保存这类信息并以适当的方式将其分解，甚至游戏设计者来识别相关的行为模式或相关性。本文我们提出了一个简单的，可复制的工作流程和一套脚本工具，以获取用户的导航数据和可视化它使用的地理信息系统的固有功能。我们的工作流程从使用C#在Unity3D中获取数据到使用基于开源GIS JavaScript的Leaflet在地图中的最终表示，通过对XML文件的预处理。使用GIS可视化导航数据是一种灵活、生态和有效的解决方案，可提高生产力和对数据故事讲述能力的认识©2019作者由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v1.0用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2018_69法律代码许可证CC0使用的代码版本控制系统无使用JavaScript、C#、CSS的软件代码语言、工具和服务编译要求，操作环境Unity3D，Leaflet.js如果可用链接到开发人员文档/手册问题支持电子邮件jlsoler@florida-uni.es1. 动机和意义对虚拟现实（VR）作为不同领域的工具的兴趣[1[4]在过去的50年里，它一直在增长。从一开始，讲师，医生，培训师，教学设计师，心理学家和其他一些专业人士就强调了VR改善他们活动的潜力，利用其沉浸，参与，测量和反馈能力。参加这种使用虚拟现实作为一种手段，以实现多学科的目标，已经开发了几种评估策略。他们大多数都专注于获得*通讯作者。电子邮件地址：josodo@upv.esJ.L. Soler-Domínguez）。https://doi.org/10.1016/j.softx.2019.100269一些关于用户感觉、情绪或感知的指标这一群体通常基于经验后调查，存在一些固有的偏见。最近，这套指标正在被心理生理数据所取代，以获得完全客观的测量结果[5]。肌电图（EMG）、皮肤电活动（EDA）、脑电图（EEG）、功能磁共振成像（fMRI）是最常用和最有效的心理生理学特性和技术。另一系列指标与用户在虚拟环境中的行为有关。VR研究人员试图记录每一个相关的交互，旨在了解用户的表现如何，例如，他/她如何在环境中导航导航是最2352-7110/©2019作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx2J.L. Soler-Domínguez，M.Conclusions M.Alcañiz/SoftwareX 10（2019）100269在每一个数字环境中，沉浸式或非沉浸式的基本和无处不在的交互，并且它在存在（实际上在虚拟世界中的感觉）[6]或网络病[7]中具有强烈的暗示出于这个原因，研究人员投入了大量的时间来设计和开发软件解决方案，以获取和利用用户的导航数据。注意到这一点，我们希望分享我们的工作流程和工具，旨在捕获用户在特定和 流行的游戏引 擎开发的虚拟 环境中的导航 数据：Unity3D [8]，最通用和最广泛的游戏引擎，并以创新的方式可视化，使用地理信息系统作为传单[9]。这一特性可以为其他研究人员节省大量时间，也可以提高专注于研究虚拟环境中用户行为的实验的可重复性此外，VR正在成为一个协作空间，因为技术-逻辑支持虚拟环境中的多用户同时交互。这些新功能允许用户参与 虚 拟 世 界 中 的 共 同 任 务 [10] 。 设 计 和 开 发 协 作 虚 拟 环 境（CVE）的最具挑战性的方面之一是测量执行作为协作工作一部分的任务的意识[11]。与VR环境中通常测量的其他参数（即存在，共同存在，舒适度）一样，已经开发了一些问卷[12]，但由于调查通常是在体验之后进行的，因此它们具有显着的偏差。我们提出的工作流程本质上是多用户的，因为每个参与者都有自己的跟踪器，并且可以在实时和事后体验中提供关于用户如何在他们之间以及与环境交互的信息。2. 以前的工作随着互联网地图的发展，一些GIS解决方案被开发出来，学术界立即强调了以其他方式探索空间数据可视化的必要性。从一开始，GIS和VR之间的联系就因为它们的互补性而臭名昭著：GIS处理地理数据，VR具有令人难以置信的自然交互能力。首先，这种GIS-VR关系只有一种方式建立：在VR中可视化GIS数据[13之后，在演示了从VR的可移植性之后，为了将VR体验与现实世界相结合，开发了几项研究，其中个人必须在环境的2D表示中识别他们最近的VR体验的一些元素[17，18]。这些研究被选为代表性样本，要求参与者在一张纸上写下他们在HMD（头戴式显示器）中看到的东西或他们做出的决定。这种方法在高n（样本）值的情况下处理起来困难且缓慢。用于导航数据可视化的一些特别工具（即[19]），但它们在功能上非常有限，在可重用性方面有很高的限制，并且由于开发这种工具所需的努力而转移了研究团队的原始研究问题。在本文中，我们提出了一个可复制的工作流程，并分享一些工具，以使这种分析更容易，并具有更多的定制的可能性。3. 软件描述我们的主要贡献是完整的，经过测试的，工作流程描述和两个软件工具，分别由两个脚本表示，以获取数据并使其适应GIS使用（见图1）。① 的人。Fig. 1. 虚拟现实环境图。图二、迷 宫 场 景 的 顶视图。3.1. 软件构架3.2. 软件功能3.2.1. 导引跟踪仪这个脚本最初是为HTC Vive Camera Rig设计的，非常简单，可以添加到每个角色控制器中，只需稍加修改。它基于两个主要事件：StartMove- ment（）和EndMovement（）。这两个功能都可以在每次移动的开始和结束时获得用户化身的位置。此外，我们存储开始和结束时间，以计算用户移动的时间。有了这些信息，很容易计算每次移动的距离intfindDuplicate（ intfindDuplicate）;每次移动结束后，我们可以将其添加到我们的主数据结构：Movements集合，定义为列表。public List Movement> movements = newListMovement>（）;其功能如下：当检测到StartMovement时，我们添加一个新的运动移动列表。·J.L. Soler-Domínguez，M.Conclusions M.Alcañiz/SoftwareX 10（2019）1002693图三. index.html.见图4。 Map的声明和创建。movements.Add（new Movement（position））;当引发EndMovement事件时，我们更新列表计数器（currentMovementIndex）并存储最终位置。movements[currentMovementIndex]. return（）;currentMovementIndex ++为了使这种方法起作用，您必须自定义StartMovement（）和EndMovement（）事件调用方法。例如，在这个项目中，我们有两个导航元胞：按压触摸板和头部摆动（原地行走和检测头部垂直运动）。对于每种导航技术，我们必须确定哪个动作开始和结束了运动。对于触摸板按压，这是显而易见的：当用户按压触摸板时，运动开始，当他/她释放触摸板时，运动结束。对于头部摆动，这要复杂得多，因为检测有效的头部摆动运动涉及速度、角度和其他参数，以便将常规的头部运动与那些与原地行走相关的头部运动区分开但是，在最后，我们实现了见图7。 从jQuery中解析AJAX。一个函数HeadBobDetected（），它是我们的StartMovement（）标志，当我们没有检测到头部摆动时，我们启动StopMovement（）事件。所有这些移动生成的XML文件具有以下子结构（带有示例数据）：<运动><开始位置>0.8478197/x><0.083333358/y><电话：021 - 8888888传真：021 - 88888888<结束位置>0.854446/x><0.083333358/y><电话：0769 - 8369999传真：0769 - 83699997.191995/startTime>7.20538664/endTime><总时间>0.0133914948/总时间><距离移动>0.0532628447/距离移动>3.2.2. 将数据加载到GIS为了表示在工作流的第一阶段收集的所有数据（通常，每个用户一个XML），我们必须遵循以下步骤：1. 创建3D虚拟环境的2D地图图五. 变量的声明见图6。 转换功能。·4J.L. Soler-Domínguez，M.Conclusions M.Alcañiz/SoftwareX 10（2019）100269见图8。 code.js中heatLayer的声明见图9。 以移动为标记的交互式地图。见图10。 热图层。它必须尊重比例，以使翻译更容易。最快和最简单的方法是捕捉游戏引擎内环境的俯视图。图 2我们可以从我们的项目中看到一个例子：2. 设置Leaflet环境。Leaflet是一个轻量级GIS，由领先的开源JavaScript库组成，它只有大约38 KB的JS，拥有大多数开发人员需要的所有映射功能。传单的设计考虑到了简单性、性能和可用性。它可以在所有主要的桌面和移动平台上高效运行[9]。由于Leaflet是JS原生的，它旨在在Web环境中工作，但您可以设置一个本地实例，作为测试系统。始终记住，JavaScript无法在本地访问XML文件。如果你想配置这个最小的环境，你应该安装一个本地的Tomcat服务器或类似的服务器，以便从http访问你的文件。此架构最容易实现的配置是将XML文件存储在远程服务器中，并将其作为本地主机调用的服务。同样，所有这些工作流都可以在JSON数据上实现我们选择XML是因为它的通用性。在我们的初始设置中，我们包括：leaflet.cs：主传单库。jquery-3.3.1.min.js：JQuery是一个非常著名的开源JavaScript库，它有很多实用程序来解析XML文档和与大型数据集交互3. 创建交互式地图，预处理XML文件并将其添加到地图所有这些功能都包含在一个. js中。我们将详细解释它由于它是嵌入在Web项目中的，所有的库都必须添加到主HTML文件index.html（图10）。 3）。此外，我们必须创建一个主CSS文件，其中将包含主映射定义。#mapid { height：700px;}在此之后，我们应该创建我们的主js文件code.js。首先，我们必须声明和形式化我们的地图的大小。 在同一个语句中，我们分配了我们之前创建的2D地图（图1）。 4）.我们还实现了一个简单的函数，将每个点的坐标符号转换为活页地理样式。offSet变量表示我们的2D地图和3D环境之间的比例（图1）。 5）。同样，如果我们有一个非正方形的地图/环境，我们应该创建水平和垂直偏移。XOriginUnity和zOriginUnity表示放置3D环境的（0，0）点的坐标我们不使用Y轴，因为在我们的项目中，用户不允许飞行，攀爬或任何可能改变其Y位置的动作4. 将坐标从3D环境转换为2D地图此时，我们使用一个函数将从 XML 文 件 解 析 的 文 本 值 转 换 为 Leaflet Latitude/Longitude样式坐标。我们使用latLng参数来设置此功能（图1）。 6）。有了这些辅助工具，我们可以使用jQuery的AJAX方法解析XML文件（一个接一个或批量模式），并将从用户导航行为中提取的所有点添加到GIS地图中。 我们必须搜索对我们的表示有用的坐标（x，z），在同一个循环中，我们可以收集不同的数据，只需通过字段的名称进行搜索（图2）。7）。··J.L. Soler-Domínguez，M.Conclusions M.Alcañiz/SoftwareX 10（2019）1002695=4. 说明性实例见图11。 工作流程解释。基于GIS JavaScript，通过XML文件的预处理. 使用GIS可视化导航数据是一种生态在将所有运动都包含到地图中之后，以不同的方式可视化它们真的很容易和快速：标记，路线，热图......利用像Leaflet这样的GIS内部的预构建工具是简单而有效的。我们可以很容易地创建一个互动的地图，如图1和2所示。9和10的以同样的方式，包括一个大量的可用插件的传单，我们可以改变我们的可视化模式。我们将使用leaflet-heat.js[20]插件来为我们定制的2D地图添加一个热图层，以表示地理分布的点（移动）的密度。我们还创建了一个数组addressPoints，以便在将所有点添加到heat Layer之前存储它们这些图层（标记、热图等）可以绘制一个在其他人，以创造复杂的可视化（图。 8）。在图11中，读者可以看到完整工作流程的全貌。5. 验证我们已经用35组不同的导航数据测试了这个工作流程和工具。在所有35个案例中，这些工具都没有出现任何错误或异常。其中5个小位移量很大，地理信息系统标记非常接近，这使得它们的解释很困难。在这些情况下，调整标记的大小解决了可见性问题。我们使用的度量是基于原始3D路径和映射的2D路径的视觉比较的如果不是，变量为设置为0。如果必须研究某些分歧，则变量应设置为2。我们获得了SA 100%的值，因为每个单独的数据集都被编码为1，证明映射函数工作正常。该验证程序由本文作者执行6. 影响当我们谈论可视化用户行为时，这个拟议的工作流程可以显着改善VR研究人员的过程，使他们的数据采集和分析变得容易，这是研究人员最经常感兴趣的问题之此外，这种可复制的工作流程和工具集为每个研究人员提供了一个出色的起点，旨在使用灵活，强大，可定制的Web轻量级GIS跟踪和可视化VR实验参与者的行为数据。我们的工作流程从使用C#在Unity3D中获取数据，到使用开源的Leaflet在地图中进行最终表示。和有效的解决方案，提高生产力和对数据故事讲述能力的认识。7. 结论和进一步的工作本文中提出的库和工作流程是可用于跟踪并在2D交互式地图中直观地表示从VRE获得的导航数据的即使该工具集主要用于表示导航数据，它也提供了一种可扩展、可定制、轻量级、即用型的解决方案，可用于支持VR行为分析，因为可以进行修改以适用于每一次交互。它的新颖性依赖于使用GIS进行数据可视化表示，使空间数据从3D环境到2D地图的转换变得简单而实惠，并以简单但强大的方式进行分析。可以做进一步的工作来自动化这个工作流程，只使用Unity，但今天，使用专业的第三方GIS是最有效和灵活的架构。此外，还需要进一步研究交互数据如何告知其他常见的VR指标，如存在[21]，共同存在[22]，认知负荷[23]或情感状态[24]，以便在虚拟环境中引入新的指标。这些指标，远离有偏见的问卷调查，并补充复杂的生理信号[5]，可以导致具有高生态有效性的客观评估方法。致谢这 项 工 作 得 到 了 西 班 牙 科 学 、 创 新 和 大 学 部 资 助 的 项 目ATHENEA-DPI 2017 - 91537-EXP 和欧盟委员会项目 RHUMBO -H2020-MSCA-ITN-2018-813234的支持。竞合利益与本文相关的作者没有披露任何可能被认为与本工作即将发生冲 突 的 潜 在 或 相 关 冲 突 。 有 关 完 整 披 露 声 明 ， 请 参 阅https://doi.org/10.1016/j.softx.2019.100269。引用[1] Psotka J.沉浸式培训系统：虚拟现实与教育和培训。指导科学1995;23（5）：405-31. http://dx.doi.org/10.1007/BF00896880。[2]里瓦湾虚拟实境：临床心理学的经验工具。英国J Guid Counselling2009;37（3）：337-45.6J.L. Soler-Domínguez，M.Conclusions M.Alcañiz/SoftwareX 10（2019）100269[3]McCloy R，Stone R.科学，医学和未来：手术中的虚拟现实。英国医学杂志：英国医学杂志2001;323（7318）：912。[4]Botella C ， García Palacios A ， Baños Rivera RM ， Quero Castellano S ，Bretón-López J.虚拟现实在疼痛治疗中的应用[5]Kivikangas JM，Chanel G，Cowley B，Ekman I，Salminen M，Järvelä S，Ravaja N. 心 理 生 理 学 方 法 在 游 戏 研 究 中 的 应 用 。 J Gaming VirtualWorlds2011;3（3）：181-99.[6]Slater M，Usoh M，Steed A.迈步：行走技术对虚拟现实中存在感的影响。ACM跨计算机人类互动1995;2（3）：201-19。[7]放大图片作者：J.应用程序和视觉显示中的电脑病综述。虚拟现实2016;20（2）：101-25.[8]科技大学Unity3d 2018年网址https://unity3d.com/。[9]阿加丰金五世传单。2014年。网址https://leafletjs.com/。[10]Sarmiento WJ，Collazos CA.共同意识的艺术品。上一篇：人机交互国际会议Springer; 2016，p. 376比81[11]Churchill EF，Snowdon D.协作虚拟环境：问题和系统的介绍性回顾。虚拟现实1998;3（1）：3-15.[12]杜 瓦 尔 ·阮 廷 泰 协 作 虚 拟 环 境 中 的 通 信 和 感 知 调 查 。 在 ： 协 作 虚 拟 环 境（3DCVE），2014年 国际研讨会上。IEEE; 2014，p.1-8号。[13]黄乙，林宏. Geovr：一个基于web的二维gis数据虚拟现实演示工具。ComputGeosci1999;25（10）：1167-75.[14]Rhyne TM.通过地理信息和科学可视化实现虚拟化。Comput Geosci1997;23（4）：489-91.[15]陈晓，等.虚拟现实中的 交 互 - - 三 维 地理信 息 系 统 与虚拟现实技术的结合.北京：科学出版社，2000。Int J Geogr Inf Sci 1999;13（4）：385[16]Faust NL.地理信息系统的虚拟现实。《环境规划B》：《规划》，1995年;22（3）：257-68。[17]Bowman DA，Koller D，Hodges LF.沉浸式虚拟环境中的旅行：视点运动控制技术的评估。在：虚拟现实年度国际研讨会，IEEE。IEEE; 1997，p.45比52[18]Cushman LA，Stein K，Duffy CJ.使用虚拟现实检测认知功能障碍和阿尔茨海默病的导航缺陷。神经病学2008;71（12）：888-95。[19]Gillner S，Mallot HA.虚拟迷宫中空间知识的获取与导航。认知神经科学杂志1998;10（4）：445-63.[20]Agafonkin V. Leaflet.heat. 2014.网址https://github.com/Leaflet/Leaflet.heat。[21]Sanchez-Vives MV，Slater M.通过虚拟现实从存在到意识。Nat Rev Neurosci2005;6（4）：332.[22]Nowak KL，Biocca F.代理和拟人论对虚拟环境中用户临场感、共现感和社会存在感的影响。存在：电信运营商虚拟环境2003;12（5）：481-94。[23]放大图片创作者：Wilbur S.沉浸式虚拟环境的框架（五）：对虚拟环境中存在的作用的推测。Presence：Teleoperators Virtual Environ1997;6（6）：603-16.[24]2006年10月26日，李国伟.使用虚拟现实的情感互动：存在与情感之间的联系。CyberPsychol Behav2007;10（1）：45-56.