虚拟现实中的游戏引擎辅助科学计算研究平台

SoftwareX 9（2019）112原始软件出版物虚拟现实中的游戏引擎辅助科学计算研究平台布兰登·K放大图片创作者：Hortona，Rajiv K. Kaliaa，b，c，d，Erick Moenb，e，Aiichiro Nakanoa，b，c，d，f，Ken-ichi Nomuraa，d， Kazakh，Michael Qiana，Priya Vashishtaa，b，c，d，Anders Hafreagerg美国南加州大学洛杉矶分校高级计算和模拟合作实验室，CA 90089-0241b美国南加州大学洛杉矶分校计算机科学系，邮编：90089-0241c南加州大学物理天文系，洛杉矶，CA 90089-0241，美国d南加州大学材料科学与化学工程系，洛杉矶，CA 90089-0241，美国电子工程系，南加州大学，洛杉矶，CA 90089-0241，美国f美国洛杉矶南加州大学生物科学系，CA 90089-0241g奥斯陆大学物理系，0316奥斯陆，挪威ar t i cl e i nf o文章历史记录：接收26四月2018收到修订版2018年11月21日接受2019年保留字：虚拟现实实时仿真可视化分子动力学LAMMPSa b st ra ct用于科学计算的游戏引擎辅助研究平台（GEARS）是在Materials Genome Innovation for ComputationalSoftware（MAGICS）中心开发的可视化框架，用于在虚拟现实（VR）环境中执行模拟和动态数据探索。这个与硬件无关的框架除了支持与广泛使用的材料模拟引擎LAMMPS的集成外，还可以容纳多种编程语言和游戏引擎。GEARS还提供了一种称为虚拟共聚焦显微镜的新型数据探索工具，该工具赋予科学可视化增强的功能。©2019作者由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v1.0此代码版本使用的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2018_42法律代码许可证GPL 3.0使用git的代码版本控制系统使用C++、C#、Python的编译要求，操作环境依赖性Windows 10，Visual Studio，Unity，虚幻引擎，Python，LAMMPS如果可用，链接到开发人员文档/手册https://github.com/USCCACS/GEARS/blob/master/README.mdhttps://magics.usc.edu/gears/问题支持电子邮件cacs@usc.edu1. 动机和意义数据可视化在科学发现中起着关键作用。虽然定量分析是必不可少的，但研究者往往被迫盲目地应用概括性指标。不幸的是，其中一些统计数据在描述测试系统的能力方面是有限的，并且可能会产生误导，如Anscombe的Quartet [ 2 ]所示*通讯作者：美国南加州大学洛杉矶分校高级计算和仿真合作实验室，CA 90089-0241。电子邮件地址：knomura@usc.edu（K.- I. Nomura）。https://doi.org/10.1016/j.softx.2019.01.009可 视 化 软 件 如 VisIt [3] 、 ParaView [4] 、 Visual MolecularDynamics（VMD）[5]和OVITO [6]提供了一个直接的界面来创建三维（3D）图像并观察模拟输出中的图案虽然经常在有经验的研究人员中使用，但是由于传统显示器的3D对象的二维（2D）表示的固有限制，从由复杂几何形状组成或包含大量实体的数据集中提取信息仍然具有挑战性。ImmersaDesk、Tile Wall和CAVE2等沉浸式3D可视化技术 [7]为协作和科学交流提供了独特的空间[8]。然而，这些解决方案需要相应系统的专业知识2352-7110/©2019作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxB.K.霍顿，R.K. Kalia，E. Moen等人/ SoftwareX 9（2019）112113Fig. 1. （左）佩戴头戴式显示器的用户。（右）操作碲烯材料的模拟数据的用户[1]。骨骼手由Unity 5游戏引擎中的LeapMotion库使用手指捏和手势控制，用户可以在沉浸式VR中直观地旋转，平移和缩放结构周围的图形用户界面是Unity编辑器。以及对模拟结果的明确预期此外，这些系统的高成本使大多数研究人员望而却步。一个经济实惠的替代方案是一个易于访问的，不可知的软件平台，专为日益可用的头戴式显示器（HMD）开发的消费者虚拟现实（VR）。VR是一种强大的可视化工具，在过去的二十年里，由于Oculus Rift [9]和HTC Vive [10]等尽管VR被广泛应用于视频游戏和媒体应用程序，以及它作为最具沉浸感和直观的数据查看方法的潜力，但科学界尚未充分利用VR。为了将VR转化为一种通用的科学工具，我们开发了一个软件框架，称为科学计算的游戏引擎辅助研究平台（GEARS），它促进了VR技术的采用，并允许研究人员利用该媒体提供的独特分析优势（图1）。① 的人。2. 软件描述2.1. 交互式数据可视化GEARS使用Unity [13]和虚幻引擎[14]等商品游戏引擎来简化对VR头显的访问。VR在数据可视化中最直接的应用是交互式查看数据探索的预计算结果。为了实现这一功能，GEARS采用了iBET工作流程[15]，其中外部3D建模器，如VMD和Blender [16]，用于创建可以与适当的脚本一起添加到场景中的3D对象（例如，Leap Motion控制器的LeapRTS.cs [17]）（参见图17）。 2）的情况。这方面的齿轮允许用户快速，直接的出口，让立即可视化的快照数据从材料模拟或分子结构。虽然当前的交互式可视化模式支持单帧数据，但我们计划通过创建包含不同模拟时间步长的多个场景来扩展此功能，以实现更动态的数据探索。图3展示了在计算研究中使用的GEARS交互式可视化的几个例子。2.2. 实时仿真可视化GEARS还利用了游戏引擎提供的编程功能，例如Unity和C++for虚幻引擎支持的C#和JavaScript，以促进现有模拟代码的重用GEARS的这种模式适合于实时探索模拟结果，完全在游戏引擎中呈现为了实现这种实时渲染，设计一种有效的数据桥接方法在游戏引擎和用户开发的仿真程序之间是至关重要的。GEARS采用两种方法，称为Run-when-Ready和Render-when-Ready，这取决于数据的大小和仿真引擎的复杂性Run-when-Ready调用模拟引擎，帧更新以将帧的模拟状态（例如粒子位置）推进一个时间步长。Render-when- Ready利用多线程优化技术将模拟引擎计算卸载到新线程上，而主线程仅负责处理游戏引擎的渲染状态。在这种方法中，当模拟引擎完成一个时间步计算时，主线程更新帧状态或存储模拟状态以供稍后渲染，而工作线程继续产生新的状态作为后台。使用这种技术以及其他优化，如冒名顶替者和GPU实例化[18]，我们已经证明了实时模拟大小高达50万个粒子。为了最大限度地减少GEARS用户所需的编码量，我们提供了两个演示-请参见GEARS存储库上的UnityGEARS演示3为了使我们的沉浸式科学计算套件能够被广泛的研究社区使用，我们还将GEARS与最广泛使用的MD模拟引擎之一LAMMPS（大规模原子/分子大规模并行模拟器）进行了接口。LAMMPS是在桑迪亚国家实验室开发的，支持各种原子间相互作用势、统计系综和灵活的模拟设置。LAMMPS界面使用户能够在VR环境中可视化他们的MD模拟，而无需任何编码。设置LAMMPS集成环境的2.3. 虚拟共焦显微术为了充分实现沉浸式科学计算的承诺，我们开发了一种新的工具来增强GEARS的可视化能力，称为虚拟共聚焦显微镜。共聚焦显微镜已成为一种不可或缺的生物医学工具，它已被证明在许多其他科学领域[ 22 - 25 ]有用。它允许增加分辨率，对比度和光学切片，同时最小化光损伤和漂白问题。该技术使用点照明和针孔来扫描样品并拒绝焦点外的光。因此，图像只包含非常接近焦平面的信息，提供更高的分辨率[24]。虚拟现实中的类比方法可以对模拟的复杂结构进行更有条理的虚拟共焦显微镜利用Unity我们的解决方案旨在生成一个位于用户头部前方的观察平面，跟随他们的头部运动，并始终与用户保持一个设定的可以指定该距离以及高亮显示的查看平面的厚度114B.K.霍顿，R.K. Kalia，E. Moen等人/ SoftwareX 9（2019）112图二. （a）GEARS可视化工作流程的三个主要步骤（数据采集、接口选择和后处理）。在数据采集步骤中，研究人员通过将预先计算的结果转换为特定格式（例如.obj，.fbx）或通过模拟实时计算数据来向引擎提供数据。在接口选择步骤中，GEARS用户选择他们希望与预先计算的数据或实时仿真交互的方法或接口。在后处理步骤中，研究人员选择后处理技术，该技术可以利用他们在接口选择步骤中选择的控制方案或利用自定义代码。(b)通过GEARS的LAMMPS集成可视化化学气相沉积（CVD）模拟[11，12(c)通过LAMMPS集成模拟和探索与二硫化钼（MoS2）断裂相关的数据。使用白线指示的控制器，研究人员可以自由地浏览结构，暂停和恢复动画，甚至使用提供的激光附件（以绿色显示）突出显示感兴趣的区域。并且由用户动态地改变模拟系统的其余部分将保持大部分透明（不透明度也由用户输入决定），除了与该平面相交的顶点通过这种方式，用户可以仅使用头部运动来扫描复杂的几何形状-这是只有在VR中才能实现的独特实验优势2.4. 控制方案精心设计的控制方案对于促进用户与沉浸式仿真中的各种数据表示之间的交互至关重要。这些交互的范围从对象操作和空间平移到时间缩放。至关重要的是，这些交互尽可能地模仿自然运动以限制用 户的不适， 特别是当 它涉及环境中 的用户运动时[26GEARS支持来自各种来源的输入，包括Leap Motion控制器，Oculus Touch和HTC Vive运动，用于沉浸式环境，以及键盘和鼠标，用于对模拟的各个方面进行小而精确3. 说明性实例最近，研究人员对脱盐膜进行了MD模拟，以了解和表征局部原子结构如何影响宏观行为[31]。感兴趣的聚酰胺膜的相关尺寸范围从十分之一纳米到100纳米，使其成为计算研究的极好候选人，以提取实验上不易获得的优化他们发现水分子通过苯环渗透到膜中，图3.第三章。交 互 式可视化实例：（a）实时绘制和模拟MoS 2合成。（b）在多孔无定形二氧化硅中的三维纳米笼结构的走查（c）由于2D材料表面上的动态剪切流引起的剥落过程[29]。（d）原子碲化物层中的应变诱导结构转变[30]。这些单体的交联程度决定了沿各种路径的渗透速度[31]。然而，这些膜的构造非常复杂，使得传统的2D可视化难以快速识别优先路径。通过简单的头部运动，在VR环境中对如此复杂的超级结构进行切片的能力有助于研究人员在这些模拟材料中识别感兴趣的普遍子结构，并将大大加快研究生产周期（见图1）。 4）.B.K.霍顿，R.K. Kalia，E. Moen等人/ SoftwareX 9（2019）112115见图4。浸入水中的交联芳香族聚酰胺膜。水分子（红色）通过模拟箱中间的膜（绿色）中的纳米通道扩散。[27]经许可改编©2016美国化学学会。4. 影响物理模拟，如MD，本质上存在于3D空间中，但现代桌面查看平台往往只支持2D可视化。GEARS作为一个开源的商品平台，使研究人员更容易获得探索性可视化和沉浸式数据分析。使用我们的工作流程，上面概述的，和我们提供的顶点着色器，可以将3D虚拟共焦显微镜应用于任何离散数据集。或者，如果研究人员需要创建自己的自定义着色器（取决于他们的调查需求），他们可以利用我们提供的示例环境，将他们自己的数据有效地带到交互式沉浸式环境中。因此，这份手稿为科学家利用现代图形着色器进行实验数据分析奠定了基础。即使着色器技术或虚拟共聚焦显微镜不是主要目标，研究人员仍然可以利用GEARS中的沉浸式回放功能。 对于预先计算的模拟，这通常意味着暂停动画，然后探索和分析隔离区域。然而，我们不仅为研究人员提供了研究人员可以选择移植他们现有的数据（例如，LAMMPS DUMP文件）或运行全新的动态模拟。使用我们的框架，LAMMPS脚本可以通过设计来编写VR可视化。研究人员甚至可以在运行中暂停模拟，让他们有机会在通过我们的代码接口向链接的LAMMPS库提供新命令之前对其模拟进行调整之后，他们可以继续运行模拟，并注意他们对系统的调整效果这种沉浸式模拟转向选项只是我们的软件如何在LAMMPS中作为面向VR的扩展平台的一个例子。通过将LAMMPS与Unreal集成，就像Atomify [32]将MD模拟器与移动操作系统集成一样，我们改进了框架作为研究工具的可扩展性。此外，在我们的示例环境的基础上，研究人员可以更有效地利用引擎Unity和Unreal中的GEARS充当可扩展的混合仿真和可视化引擎。它已经在课堂和研究环境中使用，作为一种新的数据呈现媒介。这种媒介使研究人员能够利用人类与生俱来的空间意识，以提高其用户 它促进了模拟数据与专家和非专家的交流，最引人注目的是在美国能源部（DOE）材料基因组创新计算软件（MAGICS）研讨会和在华盛顿特区举行的DOE会议上。5. 结论我们开发了一个名为GEARS的与硬件无关的可视化框架，它利用了与VR环境和快速发展的游戏引擎技术相关的独特可能性和力量VR已经成为一种强大的新方法，可以以一种更有触觉、更发自内心的方式与用户互动。支持VR的硬件的复苏带来了丰富的软件环境，允许开发人员以最小的投资访问这些工具。虽然VR技术有无数的应用，但它们对于科学数据可视化和探索，与领域专家的合作以及与非科学受众的交流特别有用通过GEARS，我们为研究人员提供了各种方法和模式，以交互式地探索他们的仿真数据，从VR中预计算数据集的可视化GEARS甚至允许研究人员利用沉浸式数据可视化和模拟，而无需额外的编码。在多媒体和游戏行业的推动下，VR平台很可能会继续以更低的成本增强用户功能和交互性，使研究人员更容易接近它们。因此，GEARS提供的新型数据开发和协作能力将广泛造福于科学界。致谢这项工作是由美国资助的计算材料科学计划能源部，科学办公室，基础能源科学，根据奖项编号DE-SC 00014607，为我们的魔术（材料基因组创新计算软件）中心，https://magics.usc.edu。引用[1]ApteA，et al. 应变单层MoWSe 2合金的结构相变ACS Nano2018;12（4）：3468-76。[2]AnscombeFJ.统计分析中的图形Amer Statist 1973;27（1）：17[3]ChildsH，et al.VisIt：一个终端用户工具，用于可视化和分析非常大的数据。2012年。[4]AhrensJ，Geveci B，Law C，Hansen CD，Johnson CR.用于大数据可视化的最终用户工具。在：可视化手册. 2005年，p. 七一七[5]放大图片作者：J. VMD：可视化分子动力学。J MolGraph1996;14（1）：33-8.[6]斯托科夫斯基河利用开放式可视化工具OVITO实现原子模拟数据的可视化与分析。建模仿真材料科学工程2010;18（1）.[7]FebrettiA，et al.CAVE2：用于沉浸式模拟和信息分析的混合现实环境。In：Engineering Reality of Virtual Reality 2013，vol. 8649. 2013年。[8]ManjrekarS，Sandilya S，Bhosale D，Kanchi S，Pitkar A，GondhalekarM.CAVE：一种新兴的沉浸式技术-综述。IEEE; 2014，p. 131-6[9]Oculus Rift。https://www.oculus.com/rift/网站。[10]HTC Vive。https://www.vive.com/us/网站。[11]Hong S等人，通过反应分子动力学模拟计算合成MoS2层：MoO3表面的初始硫化。Nano Lett2017;17（8）：4866-72.[12]Hong S等人，化学气相沉积合成MoS2层，M o O 3 表面的直接硫化反应分子动力学模拟。J Phys Chem C2018.[13]团结https://unity3d.com网站。[14]虚幻引擎4文档。https://docs.unrealengine.com/latest/INT/index.html。116B.K.霍顿，R.K. Kalia，E. Moen等人/ SoftwareX 9（2019）112[15]NakanoCM，et al. iBET：生物电子转移动力学的沉浸式可视化。J MolGraph Modeling 2016;65：94[16]搅拌机https://www.blender.org网站。[17]Leap Motion开发人员https://developer.leapmotion.com网站。[18]Tarini M，Mr.环境遮挡和边缘提示，以增强实时分子可视化。IEEE Trans VisComput Graphics2006;12（5）：1237-44，（英文）。[19]FrenkelD ， Smit B. 了 解 分 子 模 拟 。 第 二 版 San Diego ， CA ： AcademicPress;2001.[20]Byun HS，El-Naggar MY，Nakano A，Vashishta P.用于模拟长时间动态的同 步 并 行 动 力 学 Monte Carlo 方 法 的 推 导 和 可 扩 展 实 现 。 Comput PhysComm2017;219：246-54.[21]普林顿湾短程分子动力学的快速并行算法。JComput Phys1995;117（1）：1-19.[22]杨伟，王伟.用共焦显微镜和数字体积相关法对软材料大变形进行三维全场测量。Exp Mech2007;47（3）：427-38。[23][10]杨文，王文.人体皮肤的活体共聚焦扫描激光显微镜：黑色素提供了强烈的对比度。J Invest Dermatol1995;104（6）：946-52.[24]韦伯RH。共聚焦光学显微镜。Rep Progr Phys 1996;59（3）：427[25]迪亚斯普罗A.共聚焦和双光子显微镜：基础，应用和进展。Wiley;2011.[26]Slater M，Usoh M，Steed A.采取步骤：步行技术对虚拟现实中存在的影响。ACM跨计算机-人类交互1995;2（3）：201-19.[27]Templeman JN，Denbrook PS，Sibert LE.虚拟运动：在虚拟环境中行走。Presence：Teleoperators Virtual Environ1999;8（6）：598-617，（en）.[28]放大图片作者：J.虚拟环境中立体深度感知的自然问题。Vis Res 1995;35（19）：2731[29]Zhou G，et al. MoS2剥落的分子模拟。Sci Rep2018;8（1）：16761。[30]Amey A，et al. Polytypism in atmospheric tellurium. 2D材料2019;6（1）.015013。[31]Wei T，et al.芳香聚酰胺反渗透膜：原子分子动力学模拟。J Phys Chem B2016;120（39）：10311[32]Atomify- 一 个 实 时 LAMMPS 可 视 化 工 具 。 https://github.com/ovilab/atomify 网站。