VR和AR在人类行为研究中的应用的综述

―引文：尹俊浩，郑钦文，黄普门，何俊仁，蔡志光，崔志光。VR和AR在人类行为研究中的应用--新加坡国立大学的经验虚拟现实智能硬件，2020，2（5）：381-393DOI：10.1016/j.vrih.2020.07.009虚拟现实智能硬件2020年12月第5·回顾·VR和AR在人类行为研究中的应用Jun-HaoYIN1，Chin-BoonCHNG1，Pooi-MunWONG1，NicholasHO1，MatthewCHUA2，Chee-KongCHUI1*1. 新加坡国立大学机械工程系，119077，新加坡2. 新加坡国立大学系统科学研究所，119077，新加坡*通讯作者，mpecck@nus.edu.sg投稿时间：2020年3月18日修订日期：2020年7月2日接受日期：2020年7月5日随着新加坡工作场所和培训的效率和安全性不断提高，有必要探索各种技术及其能力来满足这一需求。虚拟现实（VR）和增强现实（AR）能够创建将虚拟和物理环境结合在一起的沉浸式体验，再加上信息过滤功能，这使得将该技术引入培训过程和工作空间成为可能。本文综述了当前VR和AR对人类表现影响的研究趋势、发现和局限性，特别是在新加坡，以及我们在新加坡国立大学（NUS）的经验。关键词 人机交互;虚拟环境;人的行为1引言虚拟现实（VR）和增强现实（AR）在最近的时代已经成为流行的技术。这些技术使人类能够连接到数字世界。将数字世界与物理世界连接起来的能力使人们能够引入或改变信息，从而扩大了创造和互动的可能性。艺术家可以将他们的数字作品与物理空间相结合，游戏玩家可以将游戏世界从电脑屏幕带到物理环境中，并且可以轻松地在物理工作场所提供额外的信息。新加坡正在积极参与这一全球创新和研究进程，以探索这些技术的用途。VR最初是由电影摄影师Morton Heilig于1950年发明的，旨在为观众带来电影体验。到目前为止，有许多VR的定义[1，2]，但所有这些都指向一个共同的定义，电子模拟环境的帮助下，仪器，以允许在这个环境中的互动。VR的显示设备主要有三种类型：空间投影，头戴式设备（HMD）和手持设备。最常见的VR显示器是HMD，因为它能够让用户沉浸在环境中这种沉浸感是衡量用户在2096-5796/©版权所有2020北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.com虚拟现实智能硬件2020年12月第5电子模拟环境然而，作为VR的变体，AR允许用户看到真实世界，并将虚拟对象与真实世界叠加。相比之下，VR不允许用户看到真实世界，而是将虚拟环境投影到他们身上。这意味着AR是对真实环境的补充，而不是完全取代它。因此，AR可以被定义为完全虚拟环境与完全真实环境之间的中间地带[3，4]。增强对象应该看起来与真实环境共存，用户应该能够使用校准和编程的仪器与这些对象进行交互，类似于VR环境中的虚拟对象。这些校准和编程的仪器以其他方式已知属于人机交互（HCI）的类别，人机交互（HCI）由人类可以操纵虚拟/增强对象的不同手段组成，范围从具有手动按钮的现代键盘到图形界面和语音识别等。本文综述了利用VR/AR提高人类绩效的创新和研究。人类绩效是对完成任何任务的能力质量的衡量，主要有三个方面，包括速度，准确性和认知负荷[5]。人类表现的良好增长将表明更快，更准确地执行任务，并减少注意力需求。然而，并非所有这三个方面都将在某一特定时间得到改善。2 VR/AR在新加坡目前世界各地对VR/AR在人类表现方面的研究包括不同的兴趣领域。这些包括使用户能够执行特定任务，例如操作虚拟键盘[6]，改变典型的键盘控制以增加文本输入能力;或模拟不同的场景以训练消防员的空间意识和批判性思维过程[7]。在医疗保健和医学领域，人类行为研究包括协助和改善接受康复治疗的患者的心理有效性[8];并允许新手外科医生和医学生改善进行微创手术和介入放射学手术所需的手眼协调[9]。灌输VR/AR以提高人类表现的清单并不详尽。新加坡承认VR/AR对用户的潜在好处。新加坡航空业是VR最成熟的用户之一。VR应用于飞行模拟学校，教导年轻有抱负的飞行员操作飞机[10-12]。医疗行业是另一个感兴趣的用户[13]，这将在后面的章节中解释。本文将调查新加坡特别是新加坡国立大学关于VR/AR对人类表现影响的研究现状，研究现状，并讨论其未来趋势。在 下 文 中 ， 用 于 搜 索 新 加 坡 研 究 出 版 物 的 数 据 库 是 Scopus ， Engineering VillageScholarBank@NUS。从1997年到2020年，共有313项专利被授予，280篇期刊文章和207篇会议论文发表了关于VR/AR的使用及其对人类表现的影响。新加坡关于VR/AR对人类表现影响的研究主要集中在医疗培训、介入治疗和制造业。强调这一点的关键原因是制造过程和医疗/保健程序严重依赖于人类操作员。有时，当执行关键任务时，可用的信息可能会对操作员产生压倒性的响应。此外，虚拟创建的环境可以为培训过程中的安全和最佳知识转移提供身临其境的体验。第三章至第五章分别综述了虚拟现实医学仿真、增强现实在外科手术和制造业中的研究和应用现状。第6节讨论了新加坡VR/AR研究应用的未来趋势。第七部分对本文进行了总结和归纳。382尹俊浩等：VR和AR在人类行为研究中的应用--新加坡国立大学的经验3VR医疗模拟医学模拟通常用于教育和培训医学生和初级医疗保健专业人员。它包括手术模拟和程序任务模拟。他们为年轻外科医生提供培训尤其重要，因为受训者很少接触手术或活体患者的手术。微创手术（MIS）已经越来越受欢迎，由于其众多的好处，如减少失血，减少组织创伤和改善恢复时间。与外科医生识别解剖结构并直接进行手术的传统开放手术相比，MIS是一种依赖图像的手术，其中外科医生在进行手术时在摄像头探头的帮助下导航通过患者。外科医生将需要建立医学图像信息与手术部位相关的物理空间关系。对于大多数外科医生来说，这不是一项容易的任务，并且由于人体解剖结构的微妙性质，无论外科手术如何，错误的空间都非常小。手眼协调是微创外科医生最重要的技能之一，除了批判性思维，行动和反应的任何情况下在手术室。传统上，医学生或初级外科医生的培训是在带有普通键盘和鼠标的计算机上进行的，这不足以将技能转移给实习外科医生[14]。因此，引入VR为实习外科医生提供逼真且安全的虚拟环境[15]。MIS手术，如聚甲基丙烯酸甲酯（PMMA）注射[16]、腹腔镜检查和经皮冠状动脉介入[17-19]，可以虚拟模拟用于培训目的。由于环境和对象是虚拟的，它们可以被编程和定制以满足实习外科医生的所需需求。这允许模拟更广泛的可能场景，以使实习外科医生为任何情况做好准备。开发VR手术训练系统是为了通过使用触觉设备来控制虚拟摄像头探头和虚拟手术器械来进一步提高训练质量。通过深度和坐标计算，系统将处理虚拟对象之间的交互，并为学员提供触觉反馈[20-22]，使整个体验更加身临其境和“真实”。一个典型的虚拟现实医疗模拟有两个主要部分：虚拟对象（即。例如，虚拟器官），所述虚拟器官由在手术前程序期间获得的医学图像建模，并且受训者导航通过连接到机械控制器和虚拟仪器的虚拟环境。然而，在VR模拟训练期间的运动建模不应该是单向的方法。探索了各种方法来对虚拟对象以及用户与虚拟对象交互时虚拟对象的行为进行建模。例如，为腹腔镜手术训练而建立的虚拟胆囊模型。在预测相互作用期间的行为时，胆囊不能被视为单个实体。相反，由于刺激和所涉及的肌肉，应考虑主动和被动张力。探索了各种方法，如遗传算法和多层质量弹簧模型，以模拟胆囊的生物力学行为[23，24]。已经提出了一种基于粒子的解决方案来模拟虚拟手术中血流和血管壁之间的相互作用[25]。将光滑粒子流体动力学模型与质量弹簧模型耦合，实现了对血液流动和血管变形的模拟。除了虚拟器官，我们还需要考虑工具以及工具与组织的相互作用。导管是一种用于介入放射学的管状器械，其建模并不容易。导管的虚拟对应物的形状必须根据导管近端处的控制而改变。已使用有限元分析方法对导管在人体血管系统内的导航进行建模[17，19]。此外，外来流体（例如，PMMA是用于骨的液体粘固剂）可以在医疗程序期间使用。虚拟PMMA与383虚拟现实智能硬件2020年12月第5虚拟患者和仪器需要复杂的建模，因为这种液体水泥的流动与受训者对虚拟仪器的控制有关[16]。虚拟环境中所有虚拟实体的正确建模增加了受训者的沉浸式体验，或者换句话说，增加了虚拟模拟的“真实性”。在训练过程中，VR/AR设备中还可以包括软件外围设备，例如智能虚拟教练[26]。这些虚拟培训师提供信息来指导受训者或在受训者犯错误时提供纠正。Ho等人[27]尽管在混合医疗设备的组装中使用这种智能培训器概念，但报告称使用VR作为培训媒介，知识转移增加。这是由于沉浸式体验和相关信息的过滤，再加上VR/AR是一种用于课堂环境的新技术。这些软件外围设备仍处于研究的初步阶段，仍需要将其完全集成到VR模拟中。图1显示了VR医疗模拟过程的概述。VR医疗模拟中有很多因素和组件，所有这些都需要很好地建立，以使体验成功。目前的研究表明，实习外科医生的一般灵巧性的改善，特别是在他们的手眼协调执行复杂的控制设备。实习外科医生装备更好，能够以更快、更安全的方式学习外科手术。但虚拟仿真仍然缺乏外围设备，如触觉反馈和预测的事件后，用户的每一个动作。其他感官，如嗅觉和声音也尚未包括在内，这可能会降低虚拟模拟的“真实性”，从而阻碍批判性思维训练过程。图1VR医疗模拟4手术用AR考虑到其优点和缺点，VR常用于仿真和培训。然而，AR更适合于辅助医疗过程，特别是外科手术。与可能妨碍外科医生视野的其他形式的AR显示设备（诸如HMD）相比，空间投影是当前最流行的显示形式。在操作手术工具时佩戴额外眼镜的额外负荷可能会影响性能384尹俊浩等：VR和AR在人类行为研究中的应用--新加坡国立大学的经验外科医生也是。MIS手术的当前状态要求外科医生在患者体内导航器械时不断查看2D计算机屏幕。为了减轻这种限制，Kockro等人提出了将从摄像头探头收集的信息投影到患者身上的想法，并使用空间投影显示器，模仿患者的即时“X射线”视觉[28]。这有助于外科医生获得更好的3D可视化，并减少在通过2D计算机屏幕导航器械时提出移动深度和方向方面的关系所需的认知负荷。尽管该系统证明成功地用摄像头探头标测患者，但由于计算处理时间和摄像头捕获患者体内狭窄和黑暗空间的能力，实时叠加可能不可靠。如今，通常在实际手术之前获取医学图像。采集的图像可以在3D中可视化，在术前过程中进行校准和调整。计算机辅助手术（CAS）现在是一个广义的术语，指的是所有不同的临床和工程方法，其中计算机直接应用于手术，包括介入放射学。不同的方法包括导航，医疗机器人，虚拟和增强现实。来自NUS的Yang等人将这些方法用于肿瘤的射频（RF）消融[29]。在术前获得的医学图像可以覆盖在患者身上，以帮助外科医生准确定位RF针。叠加图像将大大提高手术过程的准确性，以减少患者发生的并发症和事故[30，31]。此外，手势被引入[32]作为HCI来控制设备，如果外科医生无法触摸和处理手术室中的其他机械器械。图2示出了手术室中AR空间显示器的设置的示例。还示出了针的位置的叠加的示例。在外科手术中使用AR已成功提高了MIS的准确性和速度，并且是将新型工具引入手术室的一个进步。图2AR空间显示设置。然而，大多数需要使用空间投影显示的研究方法都有其缺点，例如投影的遮挡，照明条件以及需要严格校准相机和投影仪的位置。基于平板电脑的AR显示器是下一个最佳选择，能够在关键时刻为外科医生提供额外信息[33]。通过可能的定制，平板电脑385虚拟现实智能硬件2020年12月第5可以在外科医生方便的时候安装，而不会中断手术。提示信息和认知负荷的减少使外科医生能够专注于更重要的任务。一般来说，两种形式的显示都可以在合理的时间内设置，而不会对实际的外科手术造成任何延迟。该设置也不会妨碍手术室的空间。5制造业中的VR/AR在过去的几十年里，制造业一直是新加坡经济增长的关键贡献。随着各个业务部门的竞争日益激烈，该行业不断寻求提高效率的方法。近年来，新加坡越来越重视安全，现在它是工作场所的一个重要因素。由于新加坡目前的行业仍然以操作员为中心，因此将VR/AR引入工作场所旨在提高效率并提高操作员的安全性。计算机辅助设计（CAD）是设计零部件的关键制造过程。来自另一个NUS团队的Pang等人[34]介绍了在这个过程中利用AR的想法，以帮助设计师在计算机屏幕和物理世界中查看CAD部件。这为设计师提供了更好的3D视角，并增加了CAD组件的几何可视化。这种改进的3D可视化减少了用户的认知负荷，并提高了设计过程的效率。随着VR/AR对象跟踪的发展，设计师将能够使用徒手手势来操纵虚拟对象[35]。这种形式的人机交互允许设计人员移动和改变组件的大小，从而改善设计过程中的交互和体验。在操作层面，基于纸张和计算机的任务可以被AR任务取代，这可以增强执行任务的操作员的交互和体验。操作员所需的信息可以使用图形用户界面（GUI）在物理工作空间上进行扩增和过滤，操作员将能够使用基本的徒手手势操纵这些信息[36]。实时过滤操作员所需信息的能力减少了在执行给定任务时所需的认知负荷。随着智能机器的发展，GUI也可以用来操纵这些机器，使整个过程更加直观和有效。AR也可以类似于设计过程，操作员将能够通过操纵物理环境中的虚拟对象来模拟装配过程[37]。虚拟仿真允许操作员进一步了解给定的任务，并为试错创造空间。这导致在实际组装过程中的速度和精度的提高，并减少了事故的发生。远程控制机器人的体验，从真人大小的机器人到机器人手臂，都可以通过VR来增强。通过将摄像头连接到机器人的头部，并在另一端使用HMD操作员。操作员将能够控制机器人，同时查看机器人的环境[38]。这提高了操作员的态势感知能力。通过增加用裸手手势控制远程机器人，控制机器人的交互将对操作员更加直观，并且减少了对复杂硬件的需求，例如专门为该情况设计的指示器。在制造过程中引入VR/AR，使用户能够获得更好的3D几何可视化，直观地控制机器操作以及模拟/实践。这些提高了用户在执行速度、准确性和认知负荷方面的人类表现。然而，由于虚拟对象的交互之间缺乏触觉反馈，因此实现的体验是有限的。虽然有计算力反馈和显示数值的技术，386尹俊浩等：VR和AR在人类行为研究中的应用--新加坡国立大学的经验虽然物理触觉反馈尚未得到很好的开发和可行性。例如，触觉手套的使用是昂贵且复杂的，在某些情况下有很多限制。6讨论如前所述，VR/AR有望实现更有效的培训程序和操作过程。这导致了在这些领域进行研究的动机，以确定将VR/AR融入这些情况的有效性。目前，VR/AR在工作场所的制造应用相对较新，尽管学术界对此有浓厚的研究兴趣。这主要是由于VR/AR技术的高运营成本。投影设备和其他硬件可能是昂贵的。软件许可的获取和维护也不便宜。此外，目前的VR/AR硬件和软件往往对用户不友好。所有这些都阻碍了企业和公司将VR/AR用于商业用途。 这种影响在新加坡尤为突出，因为本地工人短缺导致制造业的人口结构由劳动力成本较低的外国工人主导。随着人们对工作场所安全的重视，使用VR/AR进行安全培训的趋势也在上升。通过VR/AR的沉浸式体验，工作人员可以通过模拟粗心或错误操作来体验危险行为的影响和后续原因。可以培养学员在建筑工地等工作场所坚持安全的意识和责任感[39]。医疗程序的虚拟仿真有助于创建各种虚拟情况，以促进学习过程，特别是对于实习外科医生，而现场手术变得不容易访问。然而，模拟训练的学习结果仅在很大程度上有利于受训者或初级外科医生。虚拟仿真的当前状态集中在通过机械控制器的手眼协调。这样的虚拟模拟可能仍然缺乏与虚拟对象的某种交互性。这是由于人体是一个复杂的系统，在建模时不能将其视为一个单一的实体，在建模时需要考虑许多生物因素，因此难以建模和预测虚拟仪器和虚拟器官之间的相互作用。尽管如此，对机器学习等算法技术进行了更多的研究，以帮助建模和交互过程。一旦虚拟对象可以系统地建模，医疗模拟将为学员提供更身临其境的体验，从而通过VR手术室中模拟的不同情况更好地学习批判性思维。将AR引入手术室将有利于外科医生在手术过程中叠加增值信息。然而，该领域的研究和应用尚处于起步阶段，许多因素影响其发展。例如，可能发生投影延迟、误校准或显示错误，这可能会扭曲外科医生的视图，导致关键决策的错误。人眼对视觉提示很敏感，如果额外的AR显示器没有正确叠加，它将在手术过程中影响外科医生[40]。工业4.0中不同学科的整合将带来不同的领域，如人工智能和网络物理系统（CPS）到VR和AR。这将有利于将VR和AR分别引入医疗模拟和手术室。一个例子是使用认知引擎。认知引擎由知识库、推理机和机器学习组件组成。它旨在增强人类操作员在规划，分析和决策方面的能力。知识库可以从医学书籍、医疗记录、研究论文和医学从业者的在预操作期间，认知引擎可以建议一系列387虚拟现实智能硬件2020年12月第5基于手术室中可用工具的外科手术[41]。认知引擎还能够基于患者、外科医生和手术工具的瞬时状态来简化手术期间可能的手术动作。可以访问多个知识库，以查找管理罕见手术病例的参考资料。通过VR/AR技术，可以模拟可能性，并将建议的行动或潜在风险投射给外科医生[42]。机器人已被引入手术室。一个这样的例子是在射频过程中，可以使用机器人来执行射频针的插入以消除外科医生自然抖动的手运动[30，31]。智能组件也可以集成到机器人中，在手术过程中提供帮助。可以形成共享控制系统，以帮助外科医生在手术室期间利用机器人来帮助外科医生了解行动或发现的可能后果[43]。尽管如此，智能机器人将保持其现状，即不会凌驾于外科医生之上，而是作为辅助手段。今天的制造过程和手术室越来越多地涉及使用高度复杂的设备。随着嵌入式软件和网络连接的最新进展，未来两者都将不可避免地利用CPS技术来促进物理和网络组件之间的互操作性[44]。这导致了手术室[45，46]和制造过程[47]内更高水平的沟通和协调。这对于受益于大量信息流的外科手术尤其有用。这种基于信息的架构促进了外科手术的更系统化方法[48]，并且已经对其在改善手术结局方面的有效性进行了研究[49，50]。在这方面，VR和AR技术在CPS内与外科医生进行交互，在外科手术和制造过程中呈现数据或增强他们的能力。图3显示了CPS内的信息流，其中VR和AR可以集成，以便于将信息传递给生产工作单元中的用户。我们正在使用基于CPS的工作单元试验不同的VR和AR方法。鉴于新型冠状病毒疫情，越来越多的人需要在家工作图3CPS内的信息处理388尹俊浩等：VR和AR在人类行为研究中的应用--新加坡国立大学的经验这导致了在线业务的转变。随着公司寻求更好的运营和培训方案，人们对VR/AR技术的认识有所提高。企业正在向网上转移，可以在虚拟副本中查看商店空间和库存[51-53]。客户可以随时随地访问虚拟商店，购买他们感兴趣的产品。新加坡企业对VR/AR的认识的提高将反过来推动VR/AR研究的进一步发展。希望借助VR/AR技术改善人类表现可以帮助行业提高兴趣和盈利。7结论总之，VR/AR已被证明可以提高用户的人类表现，包括增强手眼协调，增加3D可视化技能，以及更好的知识传递和更少的内存需求。这些好处使用户能够更快，更准确地完成任务，并减少认知负荷，从而由于开发了基于VR/AR的沉浸式体验而带来更好的人类表现。虚拟环境允许重新创建不同的场景和选项，以满足用户的需求。它还可以让用户处于安全的环境中。虚拟环境将节省空间，对新加坡这样的小国也至关重要。研究表明，使用AR/VR的许多积极发现，大多数试验和实验都是在实验室环境中进行的。虽然最近有一个良好的趋势，越来越多的工业应用正在开发中，但AR/VR在商业中的广泛应用还需要一段时间。虽然在量化和量化人类表现的增加方面存在争议，但有一些研究，如使用脑电图的大脑活动是有前途的，并且正在增长[54]。本文从新加坡国立大学的角度，调查了VR/AR对新加坡人的表现的影响的研究现状，当前的研究趋势，发现和局限性。介绍了VR/AR在新加坡的一些应用。这里列出的研究和应用并不详尽。例如，在VR/AR体验中使用音频来增加沉浸式过程[55-57]以及将VR/AR用于心理和物理治疗[58-61]。新加坡国立大学Alice Lee护理研究中心的教育工作者使用虚拟患者来培训护理学生，并在临床岗位之前磨练他们的沟通技巧[62]。庆应国立大学CUTE中心的研究人员进行了许多VR和AR研究工作。他们创造了一个有趣的交互式多感官VR游戏[63]。四股感官流同时融合在一起以达到真实感。随着新加坡成为东南亚第一个引入5G的国家，5G通常被认为是VR/ AR的加速器，该技术在未来几年可以被广泛接受用于许多工业应用。竞争利益声明作者声明没有竞争的经济利益。引用1克鲁格人工现实。Reading，Massachusetts：Addison-Wesley Publishing，19912Steuer J.定义虚拟现实：尺寸决定远程呈现。通信学报，1992，42（4）：73-93 DOI：10.1111/j.1460-2466.1992.tb00812.x3杨志华，李志华，李志华.增强现实：现实-虚拟连续体上的一类显示器。In：Proc SPIE 2351，Telemanipulatorand Telepresence Technologies，1995，2351，282-292 DOI：10.1117/12.1973214Milgram P，Kishino F.混合现实视觉显示的分类。IEICE信息与系统学报，1994，77（12）：13215吴文辉，李文辉，李文辉.工程心理学与人类行为。纽约，心理学出版社，2015年389虚拟现实智能硬件2020年12月第5电话：021 - 88888888传真：021 - 88888886翟S M，亨特M，史密斯B A.大都市键盘― ―虚拟键盘设计的定量技术探索。第13届ACM用户界面软件与技术研讨会论文集00.圣地亚哥，加利福尼亚州，美国，纽约，ACM出版社，2000年，119DOI：10.1145/354401.3544247Bliss J P，Tidwell P D，Guest M A.虚拟现实对消防员空间导航训练的有效性。Presence：Teleoperators VirtualEnvironments，1997，6（1）：73-86DOI：10.1162/pres.1997.6.1.738Lee J H，Ku J，Cho W，Hahn W Y，Kim I Y，Lee S M，Kang Y，Kim D Y，Yu T，Wiederhold B K，WiederholdM D，Kim SI. 用于日常生活活动评估和康复的虚拟现实系统。网络心理行为，2003，6（4）：383DOI：10.1089/1094931033222787639[10]张文龙，张文龙.压力损害腹腔镜外科新手的心理表现。外科内窥镜，2010，24（10）：2588DOI：10.1007/s00464-010-1013-210SYFC–Singapore网址：www.syfc.sg/11实里达飞行俱乐部可从以下网址获得：http://www.seletar-flying-club.org/12在新加坡学习飞行|新加坡飞行学校可从以下网址获得：http://flightschool.sg/13技术在培养更安全的医生方面的作用。可从以下网址获得：http://nusmedicine.nus.edu.sg/newsletter/issue25/in-vivo/technology-s-role-in-training-safer-doctors14蔡毅，崔春，叶晓忠，王永平，安德森. VR模拟培训，用于微创血管介入。计算机图形学，2003，27（2）：215DOI：10.1016/s0097-8493（02）00278-915Anderson J H，Chui C，Cai Y，Wang Y，Li Z，Ma X，Nowinski W L，Solaiyappan M，Murphy K J，Gailloud P，Venbrux AC.介入放射学的虚拟现实训练：约翰霍普金斯大学和肯特里奇数字实验室的经验。介入放射学研讨会，2002，19（2）：179DOI：10.1055/s-2002-3279616梁志，崔建光，赵世辉.实时模拟PMMA人工晶状体植入的生物力学模型。计算机在生物医学中的应用，2008，38（3）：304DOI：10.1016/j.compbiomed.2007.10.00917王耀平，崔春，林宏，蔡耀耀，麦凯.经皮冠状动脉血运重建术的实时交互式模拟器。计算机辅助外科，1998，3（5）：211手机：10.3109/1092908980914984318蒋平，郑建民，余英，麦国华，崔智光，蔡耀。用于心内介入的VR模拟器。IEEE Computer Graphics andApplications，2013，33（1）：44DOI：10.1109/mcg.2012.4719张文辉，张文辉.用于导管导航实时计算的血管解剖学势场。可见人项目会议论文集，1996年，11320Rasool S，Sourin A.图像驱动的关节镜手术虚拟仿真。视觉计算机，2013，29（5）：333DOI：10.1007/s00371-012-0736-621[10]张文辉，张文辉.虚拟膝关节镜手眼协调训练。在：第19届ACM虚拟现实软件和技术研讨会的会议记录-VENSE '13。新加坡，纽约，ACM出版社，2013年，17DOI：10.1145/2503713.250371522徐志坚，王建生，连振英，王志良，张杰，严正辉，王世辉，王世昌，黄汉坚，张志良，赵世良H.计算机辅助模拟中的触觉：椎体成形术的培训。模拟游戏，2006，37（4）：438–451DOI：10.1177/104687810629166723Zhang J，Zhou J，Huang W，Qin J，Yang T，Liu J，Su Y，Chui C K，Chang S. GPU友好的胆囊建模，390尹俊浩等：VR和AR在人类行为研究中的应用--新加坡国立大学的经验腹腔镜胆囊切除手术培训系统。计算机电气工程，2013，39（1）：122-129 DOI：10.1016/j.compeleceng.2012.05.01224熊丽芳，崔建坤，张志良.基于变分法的胆囊形状变形的真实感建模与仿真。国际计算机辅助放射学和外科杂志，2013，8（5）：857-865 DOI：10.1007/s11548-013-0821-y25[1]秦军，庞文明，阮宝平，倪东，崔俊凯.基于粒子的血流和血管壁相互作用的模拟虚拟手术在：2010年信息和通信技术研讨会的会议记录-SoICT '10。越南河内，纽约，ACM出版社，2010年，第128DOI：10.1145/1852611.185263626杨伟华，王伟.增强微创手术的培训环境。第十届IEEE国际使能技术研讨会：协作企业的基础设施。WET ICE2001. Cambridge，MA，USA，IEEE，2001，269DOI：10.1109/enabl.2001.95342627何南，黄品明，蔡明，崔建光.混合医疗器械装配的虚拟现实培训。多媒体工具与应用，2018，77（23）：30651DOI：10.1007/s11042-018-6216-x28黄平，黄文，黄文，朱昌国，黄文.使用手持式视频探头的dex射线增强现实神经外科导航。神经外科，2009，65（4）：795-808 DOI：10.1227/01.neu.0000349918.36700.1c29杨丽，崔成，张世.用于大型肿瘤切除的增强现实机器人系统的设计与开发。国际虚拟现实杂志，2009，8（1）：27DOI：10.20870/ijvr.2009.8.1.271030张世荣，王世豪，林国斌，张世荣.用于机器人辅助射频针插入的基于投影的视觉引导。国际计算机辅助放射学和外科杂志，2013，8（6）：1015-1025 DOI：10.1007/s11548-013-0897-431Yang T，Yang L，Liu J，Chui C K，Huang W，Zhang J，Zhou J，Lee B H，Tan N M，Wong W K D，Yin F，Chang K Y，SuY.用于图像引导机器人辅助手术训练的机器人装置。专利，US 8764448 B2，2014-07-0132张文荣，张文荣.基于直接增强现实界面的手势引导机器人辅助手术。生物医学中的计算机方法和程序，2014，116（2）：68-80 DOI：10.1016/j.cmpb.2013.12.01833温瑞，张成，崔成.用于机器人辅助手术的具有多模态成像数据和深度感知交互的增强现实引导。机器人学，2017，6（2）：13DOI：10.3390/robotics602001334张文辉，张文辉.增强现实环境中的装配特征设计。装配自动化，2006，26（1）：34 - 43DOI：10.1108/0144515061064564835王志，吴丽霞，王世坤，倪亚春。增强现实环境中的装配规划和评估。国际生产研究杂志，2013，51：7388DOI：10.1080/00207543.2013.83798636杨伟伟，王世坚，倪永诚。具有扩增实境介面之可网格化分散式制造系统。机器人与计算机集成制造，2016，39：43DOI：10.1016/j.rcim.2015.12.00237王新，王世坤，倪亚春。用于装配仿真和规划的实-虚组件交互。机器人与计算机集成制造，2016，41：102DOI：10.1016/j.rcim.2016.03.00538杨伟伟，王世坚，倪永诚。维修机器人遥操作的沉浸式增强现实环境。Procedia CIRP，2017，61：305DOI：10.1016/j.procir.2016.11.18339JTC安全入门课程-SCAL Academy Pte Ltd.可从：https：//scal-academy.com. sg/courses/jtc-safety-391虚拟现实智能硬件2020年12月第5入门课程40Tang S L，Kwoh C K，Teo M Y，Sing N W，Ling K V.用于医疗应用的增强现实系统。IEEE医学与生物工程杂志，1998，17（3）：49DOI：10.1109/51.67716941谭X，Chng C B，Duan B，Ho Y，Wen R，Chen X，Lim K B，Chui C K.用于机器人辅助射频消融系统的认知引擎。Acta Polytechnica Hungarica，2017，14，129-145DOI：10.12700/APH.14.1.2017.1.942谭X。机器人辅助手术的认知引擎和深度强化学习。新加坡国立大学博士学位论文，ScholarBank@NUSRepository，201943Chng C B.机器人辅助手术之球面机构设计与应用。新加坡国立大学博士学位论文，ScholarBank@NUSRepository，201944[10] Liu X F，Shahriar M R，Al Sunny S M N，Leu M C，Hu L W.网络物理制造云：架构、虚拟化、通信和测试平台。制造系统杂志，2017，43，352-364 DOI：10.1016/j.jmsy.2017.04.00445张文辉，张文辉，张文辉，张文辉，张文辉.改善大型手术室管理的网络物理系统。ACM Transactions on Cyber-Physical Systems，2018，2（4）：34DOI：10.1145/314023446Li Y T，Jacob M，Akingba G，Wachs J P.一种用于在手术室中输送和监控手术器械的网络物理管理系统。外科创新，2013，20（4）：377手机：155335061245910947王立宏，Törngren M，Onori M.制造业信息物理系统的现状与进展。制造系统杂志，2015，37，517DOI：10.1016/j.jmsy.2015.04.00848张文忠，张文忠，张文忠.使用ORiN技术的智能网络手术室（SCOT）的开发概念。生物医学技术生物医学工程，2018，63（1）：31DOI：10.1515/bmt-2017-000649陈春波，黄炳民，何南，陈晓英，崔俊光.迈向未来基于信息物理系统的手术室。在：OR 2.0临床神经影像中的情境感知手术室和机器学习。Cham：Springer International Publishing，2019：47DOI：10.1007/978-3-030-32695-1_650张建斌，贾东伟，曹英，尤凯，付杰明国，崔建凯.放射治疗病人固定的信息物理系统方法。2019年IEEE第23届智能工程系统国际会议（INES）GödöllIgn，匈牙利，IEEE，2019，153DOI：10.1109/ines46365.2019.910945751集团提升项目-中小企业中心@SCCCI网址：https：//smecentre-sccci。sg/group-based-programming-projects52银海传媒集团|沉浸式媒体公司，银海媒体集团。网址：https：//www. 银海-media.com/53莱湖沉浸式技术为企业开辟了新的机遇世界。SGSME.SG，2020.网址：https：//www. sgsme.sg/news/immersive-tech-opens-new-world-opportunities-businesses54Siong L C.手眼协调训练与脑电评估。新加坡国立大学博士学位论文，ScholarBank@NUS Repository，2015年55周志英，卓爱东，邱英，杨晓。3-D声音在增强现实环境中人类反应和表现中的作用。IEEE Transactions onSystems，Man，and Cybernetics-Part A：Systems and Humans，2007，37（2）：262DOI：10.1109/tsmca.2006.88637656Ranjan R，Gan W S.使用自适应滤波技术在增强现实中通过耳机自然收听。ACM Transactions on Audio，Speech，and Language Processing，2015，23（11）：1988392尹俊浩等：VR和AR在人类行为研究中的应用--新加坡国立大学的经验DOI：10.1109/taslp.2015.246045957Hong J Y，He J，Lam B，Gupta R，Gan W.用于声景设计的空间音频：记录与再现。应用科学，2017，7（6）：627DOI：10.3390/app706062758赵明，王世坤，倪永春。基于徒手交互的增强现实辅助治疗保健运动系统。国际人机交互杂志，2016，32（9）：708-721 DOI：10.1080/10447318.2016.119126359沈艳，顾普文，王世坤，倪亚春.手眼协调和手指灵活性康复的新方法。虚拟现实，2012，16（2）：161DOI：10.1007/s10055-011-0194-x60Shah L B I，Torres S，Kannusamy P，Chng C M L，He H G，Klainin-Yobas P.基于虚拟现实的压力管理计划对情绪障碍患者压力相关变量的有效性：可行性研究。精神科护理档案，2015，29（1）：6DOI：10