虚拟现实融合对实验室教学的影响优于PC和VR环境，提高学习性能和沉浸感

引文：钱景成，马彦聪，潘志庚，杨旭波虚拟现实融合对沉浸感、存在感、实验室教育中的学习表现虚拟现实智能硬件，2020，2（6）：569-584 DOI：10.1016/j.vrih.2020.07.010虚拟现实智能硬件2020年12月第6·文章·虚实融合对实验教学郑启安1，颜聪马2，植根帕3，徐波杨11. 上海交通大学软件学院，上海2002402. 上海交通大学学生创新中心，上海200240*通讯作者，yangxubo@sjtu.edu.cn投稿时间：2020年5月23日修订日期：2020年7月13日接受日期：2020年7月20日国家重点研究发展计划（2018 YFB 1004902）;国家自然科学基金（61772329，61373085）。摘要背景近年来，虚拟现实（VR）融合技术越来越受欢迎，以前的几项研究已将其应用于实验室教育。然而，由于没有评估虚拟现实融合对教育VR的影响的基础，许多开发人员选择放弃这种昂贵而复杂的技术。方法在本研究中，我们通过实验研究了虚实融合对沉浸感、临场感和学习成绩的影响。每个参与者被随机分配到三个条件中的一个：由鼠标操作的PC环境（PCE）;由控制器操作的VR环境（VRE）;或运行虚拟现实融合（VR-VRFE）的VR环境，由真实的手操作。结果在PCE*VR-VRFE条件对中，临场感和自我效能感的方差分析和t检验结果显示差异有统计学意义。此外，结果表明，在学习性能的内在价值的对PCE* VR-VRFE和VRE*VR-VRFE的显着差异，和一个轻微的显着差异被发现的浸泡组。结果表明，与传统PC环境相比，虚拟现实融合可以提供更好的沉浸感，存在感和自我效能感，以及与PC和VR环境相比更好的学习性能内在价值。结果还表明，与传统VR环境相比，虚拟现实融合提供了更低的存在感。关键词 教育;沉浸;临场感;虚实融合;虚拟现实1引言近年来，虚拟现实（VR）变得越来越流行。随着技术的发展，VR设备变得更便宜，更舒适，从而提高了它们的可访问性。如今，VR技术不仅限于游戏应用。越来越多的VR应用程序已经在不同的领域开发。研究表明，VR提供了一定的优势，可以在许多学科中实现比传统方法更生动的体验。Shin报告说，VR可以用来激发同理心，并在讲故事，新闻和学习中体现经验[1-3]。潘泰利迪斯2096-5796/©版权所有2020北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.com虚拟现实智能硬件2020年12月第6列出了VR在教育中的几个优势;例如，它可以用来提高动机，保持学生的注意力，并准确地说明特征[4]。化学是一门重要的教育学科，适合通过VR进行模拟。Dalgarno等人发表了一项关于虚拟化学实验室的研究;它强调虚拟实验室是一种有效的潜在工具，可以帮助学生在现实实验室课程之前熟悉实验室环境[5]。虚实融合包括一组技术，可以准确地集成参与者，真实对象和虚拟对象，允许用户与虚拟环境进行交互，类似于他们在真实环境中的交互方式。虚拟现实融合可能需要几个技术组件，具体取决于场景;例如，它可能包括运动跟踪和用户识别，对象跟踪和识别，触觉模拟等。一些研究人员已经应用这些融合技术来实现他们的目标，通过在VR中生成虚拟现实融合体验[6，7]。然而，虚拟现实融合是一项新技术，仍处于实验室开发阶段;它还没有足够成熟，可以应用于现实世界。相关设备价格昂贵，难以使用，并且仅限于特定情况。此外，只有少数论文评估了虚实融合的效果;因此，对开发人员的指导很少。由于这些限制和缺乏有关虚拟现实融合优势的知识，开发人员可能会忽视它。在本文中，我们专注于虚拟现实融合技术和VR在教育中的使用。我们的目的是评估虚拟现实融合在化学实验教学中的效果。这项研究的结果可以为开发人员提供指导，以寻求适当地解决他们的软件中的权衡。我们的贡献可概括如下：(1) 我们设计了一个虚拟化学环境（VCE）系统，在三种环境中模拟虚拟化学实验：PC，VR和虚实融合（图1）。图1 VCE系统概述：（左）真实操作平台，（中）虚拟软件中的场景，以及（右）相应的真实操作。(2) 我们设计了一个实验程序，并测量用户的沉浸感，在场和学习性能的经验，以评估虚拟现实软件中的虚拟现实融合的效果。(3) 我们从实验结果中得出结论，并为开发人员提供了一些指导方针2相关作品2.1教育中的虚拟现实VR在21世纪发展迅速，许多研究人员将VR技术应用于多个学科的教育。Haluck和Krummel阐述了VR在外科教育中的重要性[8]。Cecil等人构建了虚拟学习环境来训练工程专业的学生[9]。Aziz等人开发了一个用于齿轮系设计的基于游戏的虚拟实验室环境，使学生能够执行与齿轮传动基本定律和齿轮运动概念相关的各种实验[10]。Shin和Park在3D虚拟学习空间中结合了动态和静态可视化，570钱景成等：实验室教育中虚实融合对沉浸感、临场感和学习绩效的影响减少认知负荷[11]。此外，VR在化学教育中发挥着至关重要的作用。Georgiou等人建造了一个VR化学实验室，帮助学生在没有真实仪器和试剂的情况下进行体积分析实验[12]。Limniou等人开发了一个虚拟化学教育系统，帮助学生了解分子结构和化学反应过程中发生的变化。然而，该系统主要包含3D动画，只有很少的交互对象;因此，它无法完全实现VR技术的优势[13]。2.2虚实融合随着虚拟现实技术的发展，虚实融合成为一个重要的研究方向。它旨在融合虚拟和现实世界，使用户在交互过程中更难区分虚拟对象和真实对象。为此，虚拟场景中的化身应该首先符合真实场景中用户的运动和行为;这需要实用且鲁棒的运动捕获方法。为此提出的一种方法是电影级运动捕捉（例如，Vicon），其中用户佩戴可附接的标记，并且他们的运动由若干光学相机捕获。这种技术对于大多数VR场景都足够准确和强大。然而，使用者在使用前需要穿戴特定的套装或其他附加的附有标记的设备;这对参与者来说是不方便的，并且会降低他们的体验质量。Liu等人提出了一种实时人体运动控制方法，使用惯性传感器代替光学捕获系统[14]。虽然这降低了实施的复杂性，但玩家仍然需要佩戴额外的传感器。上述动作捕捉研究通常专注于全身动作，而忽略了手部和手指运动的细节;因此，它们不适合工程培训和实验室教育等VR应用。Liu等人提出了一种系统，可以使用绑定有15个惯性测量单元和26个Velostat力传感器的手套来感测实时手部姿势和力[15]。基于手套的系统是准确和鲁棒的;然而，它仍然是笨重的，因此不方便用户佩戴。Sharp等人提出了一种基于单个深度相机的实时光学手部跟踪方法[16]。这种方法简单易用，因为玩家不需要戴手套或额外的设备，可以更自然地与虚拟环境进行交互。除了动作捕捉，触觉是VR中另一个重要的问题。触觉模拟可以代表解决问题的一种方法。Dong等人开发了一种使用磁流变（MR）流体的落地式装置[17]。Bouzit等人设计了触觉手套来调解与虚拟环境的交互;这些手套可以向拇指、食指、中指和无名指产生高达16 N的力反馈[18]。Blake和Gurocak将MR流体与手套结合，产生了一种比传统触觉手套更小、更轻、更易于使用和控制的技术[19]。Lopes等人提出了一种电肌肉刺激系统，为墙壁和重物提供触觉[20]。当用户触摸墙壁或在VR中拾取物体时，该系统通过直接驱动相对的肌肉来产生张力。然而，触觉模拟仍然是不切实际的，并且需要笨重的设备来实现。手套产生的触觉通常无法模拟物体的纹理和材料;这使得感觉不准确。解决触觉问题的一种方法是通过应用对象跟踪技术直接使用真实对象。这可以通过跟踪真实对象的六个自由度（6-D 0 F）来同步虚拟对象和真实对象的位置;因此，用户在尝试“触摸”虚拟对象时触摸对应的真实对象。商业公司OptiTrack使用了几个光学相机来捕捉附着有跟踪器的刚体虽然OptiTrack571虚拟现实智能硬件2020年12月第6由于该系统准确可靠，因此对每个跟踪对象应用额外标记是一个及时的过程。Newcombe等人使用迭代最近点算法跟踪对象;为此，他们采用了单个移动低成本Kinect传感器[21]。该方法对大场景和复杂目标的处理效果较好，但对小目标精度要求较高的处理效果较差。Garon等人使用神经网络从自我中心的角度跟踪（3-DOF和6-DOF）无标记手持物体[22]。虽然这种方法在小物体和遮挡情况下表现良好，但它只考虑了手持控制器;因此，网络需要针对不同的物体和场景进行重新训练。2.3教育评价另一个问题是如何准确地评估学习结果。Duncan等人从人口、教育活动、学习理论和环境、支持技术和研究领域等方面评估了教育VR的使用情况[23]。杜兰进行了一项研究，旨在确定不同类型的高中和大学学生对化学问题解决的态度和方法之间的差异[24]。Papastergiou评估了教育效果，得出的结论是基于数字游戏的学习对教育有积极影响[25]。Makransky和Petersen调查了通过桌面VR学习的过程，使用动机性学习策略问卷（MSLQ）来评估自我效能[26]。3系统描述3.1设计如图2所示，我们设计了一个VCE软件来评估虚实融合的效果。我们选择了一个关于使用高锰酸钾制备氧气的完善的化学实验;该程序在表1中描述。该软件包含三种不同的环境，对应于三种不同的条件;参与者被要求完成整个图2VCE系统的软件和硬件详细信息：（a）真实环境，其中六个红框包含OptiTrack系统，两个蓝色的包含HTC Vive灯塔，橙色的包含笔记本电脑（运行Motive软件），绿色的包含带有VCE软件的PC，紫色的包含所有真实设备，HTC Vive控制器和表面带有LeapMotion的头戴式显示器（HMD）;（b）虚拟环境，使用者可与虚拟仪器互动，以（例如）（c）将试管连接至输送管或（d）使用引流方法收集氧气。572钱景成等：实验室教育中虚实融合对沉浸感、临场感和学习绩效的影响表1氧气制备实验程序A检查器械气密性1将试管连接到输送管。2光燃烧器和热试管。3观察水中是否出现气泡。如果没有，更换仪器。B组装实验设备1拆下输送管并熄灭燃烧器。2将钾离子注入试管。3将棉花放在试管顶部。4将试管与输送管连接。C热1打火机。2均匀加热试管。D收集氧气1将集气瓶倒置，当气泡均匀产生时收集氧气2收集后将盖玻片放在瓶颈上3将瓶子从水槽中取出，面朝上放在桌子上。E清理1从水槽中取出输送管。2熄灭燃烧器。程序，使用鼠标，控制器，或他们的手抓住物体的要求（第4.1节）。为了评估每个步骤的成功或失败，我们为这个实验设计了完整的程序逻辑。更具体地说，我们设计了一种均匀区域触发方法，当物体到达其指定区域时，该方法检测（并随后触发不同的动作）;例如，该方法检测设备与燃烧器的点亮/熄灭之间的连接，以及加热试管时应用的火焰区域。我们还设计了一些复杂的交互和现象，以提高真实感。例如，虚拟场景中的参与者可以像在真实环境中一样，划火柴并使用排水方法收集氧气。我们还在VCE软件中的虚拟实验台上方放置的虚拟板上显示了表1中给出的过程。面板上的指令会根据用户的行为实时更新，比如，当参与者完成相应的动作后，指令会变成绿色。3.2软件和硬件我们使用Unity开发VCE软件，并在所有实验中保持每秒100帧（FPS）。VCE中使用的所有装置的3D模型均取自Unity Asset Store，并在必要时使用Autodesk 3ds Max软件进行修改。我们在PC上实现了我们的软件（Intel Core i5- 7440 HQ 2.80GHz CPU，16 GB RAM，AMD Radeon RX 480显卡），当使用VR时连接到HTC Vive设备，当使用虚拟现实融合技术时连接到LeapMotion和OptiTrack设备。HTC Vive头戴式显示器（HMD）用于实现沉浸式VR体验;它提供了每只眼睛1080×1200像素的分辨率和110°的视野。HMD和控制器的运动由两个灯塔基站跟踪。在Unity引擎中，Steam VR插件被用作HTC VR的基础功能，VRTK被用于控制器交互（例如：例如，在一个实施例中，当物体573虚拟现实智能硬件2020年12月第6被抓）。对于虚实融合，应用对象跟踪技术来支持我们的实验（如图2a所示）。更具体地说，真实物体（每个物体都连接有3-4个跟踪器）由安装在游戏区域周围的六个OptiTrack Flex 3摄像机识别和跟踪。每个Flex 3都有45°的视野，0.3M像素的分辨率和100 FPS的帧速率。Motive软件安装在一个简单的笔记本电脑上（Intel Core i7- 5500 k 2.40GHz CPU，8 GB RAM ，AMD Radeon R5 M330显卡），并收集每个相机的数据，计算所有跟踪的真实物体的6-DOF结果;然后，它将此信息传输到我们的VCE软件，该软件使用OptiTrack Unity插件处理它。在我们的软件中还应用了称为LeapMotion的手部跟踪设备，以促进自然的虚拟-真实融合交互;它安装在HMD表面的中心。我们在Unity中的VCE软件实施了Unity核心资产和LeapMotion交互引擎，以跟踪虚拟场景中的真实手部和交互。3.3坐标变换HTC VR HMD和控制器由灯塔基站跟踪，而真实物体则使用OptiTrack相机跟踪;因此，需要进行坐标变换。为此，我们在HTC Vive控制器上附加了标记，以便灯塔和OptiTrack系统可以同时跟踪它。因为两个系统的坐标尺度是相同的，我们假设只有旋转R和当从灯塔变换到OptiTrack坐标时，可以应用平移T。因此，OptiTrack中表示的点可以使用等式（1）变换为灯塔表示中的相同点。Xvive=RXopti+T.（一）这里，X表示一个点，Xvive表示X在灯塔坐标中的位置，Xopti表示X的位置，以OptiTrack坐标表示。给定两个像X这样的点，我们可以得到向量V;然后，Vvive和Vopti表示两个坐标系中的向量V。 随后，变换T可以被消除，并且我们得到Vvive=RVopti.（二）根据[27]中描述的方法，我们使用反对称矩阵S表示旋转矩阵R，如下所示：R= I-S-1I+ 。（三）然后，矩阵S可以由罗德里格斯向量u=u1，u2，u3，u 4表示为：0-u3uS= scre= u30-u。（四）-u2u1为了求解旋转R，我们需要至少两个向量，或者换句话说，需要三个点。因此，在软件初始化期间，我们使用带有标记的控制器收集至少三个点。然后，我们分别使用等式（2）和（1）计算旋转R和变换T4实验4.1条件为了研究虚实融合的效果，我们设计了三个实验环境（图3）：（1）PC574钱景成等：实验室教育中虚实融合对沉浸感、临场感和学习绩效的影响图3三种实验条件：（a）PCE，（c）VRE和（e）VR-VRFE中的真实动作;以及（b）（d）（f）相应的虚拟动作。环境，（2）VR环境，以及（3）具有虚拟-真实融合的VR环境。PC环境（PCE）：环境显示在计算机显示器上。参与者被要求使用老鼠进行化学实验。他们使用鼠标移动虚拟化学仪器（例如，玻璃输送管和酒精燃烧器）并执行实验任务（例如，照明和加热）。VR环境（VRE）：PC显示器和鼠标被VR HMD和控制器取代。在这种情况下，参与者被要求戴上VR头盔，并使用控制器完成实验。他们使用控制器来抓取、移动和接触虚拟化学装置。VR虚拟现实融合环境（VR-VRFE）：VR HMD用于显示，就像在VRE条件下一样;然而，几种先进的虚拟现实融合技术（例如：例如，在一个实施例中，对象和手跟踪）。参与者自己的手和真实的化学设备在虚拟环境中被跟踪和定位。更具体地，参与者使用他们自己的手与真实装置交互以及使用虚拟手模型与虚拟装置交互。4.2参与者共招募了42名本科生进行实验。这个总数在三种条件之间平均分配（PCE，VRE和VR-VRFE各14），并要求参与者完成虚拟化学实验。为了防止以往经验的影响，所有参与者都来自非化学学科，没有VR设备或化学实验的经验。4.3假设为了评估虚实融合如何影响实验室教育，我们引入了以下假设：与VRE相比，H1 VR-VRFE提高了用户的沉浸感，并且VRE和PCE之间分别存在相同的关系。与VRE相比，H2 VR-VRFE改善了用户的存在，并且具有相同的关系575虚拟现实智能硬件2020年12月第6VRE和PCE之间。H3 VR-VRFE提高了主观学习性能（例如，效能、价值、动机和用户学习结果），并且VRE和PCE之间分别存在相同的关系H4 VR-VRFE与VRE相比提高了用户的客观学习结果，并且VRE和PCE之间分别存在相同的关系。我们提出H1和H2是因为沉浸感和存在感（参见[28，29]中的定义）是VR效果的流行测量。例如，Shin探索了沉浸感和存在感在增强现实游戏中的作用[30]。我们根据MSLQ提出了H3，它被广泛用于评估教育结果[31，32]。4.4程序图4说明了实验过程，可分为三个主要阶段：准备，体验和评估。图4实验程序。准备阶段：为了准确评估虚实融合的效果，对所有参与者进行了准备步骤。首先，参与者被要求完成一项预调查，用于评估他们以前的化学和VR经验。化学专业的参与者（即，之前已经完成氧气制备实验的人）或之前具有VR设备经验的人被排除在该实验之外。调查结束后，向参与者简要介绍了VCE软件。此外，我们还为VRE实验条件下的参与者介绍了VR HMD和控制器，以及VR-VRFE条件下参与者的手部和物体跟踪设备（分别为OptiTrack和LeapMotion）。然后，参与者被指导如何与虚拟化学仪器互动。在VRE和VR-VREF条件下，参与者被允许戴上HMD并尝试几个简单的交互，以在实验前适应VR环境和操作。实验阶段：所有通过准备阶段的参与者被随机分为三组，每组人数相等，对应于第4.1节中描述的三种情况。参与者被指示根据板上的指导完成虚拟化学实验;他们被告知，如果他们因为佩戴VRHMD而感到不适或对化学实验感到厌倦，他们可以在此阶段的任何时间停止实验。评估阶段：使用两种评估方法（详见第4.5节）对达到此阶段的参与者进行测量：（1）主观实验后调查，评估参与者的沉浸感、在场感和学习表现;（2）客观评估学习结果。在调查中，所有参与者都收到了一份25个问题的问卷，其中包括20个评分576钱景成等：实验室教育中虚实融合对沉浸感、临场感和学习绩效的影响四个用于测量的问题，四个单项选择问题，以及一个用于收集参与者态度的可选简答问题。为了进行客观评价，要求所有参与者通过在没有试剂的情况下操作真实设备并尽可能详细地描述实验过程，从记忆中重现实验。最后，参与者得到了援助报酬，他们离开时没有与其他参与者联系。实验进行时，没有其他参与者在场。4.5措施为了评估虚拟现实融合对VCE软件的影响，我们引入了六个测量：沉浸感，在场，自我效能感，内在价值，兴趣和动机，学习结果。沉浸感和在场感：沉浸感是一种体验，在这种体验中，人们发现一个游戏如此吸引人，以至于他们对周围的事物毫无知觉[28]，而在场感可以被定义为一种“身临其境”的主观感觉。“[29]沉浸感和在场感使用表2中描述的问卷进行测量，该问卷改编自Jennett等人。[28]该部分的问卷由11个评分问题组成，分别包括6个和5个关于沉浸感和在场感的问题。所有问题的评分范围为1 - 9（1 =非常不同意;2，3 =不同意; 4，5 =中立; 6，7 =同意; 8，9 =非常同意）。沉浸感和在场感的最终得分计算为每个子部分所有问题的平均值。表2主观沉浸和在场调查ID问题I浸没我很想看看实验会如何进展。我对自己是否会犯错犹豫不决。我很想知道实验中接下来会发生什么。在进行实验时，我对现实世界中发生的事情一无所知。I5在进行虚拟实验时，这是我唯一关心的问题。我喜欢进行虚拟化学实验。P存在P1我觉得我真的在这个虚拟实验室里。P2我觉得虚拟场景中的鼠标/控制器/手模型像我的真实手一样移动。我觉得所有的仪器、试剂和反应都像是真实的场景。P4我觉得我可以像在现实世界一样与虚拟实验互动。P5我觉得我在做一个真正的实验。自我效能、内在价值、兴趣和动机：为了衡量学习表现，我们在问卷中引入了MSLQ[31，32]的概念，如表3所示。在这里，自我效能被定义为表现期望和信心;内在价值被定义为参与者认为实验有趣，重要和有用的程度;兴趣和动机被定义为参与者在学习期间经历的兴趣和动机[32]。本部分的问卷由九个评分问题组成，包括三个自我效能，四个内在价值，两个兴趣和动机。与沉浸感和在场感评估一样，所有问题的评分范围从1到9，最终得分为每个子部分的平均值。学习结果：为了评估使用我们的VCE软件的学习结果，我们要求参与者通过操作真实设备来重现实验。试剂和一些仪器是买不起的;因此，要求与会者尽可能详细地描述所采取的行动。表4列出了用于评估所述实验的测量方法;它们不同577虚拟现实智能硬件2020年12月第6表3主观学习表现调查ID问题自我效能感我确信我已经理解了这个虚拟实验中所教授的思想。我觉得我能从这个虚拟实验中学到比书本上更多的东西。我认为真实的实验可以被这种虚拟实验所取代。第五章内在价值我想我能把我在这个虚拟实验中学到的东西应用到其他场合。V2虚拟实验后，我对化学实验产生了兴趣。V3我想尝试更多这样的虚拟实验。V4我想尝试另一个比这个更复杂的实验。M兴趣和动机M1我相信这种虚拟实验能提高我的学习兴趣。M2我相信这种虚拟实验可以提高我的学习动力。与表1中的程序略有不同，因为他们不仅检查了参与者对程序的记忆，而且还检查了他们在虚拟场景实验中的观察结果。该措施将所有检查点分为两种类型：1点型，只与实验过程相关; 3点型，同时考虑过程和现象，或者是影响实验结果的致命点。例如，表4中检查点E1的倒置会导致试管因水的回流而解体。ID检查点表4繁殖的关卡评分A检查器械气密性A1将试管与输送管连接。A2将输送管放入水槽中。A3光燃烧器和热试管。气泡的产生代表良好的气密性。B组装实验设备B1将棉花放在试管顶部。B2将试管夹在铁架上，试管口朝下，B3将试管与输送管连接。C热C1灯燃烧器。均匀加热试管C2化学品上燃烧器的焦点火焰D收集氧气D1将收集瓶倒置，装满水。D2当气泡持续出现时收集氧气。D3收集后，将盖玻片放在水下瓶颈上。D4将瓶子从水槽中取出，面朝上放在桌子上。E清理E1先取下输送管。然后，熄灭燃烧器。1pt1pt3pt3pt3pt1pt3pt1pt1pt3pt1pt1pt3pt5结果5.1沉浸和存在我们在本小节讨论H1和H2沉浸感和临场感得分如图5所示578钱景成等：实验室教育中虚实融合对沉浸感、临场感和学习绩效的影响并根据表2中的问卷进行计算。我们将方差分析（ANOVA）应用于浸入组和存在组，并将t检验应用于表现出相似方差的所有对;相反，将双样本（假设方差不等t检验方法）而不是简单的t检验应用于表现出方差不齐性的情况。应用F检验确定病例是否具有相似的方差。方差分析，t检验，和F检验结果见表5。图5平均沉浸感和在场感得分结果表5浸泡和存在条件下的方差分析、t检验和F检验结果。** 表示显著差异（p 0.01），* 表示p 0.05。+表示存在轻微显著差异（p 0.1）方差分析（p）条件对等方差t检验（t）T检验（p）浸没0.069+PCE*VREPCE* VR-VFEVRE*VR-VRFE是（p=0.160）否（p<0.001）否（p=0.012）1.744美元1.760美元0.3490.047*0.048*0.365存在0.001**PCE*VREPCE* VR-VFEVRE*VR-VRFE否（p<0.001）否（p=0.003）是（p=0.095）3.463美元2.1032.4660.002**0.025*0.010**浸入假设（H1）：在条件对PCE*VRE（t）中观察到显著差异(13)= 1.744，p = 0.047）和PCE*VR-VRFE（t（13）= 1.760，p = 0.048）;这表明在VR环境和虚实融合环境中的沉浸感高于传统PC环境。然而，未发现VRE*VR-VRFE对的显著差异（t（13）=0.349，p = 0.365），这表明与VRE相比，VR-VRFE中未发现浸没的显著改善。此外，在整个浸泡组中仅发现轻微显著差异（p = 0.069）。总体而言，我们可以弱接受子假设VR-VRFE > PCE和子假设VRE > PCE。在场假设（H2）：在场假设也被部分接受。ANOVA显示存在组中存在显著差异（p = 0.001）。在第一部分中，可以根据t检验（t（13）=-3.463，p = 0.002）和平均值（PCE：M = 5.300，SD =4.780; VRE：M = 7.414，SD = 0.440）的结果来证明PCE VRE。然而，由于VR-VRFE条件下的平均评分较低（M = 6.643，SD = 0.930），我们假设的第二部分被逆转。此外，t检验的结果显示，条件对VRE*VR-VRFE之间出现显著的分歧（t（13）= 2.466，p = 0.001）。0.010）和PCE*VR-VRFE（t（13）=-2.103，p = 0.025）;因此，我们得出结论，对存在的影响顺序应为VRE > VR-VRFE > PCE。5.2主观学习成绩我们在本小节中讨论H3，它分为三个部分：（1）自我效能，（2）内在价值，（3）兴趣和动机。使用表3中的问卷测量主观学习表现评分（图6）。与浸入和存在情况一样，我们对所有情况应用ANOVA、t检验（包括不等方差法）和F检验，结果见表6。579虚拟现实智能硬件2020年12月第6自我效能假设（H3的第一部分）：自我效能假设被部分接受。方差分析显示，自我效能组中存在显著差异（p = 0.049）。t检验结果显示条件对PCE*VRE（t（13）=-1.771，p = 0.046）和 PCE*VR-VRFE （ t （ 13 ） =-1.926 ， p =0.033）存在显著差异，表明VRE和VR-VRFE对自我效能感显著高于图6学习成绩平均分结果传统PCE然而，在VRE*VR-VRFE对中没有发现显著的结果（t（13）=-0.365，p = 0.359），这意味着VR-VRFE与VRE相比在自我效能上没有显著的改善。综上所述，我们可以接受子假设VR-VRFE>PCE和子假设VRE> PCE。表6学习绩效的方差分析、t检验和F检验结果自我效能内在价值兴趣动机方差分析（p）0.049*0.041*0.218条件对PCE*VREPCE*VR-VRFEVRE*VR-VRFEPCE*VREPCE*VR-VRFEVRE*VR-VRFEPCE*VREPCE*VR-VRFEVRE*VR-VRFE等 方 差 否（ p=0.041 ）是（ p=0.177 ）是（ p=0.202 ）否（p=0.002 ） 否（ p=0.004 ）是（ p=0.390 ）否（p=0.015）是（ p=0.095 ）是（p=0.178）t检验（t）-1.771-1.926-0.365-0.766-1.966-2.143-1.595-0.3541.584T检验（p）0.046*0.033*0.3590.2270.032*0.021*0.0630.3630.063* 表示显著差异（p 0.05）内在价值假设（H3的第2部分）：内在价值的假设被部分接受。方差分析显示，内在价值组中存在显著差异（p = 0.041）。t检验结果表明，PCE*VR-VRFE （t（13）=-1.966，p = 0.032）和VRE*VR-VRFE（t（13）=-2.143，p = 0.021）条件对的差异显著，证明VR-VRFE对内在价值的影响大于PCE和VRE。值得注意的是，因为在PCE*VRE（t）(13)=-0.766，p = 0.227），整体假设VR-VRFE>VRE”““PCE无法证明。相反，我们可以接受子假设VR-VRFE>VRE和子假设VR-VRFE>PCE。兴趣和动机假设（H3的第3部分）：兴趣和动机的假设被拒绝。方差分析和t检验方法未产生任何显著差异。VRE条件似乎获得了三种条件中最高的平均评分（PCE：M = 7.571;VRE：M = 8.321; VR-VRFE：M = 7.750），尽管没有发现证明该现象的显著结果（PCE*VRE ：t（13）=-1.595，p =0.063; VRE*VR-VRFE：t（13）= 1.584，p = 0.063）。5.3客观学习结果使用表4中的问卷对客观学习结果的评分（图7）进行评价同样我们580图7学习成绩总分结果。钱景成等：实验室教育中虚实融合对沉浸感、临场感和学习绩效的影响对所有病例应用ANOVA、T检验（包括不等方差法）和F检验;结果见表7。结果表明，学习结果（H4）的假设是否定的，因为没有显着差异，可以发现整个组或每个条件对。看来，一个完整的课程和复杂的评估考试是需要更准确的评估。表7 学习成绩学习结果5.4其他态度方差分析（p）0.341条件对PCE*VREPCE*VR-VRFEVRE*VR-VRFE等 方 差 是（ p=0.303 ）否（ p=0.011 ）否（p=0.034）t检验（t）-0.327-1.286-1.024T检验（p）0.3730.1070.159我们使用问卷中的最后五个问题收集参与者的态度，包括四个单项选择题和一个可选的简短回答问题。我们向参与者询问了该程序的优点和缺点，并对不同实验条件下的VCE软件进行了简要评估。对于PCE条件，当被问及VCE软件最重要的优势时，28.6%（4/14）的参与者认为该软件很有趣，28.6%（4/14）的参与者认为它是避免实验危险的好选择，21.4%（3/14）的参与者认为与真实实验室相比可以节省试剂。对于VRE条件，超过一半（14人中有8人）的参与者关注VCE软件的乐趣，而超过一半（14人中有8人）的参与者投票赞成在VR- VRFE条件下避免危险。参与者似乎在VR环境中玩得更开心，并且在虚拟现实融合环境中更认真地对待应用程序。当被问及软件的弱点时，结果分散在PCE和VRE条件的几个方面，包括现象的模拟，用户操作和交互，以及控制器和HMD的位置精度（仅在VRE中）。然而，在VR-VRFE条件下，大多数参与者（14人中的12人）认为跟踪（包括物体和手跟踪）的准确性和延迟是最迫切需要解决的问题。看来这里的技术仍然是试验性的和不成熟的。在对虚实融合条件的简要评价中，学生们对我们的软件给予了积极的评价，他们说：“这个实验很有趣“，“这种应用可以加深我们的记忆或知识，让我们专注于学习“，“我认为这个实验可以成为帮助知识获取的有效工具“，这些反应表明了我们的虚实融合实验的优势。然而，一些参与者也指出了我们软件的结果，他们说：“对象跟踪的延迟和准确性把我拉回到了现实世界”，“跟踪的准确性仍然需要提高”，“现实和虚拟对象有时并不对应”，“位置问题影响了体验。“看来跟踪问题在不同程度上降低了用户的体验质量和沉浸感。6讨论我们的几个假设被拒绝，因为缺乏显着的分歧;然而，我们仍然可以接受几个假设，并提出新的结论。我们的方差分析和t检验结果证实了这一假设，即与传统PC应用相比，虚拟现实融合应用（如VR应用）对存在有很强的积极影响，对沉浸感有很弱的积极影响但没有581虚拟现实智能硬件2020年12月第6可以发现显著的结果来证明与简单的VR应用相比，虚拟-真实融合应用改善了沉浸感和存在感。此外，我们发现，与简单的VR环境相比，虚拟现实融合环境甚至减少了用户的存在，这可能是由系统中发生的跟踪问题引起的。对于学习表现，我们的研究结果表明，虚实融合和VR都提供了自我效能的改善，这意味着这种系统可以增加学生在学习中的自信心。此外，显着的结果表明，虚拟现实融合提供了比VR和PC条件更大的内在价值，这意味着使用虚拟现实融合应用程序的学生参与了他们的学习任务，认为它们很重要，并且愿意参与另一项任务，如挑战，好奇心和掌握，根据MSLQ手册[32]。最后，没有发现学习结果和动机的显着差异;因此，我们得出结论，虚拟现实融合与VR和PC环境相比，对这些方面没有显着影响。然而，从PCE到VR-VRFE的客观学习结果出现了增量改善（图7）。似乎需要更多的样本来支持这一结果。7结论和今后的工作通过设计一个虚拟化学实验软件，研究了虚实融合对沉浸感、临场感和学习成绩的影响。我们比较了三种环境条件：一种是在PC环境中开发的，一种是在传统的VR环境中开发的，通过控制器进行交互，另一种是在VR环境中开发的，通过用户自己的手进行交互。我们的研究结果表明，与传统的PC环境相比，虚拟现实融合在沉浸感，存在感和自我效能感（类似于VR）方面具有优势。我们的研究结果还表明，虚拟现实融合提供了更积极的影响，学习性能的内在价值比PC和VR条件;它可以使学生更积极地学习课程，并尝试其他类似的任务。我们的研究结果还表明，与传统的VR环境相比，虚拟现实融合降低了存在感。如第5.4节所述，跟踪问题（包括对象和手跟踪的延迟和准确性问题）可能会影响用户在实验中的沉浸感。因此，一个新的有效的跟踪设备或算法，应应用在我们的软件在未来。从我们的研究结果来看，PCE和VRE的客观学习结果与VR-VRFE相比略有增加，但没有发现显着差异。因此，在未来的研究中，应该采用系列化学课程（而不是简单的化学实验）来更有效地测量目标学习结果。为了测量主观学习表现，MSLQ手册[32]中的更多量表应应用于未来的工作。最后，探索虚实融合对其他情况的影响（例如，工程技术培训）也可能是一个有前途的研究方向。竞争利益我们声明我们没有利益冲突。引用1Shin D虚拟环境中的共情和体验：虚拟现实在多大程度上可以刺激共情和体验？计算机在人类行为中的应用，2018，78：64 - 73DOI：10.1016/j.chb.2017.09.0122Shin D，Biocca F.探索沉浸式新闻体验。2018，20（8）：2800 2823582钱景成等：实验室教育中虚实融合对沉浸感、临场感和学习绩效的影响电话：0511 - 88888888传真：0511 - 8888888883申东浩启示在虚拟现实学习体验中的作用：虚拟现实中的技术和情感启示。电信与信息学，2017，34（8）：1826 - 1836DOI：10.1016/j.tele.2017.05.0134Pantelidis V.在教育和培训课程中使用虚拟现实的原因以及确定何时使用虚拟现实的模型。科学技术教育主题，2009，2（1）：595刘伟，刘伟.虚拟实验室作为远程教育化学学生预备资源的有效性。计算机教育，2009，53（3）：8536杨文龙，李晓梅.在沉浸式虚拟现实中扩展身体空间：一个非常长的手臂错觉。PLoS One，2012，7（7）：e40867DOI：10.1371/journal.pone.00408677吴晓松，李晓松，李晓松. Normaltouch和texturetouch：在手持虚拟现实控制器上进行高保真3D触觉形状渲染。在第29届ACM研讨会上UIST，ACM，纽约，纽约，美国，2016年，717-728DOI：10.1016/j.compedu.2009.05.0058作者：T. M. 21世纪外科教育的计算机和虚拟现实。外科文献，2000，135（7）：7869吴伟杰，李伟杰.工程和STEM教育中的虚拟学习环境。2013年IEEE教育前沿会议（FIE），2013年，502DOI：10.1109/fie.2013.668487410张永忠，张永忠.齿轮系设计多用户虚拟实验室环境。计算机在工程教育中的应用，2014，22（4）：788DOI：10.1002/cae.2157311Shin D，Park S. 3D学习空间和活动促进用户的学习，接受和创造力。高等教育计算机学报，2019，31（1）：210DOI：10.1007/s12528-019-09205-212放大图片作者：George J，Dimitropoulos