虚拟现实中的多模式教学与培训：回顾与案例研究-数字学习设计方式在虚拟现实环境中的影响

引用：Stephanie PHILIPPE ，Alexis D. SOUCHET ，Petros LAMERAS，Panagiotis PETRIDIS，Julien CAPORAL ，Gildas COLDEBOEUF，Hadrien DUZAN.虚拟现实中的多模式教学、学习和培训：回顾与案例研究。虚拟现实智能硬件，2020，2（5）：421-442DOI：10.1016/j.vrih.2020.07.008虚拟现实智能硬件2020年12月第5·回顾·虚拟现实中的多模式教学与培训：回顾与案例研究StéphaniePHILIPPE1*，AlexisD. SOUCHET1、2、PetrosLAMERAS3、PanagiotisPETRIDIS4、JulienCAPORAL1、GildasCOLDEBOEUF5、HadrienDUZAN51. 法国巴黎Manzalab研究部2. 法国圣但尼巴黎第八大学段落实验室3. 英国考文垂大学计算、电子和数学学院4. 英国阿斯顿大学阿斯顿商学院5. 曼扎拉布*通讯作者，sphilippe@manzalab.com投稿时间：2020年3月16日修订日期：2020年6月13日接受日期：2020年7月2日由伊拉斯谟2016-1-FR 01-KA 204 -024178“蒸汽”支持;欧洲之星E！10431“Neurostars”; FSN CIN7 171116“虚拟教室”摘要在数字学习研究中，包含一系列不同的含义、空间、过程和教学策略，以识别构建学生学习体验的全球视角，这一点越来越普遍。多模态是一种新兴的现象，可能会影响数字学习的设计方式，特别是在虚拟现实（VR）等高度互动和沉浸式学习环境中使用时。虚拟现实环境可以帮助学生的努力，通过有意识地参加，并反映，批判利用反身性和新的意义，使最有可能导致概念的变化是积极的学习者。本文采用了11个工业案例研究，突出应用多模态VR为基础的教学和培训作为教学丰富的策略，可以通过不同的VR设计元素和功能设计，映射和可视化。用例的结果有助于识别在VR多模态教学作为一个新兴的话语，耦合系统设计为基础的范例与体现，位于和反思的实践在空间，情感和时间VR学习环境。关键词 虚拟现实;多模态;训练;教与学;符号资源1介绍数字化教学和学习采用积极的教学法和以学习者为中心的方法。基本假设是学习者是独特的，因此学习应该个性化。正如Reigeluthet al. [1]，以学习者为中心的活动重视内在动机[2，3]以及元认知[4]，2096-5796/©版权所有2020北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.com虚拟现实智能硬件2020年12月第5更加个性化和有意义的学习过程。为了实现积极的，情境化的和具体化的学习体验，元认知知识似乎可以增强学习[5]。根据这一假设，可以考虑具体的教学方法，如主动学习，边做边学，协作学习，基于问题的学习和基于游戏的学习。例如，普林斯指出，主动学习对学生的学业成绩有积极但微弱的影响[6]。Vernon和Blakes的Meta分析表明，基于问题的学习可能比传统方法产生元认知学习[7]。这也得到了Dochy等人的荟萃分析的支持，该分析得出结论，对学生的技能有强大的积极影响，而没有研究报告负面影响[8]。这些结论也与Walker和Leary的荟萃分析一致[9]。基于先前的荟萃分析和系统评价[10-15]，如果与知情的学习指导相结合，严肃的游戏[16]根据“积极教学法”和“以学习者为中心的方法”的理念，“多模式”的概念在21世纪初发展起来[17，18]。多模态是指“多种”表现模式，结合印刷，视觉图像和设计的元素。从纸质教育到多模式教育的转变涉及重新思考教学的设计，方法和实践方式。这促进了设计和使用语言学、内容和技术的方式，使多模式能够在各种背景和社会关系中发生[19]。数字化工具是否被用来构建新的学习方式，或者它们只是复制传统的教学和学习模式，仍然是一个开放的研究问题[20]。如果将数字化工具整合到一个连贯的教学战略中，并有明确的培训目标和指导，那么它至少与非数字化工具一样有效。因此，目的不是用数字化工具取代传统方法。相反，人们应该考虑数字化工具与非数字化工具和方法相结合所能带来的实际价值，例如关于内容的个性化。数字化工具是培训人员可用的工具箱的一部分，它们有助于开发多模式、主动和以学习者为中心的方法。在这种情况下，虚拟现实（VR）最近被引入消费市场[21]并部署在数字教育干预中[22]。教育和培训被指出是VR实施的有前途的领域[23]。虚拟现实等沉浸式和高保真数字技术的出现可能会补充或加强模拟学习空间作为表达方式。例如，Öman和Hashemi建议，技术可以用来提高学生的沟通和协作技能，而不是专注于如何从技术角度使用技术[24]。与其他学习平台相比，VR提供了自我调节和多种学习选择，从而获得高质量的体验和保留[25-29]。然而，在多模态教学和学习的背景下使用VR还没有被调查。例如，使用术语VR和多模态以及教学或学习搜索2010年至2020年期间在Science Direct（Elsevier）上发表的任何同行评审文章，结果为0。IEEE数据库仅检索到5篇文章。第一个与学习者在Second Life VR环境中使用听力策略有关[30]。第二个问题涉及VR中的多模态，但没有教学目的[31]。其他三篇论文与感兴趣的主题完全无关[32-34]。这表明虚拟现实和多模态很少作为一个相关的问题进行科学处理。我们建议，多模态可以调查作为一个教学和学习过程的方式制定它在VR的符号域作为一个设计空间，提供建构主义和基于活动的学习。多模态可以被视为学生设计和编排自己的学习模式的工具，这些学习模式以多模态集合和符号资源的形式对他们有意义[35]。这种多模态集合可能包括图像和语言，以及类似于冻结动作的静态模态[36]，例如教室物体和包含桌子的设备，422Stephanie PHILIPPE et al：Multimodal teaching，learning and training in virtual reality：a review and casestudy桌子、展示品、椅子、书籍和黑板。关于如何在传统学习环境[37-39]，混合学习空间[40-42]和在线学习空间[43-45]中部署多模态的证据过多。有证据表明，在数字和模拟符号学领域，采用多模态作为体验教学和学习的手段。然而，很少有证据表明，如何在虚拟现实符号学域的文字，图像，沟通过程，教学策略，角色和学习活动的意义可能位于。本文试图阐明多模态教学的应用，作为一种教学丰富的策略，融合，夫妇和结合建构主义主导的实践。这种战略构成了不同的思维、行动和互动方式。本质上，它允许以独特的方式体验教学和学习。在下文的第2节中，我们将根据最近通过VR设计和表示学习内容和活动的发展，概述支持VR如何用于学习和教学以提高学习效率的文献。在第3节中，我们提出了一种将VR整合到多模态学习路径中的方法，我们在第4节中用11个不同的VR案例研究来说明这种方法，这些案例研究类似于不同的设计方法，可以将多模态学习与VR功能和组件进行映射。最后，在第5节中，我们评估了这一主张，考虑到当前的疫情形势，以及VR和新兴的XR（延展实境）技术如何在物理距离趋于正常化的情况下重塑学习和教学领域。2将多模式教学超越到VR技术数字学习技术旨在帮助学习者在参与式环境中提高创新能力，领导力，多学科和跨学科合作，情商，关键技能，集体问题识别和解决技能[46]。这些环境中的多媒体资源和工具包括，e。g.：视频、交互式图像、录制的演示文稿、在线测验、讨论论坛（同步和异步）、学习者数据的视觉表示，以描述进度（总结性分析）以及学习者正在做什么来学习[47]。在教育和培训中越来越多地使用多媒体提供了以多种形式（文字、图像、视频、音频、无处不在的媒体）呈现内容的可能性，以适应不同的教学和培训战略、学习成果、评估方法和反馈机制。关键方面是以教学方式使用一系列工具、资源和服务，以增强学生的体验。多媒体学习融入不同的学习模式，似乎鼓励学习者发展一种更灵活的方法，基于调查和信息检索。Hazari[48] and Mayer et al.[49]认为，学生的学习更深入，更有意义时，一系列的互动工具和资源部署，而不是单独使用文本。Shah和Freedman[50]列出了在学习中使用可视化的好处，例如（1）信息的外部表示，（2）更深入的学习，（3）通过使信息更完整来触发学习者的注意力和集中力，从而简化定义不清的概念和想法。这些工具可以是严肃的游戏，也可以是虚拟现实。这些技术使我们能够超越标准的书面和口头语言形式[17]。VR环境被设想为帮助学习者努力活跃的媒介。学习者有意识地关注和反思，批判利用反身性和新颖的意义，导致概念的变化。在衡量沉浸式虚拟现实的教学效果[51-53]，了解培训师在VR中的教学概念[54，55]，学生对VR的态度[56，57]和使用VR的培训师专业发展[58-60]方面有一个启发性的研究范围。也有一些研究调查了特定的分类和理论423虚拟现实智能硬件2020年12月第5VR[61，62]将建构主义学习模型与通过批判性学习和思考单独和协作构建知识和经验的前提相结合。总之，这些以前的工作表明，学习者对环境的反应是互动-反应对立的：他们建立自己的知识，社会互动是建立知识的基础[63]。VR头戴式显示器的出现鼓励了一系列VR环境的开发，特别是用于增强学生的学习体验[23]。在这种情况下，VR可以被广泛地描述为一种体验，在这种体验中，学生在3D维度世界中与身体和手势运动进行交互，体验交互式内容，如图像和声音[64]。VR系统的一个显著特点是学生可以通过模拟现实生活中如何操纵物体来交互和操纵物体。评论员和研究人员都试图通过Meta分析和系统综述来识别最有可能与VR工具，元素和功能（例如语言学习）保持一致的过程，策略和方法[66]。有共识认为，虚拟现实可以促进以活动为基础和以学生为中心的学习，如在建构主义学习范式中扩散，同时实现学生的动机，自我调节和自我评估。使用VR学习的一个关键优势是，学生可以从多个角度查看对象和内容，从而使学习与学科背景保持一致。例如，VR允许丰富的学习环境，如工厂或现实生活中的工作空间，粒子物理事件和大脑解剖。它提供了机会，通过与虚拟对象的互动，导致创建新的认知图式与情境学习的情况下学习。与此相结合，空间感知和认知，如在VR环境中获得导航和定位技能，可以被编码和表示为第三人称符号体验，越来越多地支持和放大社交和自我存在感[67，68]。Cooper和Thong强调了VR作为教育工具的四个独特元素：（1）体验作为学生对一系列刺激做出身体和情感反应的能力，（2）参与作为可能提高学生参与度的多感官体验，（3）公平作为应对学校中相同和差异的方式，以及（4）无处不在，提供与位置，及时性和学习过程如何出现有关的令人兴奋的可能性。文献中列出的虚拟现实优势是体现，表演，重复[70]，与其他媒体相比，在学习时增加动力[26，71]。然而，学习者的接受和学习指导的创建仍然限制了大规模采用[65，72]。在教育和培训方面，这可以解释为缺乏校园实验[73，74]。在全球范围内，既往荟萃分析（2项研究）、系统综述（1项研究）和综述（2项研究）记录了VR的学习效率[26，70，71，75，76]。但是，根据Lanier等人的说法，由于研究设计、数据分析报告和传播所获得的知识所面临的方法学挑战，VR的实验质量有时值得怀疑[77]。在多模式路径的背景下使用VR进行学习的问题中，创建有效的教学和学习环境以及强大的实验证明的能力取决于所应用的设计原则。3多模式VR教学、学习和培训尽管VR在学习和教学中的应用相当广泛，但很少有（如果有的话）以设计为重点的研究表明VR中的元素和功能，这些元素和功能专注于启示和约束以及支持使用VR进行多模式教学的动态。Dickey[78]的一项早期研究通过评估性案例研究调查了VR支持基于活动的多模式教学和学习VR元素提供了一个基于活动的，424Stephanie PHILIPPE et al：Multimodal teaching，learning and training in virtual reality：a review and casestudy多模式教学方法包括VR内聊天工具作为提出讨论概念的主要手段。响应反馈和互动的学生是主要的学习启示，随着多模态信息呈现为视觉插图。另一个启示是为学生提供唯一的名字，以建立唯一的虚拟身份，从而保持对学习环境的控制。这种虚拟身份与化身表示有着千丝万缕的联系[68]。预先选择，修改或创建新的化身帮助学生区分他们的虚拟外观和学习，并在他们的努力来欣赏设计应用设计原则，通过操纵化身对象，形状，颜色和属性来创建他们的化身。在虚拟学习空间中，化身与对象交互的动觉和视点方面与个人和协作活动的“化身”模式的提供直接相关。集成的Web浏览器也被视为一种可以激发多模式学习的功能，特别是当通过传感器连接到VR内学习对象时，允许学生在VR对象与其在Web上找到的基础信息之间建立关系。VR中的对象和Web上关于它们的信息之间的这种相互联系暗示了不同符号学原则的使用[35]。学习通过多个符号系统（符号，物体，图像，事实，信息）内部和之间的相互关系发生，作为来自不同符号学领域的相互关联和连接的知识。最近，Doumanis et al. 研究了在协作虚拟世界中游戏化任务的多模态学习交互的影响[79]。与非多模态对照组相比，VR内的多模态交互似乎改善了学习。具体来说，多模式交互提高了学生产生想法的能力，从而促进了VR条件下的存在感和沉浸感。Doumanis等人引发了三种类型的沉浸（e. G.空间、情感和时间）与VR特征对齐。VR世界中的语音控制导航和虚拟化身以及信息访问，用户分组，文本通信和对话日志是鼓励主动，多模式和关键的核心功能，而不是被动和单峰，学习。主动学习的原则被嵌入到VR功能的使用中，创建某些动态和控制基本功能。例如，教师应该在控制学生导航或“代理选项”方面完全控制VR教室，以暂时控制学生的化身，作为促进他们学习系统或将学生分组进行协作的VR项目的手段，让学生在团队中工作并承担指定的角色。因此，VR为学习者提供了更多的与同伴、内容（例如：G.信息）和对象（数字资产）。设计VR中的小组对话学习体验可以实现分布式知识和协作解决问题，鼓励将思维和推理视为固有的社会过程。设计VR元素为学生创造学习环境，通过使用和操纵VR工具与他人一起思考，并强调由学生网络为解决共同问题而产生的分布式知识产品。Innocenti等人开发了一个学习如何演奏乐器的虚拟环境[67]。同样，Dickey[78]和Doumanis等人。[79]，导航元素是一个关键的多模态特征，作为为学习和可用性方面提供空间方向线索的手段。例如，为了减轻VR疾病，而学生正在交互和操纵3D对象以设计原型或研究对象，可以引入虚拟运动技术[80]，以提供自然，可用和有效的方式，用于在VR环境中导航和执行多模态驱动活动。导航元素需要与VR中的协作场景相关联，以帮助学生执行由教师或同伴设置的任务，以实践预期的学习成果。协作场景可以包括VP空间的预定设计，例如用于帮助学生在VR环境内移动的支架，逐步学习如何与对象交互，使VR中的425虚拟现实智能硬件2020年12月第5目标明确，可区分，鼓励探索，调查和观察不同的模式如何揭示预期的含义。VR是一个符号学领域，它触发学生以不同的方式学习，在他们从一个VR场景移动到下一个场景时应用一系列发展技能和能力。教师和学生在VR空间中的角色根据场景而变化，因为总的前提是没有单一的知识掌握者。相反，每个成员都需要掌握相关技能，例如在不同的环境中担任研究员，开发人员，设计师或项目经理。通过这种方式，具有不同技能和灵活性的人有可能交换角色并相互学习。与设计单一模式的在线学习环境（例如，创建一个moodle页面供学生下载由教师开发的内容）相反，VR场景可以以一种既能改变实践又能改变身份的方式设计[81]。这可以通过将学生分配和重新分配到不同的VR组中，互换不同的角色，并通过采用基于问题的交互式VR学习场景来分享从参与以前的VR组中掌握的知识来实现。前提是，没有知识的“主人”，知识建设，特别是知识建设是一个合作的过程，通过网络的人，分布普遍的多模态信息，角色和责任。作为XR的一部分，多模态作为基于上下文和情境的学习实例可以通过协作VR来设计和表示。最常见的协作VR功能是：（1）集中注意力，（2）将学习者与学习材料联系起来[82]。协作VR[83]可以通过对话和互动以及知识的联合构建[65]（它与学习的四大支柱[84]相呼应）鼓励对给定现象的多个观点，通过提供反馈来促进学习反射的采用[23]和监控场景的发展;允许远程学习[85]。VR中的这种协作实践可能会鼓励社会身份的形成，并将知识视为通过具有共同目标和兴趣的个人网络开发的社会结构[86]。通过采用协作VR，教师可以设计虚拟场所，提供考虑社会互动的协作学习过程，提供更多样化和更丰富的对话形式，这在其他学习环境中设计或构建具有挑战性[87]。单独或协作，VR允许学习实例被体现（由化身表示）[88]。这样的实施例给出了一个独特的维度，通过进行定向而不是仅仅被动地记忆和获取信息来照亮学习[70]。这为学生和情境化学习对象之间的对话和互动提供了更丰富、更多样化的形式，以实现替代性学习[89]。沉浸在VR中会产生一种存在感，它允许相互学习，并根据与3D对象交互产生的有意义的伪自然反馈调整性能[90]。反思这种伪自然发生的反馈可能会导致将令人生畏的学习体验转变为和谐的学习环境[91]，与其他模式相比，这可以提高学习效率[92]。VR允许独特的教学和学习体验，通过设计，使其在现有的多模式路径中实现变得有趣。目前，行业可能并不总是抓住机会应用这些设计原则，但VR开始在不同学科领域和学科的多模式路径中引入。4使用案例：将VR用于多模式教学，学习和培训本节的目的是通过来自法国和新加坡的实地、学校、大学和公司的例子来有些是426Stephanie PHILIPPE et al：Multimodal teaching，learning and training in virtual reality：a review and casestudy在法国实施，在新加坡实施，或者在法国和新加坡以及在其他国家实施。因此，游戏可以用多种语言提供，如以下图1至图12所示。每个示例都连接到一个通用目的，根据特定的VR教学和学习目标进行描述：知识传输，实践，反馈，评估。对于每一个目标，我们确定可以实施的活动。我们根据集成的VR体验的性质来区分这些路径：严肃游戏，模拟，协作VR（见表1）。（1）严肃游戏[93]部分：我们描述了在VR中集成严肃游戏的几个用例，单人游戏，包括对玩家的反馈。用户正面临着一个非游戏角色的情况，具体表现为化身或只有声音。在游戏过程中以及游戏结束时立即提供反馈，帮助用户改进。这种应用特别适用于训练软技能，例如如何与客户、患者、同事相处。（2）模拟[94]部分：我们描述了几个在VR中集成模拟的用例，其目的是在VR中提供要学习的目标系统（机器，器官，网络等）的相关表示。这样的工具与训练用户与所述系统交互并学习程序序列或手势有关。（3）协作VR[95]部分：我们描述了几个集成协作VR的用例，即。e.一个虚拟环境，参与者可以加入其中，并体现为个性化的照片逼真的化身。参与者可以在远处或在同一个房间。他们可以共享沉浸式内容，如交互式3D模型，360°视频或角色扮演游戏。这些路径，嵌入VR体验以及其他以活动为导向的多模式活动，可以推断出特定的VR内特征，表示和可视化与预期的学习结果映射。此外，协会的多模态活动为基础的教学策略将使个人和合作的做法，在更广泛的符号VR域内，他们发生。通过体验质量来评估这种部署，以便使用这种设备收集用户的状态[96]。4.1VR中的严肃游戏#1与歧视VR工具被提议作为一项实践活动，开设一个研讨会，以促进管理人员在性别、残疾和多样性方面的平等行为。在性别意识场景中，用户可以扮演男性或女性。游戏通过对话选择指出歧视和刻板印象，学习者必须完成。这是公司关于性别不平等的一般性认识政策的一部分，旨在了解有多少关于妇女的陈规定型观念在工作环境中驱动了一次思想，以及这些陈规定型观念在多大程度上影响了我们在晋升妇女方面的选择。其他情况涉及身体和认知残疾以及性取向。图1说明了2种情况和3个选项，提供给玩家，在非游戏角色（NPC）的最后一句话之后，用英语，部署在新加坡公司。在这个例子中，我们的目标是通过扮演其他人的角色，比如女性或残疾人，来产生同理心。使用相同的方法，我们提出了另一个应用程序，该应用程序将被集成为医疗和牙科的一部分，并由法国-新加坡合作伙伴关系产生。目的是在医疗环境中扮演儿童的角色，更好地理解他的观点，并预测他的恐惧和焦虑。此应用程序将用于实践。图2显示了儿童作为患者在不同情况下的观点：在牙科椅子上（左）和与医生和父母讨论期间（右）。视野中的线索支持孩子的角色，例如孩子身体的视图（图2，左）。427虚拟现实智能硬件2020年12月第5表1所描述的用例总结，以说明VR如何与其他工具和活动通用步骤1步骤2步骤3步骤4#1公司的社会规范和行为变化练习反馈知识传播评价角色扮演讲座在现实生活中实施知识和测量行为变化主体能动性是集体活动异步同步VR严肃游戏课堂#2学校的商店组织练习反馈知识传播评价角色扮演与老师讲座纸笔主体能动性是集体活动集体活动个人异步同步同步同步VR严肃游戏课堂课堂课堂#3公司销售管理知识传播练习练习知识传播讲座角色扮演其他数字和非数字活动讲座集体活动主体能动性是集体活动同步异步同步课堂VR严肃游戏课堂#4公司中的客户关系知识传播练习反馈评价讲座角色扮演一对一会议抽认卡，测验集体活动主体能动性是个人个人同步异步同步异步课堂VR严肃游戏在线平板#5公司的网络安全知识传播练习反馈评价讲座角色扮演集体活动主体能动性是同步异步课堂VR严肃游戏#6某公司知识传播练习知识传播练习讲座其他数字和非数字活动讲座仿真集体活动集体活动主体能动性是同步同步异步课堂课堂VR模拟#7在公司知识传播练习反馈知识传播讲座仿真向主管讲座集体活动集体活动集体活动集体活动同步同步同步同步课堂VR模拟在线课堂（下一页）428Stephanie PHILIPPE et al：Multimodal teaching，learning and training in virtual reality：a review and casestudy（续）通用步骤1步骤2步骤3步骤4#8学校里的大脑解剖知识传播知识传播练习评价讲座仿真集体活动集体活动主体能动性是同步同步异步课堂VR模拟#9在学校的知识传播知识传播练习评价讲座讲座组分配纸和笔集体活动集体活动集体活动个人同步同步同步同步课堂协同VRN/A课堂#10学校的粒子物理知识传播练习知识传播反馈讲座组分配讲座讲座集体活动集体活动集体活动集体活动同步同步同步同步课堂计算机协同VR课堂#11公司领导技能知识传播练习练习反馈讲座组分配组分配讲座集体活动集体活动集体活动集体活动同步同步同步同步协同VRN/A协同VR协同VR图1VR中的单用户严肃游戏，用于与歧视有关的社会规范和行为变化。#2店铺组织VR工具被提议作为一个实践活动，在商学院开设课程，培养学生在商店的客户关系管理。VR游戏，包括个人反馈，在教室里玩，然后与老师进行一般性讨论。然后在课堂上使用传统的纸笔方法进行评估。这个节目组织非常接近前一个，虽然它发生在学校。图3显示了商店的整体视图（右429虚拟现实智能硬件2020年12月第5图2法国和新加坡医学生在医疗和牙科环境中管理儿童的VR单用户严肃游戏。图3单个用户在VR中的严肃游戏，以学习在商店中的不一致性。图片）和一个特定的商店区域，果汁机，其中的行动需要从球员（左）放大。#3销售管理和店铺组织VR工具被提议作为未来商店经理为期一周的培训计划的其他应用练习的实践练习。学员们玩半天的认真游戏，训练他们对客户满意度的管理。目的是能够回答问题，以获得最佳的客户服务体验。该游戏允许学习者记住客户在公司措辞和政策方面可能遇到的典型问题。图4显示了游戏发生的商店（左）和玩家在游戏期间与之交互的客户端NPC（右）。红点表示玩家的视线方向，允许与环境进行交互，例如选择答案。图4商店管理和销售技巧用例。430Stephanie PHILIPPE et al：Multimodal teaching，learning and training in virtual reality：a review and casestudy#4酒店业VR工具被提议作为嵌入在酒店业前台员工技能发展路径中的实践练习。整个计划还包括与培训师的几次个人汇报会议，培训师可以远离受训者，抽认卡有助于保留。整个路径是通过一个评估测验验证学习（保留）。图5说明了游戏的几种情况：有2个客户端NPC和4个可能的答案，玩家必须从中选择（左，英语）和一个客户端NPC（右，法语）。一个“暂停”按钮显示以及分数，显示玩家在游戏中的进展。该分数有助于向玩家提供即时反馈，指示所选择的答案是否与客户关系管理的质量有关。图5酒店业客户管理使用案例。#5网络安全规则虚拟现实工具被提议作为一个实践和评估活动，作为一个封闭的应用练习。严肃的游戏包括扮演一个小偷试图从PC，USB存储设备以及纸质笔记中窃取敏感和机密信息。作为玩家，目的是在短时间内窃取尽可能多的信息。学习者识别敏感信息的不保护行为。游戏还提供反馈和对玩家的评价。在这种情况下，VR游戏被添加到公司任何员工的面对面（物理）培训计划中，让他们学习网络安全规则。图6显示了玩家可以与之交互以确定可能存在网络安全风险的一些对象，这些对象用黄色圆圈标识。这种学习方案在法国、新加坡和其他国家实施。图6扮演一个试图访问敏感数据的小偷（例如，密码和战略文件）、网络安全用例。431虚拟现实智能硬件2020年12月第54.2VR中的模拟#6制药行业VR工具是作为制药行业生产线操作员培训计划中多个应用练习中的实践和评估活动提供的。虚拟现实包括一个真正的机器与执行装配任务的实际程序的模拟。每一步都写好了，一个代理（一个声音）正在引导玩家一步一步地完成这个过程。其目的是让学习者在现实生活中做之前，先面对实际的机器和零件。几种模式允许渐进式学习：练习的指导和半指导模式以及评估的非辅助模式。培训计划还包括几项集体和个人活动。图7示出了游戏界面元素：游戏的不同步骤呈现在左图上，示出了玩家当前正在玩步骤1，指示被呈现以引导玩家（这里是“拿着油脂管并给关节上油脂”），动作所需的对象用蓝色光晕突出显示（这里是关节和油脂管），在右图上，玩家可以看到他/她的手操纵手柄。图7制药行业中的机器装配使用案例。#7远程多模式火车驾驶VR工具被提议作为两个玩家的练习练习，整合到一个培训计划中，用于在工作间过程中开发技能沟通技能。在两个不同的VR环境中，一个学习者驾驶火车，而另一个学习者在控制位置的远处进行通信，以向驾驶员提供指示。在此期间，培训师在没有干预的情况下监督模拟。培训师正在对场景进行注释，以便在模拟后与学员进行特定要点的汇报。目的是使学习者在交流和驾驶火车时记住程序。图8展示了游戏环境。#8脑解剖学在神经成像重建VR工具作为练习工具提供，神经外科学生可以使用它来熟悉大脑解剖和3D操作。增加VR是为了帮助学生提高他们的3D导航技能，它包括来自患者大脑的合并神经成像，以及模仿肿瘤的人工制品。学生必须确定它们的精确位置和大小。协作模式允许教师和学生共同使用应用程序。这种应用有助于减少和替代部分真实的脑肿瘤手术训练。图9显示了带有测量工具的用户界面（左）和用于设置各种显示参数的控制面板（右）。控制器在虚拟环境中表示，以促进操纵和交互。432Stephanie PHILIPPE et al：Multimodal teaching，learning and training in virtual reality：a review and casestudy图8列车驾驶的程序和远程通信，司机视图（左），操作员视图（右）。图9基于神经成像数据的脑肿瘤检测和测量，用于手术准备。4.3协同VR#9生物学协作VR工具是为知识传输提供的一种创新媒介，可以在共同的虚拟环境中共享与过程工程相关的内容，学生和教师位于同一个教室。这门课是在一所工程学校里进行的。虚拟现实作为教学多模式路径的新模式，与传统的讲座，小组作业和纸笔评估相结合。图10显示了教室中学生的设置（左）和虚拟教室中的设置（右）。图10协同虚拟现实技术在制药行业的过程工程讲座。433虚拟现实智能硬件2020年12月第5#10粒子物理学该协作工具用于知识传输，作为教学多模式路径的新模式，允许共享沉浸式内容（3D交互模型和360°视频和图片）。使用虚拟现实的目的是让学生更好地了解粒子物理学中使用的设备的实际尺寸（即对撞机），并有一个更现实的代表性的实验网站，没有实际访问瑞士。在常规课程中，高中生在早上学习粒子物理学的入门课程，然后单独坐在计算机前识别和分类真实的粒子碰撞事件。他们通过分享和积累他们的结果（一起和与世界各地的其他班级）来完成，以达到和体验粒子发现的统计方法和阈值。VR用于向学生讲授允许粒子发现的巨大设备的真实尺寸和布局：CMS（紧凑型μ子螺线管）探测器的交互式3D草图（讲师和学生被传送到CMS探测器上进行缩放），粒子碰撞事件，然后360°图像和视频显示“真实”图像。其主要优点是展示了一个无法在普通教室中说明的环境，因为它的大小和交通不便。图11显示了教室中学生的设置（左）和虚拟教室中的设置（右）。虚拟环境的视图显示在物理教室的屏幕上，供非VR参与者使用。3D模型以真实比例显示，以便学生可以更好地测量它。图11 关于粒子碰撞和碰撞机的表示的VR协作讲座。#11跨国公司的管理技巧和行为协同虚拟现实工具在不同的时间点添加，用于知识传输，实践和提供反馈，作为多模态路径中的沟通工具。培训计划的总体目的是提高学习者的领导技能。它是在一家国际公司实施的，管理人员来自多个国家。VR的使用允许参与者更容易和定期地连接，而无需旅行。培训师可以控制参与者的音频，让每个人都能听到对方的声音，或将桌子彼此隔离，以进行特定的活动。该计划已与一家国际公司合作实施，该公司拥有来自亚太地区13个国家（包括新加坡）的34名经理。图12展示了从桌面界面看到的虚拟环境视图 的教练。它显示参与者列表并允许管理参与者组（“表”）。5结论和展望5.1最近的技术进步和对未来VR体验在本文中，我们强调了VR学习和多模态之间的联系以及与之相关这篇论文集中在VR上，但新的硬件允许不同程度的“虚拟性”[97]。434Stephanie PHILIPPE et al：Multimodal teaching，learning and training in virtual reality：a review and casestudy图12协同VR用于培训远程管理人员。新一代VR HMD还提供具有“透视”能力的AR模块，用于从计算机生成的环境快速切换到真实环境及其任何混合环境。这些功能依赖于能够捕捉周围环境的外部摄像头（例如HTC Vive Cosmos XRHMD和Vive Sync应用程序; Varjo XR-1 HMD[98]和Varjo Worspace环境，Lynx-R1 HMD[99]）。与此同时，消费者的头戴式显示器中也集成了新的交互方式，包括眼动跟踪、手部跟踪、语音跟踪和身体跟踪。触觉和脑计算也是正在快速发展的领域，即将推出。所有这些技术都支持自然用户界面[100]。这伴随着5G网络的部署以及流媒体和基于云的应用架构的可能性。这已经用于游戏，这将很快有利于VR。云游戏平台Shadow正在推出所谓的“VR探索计划”，即VR流媒体的封闭测试[101]。这些新一代的HMD与超5G网络的机会相结合，将允许开发具有完全自然交互的真正混合现实体验。HTC中国首席执行官Alvin Graylin表示，改变习惯可能需要时间，但为了用户的利益。因此，硬件公司的战略对在法国、新加坡和全球开发的学习和教学解决方案的设计产生了重大影响。5.2物理距离会成为VR/XR采用的催化剂这篇文章集中于学习和教学，但在COVID-19危机的背景下，XR的其他用途被广泛讨论。在这场危机之前，VR仍在一些行业兴起。有几个因素限制了采用，包括设备成本和实施的复杂性。从商业的角度来看，在法国和新加坡都可以看到这些对收养的限制。相比之下，移动技术的采用要重要得多，与智能手机移动设备的比率一致。虽然在最近的一些市场研究中，VR的未来与娱乐和游戏高度相关[102]，但人们可能会认为这些趋势将受到当前物理距离和气候问题的影响。因此，可以假设VR和XR技术的发展将支持远程工作，真实和内容丰富的中介学习和医疗保健环境的新体验的开发。限制人员旅行是控制流行病战略的一个关键方面，例如2019年底在亚洲出现并于2020年在各大洲蔓延的COVID-19。它影响了全球范围内的大量活动，例如欧洲的移动世界大会和Vivatech，美国的游戏开发者大会和Facebook F8开发者大会，非洲的国际学习代表大会和亚洲的CES亚洲。一些事件决定把背景435虚拟现实智能硬件2020年12月第5限制为契机，并提出了一个虚拟版本的事件。V2EC 2020，HTC计划于3月在中国举办的虚拟VIVE生态系统会议[103]和Laval Virtual计划于4月在法国举办的虚拟VIVE生态系统会议[104]。这些都符合初步尝试，例如2019年9月在荷兰举行的IDC会议，由Tiledmedia和英特尔发起的IBC 360 Live系统在全球范围内以8K，360°虚拟现实直播为期五天的IBC 2019会议。值得注意的是，使用VR进行远程交互，如用例#11所述，可以显著降低旅行成本。因此，单个设备的初始投资可以迅速摊销。卫生限制的影响是巨大的，从现在起，在一定程度上，这种影响可能会持续18至24个月。这将导致习惯的深刻变化，特别是在技术的支持下，阻止世界恢复到COVID之前的状态。有人形容，一个完全数字化的世界，XR技术将成为必备，这是HTC中国CEO Alvin Graylin的定位。至少在未来几年内，采用阶段的特点将是混合系统的共存，例如组织物理活动与虚拟版本，增加家庭办公室和弹性办公室的使用，混合学习与校园和远程学习等。据联合国教科文组织估计，世界上超过70%的学生受到疫情和学校关闭的影响[106]。下一学年也可能受到严重影响。这种情况表明，教学系统在数字成熟度和确保教学连续性的能力方面存在严重的不平等。虽然数字化工具可以带来显著的优势，远程学习环境以及教育的个性化无疑会为困难学生带来支持，但强大的公私合作伙伴关系对于设计和改造教育系统至关重要，第一个欧洲Edtech VC基金Educapital的首席执行官Marie-Christine Levet说。这一转变将需要对教师的支持和培训，并同时使技术适应他们的具体需要和要求。此外，为了保持数字社会的承诺，对于学习，工作和任何其他活动，XR技术必须具有充分的包容性，并确保每个人都可以访问，无论是认知还是身体残疾。在这种情况下，实验是关键，以评估如何技术可以融入教学实践，特别是在多模态的角度。5.3结论和今后研究本文综述了虚拟现实技术在多模式教学、学习和培训中的设计和应用。VR和XR是高度通用的工具，可用于协作或个人活动，远程或物理相关的参与者在学习过程的任何步骤：知识传输，实践，反馈和评估。我们已经描述了基于VR的三种主要类型的工具：严肃游戏，主要用于软技能培训;模拟，主要用于程序学习;协作VR，用于沉浸在创新内容中，并促进远程参与者之间的互动。这些只是几个例子，技术的出现将允许更容易地将它们结合