没有合适的资源?快使用搜索试试~ 我知道了~
计算机&教育:X现实2(2023)100012使用主题和专家数据的3D虚拟学习环境中的高阶思维技能评估Nuket Nowlana,Ali Aryaa,*,Hossain Samar Qorbania,Maryam Abdinejadb卡尔顿大学 1125 Colonel By Drive,渥太华,加拿大,K1S5B6,地图b荷兰代尔夫特理工大学Mekelweg 5,2628 CD,Delft,A R T I C L E I N F O保留字:高级思维技能虚拟学习环境Motif评估过程指标A B S T R A C T本文报道的研究解决了在虚拟学习环境中评估高阶思维技能的问题,如反应性和创造性思维 对这些技能的评估需要基于过程的观察和评估,因为基于产出的方法已被发现是不充分的。虚拟学习环境提供了大量关于过程的数据,这使它们成为基于过程的评估的良好候选者,但这些环境中现有的评估方法存在缺陷,例如依赖大型数据集,无法提供具体的行动反馈,以及缺乏对行动如何融入更大任务的考虑演示和确认的三维虚拟学习环境的能力,与过程指标进行评估,我们提出并评估使用图案作为评估工具。主题是简短而有意义的度量组合将时间排序的主题与专家和学习者数据之间的相似性分析相结合,我们提出的方法可以潜在地提供对学习者采取的具体行动的反馈,而不是基于单一输出的反馈。由于依赖于专家数据和相似性分析,它可以在不使用大型训练数据集的情况下做到这一点通过用户研究,我们发现这种基于主题的方法可以有效地评估高阶思维技能,同时解决以前工作中发现的缺点 我们还解决了有限的研究相似性为基础的分析方法,比较它们的有效性,并表明,利用不同的相似性措施,为不同的任务可能是一个更有效的方法。我们提出的方法通过定义主题和专家解决问题的路径,促进和鼓励教师和课程设计者的参与。1. 介绍许多教育组织和智库提出了21世纪技能的概念,指的是在竞争日益激烈的21世纪环境中所需的心理技能(Abdullah,1998; Almond et al., 2010年)。21世纪的需求(如批判性思维,解决问题和得出结论)加强了高阶思维技能(HOTS)的重要性,包括批判性,逻辑性,反应性,元认知和创造性思维,这在处理新的和不确定的情况时特别重要(King等人,1998年)。评估对于任何学习过程都是必不可少的,因为它有助于确定学习者是否在掌握的道路上,以及哪些领域需要更多的关注和发展(Hill,2013)。然而,目前基于输出的评估方法不适合评估HOTS(Fullan&Langworthy,2013),因为他们专注于学习过程的结果(输出或成果)这种关注对于具体和直接的任务可能是有效的,但对于HOTS的评估,需要观察观察学习过程意味着注意学习者和学习环境在整个学习任务中相互作用的类型、顺序、数量和质量。 代表这种观察的度量通常被称为过程度量(Bennett,2003)。基于过程指标的评估被认为比依赖于基于输出的数据(输出指标)的评估更丰富(Grif FinCare&,2014)。使用过程度量提供了学习者在整个任务中使用的学习方法和策略的信息,从而更好地捕捉HOTS的发展(Greiff等人, 2012年)。不幸的是,观察每个学习者执行任务是非常耗时的,需要大量的资源。解决* 通讯作者。电子邮件地址:NuketNowlan@cmail.carleton.ca(N.Nowlan),arya@carleton.ca(A.Arya),HossainSamarQorbani@cmail.carleton.ca(H.S.Qorbani),M.Abdinejad@tudelft.nl(M. Abdinejad)。https://doi.org/10.1016/j.cexr.2023.100012接收日期:2022年11月3日;接收日期:2023年2月22日;接受日期:2023年2949-6780/© 2023作者。爱思唯尔有限公司出版这是一篇基于CC BY-NC-ND许可证(http://creativecommons.org/licenses/by-nc-nd/4.0/)的开放获取文章可在ScienceDirect上获得目录列表计算机教育:X现实&杂志主页:www.journals.elsevier.com/computers-and-education-x-realityN. Nowlan等人计算机教育:X现实2(2023)1000122为了解决这个问题,研究人员已经转向基于计算机的评估作为捕获关于学习过程的丰富信息的方式(Burelson等人, 2014年)。旨在支持学习的基于计算机的平台通常被称为基于计算机的学习环境(CBLE)或虚拟学习环境 ( VLE ) ( Duncan , Miller , &Jiang , 2012;Scavarelli , Arya ,&Teather,2021)。 最常见的VLE是学习管理系统(LMS),经常用于教育机构的沟通和评估(Kasim &Khalid,2016)。它们提供许多功能,包括呈现学习内容、讨论和评估。这些VLE通常是基于文本的多媒体元素。他们通常在收集过程度量和依赖最终(提交的)结果方面能力有限尽管如此,他们仍然可以跟踪一些过程指标,例如学习者打开的文件或阅读的内容元素这些环境中的评估工具可以包括各种分级项目、标题和自动公式(Hussain等人, 2018; Kasim &Khalid,2016; Mynarska等人, 2016年)。具有促进HOTS开发和评估潜力的特定类型的VLE是3DVLE,即,专门为教育目的设计的三维图形多用户虚拟环境(Dede,2007; Scavarelli等人,2021年)。3DVLE允许虚拟空间的基于化身的交互和导航,其可以模拟真实空间或可视化新空间(Arya等人, 2012年)。 它们越来越吸引对技能发展感兴趣的学者的注意,因为它们能够促进模拟体验式学习(Schmidt&Stewart,2009; Alqahtani等人, 2017; Scavarelli等人, 2021; Elme等人, 2022年)。它们还具有在整个过程中观察学习者的潜力,并跟踪和评估更广泛的用户活动(Loh&Sheng,2015a)。在本文中,我们使用术语3D虚拟环境作为虚拟现实(VR)的同义词其可以在桌面、移动终端或头戴式显示器(HMD)上。一些文献使用术语VR仅用于基于HMD的体验。正如下一节所述,VLE中的HOTS评估是通过基于分数和基于系列的方法进行的,这些方法通过分别为表现元素或这些元素的顺序分配分数来评估学习者。正如我们在下一节的文献综述中所展示的,基于分数的方法缺乏对活动发生时间和活动顺序的重要性的关注(Snow et al.,2015年)。基于系列的方法解决了这一缺点,但通常着眼于全套活动,并且没有本地化的评估(Reilly&Dede,2019)。因此,在现有的评估方法中,就学习活动的要素提供有意义的反馈此外,关于应该对性能指标进行什么类型的分析的研究也很有限另一方面,评估方法可能需要大量数据来建立模式,因此它们经常使用机器学习算法,这再次对提供关于学习者活动的特定元素的有意义反馈的可能性产生负面影响(Conati等人,2018; Loh &Sheng,2015 a)。一些研究人员提出了基序的概念,即学习过程中一组小而有意义的任务(Gibson&deFreitas,2016)。动机有潜力提供更本地化的评估和反馈,但其有效性尚未得到适当的研究。我们建议,图案,连同使用相似性分析与专家数据(弗洛里安等人, 2015年),可以解决现有的基于分数和基于序列的评估的缺点,即,缺乏本地化反馈,使用大量数据,对分析方法的研究有限。本文报告了我们的调查,这种方法的有效性和相似性分析措施,是适合它。 我们在教育环境(化学实验室)中定义了各种HOTS的主题,并将基于学生在定制设计的3DVLE中的表现的主题与专家的主题进行比较。 四个不同的相似性措施进行比较,并导致学生的“自动”评估。然后,我们对这些评估进行了相关性分析,以了解哪些相似性度量与教师基于观察的评估一致。高相关性表明,自动评估是基于适当的方法。我们的发现表明,基于模体的相似性分析可以在有限的数据需求下提供有意义的评估和反馈。 我们的相似性分析方法的比较表明,使用一个独特的方法可能不是最好的方法,和相似性措施的组合可能是一个最佳的选择。我们的动机是需要使3DVLEs中的HOTS评估更适合教师,通过与教师对学习任务需要遵循的过程的知识相对应的方法,并提供对特定学习者行为的我们为3DVLE及HOTS评估领域作出贡献,特别是提供证据支持建议和评估图案和专家数据的使用,以允许在有限的数据集内提供特定的反馈我们发现,这两种方法的结合具有评估HOTS的潜力。调查不同的相似性措施的专家/学习者比较的适用性。我们发现初步证据表明,对不同的任务使用不同的测量方法可能更合适。不可能在一项研究中调查大量HOTS因此,我们的研究重点是解决问题,得出结论和危机管理作为实验室安全培训的一部分我们用这个例子来说明HOTS评估的更一般的概念。这个特殊的案例是由我们的合作伙伴导师选择作为一个典型的情况,有助于加强和评估学生 由于所需的技能是许多HOTS相关场景的典型(Robinson&Schraw,2011; Shute等人,于2015年12月31日(即2015年12月31日),我们预期发现将显示潜力,并就我们建议方法的适用性提供初步见解。无可否认,需要进一步的调查,以扩大这些初步的见解,看看如何将它们推广到其他情况。2. 相关作品2.1. 高阶思维能力Robinson和Schraw(2011)将高阶思维技能(HOTS)定义为“增强更深层次的概念驱动理解的构建”的技能传统上,教育评估侧重于知识(Leighton,2011年)。因此,可以预期,传统的评估方法不足以评估HOTS,因为HOTS更注重过程。主要为知识评估而开发的问答法不能评估涉及使用复杂能力的过程(Shute等人, 2015年)。为了评估和了解每个学生需要改进的领域,需要更&&Robinson和Schraw(2011)认为,HOTS可以通过观察思考者参与活动(过程)来评估,例如询问或识别问题,假设或要调查的问题。然而,由于位置和时间的限制,或者可能会影响过程,观察学习者进行活动可能很困难。基于计算机的评估能够捕捉学生学习过程的丰富信息,可以帮助教育工作者完成这项任务。 诸如VLE/3DVLE的新兴技术通过提供模拟空间和数字跟踪能力来实现这样的实践(Borgman等人, 2008; Dede,2009; Warburton,2009)。2.2. 虚拟学习环境VLE的历史可以追溯到20世纪60年代,当时正在开发基于计算机的课程,但它只是计算机的进步●●N. Nowlan等人计算机教育:X现实2(2023)1000123在20世纪80年代和90年代,允许创建今天被公认为广泛的基于互联网的教育媒体的学习系统(Duncan等人,2012年)。VLE提供教育内容,允许交流,并可以促进技能发展。 它们有许多不同的格式:单用户或多用户,游戏化或非游戏化,3D沉浸式或非沉浸式。与VLE密切相关的是智能学习环境(SLE)的概念。 根据Koper(2014)的说法,SLE是“通过数字化、情境感知和自适应设备来丰富的物理设备,以促进更好、更快的学习”。SLE是信息技术进步的结果,特别是在线服务、移动设备和物联网,这些技术允许在学习过程的各个方面越来越多地使用智能设备SLE允许将VLE集成到物理环境中,并且可以增加可扩展性和个性化(Chen等人, 2021年)。关于SLE的研究可以分为技术相关的、领域相关的和学习过程相关的,其中由于现有工作有限,反馈和评估形成了未来研究的潜在领域(Muller等人,2019年; Chen等人,2021年)。在本文中,我们专注于3DVLEs由于其模拟和跟踪能力,如前所述。Kelman(1989)将3DVLE确定为促进HOTS发展的潜在环境。在Hopson等人(2001年)的一项研究中,学生Dede和他的同事开发了River City(Dede &Ketelhut,2003; Ketelhut等人,2010年),声称HOTS是最好的开发时,学习者构建知识,而不是被动摄取信息,信息收集工具和评估系统被用来衡量复杂的高阶技能,而不是简单的回忆的事实。正如Roschelle et al.虽然主动建构主义学习可以被整合到有或没有计算机的教室里,但基于计算机的技术的特点使它们成为这种类型学习的特别有用的79)。Dede(2007)认为,3DVLEs是非常适合促进和评估学习的学习环境,具有以下策略:主动学习,体验学习和情境学习。然而,关于如何使用VR启示来实现学习和教育的研究策略仍然有限(Dede,2007; Scavarelli等人,2021年)。2.3. 虚拟学习环境中的HOTS评价方法正如Queiroz et al. (2019)确定,现有的VLE评估方法主要集中在生物学,计算机科学和医学等更有形的技能。在高阶思维技能的评估、学习模式的分析以及允许使用人工智能的研究方法方面,已经做了有限的工作 与此同时,研究人员(Spector &Ma,2019)警告说,过度强调人工智能的使用和依赖人类智能的必要性,以及通过模拟和游戏来培养和评 估 学习者的高 阶 思 维 技 能 ( Ketelhut 等 人 , 2010; Van Voorhis&Paris,2019)。虽然一些研究人员(Kuang等人,2021)试图通过输出指标(例如干预前和干预后测试分数之间的差异)评估HOTS,但人们普遍认为HOTS需要更注重 过程的评估方法( Grif finn&Care,2014; VanVoorhis&Paris,2019)。隐形评估(SA; Shute,2011)是基于计算机的学习平台(包括VLE)上使用的方法的通用术语,通过收集交互日志和分析(过程度量)来评估学习者的进度-而不会中断学习者的学习流程。 现有文献中的SA方法可以分为以下两类:基于分数和基于序列(Shute,2011)。2.3.1. 基于分数的隐身评估当学习者与VLE的交互基于与VLE兼容的逻辑进行评分时,使用基于分数的隐形评估方法学习活动,通常在评估脚本的帮助下。评分可以通过为每个交互提供相等或不同的权重来执行,或者可以通过基于定义的算法的脚本来完成。Veenman等人(2014)提出,学生在计算机学习环境中的行动日志文件可以可靠地跟踪学生在学习任务中的学习过程,并在需要时为他们提供支持,从而帮助他们提高元学习技能。相关性结果显示,通过日志文件中捕获的用户行为追踪的Meta认知技能与格罗宁格智力测试结果之间存在更强的关系(Veenman等人, 2014年)。Arroyo等人(2014)与WayangOutpost进行了类似的研究,WayangOutpost是一个基于计算机的辅导系统,为学生的数学问题解决能力提供教学元学习技能评估和支持。 Arroyo等人'的研究表明,元认知技能不仅可以通过用户交互来追踪,而且可以提供有意义的辅导支持来培养元认知技能。Azarnoush等人(2015年)研究了模拟指标,以识别虚拟现实模拟器NeuroTouch中的专家和住院外科医生,该模拟器模拟神经外科手术,包括脑肿瘤切除术。虽然对不同类型的交互进行评分,简单地将每个分类交互相加并执行与每个交互类别和频率相关的手动评估,学习者的成功提供了对学生进步的令人鼓舞的洞察,根据该交互发生的位置,每个交互的一般评分可能是误导性的。另一方面,数据的增加促使研究人员研究使用机器学习(ML; Jordan&Mitchell,2015)方法来研究学生的学习任务交互(Sabourin等人,2013;Shute &Kim,2014)。然而,它们需要提前准备一个模型,这是一个漫长的过程,在这个过程中,所有行动的概率和意义都必须被识别出来。因此,改变和定制动作流程并不容易此外,为许多机器学习(特别是深度学习)结果分配实际的现实意义并将其概率解释为可以提高性能的可操作见解是一项挑战(Conati等人,2018; Loh &Sheng,2015 a)。为了使评估结果更易于解释,研究人员考虑了数据模式而不是单一指标 (Baker&Clarke-Midura , 2013;Gibson&de Freitas , 2016 ) 。Baker和Clarke-Midura(2013)收集了日志文件,这些日志文件被进一步提取用于分析,产生了一组48个语义上有意义的特征。 Gibson和deFreitas(2016)使用相同的日志文件,表明聚类是无效的,直到研究的主题领域专家确定了一个两个或三个元素的行动链,研究人员称之为基序。例如,一个名为“打开的门”的数据元素本身相对来说是没有意义的,因为它知道这是一扇特定的门,在另一个重要事件(如与科学家交谈)之后打开。因此,动作模式被转化为基序,基序又成为转化后的分析单位。 该方法仍然是以分数为基础的,因为它没有考虑到要素的顺序。为了处理训练机器学习算法所需的大量数据,建议使用专家知识Floryan等人(2015)使用(1)基本特征和(2)基于专家知识的特征来训练生物学课程中的机器学习算法。 他们的工作表明,使用专家知识也有助于HOTS评估,从而减少机器学习模型所需的大量数据。总而言之,虽然基于分数的方法可以提供总体评估,但它们在提供局部反馈和评估方面受到限制,因为没有适当考虑任务中各个活动的顺序和关系。 它们还可能需要大量数据来训练机器学习模型。研究人员建议使用主题和专家数据,但现有的文献还没有研究这些概念在一系列活动中的应用,其中活动的顺序和关系很重要。已建议采用基于系列的方法来解决其中的一些缺点。N. Nowlan等人计算机教育:X现实2(2023)10001242.3.2. 系列隐身评估基于分数的隐身评估的替代方法是基于序列的评估。 该方法通常使用学习者的所有类型的交互的完整活动系列或所选择的交互作为输入,而不是单个交互或从交互导出的度量。与上面的主题方法不同,一系列的交互被划分为小的有意义的,独立的任务组件,这种方法试图使整个系列的意义,而不考虑学习会话中的不同类别的任务。Snow等人使用这种方法进行了一项值得注意的研究。(2015年),旨在确定学生行动系列的稳定性。他们收集了大学生在互动策略训练积极阅读和思考(iSTART)中执行学习任务的数字活动痕迹,这是一个基于2D游戏的智能辅导系统,旨在提高学生Snow et al. (2015)得出结论,学习者 这种方法值得注意,因为它不需要以前的数据收集来训练模型或定义规则来评估学习者的表现。然而,它的缺点是提供可操作的发展点,学习者作为一个整体的系列为基础的评估,所以它是不清楚的实际失败点是,学习者应该集中在提高他们的表现。Loh和Sheng(2014)报道了另一项值得注意的研究。与斯诺等人不同,Loh和Sheng分析了学习者交互序列的稳定性,他们通过使用字符串相似性指数分析将学习者序列与专家序列进行比较,以确定差异。术语相似性涵盖了评估各种数据之间差异的各种评分和度量相似性度量最初用于统计定义数据库中 两 个 字 符 串 之 间 的 相 似 性 ( Winkler , 1999 ) 。 Loh 和 Sheng(2014,2015 a,2015 b)建议对不同的专家使用多个相似性指数,并使用最大相似性指数(MSI)来识别特定玩家 这种方法提供了一个单一的度量标准和易于衡量的实用性,这是基于分数的方法所不能提供的,但它只提供了一个整体的性能评估,而不是一个性能组件。 Sawyeret al.(2018)还建议,将学生的解决问题路径与专家的解决问题路径进行比较,可能会对学生的解决问题技能提供更深入的了解。基于Sawyer et al. (2018),Reilly和Dede(2019)对ecoMUVE进行了类似的分析,ecoMUVE是一种基于探究的3DVLE课程。在这项研究中,学生的轨迹是按时间序列聚类的,而不是与专家进行比较。黄金道群中的学生(属于高手),Reilly和Dede建议进一步研究在斜坡和距离上的表现集群,看看这些模式是否出现在与学习收益或有效维度有意义相关的游戏风格中。我们需要进行更多研究,以协助教师提供更具体和有针对性的评估,识别学生的弱点和长处。这可以通过对较小的任务或活动要素(例如,主题)进行系列评估来实现然后可以使用灵活的操作来帮助管理数据大小。对现有的基于分数和基于系列的方法的文献的审查表明,有研究的差距和开放的问题系列为基础的评估,使用较小的任务组,使用专家数据和相似性措施,这样的小团体,以避免需要大的数据集,和适合不同的相似性措施的有效性。 这些差距是我们研究问题的基础,也是我们提出解决方案和研究的动机。3. 研究设计3.1. 概述我们的文献回顾表明,系列为基础的评估有能力纳入学习活动的顺序,但执行对大序列的这种评估可能不能提供适当的反馈。我们还注意到,使用专家数据进行基于相似性的分析可以减少对大量数据的需求。在我们以前的工作中(Nowlan等人, 2018),我们确认了基序定义更小序列的能力,以进行基于分数的评估。 在这项研究中,基于系列的隐形评估被定义为使用在学习会话期间捕获的学习者的全部或部分交互系列来分析和洞察性能。时间序列聚类方法已被用于轮廓和未来预测(Edwards&Cavalli-Sforza,1965年,第100页)。362-&这种方法的缺点是它需要大量的数据才能使用。基于系列相似性度量的分析(Loh&Sheng,2014,2015 a,2015 b; Sawyer等人,2018年是另一个选择。与机器模型创建方法相比,该方法非常实用这种方法的缺点包括它适用于整个系列,缺乏灵活性和部分反馈,以及当不同的活动可能更好地评估使用不同的相似性指数时,它对所有活动使用相似分析。在这项研究中,我们研究了使用主题在系列为基础的评估,以提供本地化的反馈能力,并使用专家的行动(提供或批准的教师)和相似性措施,以减少数据的要求,并通过不同的相似性指数为每个主题的评估方法提供可扩展性。 我们旨在回答以下研究问题。一个小而有意义的过程度量(motifs)系列如何用于基于系列的HOTS评估?RQ2:如何使用学生和专家主题之间的相似性分析来评估HOTS?RQ3:哪些相似性指数在评估HOTS方面更有效研究和我们的问题是出于需要找到评估方法,允许对特定(较小)活动进行本地化反馈和评估,而无需使用大量训练数据。在其他情况下,主题和与专家动作的相似性显示出潜力,因此,我们提出了一种基于这些概念的评估所提出的方法允许教师和课程设计者更直接地参与VE评估过程,因为他们可以灵活地定义主题和专家行动。我们的研究是在化学实验室的3DVLE(台式和头戴式显示器)的背景下进行的。在让学生进入物理化学实验室之前提供安全培训是所有教育机构都需要促进的强制性步骤。传统上,这一步骤是通过文本或视频材料以及问答式的准备评估来完成的。 在进入实验室之前,学生必须了解着装要求(例如,护目镜),实验室的组件(例如,洗眼和淋浴以及如何使用它们),以及紧急情况下的正确过程出于安全考虑,除了在虚拟现实中,创造火灾或化学品泄漏等学生可以应用其应急反应技能的情况这项研究得到了我们机构研究伦理委员会的批准,详见本文结尾。3.2. 参与者研究团队于2021年冬季学期邀请大学生参与并收集研究数据。 邀请是通过专门的社交媒体团体完成的,该大学为研究参与者和可以转发邀请的同事提供了邀请。任何大学生都可以参加(不需要VR体验),但我们特别鼓励那些来自科学项目的学生,并强调了所需的性别和种族多样性。不幸的是,由于COVID-19的限制,我们无法邀请我们的参与者到我们的实验室参与,这将使我们能够捕获屏幕视频。由于COVID-19,N. Nowlan等人计算机教育:X现实2(2023)1000125流行病限制。所有的教育活动都被要求在网上进行,我们发现学生参与网上/虚拟研究的热情不如疫情前。最终,我们招募了36名大学参与者,20名男性和16名女性。平均年龄为25岁,标准差为6.45。 所有参与者都是化学或其他科学/工程专业的大学生。他们平均选修了5.10门化学课程,标准差为3.70。几乎所有的参与者(94%)都完成了之前的传统实验室培训;然而,根据合作伙伴讲师的说法,即使是通过培训的学生也往往在实验室中遇到问题。66%的参与者有过沉浸式VR和各种游戏的经验由于在桌面应用程序上创建图案存在技术困难,我们只能使用来自头戴式显示器(HMD)参与者的数据,其中共有18名参与者,10名男性和8名女性学生。研究参与者3.3. 材料我们的3DVLE原型是使用Unity 3D为化学实验室构建的,Unity 3D是一种流行的游戏引擎,可以在桌面,移动设备和HMD上构建2D,3D和VR游戏和体验。 虚拟化学实验室由于多个原因:(1)它是一个典型的科学,技术,工程和数学(STEM)体验式学习环境,(2)我们有一个愿意合作和合作的教师,(3)根据教师的说法,这些活动适合加强和评估学生普遍需要的HOTS。该环境有三个区域,用于一般VR熟悉,化学实验室培训和实际测试目的。典型的实验室只有一个区域。我们利用虚拟设施提供了一个更适合培训的区域,以展示常见的实验室元素(实验室培训)。此外,由于我们的目标受众使用VR的经验有限或没有经验,我们包括了一个基本的培训区域,以帮助他们获得使用触摸控制器的经验。这是一个重要的设计考虑,以帮助用户适应自己,并避免潜在的晕动病的一些用户。区域一:该区域旨在提供基本的训练活动,例如拿起简单的物体(立方体、球体),使参与者能够学习如何使用触摸控制器(图1)。由于VR体验可能会让初次使用者不知所措,因此参与者被引导与简单的物体进行交互,旅行或传送(移动),拿起物体并使用帮助提示。这个级别是建立在脚手架的学习原则,即,帮助参与者建立必要的技能和知识,导航和互动的对象,从简单的移动在虚拟环境中使用化学设备。第二和第三区:第一区是一般的VR培训,第二和第三区提供特殊的化学实验室经验。 分为两个部分分开的墙和门(图。2和3),这两个区域是虚拟化学实验室。第二个领域是更高级的互动和安全培训,包括个人防护设备(PPE)和安全问题。第三区是实际的实验室,有模拟化学实验,设备和科学实验站,称为通风柜。我们没有使用现有的3D平台,而是创建了一个新的独立应用程序,可以捕获VR空间内所有学生的互动,记录每个互动的顺序和持续时间,并在每次体验结束时将数据通过电子邮件发送给研究团队。 所有数据清理、系列创建和相似性指数计算都是使用Python中为本研究创建的脚本完成的。VisualBasic用于运行脚本。使用Microsoft EX cel数据分析功能进行相关性评估。通过试点测试和收到的反馈,研究团队决定,虽然创造一个高逼真度的环境可能是有益的,但就效率而言,并考虑到学习者将获得的技能水平,这种视觉逼真度并不重要,正如Lefor等人所建议的那样。(2020年)。我们的研究包括提供的专家数据Fig. 1. 一区图二. 二三区。&他们看了看导师,觉得很适合做比较。选择专家数据的标准是基于教员3.4. 程序由于COVID的限制,这些研究是远程进行的。所有所需的设备部件都经过适当的清洁。参与者被指示经历所有三种环境并执行任务。总体而言,采用以下程序收集和分析数据。1. 设计并创建了一个三维虚拟化学实验室其中:a. 学习者可以探索和发现化学实验室b. 学习者可以在指导下进行虚拟化学实验。c. 学习者可能面临紧急情况(火灾),他们必须在没有任何指导的情况下使用正确的协议进行N. Nowlan等人计算机教育:X现实2(2023)1000126图三. 二区截图d. 学习者i. 与环境中的对象交互ii. 阅读信息。表1在领域3中要促进的步骤和任务步骤详细任务iii. 抓住一根管子等。2. 参与者被招募到VLE中进行安全培训,然后在他们面临紧急情况的情况3. 预期参加者进行的活动由一名专家完成。4. 所有参与者5. 参与者和专家的活动系列都分为三个技能组成部分,并为每个组成6. 一系列的相似性分析,以评估学生的活动路径相比,专家路径的表现7. 根据学生数字足迹的日志文件,对学生基于相似性的表现评估与手动专家评估之间进行相关性评估参与者可以在第一和第二区域自由练习,尽管我们告诉他们要尝试一切。他们必须执行表1所列的第三区的所有指定任务。一个学生进行实验的屏幕截图如图所示。四、图中的系统日志。图5示出了在学生的学习会话期间收集的数字活动轨迹的样本。3.4.1. HOTS评估的基序识别Loh和Sheng(2015 a,2015 b)建议,与新手的路径相似性度量相比,专家路径可以用于技能评估。这种方法比机器模型训练方法更灵活,机器模型训练方法是一种从许多参与者收集大规模训练数据并在使用之前标记以训练模型的方法。在这项研究中,我们假设,用于这种评估方法的相似性度量应选择符合学习活动。由于每个相似性度量公式的工作方式不同,因此需要进行测试以确定最适合具有不同学习目标的不同学习活动的度量。Gibson和de Freitas(2016)提出了这样一个观点,即学习动机,一小组有意义的活动,以促进引导E实验虚拟现实实验室紧急情况和响应行动● 向上拉软篷门/玻璃(1/3)● 从工作台上拿一个支架,放在通风橱● 抓住/把热板旁边的立场● 插入加热板● 将油浴放在加热板上● 打开加热板并增加温度(140 C)● 添加材料/粉末(他们● 把冷凝器放在水龙头● 夹紧面罩-(插入紧急装置的步骤)● 打开连接到冷凝器的水● 打开加热板和磁力搅拌棒● 打开连接到冷凝器的水标签● 打开加热板● 等待2 h(模拟)● 停止反应:o 按下关闭/打开按钮关闭加热器o 关闭器械磁铁旋钮以停止搅拌棒o Don’t● 在油浴无需夹紧● 如果套管落入油浴中,火灾:o 先拔下电炉插头o 拉下软篷门/玻璃,让油浴完全冷却o 把引擎盖的门再o 从通风橱o 把烤盘放在长凳上o 把碎玻璃片倒进红色的o 用餐巾o 用丙酮清理油烟机在粒度分析中,大的行为模式被转换成基序,然后成为转换后的分析单元在我们以前的研究中(Nowlan等人, 2018),我们将主题定义为建立四种独立技能的活动的重叠组合。这些技能存在于学生们参观的6个房间。在这项研究中,教师正在寻找三种可以在三个独立任务中识别的技能不再有任何重叠(共享活动),每个HOTS(和相关主题)的活动模式和顺序由教师定义我们假设,通过对所有任务应用不同的透过导师由此产生的图案是根据三个独立的部分的经验选择的:第1:本部分的目的是让学生探索实验前部分,练习持有/使用3D虚拟物体和穿上实验装备/服装。然后,学生们进入VR实验室,探索实验室设备本节中使用的主要HOTS是信息收集。N. Nowlan等人计算机教育:X现实2(2023)1000127¼¼ ¼¼图四、 学生在三维虚拟化学实验室中进行实验。图五. 应用程序审计文件中捕获的数据示例。第2部分:本部分的目的是:让学生(i)理解每件实验室装备/服装的用途,并能够在插入的帮助信息的帮助下选择正确的装备/服装,以及(ii)理解并能够使用实验室设备,并在插入的信息的指导下进行实验。本节中使用的主要热点是批判性思维。第3部分:本部分的目的是观察学生对实验室设备和应急响应过程的学习和理解,方法是创造一个他们可以在没有任何帮助的情况下演示这些设备和过程的情况。创建了一个虚拟的紧急情况,学生需要在没有任何指导的情况下展示他们对要遵循的过程的理解。本节中使用的主要HOTS是得出结论。因此,在研究4的学习课程中确定了三个主要主题o 信息采集o 批判性思维o 得出结论数据点(基本指标)收集了每个学生的这些主题,135信息收集,104批判性思维,70分是为了得出结论 这些数据点的示例如下所示。时间对象行动用户方法持续时间四点三十一分手套选择右手4.20六点十一分manniqTorsoOnly悬停右射线交互器5.54八点整提问_5选择右手0.74十点十九分LabCoattorso选择右手3.73十六点二十九分HoodDoor选择右手1.71三十点三十二分帮助FH 1 -1悬停右射线交互器2.38四十七分二十七秒扫帚2选择右手10.94四十九点零二分Prop_BekerAcid选择右手15.79四十九点三十九分水触发器悬停右手0.883.4.1.1. 识别活动系列克数。 动作系列是在时间轴上执行的活动的有序数据点。来自捕获这些操作的平台日志文件的原始数据以一种对分析有意义的方式进行组织根据学习任务的目标,创建不同的系列数据点如果之前和之后的操作被视为已导入以及当前操作,则相应地创建每个数据点。在此决定之后,通过使用每个条目作为所生成的时间序列(uni-gram系列)的元素或通过创建多个n-gram系列来组合两个或更多个条目,从动作路径根据n,系列被创建为unigram(n 1),bigram(n2),trigram(n 3),quadgram(n 4)。下面是一个动作系列的例子,学习者执行了以下活动:A,B,C,A.可以创建以下不同的gram系列以应用相似性分析:Unigram系列将是:A,B,C,A。二进制序列将是:A/B,B/C,C/A。在教育背景下,我们认为让学生执行受控动作很重要,即, 他们没有一个整体的策略,就不会随意地互动。 为了理解顺序重要性的含义,我们在所有的比较中创建并使用了uni-gram和bi-gram系列。在我们的研究中 , 每 个 活 动 都 被 捕 获 为 一 个 对 象 和 在 其 上 执 行 的 动 作 , 例 如LabCoattorso-Hover。以下是用于本研究的一元和二元序列的示例Unigram:LabCoattorso-Hover 、 sliper-Hover 、 Q2Cube-Hover 、 Q1Cube-Select、Q2Cube-Select。二元语法:LabCoattorso-Hover/sliper-Hover,sliper-Hover/Q2Cube-Hover,N. Nowlan等人计算机教育:X现实2(2023)1000128ð Þ¼ð Þ¼Q2立方体悬停/Q1立方体选择,Q1立方体选择/Q2立方体选择。3.4.1.2. 记录专家的路径。相似性分析是通过基于所选指数的公式系统地比较两个系列的数据点来执行的。在这项研究中,我们想找出学习者的互动路径与专家的互动路径有多相似,同时为每个不同的领域展示一个焦点HOTS。在测试过程中,我们的专家邀请了一位有能力(表现出色)的学生跟随过程并进行自我记录。然后,我们为每个部分创建了一个活动路径,并请我们的专家控制该系列,以确保这是教师对高表现学生的期望基于高性能路径,我们为三个HOTS主题创建了专家一元语法和专家二元语法,用于与学生系列进行比较3.4.1.3. 相似性指数选择。最大相似性指数(Maximum SimilarityIndex,MSI)是Loh and Sheng(2014)提出的一个术语,作为给出最佳匹配的相似性指数,用于研究玩家在游戏中的表现。在试验不同的相似性指数作为性能测量时,Loh和Sheng(2015 a,2015 b)使用多个相似性指数来描述玩家他们的结论是,多个基于指数的相似性测量的组合提供了最好的分类方面的球员在本研究中,我们也使用了多种相似性指标来评估HOTS通过比较专家。我们的目标是找出哪一个将是最大相似性指数(MSI),以及MSI是否对所有HOTS都是考虑到许多不同的相似性计算方法及其优点(Loh&Sheng,2014;Winkler,1999),我们决定在我们的研究中使用i. Jaccard指数:Jaccard指数公式根据两个系列之间的共同元素计算两个系列由于它已被确定为评估相似性的最佳指标(Loh&Sheng,2015 a,2015b),我们决定将该指标纳入研究4应该指出的是,Jaccard指数在计算中没有重复步骤因此,如果同一个触发器在专家路径中被使用了两次(假设它需要被使用两次才能正确地执行活动),那么这将不会被包括在使用Jaccard指数进行的相似性计算中,除非时间序列
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 十种常见电感线圈电感量计算公式详解
- 军用车辆:CAN总线的集成与优势
- CAN总线在汽车智能换档系统中的作用与实现
- CAN总线数据超载问题及解决策略
- 汽车车身系统CAN总线设计与应用
- SAP企业需求深度剖析:财务会计与供应链的关键流程与改进策略
- CAN总线在发动机电控系统中的通信设计实践
- Spring与iBATIS整合:快速开发与比较分析
- CAN总线驱动的整车管理系统硬件设计详解
- CAN总线通讯智能节点设计与实现
- DSP实现电动汽车CAN总线通讯技术
- CAN协议网关设计:自动位速率检测与互连
- Xcode免证书调试iPad程序开发指南
- 分布式数据库查询优化算法探讨
- Win7安装VC++6.0完全指南:解决兼容性与Office冲突
- MFC实现学生信息管理系统:登录与数据库操作
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功