AGILEST方法：利用机器学习代理推动实时非接触式手部交互，在STEM教育中的应用

电信和信息学报告9（2023）100034AGILEST方法：使用机器学习代理，通过实时非接触式手交互促进放大图片作者：Muhammad Zahid IqbalJ.坎贝尔爱尔兰都柏林大学计算机科学学院aRT i cL e i nf o保留字：增强 现实技术增强学习无接触手交互机器学习学习技术a b sTR a cT人们对使用创新的交互技术创建交互式学习应用程序越来越感兴趣，特别是在STEM（科学、技术、工程和数学）学科中。机器学习的最新发展允许近乎完美的手部跟踪识别，引入了增强现实（AR）环境中的非接触式交互模式。然而，研究界并没有探索动觉学习或“边做边学”的教学方法、手部跟踪和与增强现实技术相结合的机器学习代理。从根本上说，这种对非接触式交互技术的探索在新的后COVID世界中具有新的重要性。与此同时，机器学习因其增强个性化学习的能力而受到关注，并作为虚拟教师发挥着至关重要的新作用。本文提出了一种称为AGILEST方法的新方法，该方法使用机器学习Agent通过非接触式交互来促进STEM教育中的交互式动觉学习。这种方法的第一个案例研究将是化学的AR学习应用。该应用程序使用实时非接触式手部交互进行动觉学习，并使用机器学习代理作为用户的培训师和评估员。这项研究的评估是通过与专家评审员进行的可用性研究远程进行的，其中包括15名在人机交互AR领域进行同行评审的年轻研究人员和2名中学级别的STEM教师。通过NASA任务负荷指数（NASA-TLX），感知易用性（PUEU）和感知易用性（PU）与专家评审员进行的可用性评估提供了关于这种方法的积极反馈，以提高学习STEM科目的生产力，参与度和互动性。学习技术不断发展，其重要性因COVID-19疫情而在全球范围内得到认可。因此，大多数国家在疫情高峰期采取了某种形式的远程学习。第一个这样做的国家是中国，它采用了“停课不停学”政策[46]，该政策研究了促进在远程学习中使用技术集成的替代学习解决方案。远程学习支持者自然会在STEM（科学、技术、工程和计算机科学）科目的实践实验中进行操作。然而，随着新的交互技术和智能的发展，有可能支持STEM学科的虚拟学习。一种方法是延展实境（XR），这是增强现实（AR），混合现实（MR）和虚拟现实（VR）的总称，如图1所示，特别适合在实验期间呈现信息，因为它可以用于整合物理和虚拟实验室工作[2]。通过用虚拟物体增强现实世界，AR为不同教育背景下的教育提供了新的可能性[23，45]。为例如，在学习过程中，学生的参与是一个关键的组成部分，AR已被证明是高度激励学生在学习过程中创造更多的参与[38]。在STEM科目中，教师在教学过程中面临许多困难，因为学生缺乏基本的能力、动机、背景知识、鼓励、注意力、自信和科目的其他方面[7]。动觉学习（为了促进“边做边学”或动手学习，手部跟踪技术可以在虚拟环境中发挥至关重要的作用。这些手部跟踪技术在后COVID世界中获得了新的关注，作为避免触摸设备以防止疾病传播的建议[3]。AR教育并不一定需要昂贵的AR HMD，例如微软Hololens，一款带有摄像头的入门级智能手机能够提供基本的AR体验，正如Pokemon GO等AR游戏的成功所证明的那样绝大多数∗ 通讯作者。E-mail地址：Amad-zahid. ucdconnect.ie（M. Zahid Iqbal），abey. ucd.ie（A.G. Campbell）。https://doi.org/10.1016/j.teler.2022.100034接收日期：2022年8月19日;接收日期：2022年12月4日;接受日期：2022年12月5日2772-5030/© 2022作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）可在ScienceDirect上获得目录列表电信和信息学报告期刊主页：www.elsevier.com/locate/telerM. Zahid Iqbal和A.G. 坎贝尔电信和信息学报告9（2023）1000342图1.一、 真实环境，增强现实，增强虚拟和虚拟现实之间的区别由现实-虚拟连续体解释[22]。智能手机能够进行某种形式的AR，并且在未来几年内，即使是最便宜的智能手机也将具有当前最先进的智能手机的能力。这项技术可以帮助学习无处不在，没有任何位置或成本限制;因此，其可访问性使其成为开发未来学习技术的完美目标。此外，在AR环境中探索了几种交互技术，包括触摸、标记跟踪、手势和手部识别[15]。通过使用智能手机提供与虚拟对象的实时手部交互，它们促进了开发动觉应用的有效手段此外，在世界欠发达地区甚至严重贫困国家的贫困地区存在的资源受限环境中，使用廉价智能手机可能至关重要[4，34]。在这些环境中，不可能在教室或个人学习空间中提供学习材料，限制了他们通过动手实践学习科学概念因此，本文中使用的案例研究应用程序将化学的科学主题与资源受限的学习环境的学习场景相结合。一堂旨在提高学生素质的课 初中/高中水平允许虚拟动手学习方法。本文的主要贡献是介绍了AG-ILEST方法：使用机器学习代理，以促进互动动觉学习在STEM教育使用无接触的互动。从根本上说，这种方法并没有取代教师，而是让他们在教学中更加灵活，因为他们可以在任何时候适应这个过程。AR工具应该是用来增强和提高一个人这项研究的核心重点是解决资源有限的环境中的需求，在初中和高中阶段使用动觉学习“从做中学”的方法教授STEM科目中的科学和技术除了与虚拟学习材料的非接触式交互外，该项目还使用AR中的机器学习代理作为虚拟教师和评估员，以允许这种方法在整个教室中扩展。此外，通过将非接触式交互（与3D模型的完全交互，而不仅仅是手势）与虚拟对象相结合，在AR中学习科学主题可以变得更加轻松和富有成效。1. 相关工作在不同的系统评价中，在增强现实学习领域报告了令人印象深刻的结果导向工作，该工作基于学习目标的各个方面，包括增加参与度，减少认知负荷，开发交互式内容[21]，增加动机，教育包容性[37]和内容创作[13，42]。从协作学习到个性化学习从个人空间的学习，从课堂到远程学习，AR由于与真实环境的密切关系而被观众所接受。AR已证明其能够增加STEM教育中学习内容的互动性，如化学[24]，基于探究的物理学习[39]，数学[1]和基于手势的解剖学学习[26]。在AR中测试的动觉学习方法使用Kinect设备通过绘制图形和图案来学习数学[6]和用于基于网络的3D几何学习的leap motion设备，帮助学生以更好的方式学习，但报告了基于手势的交互中的一些采用基于手势的交互方法（使用leapmotion）识别阿拉伯手语，其识别准确率高达88%[14]。此外，在中风康复中采用了类似的交互方法进行徒手交互[27]。最近的一项研究加强了这些结果，该研究报告了如何使用颜色标记在基于智能手机的应用程序中实现非触摸手势的性能提高[36]。AR中面向代理的方法[17]和这些代理的适用性[9]为使用代理来提高STEM教育和技能培训的学习成就提供了机会。据报道，使用这些有意义的会话代理人可以帮助学生在正式学习中以合理的准确度进行同伴评估[28]。在化学中，之前已经测试了基于标记和屏幕触摸的交互，以提供具有虚拟3D模型的交互式学习[20，29]和动手学习[44]，这已经报告了学生在交互式学习方法方面不断增长的兴趣和参与度。还探索了实践学习方法，以发现在虚拟学习中边做边学的有效性[11]。然而，这种交互限于2D屏幕触摸或移动标记以与元素交互来学习化学。在当前的实践学习背景下，存在可扩展性和便携性问题，因为高端HMD对于用户来说是昂贵的，并且如果考虑到leapmotion和Kinect的实时手部交互。增强现实中的新交互技术，如手势，特别是实时手部交互，为增强现实中的交互式学习方法增加了新的价值。例如，在PC装配学习中已经探索了手动装配任务的手部交互潜力[5]。人工智能（AI）机器学习（ML）在实现以人为中心的AI时，为教育实践开辟了新的令人兴奋的机会和潜力[47]。欧阳和焦[33]人工智能在教育中的应用分为三个主要范式。• 人工智能指导，学习者作为接收者• 人工智能支持，学习者作为协作者• AI赋能，学习者即领导者尽管之前的研究在将AR应用于教育方面做出了宝贵的贡献，但几乎没有工作M. Zahid Iqbal和A.G. 坎贝尔电信和信息学报告9（2023）1000343图二. 本研究的四个主要组成部分：实时手部交互，动觉学习，机器学习代理，AR中的远程学习在这些系统中探索虚拟非接触手交互和智能代理的使用。有意义的基于AR的代理[32]和AR应用中的动觉学习的可能性为增强AR技术在教育中的潜力提供了巨大的机会（图10）。 2）的情况。1.1. 研究问题RQ1：与手持AR进行实时手部交互以提高动觉（动手）学习的生产力的可能性是什么？RQ2：3D形式的AR虚拟材料如何帮助在资源有限的环境中使用手部交互方法进行学习？RQ3：机器学习能否在用户培训的沉浸式学习技术中发挥重要作用？2. 系统设计为了研究上述研究问题，本文提出了AGILEST方法，该方法结合了机器学习代理的使用（使用Unity ML代理插件1[25]），Manomotion2与ARFoundation的实时手部交互。整个系统设计架构如图3所示。这种方法侧重于手持设备（智能手机和平板电脑），以接触更广泛的受众。下面的小节将详细介绍这种方法，首先是机器学习、非接触式交互实现，最后概述这种方法提供的学习流程。该设计过程将无接触手交互和自我引导学习的概念转化为。智能手机中的无触摸（真实的手与虚拟物体的交互）技术是最新的进步。2.1. 机器学习代理AGILEST方法允许机器学习代理使用先前训练的数据来训练用户关于化学相互作用。使用ML-Agents，可以通过收集和记录不同的观察来实现各种训练场景，以做出决策，如图6所示，通过使用强化学习[10]进行探索。这种中介的面向代理的方法可以帮助用户了解哪些元素或1https://www.unity.com/products/machine-learning-agents。2https://www.manomotion.com/mobile-ar/。它们将用来产生不同反应的分子。Unity ML- agents插件将机器学习代理集成到系统中以实现这一目标。在图4中解释了ml-代理的学习组件。Unity ML-agents插件允许创建新的或使用预制环境，用于培训代理集成到Unity应用程序中（如图5所示）。这些代理使用Python API来训练学习行为。为了得到统一集成的神经网络模型，通过完成多个事件来处理创建化学反应的交互数据。ML-代理收集用户的手移动、拾取、抓取的观察结果，为了获得更好的稳定性，这在不同的会话中进行了测试，并使用图6（ii）中所示的不同增加的缓冲器尺寸进行了评估，以实现一致性（图6（ii））。 7）。AGILEST方法中的代理使用是双重的，因为它们用于两个方面：• 最终用户培训员• 自我评估它遵循基于奖励的评估，使用用户动作的错误和基于时间的数据。（图8显示了训练数据后的TensorFlow图）。根据强化学习，学习率应该随着时间的推移而下降，如图8所示。最后，ml-代理在相同的功能上进行训练，用户将在下一步（TEST）中使用启发式方法通过手动交互使用。2.2. 手部互动带有ARFoundation框架的Manomotion支持手部跟踪功能，允许用户这种手部交互是使用AR- Foundation中的深度API实现的。通过使用手跟踪信息来帮助用户定位手来实现定制的手。当用户的跟踪手到达任何3D对象并发生碰撞时，它会激活点光源以通知用户交互元素现在是可交互的。相互作用允许用户保持并移动3D立方体元件以产生该化学品的反应，如图9和图10所示。 该应用程序还报告帧处理时间，并提供有关用户手的不同状态（抓取，保持，放下）的信息。反应后，用户会收到音频反馈和振动，告诉他们这两种化学物质何时发生反应，会发生什么，比如最后，应用程序记录完成所有化学反应所需的时间，并将用户发送到QUIZ模块。2.3. 学习流程为了理解机器学习代理和非接触式交互是如何对于机器学习代理，学习流程遵循AI指导，学习者作为接受者和AI授权，学习者作为领导者的概念[33]。如图11所示，用户从LEARN模块开始，到TEST模块，并以基于QUIZ的用户评估结束，该评估将学生的分数报告回Firebase数据库。在LEARN模块中，机器学习代理将采用先前训练的神经网络（NN）模型向用户演示可能的化学相互作用。然后，当用户感觉他们理解了可能的交互时，他们可以移动到TEST模块。M. Zahid Iqbal和A.G. 坎贝尔电信和信息学报告9（2023）1000344图三. 系统结构图，解释系统的组成部分.见图4。Unity ML- agents系统的学习组件，它解释了Python API如何在代理学习环境中工作并训练代理的大脑。根据AGILEST方法，用于训练用户的相同NN模型可以用于评估，以查看用户如何密切跟踪先前代理的移动。它通过将数据反馈到NN模型来实现。在完成学习和测试会话后，用户将进入QUIZ模块。测验的问题是基于化学反应的用户学习和测试在前两个模块。完成QUIZ后，应用程序会显示用户的分数，并将其与之前的最高分数进行比较。根据问题的复杂程度，每个问题都有不同的分数和不同的回答时限每一个错误的答案都会导致负分。用户最终获得的分数显示在屏幕上，并在Firebase数据库中报告其分数与其他用户获得的最高分数的比较。STEM学科的虚拟实验室[35]正在成为VR教育工具中的一个独特领域。然而，对用于在AR中跟踪的显示设备的附加要求增加了更多的复杂性。在纯软件工程方面，使用面向代理的抽象可以帮助创建更多的模块化系统[19]，允许显示和跟踪的分离，使基于AR导师的应用程序更容易开发。将其与面向代理的方法与机器学习（ML）相结合，可以帮助改进大规模评估并自动化学习过程，以实现更个性化的学习[49]和AR/VR远程教育的技术转型[31]。然而，用户并不参与在训练过程中，他的目标是在LEARN模块中向受过训练的代理学习，然后转到“TEST”模块，这是一个练习模块，规则允许在增强现实中进行动觉学习。进入后期M. Zahid Iqbal和A.G. 坎贝尔电信和信息学报告9（2023）1000345图五、 训练后的神经网络（NN）模型的集成。图六、（ i）遵循强化学习概念的ml-代理的处理流程;（ii）用于代理训练的训练器配置中使用的参数。见图7。（i）学习模块，用机器学习代理训练（ii）解释化学反应。见图8。 训练代理的进度。第一个图显示了平均奖励与所走的步数的关系;第二个图是关于平均所花的时间来训练每一集M. Zahid Iqbal和A.G. 坎贝尔电信和信息学报告9（2023）1000346图9.第九条。 当用户的手与任何3D立方体元素碰撞时，它允许抓取并产生化学反应。见图10。用户使用平板电脑与应用程序进行交互，并使用气体，火焰，晶体和液体可视化元素。见图11。使用ML代理，手动交互和MCQs测验的学习流程的概念。例如，为了开发复杂的学习系统，ML代理可以使用实时数据来基于在学习过程期间从不同用户收集的数据来改进性能。这可以在未来的XR培训应用程序开发中考虑。在沉浸式学习领域中，使用ml-agents或由于这项技术将融入沉浸式学习，它将更好地区分脚本代理和训练代理。3. 评价在进行评估时，由于COVID-19出现了许多道德、可及性和卫生问题，特别是在最终用户未满18岁的情况下[43]。欧盟地区的这种情况使得在18岁以下的实际最终用户中进行实验不可能获得伦理批准。作为一种替代解决方案，涉及机器交互的人为因素的研究，特别是18岁以下的研究，采用了专家评审的系统评估。本研究评价的实验设计采用专家评审法，在不同的人机交互条件下进行M. Zahid Iqbal和A.G. 坎贝尔电信和信息学报告9（2023）1000347图12个。 专家审评员的性别分布情况。用于测试涉及人为因素的新应用的交互（HCI）研究[16，41，48]。该评估旨在测试交互手的可用性，采用的方法动觉学习方法和机器学习代理在增强环境中获得反馈的效率。3.1. 参与者招募参与者通过Connected Learning Summit（CLS 21）3InternationalConference of the Immersive Learning Research Network （ iLRN2021）4的在线会议招募。在通过正式邀请电子邮件联系到的46名潜在专家中，19名专家评审员签署了参与同意书，4名专家后来因其设备的兼容性问题而退出。在15名参与研究的受试者中，6名男性，9名女性（图1）。 12个。所有参与者都有研究水平的经验，在扩展现实（XR）作为一般，交互设计和学习技术与发表同行评审的研究论文。 图图13显示了专家评审员的人口统计学，代表了概念和设计评估过程中不同区域的多样性和包容性。考虑到学科专家对所采用方法的了解以及他们在设计改进过程中的参与，我们聘请了两名STEM教师，他们至少有2-4年的中学理科教学经验。这些学科专家在EATEL技术暑期学校期间参与nology Enhanced Learning5由欧洲科学家协会组织，技术强化学习（EA-TEL）亲自进行。第3.5节讨论了主题专家的审查。3.2. 评价程序最初的基于电子邮件的推广活动是邀请年轻的人机交互（HCI）和AR/VR研究人员在确认他们的同意后，这些参与者被提供了用于安装在Android智能手机上的APK，遵循说明，Youtube视频6解释了应用程序的工作原理。作为最后一步，所有这些参与者都得到了一份谷歌表格的问卷，在测试应用程序后填写。3.3. 任务实验包括在兼容的Android手机上安装AR应用程序（如上所述）并测试其可用性，3https://www.2021.connectedlearningsummit.org/。4https://www.immersivelrn.org/ilrn2021/。5https://www.ea-tel.eu/jtelss22。6https://www.youtube.com/watch? v = mQ6D6ItJaG8。包括机器学习代理作为训练者的角色和实时手动交互，以使用3D立方体元素创建化学反应。实验后的任务包括填写一份问卷，该问卷是使用NASA任务负荷指数[18]设计的，据报道，该指数是衡量AR中认知负荷的最佳测试之一[8]，感知灵活性和易用性[12]，以检查可用性主观问卷，以获得定性反馈。NASA任务负荷指数（NASA-TLX）是一种测量和实施主观心理负荷（MWL）的评估方法它涉及六个因素。• 心理需求：完成任务所需的心理需求？• 物理需求：任务完成所需的物理需求？• 时间需求：任务的时间需求和速度？• 业绩：成功完成任务• E组：达到你的表现水平有多难？• 挫折感：完成任务时感到有多恼火、有多紧张、有多恼火？技术接受模型（TAM），如图所示。 14，感知易用性（PUEU）和感知易用性（PU）问卷被用来衡量这些人为因素对新技术的接受程度。• 感知有用性• 感知易用性• 行为意向3.4. 结果根据参与者在测试应用程序后填写的问卷进行了分析。基于问卷中收集的数据，表1和表2提供了关于实时手部交互和机器学习代理的可用性和效率的平均值、中位数和从高到低的分数的信息。图15中的图表显示了表1结果的视觉表示。完成任务所需的体力负荷和体力活动均低于脑力活动。因此，完成任务的时间压力也低于所有其他因素。性能指标更高，第一次理解系统的心理挫折因素（认知负荷）得分也略高，这在第3.5节用户随访访谈中进一步解释。图中的PUEU图。 16表明手交互和机器学习代理的有效性高于所有其他因素。专家评审员对总体可用性的满意度非常高，用户对系统的行为意图也显示出较高的分数。3.5. 后续访谈：用户体验与NASA和PUEU一起，有一个主观调查问卷，以了解用户体验，并以建议的形式获得更详细的答案。在第一次可用性测试中，评审员报告了关于手部交互和ML代理使用的建设性实验感受。此外，对该系统的一致性和可用性的答复非常积极。然而，报告的常见问题与不同API上的帧处理速度有关，例如“三星S7”的用户专家们对一般性可用性问题的一些答复是：• “felt some troubles for initially following the LEARN section, but the gen-eral interaction with the app and with cubic elements is easy after a fewtries”• “它不能用我的手机，但我用的是平板电脑。以前，我用Hololens玩过基于手势的交互，但这种直接的手部交互非常棒。M. Zahid Iqbal和A.G. 坎贝尔电信和信息学报告9（2023）1000348图十三. 专家审评员的地理分布图。表1NASA任务负荷指数问卷回答的数据，包括平均值、中位数、最小值和最大值。问题-美国宇航局任务负荷指数5点李克特量表平均中值MinMax1. 需要多少精神和知觉活动（低-高）2.53132.需要多少体力活动2.52143. 由于任务或任务元素的发生速度，您感到多少时间压力1.81154. 你在执行任务时有多成功2.753255. 为了达到你的表现水平，你必须付出多大的努力（精神上和身体上）2.32146. 在任务过程中，你感觉到的烦躁、压力和烦恼与满足、放松和自满的程度2.6314表2感知易用性和易用性问卷回答的数据，包括平均值、中位数、最小值和最大值。问题-感知的易用性和易用性）7分制李克特量表平均中值MinMax1. 使用3D学习材料的非接触式手交互是否能提高学习成绩？5.26172.使用基于AR的交互方式是否会提高学习效率？5.66273. 机器学习模块有助于学习创建化学反应。4.785274. 通过AR手部互动学习化学反应容易吗4.65175. 与App互动容易吗4.665176. 学习模块容易吗4.354.5267. 用手与3D化学物质互动容易吗？4.064268. 我对学习方法和互动感到满意4.65279. 我会推荐给我的学生或朋友。4.6651710.使用它令人愉快吗5.06527作为使应用程序更具生产力的建议，参与者的反应是：• “adding more learning material on different topics in the app can help tomake the application more• “using spheres instead of• “improving the machine learning part to create more attention”• “adding more learning material on different topics in the app can help tomake the application more• “using spheres instead of• “improving the machine learning part to create more attention”一位与会者赞赏与实际化学品相关的可视化效果，因为“在立方体元素的顶部，您实际上可以看到某些元素的物理外观（例如气体流，蒸汽等）”。这是为了在虚拟学习中创造更多的现实感当谈到• “the most interesting concept was the indication of the hand actions thatappear• “educational part of AR• “hand interaction capability is my参与者对机器学习模块做出不同的反应，像“这个概念在这方面可能是有益的”和“是的，我认为这需要更多的内置课程或学习目标。AR活动如何允许人们应用新学到的知识，或者他们发现了将在反射中形式化的新知识？你可能想看看Kolb的体验式学习模型，“得出一个总体结论，即机器学习在用作预训练学习模块时可以帮助AR学习。通过对学科专家的应用，我们收集了他们对学习流程的反馈，选择了化学案例研究，以及它如何促进学生的学习。总体而言，专家们对使用手部互动进行“动手学习”以及采用机器学习代理来培训最终用户表现出非常自信和令人兴奋的反馈。主题专家建议添加更多的元素来吸引用户参与这个过程，添加更多的视觉效果来表示元素，并在虚拟环境中为用户提供更多的空间的M. Zahid Iqbal和A.G. 坎贝尔电信和信息学报告9（2023）1000349见图14。 技术接受模型[30]。使用机器学习代理的与真实环境上的虚拟对象的实时手部交互能力和用户训练能力的成功实现为在AR学习系统中组合这些元素的可能性的RQ1、RQ 2、RQ 3提供了答案，对沉浸式学习中的动觉活动的有效性以及激励学习的参与因素的增加。3.6. 限制由于远程实验设计、使用的指标和器械兼容性，我们承认我们的结果可能具有有限的通用性。由于COVID- 19大流行限制了最终用户的访问，出于道德问题，采用了专家评审员而不是最终用户（学生）实验研究是关于评估系统的性能，专家评审员对可用性的反馈，通过这种方法激励用户的参与程度，以及主题专家对主题特定事项的建议。由于缺乏对照组实验，本文没有与传统学习、在AR中使用手部交互以及在AR系统中使用机器学习代理由于该应用程序仅为Android设计，因此对iOS用户也有限制。然而，最关键的技术限制是重新-图16. 在7点Likert量表上对感知的易用性和易用性进行评级。要求API 24（Android 7）或更高版本，这意味着Android手机是在2016年之后组装的。智能手机AR中的手部交互可以与虚拟内容直接交互，但与智能手机的视野相比因此，应用程序的方向默认设置为横向，因为宽视野对于更好的手动交互是必要的。评估研究和反馈收集是由已经具有良好AR应用程序使用水平的专家评审员完成的，以便实际最终用户可能面临其他可用性和交互相关问题。图十五岁 NASA任务负荷指数（TLX）的5点Likert量表评分。M. Zahid Iqbal和A.G. 坎贝尔电信和信息学报告9（2023）100034104. 结论和今后的工作本文介绍了AGILEST方法，以演示如何将无接触手交互和机器学习代理相结合，为STEM教育开发智能学习环境。将ML代理集成为最终用户培训师和自我评估的促进者是一种新颖的方法，支持STEM学科学习的应用程序。此外，第3.1节还演示了如何训练神经网络，以反映用于动觉任务的手部运动交互。这项工作旨在为教师提供更灵活的教学，并在资源有限的环境中促进动手学习。与专家评审员一起进行的可用性测试表明，在智能手机中使用基于代理的培训支持的虚拟手交互进行动手学习有助于提高生产力和交互性。此外，专家评审员为了获得学科专家的意见，两名具有中学经验的STEM教师被聘请为学习流程和所采用方法的专家顾问。最后，现实主义方法通过提供与学习材料的实时手交互从评论者那里获得了乐观的反馈。由于资源限制，教师可能无法与学生进行这些化学反应;这种AR解决方案可以帮助克服学习障碍。因此，使用面向代理的方法与手部交互技术，AR可以在创新学习中提供新的可能性，其中由于成本或可用性而不可能提供实际对象。通过交互技术在AR中进行动觉学习是一个新的研究领域。 它提供了一种新的远程学习形式，它的发展对加强学习目标至关重要。然而，该系统的详细评估，比较学生因此，未来的工作将包括控制组实验与学生进行比较，与传统的学习。伦理批准采取适当程序同意参与采取适当程序发表同意书采取适当程序作者本文是第一作者博士论文的一部分。设计、开发、评估和草稿撰写由主要作者完成第二作者监督了这项研究和发现，并为论文的最终草稿做出了竞争利益通讯作者代表所有作者声明不存在利益冲突。作者声明，他们没有已知的竞争性经济利益或个人关系，可能会影响本文报告的工作。数据可用性数据将根据要求提供。引用[1]N.I.N. Ahmad，S.N. Junaini，用于学习数学的增强现实：系统文献综述，Int. J. 紧急情况Technol.Learn. 15（16）（2020）.[2] K. Altmeyer，S.卡普，M.是的，S。Malone，J. Kuhn，R. Brünken，使用增强现实促进干实验室课程中的概念知识获取-理论背景和实证结果，Br. J. Educ.Technol.51（3）（2020）611-628.[3] M.Z. Iqbal，A.G.坎贝尔，对非接触式交互技术的新兴需求互动27（4）（2020）51[4] M.Z. Iqbal，A.G. Campbell，Covid-19，教育，以及巴基斯坦采用学习技术的挑战，互动29（2021）。[5] M.Z. Iqbal，A.G.坎贝尔，无接触手交互和机器学习代理，以支持增强现实中的动觉学习，在：第52届ACM计算机科学教育技术研讨会论文集，2021年。pp. 1322-1322.[6] 不适用Ayala，E.G.门迪维尔山口Salinas，H.里奥斯，动觉学习应用于数学-使用Kinect，Procedia Comput。Sci. 25（2013）131-135。[7] J. Bacca，S.巴尔迪里斯河Fabregat，S. Graf等人，职业教育和培训中的移动增强现实。Sci. 75（2015）49[8] J. Buchner，K. Buntins，M. Kerres，研究特征的系统地图在增强现实和认知负荷的研究中，计算。教育公开（2021）100036.[9] A.G. 坎贝尔，J.W.Sta Baud，T.Holz，G.M.O-Hare，为什么，何时以及如何使用增强现实代理（auRAs），虚拟。真的18（2）（2014）139[10] Z. Cao，K.黄角，澳-地Bai，C.- T. Lin，基于统一强化学习的分层和非分层多智能体交互，载于：第19届自主智能体和多智能体系统国际会议论文集，2020年，pp.2095-2097年。[11]S.- Y. 陈 思 Y. Liu ， Using augmented reality to experiment with elements in achemical course，Comput. Hum.行为举止。111（2020）106418.[12]F.D. 戴维斯，感知有用性，感知易用性和用户接受的，形成技术，MIS Q.（1989）319-340。[13]A.登 格 尔 ， M.Z. 伊 克 巴 尔 ， S 。 Grafe ， E.E. Mangina ， A review on augmentedreality authoringtoolkit for education，Front. 虚拟现实。3（2022）798032。[14]A. Elons，M.艾哈迈德，H. Shedid，M. Tolba，使用跳跃运动传感器的阿拉伯语手语识别，在：2014年第9届计算机工程系统国际会议（ICCES），IEEE，2014年，第100页。368-373.[15]Y. Ghazwani，S.增强现实中的交互：增强用户体验的挑战2020年第四届虚拟和增强现实模拟国际会议论文集，2020年，pp。39比44[16]通用汽车汉考克，C.R.沃伦，A.Wax，加强对紧急替代教学模式的准备27比37[17]B.S. Hantono，L.E. Nugroho，P.I. Santosa，增强现实代理在教育中的回顾-阳离子，在：2016年第6届国际年度工程研讨会（InAES），IEEE，2016年，第。150比153[18] S.G. Hart，NASA-任务负荷指数（NASA-TLX）; 20年后，收录于：《人类因素与人体工程学学会年会论文集》，第50卷，Sage出版物，SageCA：Los Angeles，CA，2006年，第100页。904-908[19]B. Herbert，N.Baghaei，M.Billinghurst，G.Wigley，一个分布式的增强的re-wigley，分布式认知智能辅导范例的能力训练架构（2021）。[20] H.- T.侯，Y.- C. Lin，结合增强现实和虚拟实验室进行化学实验学习的教育游戏的开发和评估，在：2017年第6届IIAI高级应用信息学国际大会（IIAI-AAI），IEEE，2017年，第101页。1005-1006[21]M.- B. 伊瓦涅斯角Delgado-Kloos，用于干学习的增强现实：一个系统的评论，计算。123（2018）109-123.[22] M.Z.伊克巴尔，E。Mangina，A.G. Campbell，EX在增强现实学习应用中探索实时非接触式交互和智能代理，在：2021年第7届沉浸式学习研究网络国际会议（iLRN），IEEE，2021年，第101页。1-8号。[23] M.Z. 伊克巴尔，E。Mangina，A.G.坎贝尔，当前的挑战和未来的研究方向，在增强现实教育，多模式技术。互动。第六条第九款第（2022）项75项。[24] F.S. Irwansyah，Y.优素福岛法里达，文学硕士Ramdhani，增强现实（AR）技术-nology on the android operating system in chemistry learning，in：IOP ConferenceSeries：Materials Science and Engineering，volume 288，2018，p.012068[25] A. Juliani ， V. Berges ， E. Vckay ， Y. Gao ， H. 亨 利 ， M 。 Mattar ， D. Lange ，Unity：智能代理的通用平台，CoRR（2018）。arXiv预印本：1809.02627。[26] A. Karambakhsh，A.卡梅尔湾Sheng，P.李，P.Yang，D. D.丰，深的姿态在-增强解剖学学习的互动，国际信息管理杂志。 45（2019）328- 336.[27] M. 卡戴米 H. 穆萨维 本通 A. 麦肯齐 L. 多达基安， C.V.洛佩斯，S.C. Cramer，与用于中风康复的跳跃运动控制器的徒手交互，在：第32届ACM年度计算系统中人为因素会议的E x tended摘要，ACM，2014年，pp. 1663-1668年。M. Zahid Iqbal和A.G. 坎贝尔电信和信息学报告9（2023）10003411[28] Y.-- C.李，W.- T.傅，支持教育中的同行评估与会话代理，在：第24届智能用户界面国际会议论文集：同伴，2019年，第100页。七比八[29] P. Maier，G. Klinker，Augmented chemical reactions：an augmented reality tool tosupportchemistryteaching ， 2013 年 第 2 届 EXperiment@InternationalConference。at'13），IEEE，2013，pp. 164-165.[30] M. Masrom，技术接受模型和电子学习，技术21（24）（2007年）81页。[31]K. Nesenbergs，V. Abolins，J. Ormanis，A. Mednis，增强和虚拟现实在远程高等教育中的使用：一个系统的伞式审查，教育。Sci. 11（1）（2021）8.[32] 通用汽车O'Hare，B.R. Du déghy，A.G. Campbell，Nexus：混合现实实验与具体意向代理，在：第17届计算机动画和社会代理年会（CASA2004），7月7日至9日，日内瓦大学，瑞士，2004年。[33] F.欧阳，P.