虚拟现实中的力觉反馈在摩擦力虚拟实验室中的应用及其效果

虚拟现实智能硬件2019年第4期引文：马卓洛，刘跃，赵璐。触觉反馈对摩擦力虚拟实验室的影响。虚拟现实智能硬件，2019，1（4）：428-434DOI：10.1016/j.vrih.2019.07.001·文章·力觉反馈在摩擦力虚拟实验室中的应用ZhuoluoMA1，YueLIU1，2*，LuZHAO11. 北京理工大学光学与光子学院混合现实与先进显示北京工程研究中心，北京1000812. 北京电影学院国际电影节，北京100088*通讯作者，liuyue@bit.edu.cn投稿时间：2019年3月6日修订日期：2019年5月5日接受日期：2019年5月14日国家重点研究发展计划（2018 YFB 1005002）;国家自然科学基金（61631010）; 111项目（B18005）。摘要背景随着近年来多媒体设备在教育中的利用率的增加，用于教育的新的触觉设备已经逐渐被采用和开发。与视觉和听觉通道相比，具有触觉通道的应用的开发仍处于初始阶段。例如，不清楚力反馈如何影响教育应用的教学效果和用户的主观感觉。方法在本研究中，我们设计了一个带有触觉设备（Haply）的教育应用程序，以探索力反馈对自我学习的影响。实验组中的受试者使用设计的应用程序来研究摩擦力反馈，而控制组中的受试者在没有力反馈的情况下学习相同的知识。设计了后测和问卷来评估学习效果。结果/结论实验结果表明，力反馈有利于教学应用，使用触觉设备可以提高应用效果，激励学生。关键词 触觉反馈;科学教育;虚拟实验室;多媒体教学1引言在科学课程中，实验可以激发学生的学习动机，提高学生的学习效果。传统上，学生使用真实世界的物理材料和设备进行实验。物理环境为学生提供物理实践经验[1]。近几十年来，已经开发了教学计划，可以为学生提供虚拟实验室进行科学实验。虚拟环境提供了额外的视觉信息，以帮助学生理解力矢量和场线等科学现象，这些在现实世界中是不可见的。为了在虚拟环境中实现可触知的操作，研究人员尝试在虚拟环境中加入触觉反馈装置，通过触觉通道提供更多的信息，提高学习效果。近年来，已经开发和评估了各种具有触觉设备的虚拟实验室，研究人员进行了比较实验，以探索触觉设备对虚拟实验室的影响。现有的证据表明，触觉反馈有利于学习物理知识，www.vr-ih.com429Zhuoluo MA et al：触觉反馈对摩擦力虚拟实验室的影响如齿轮[3]、电磁[4]、风力场[5]和重力[6]等主题。然而，也有一些情况下，触觉反馈似乎没有改善学习的结果，例如。例如，在一个实施例中，关于生物分子结合-分子力场[7]和杠杆原理[8]等科学知识。从上述文献中可以看出，不同实验的结果是不一致的。可能影响结果一致性的因素包括课程程序、课程领域、知识库中的先前经验以及不同感觉通道中的认知负荷[9]。然而，并没有充分的证据来说明这些因素如何影响学习的结果在虚拟实验室。在这项研究中，开发了一个新的虚拟实验室研究摩擦，并将一个低成本的触觉设备集成到虚拟实验室提供力反馈。设计了一个实验来比较不同条件（仅视觉条件与视觉和触觉条件）对学习摩擦的影响。实验结果表明，在虚拟实验室中提供触觉反馈有利于学习，但不影响被试对虚拟实验室的评价。2触觉学习系统摩擦力是物理学中的一个重要概念。学生通过物理课程中的实验来学习摩擦力的概念。基于物理实验，开发了一种新型的带触觉装置的视-触觉仿真教学方法。在这一部分中，触觉设备和相应的界面设计的模拟的细节。2.1触觉设备模拟的触觉反馈通过图1中所示的称为“Haply”的2自由度缩放仪装置来传达。Haply设备是HaplyRobotics Inc.开发的用于触觉应用的强大且适应性强的开源硬件开发平台。[10]第10段。Haply装置类似于Gianni Campion等人开发的Pantograph Mk-II。[11]用于机械结构和器件表征。Haply应用程序编程接口（hAPI）用于与Haply通信，供用户控制触觉装置的力输出。Haply器械的输出准确等于软件中设定的力大小[10]。可以通过切断Haply设备上的电源来关闭力反馈。在这种模式下，Haply的行为就像一个电脑鼠标。2.2界面设计使用Unity3D以及用于与Haply设备通信的hAPI来实现视觉-触觉模拟。图2显示了视觉-触觉模拟的屏幕截图。软件界面由一个交互面板和四个参数面板组成。在交互面板中，一个虚拟的盒子被渲染在平地上，并通过末端进行导航图1 Haply[10]。Haply装置的效应器。箱子的底部与地面接触，箱子的运动方向与地面平行。在交互面板的左下角，有一个显示摩擦力数值的面板。绿色箭头表示摩擦力的大小和方向。430虚拟现实智能硬件2019年第4期图2视觉-触觉模拟界面的屏幕截图。在参数面板中，设计了通过点击鼠标可选择的按钮，用于调整箱子和地面的参数，例如箱子的质量、箱子和地面之间的接触面积以及箱子和地面的材料（木材、石头、冰和金属）。该软件模拟了箱子与地面之间的动摩擦力，并通过Haply设备的末端执行器为用户提供触觉反馈。这些材料之间的动摩擦指数是通过最近的一项研究[12]中提供的方法测量的，结果在网站（https：//github. com/mazhuoluo/VRIH/blob/master/Kinetic% 20friction% 20index）。根据用户在参数面板中设置的参数计算反馈力的大小。3实验设计3.1参与者总共招募了20名健康个体，17名男性和3名女性。参与者是来自中国人民大学附属中学的初中二年级学生。招募的学生年龄从12岁到14岁不等。受试者被分成两组，每组10名学生。一个团队（V+H团队）在学习部分使用具有触觉反馈的虚拟实验室，而另一个团队（V团队）使用没有触觉反馈的虚拟实验室。3.2实验过程本研究的实验过程分为四个部分：背景调查、学习、测试和评价。在背景调查部分，受试者被要求填写一份关于他们的年龄和他们对摩擦概念的理解程度的问卷，以及他们是否使用过触觉设备或虚拟实验室系统。所有被选中继续实验的受试者都有使用虚拟实验室系统学习的经验，但没有使用触觉设备的经验。431Zhuoluo MA et al：触觉反馈对摩擦力虚拟实验室的影响在学习部分，受试者坐在舒适的椅子上，面对台式电脑，并使用鼠标和Haply设备与虚拟实验室系统进行交互。首先，介绍了Haply设备和虚拟实验室。受试者被教导如何调整盒子和地面的参数，以及如何操作Haply设备来移动虚拟对象并感受力反馈。允许受试者在3分钟内熟悉虚拟实验室。然后，受试者开始研究摩擦的概念与建议的系统。与此同时，一个关于摩擦材料的课程被交给了受试者，并根据8年级的物理教科书编写。材料由两部分组成：（1）摩擦介绍和（2）实验说明。通过阅读引言，受试者能够理解摩擦力的概念。受试者根据实验指导，在虚拟实验室中进行实验，发现摩擦力与几个因素之间的关系，并将实验结论写在纸上。受试者一旦理解了摩擦知识，或在该部分停留了30分钟，就可以停止学习。在测试部分，受试者进行了关于摩擦知识的纸笔测试。从最近的一项研究中选择了10个关于摩擦的问题[12]，并修改了这些问题中的一些参数。这些题目都是选择题，每题有四个选择。三个问题（概念问题）涉及摩擦的概念，只有在阅读课程材料后才能理解，七个问题（实验问题）涉及影响摩擦的大小或方向的因素，只能通过使用虚拟实验室学习。因此，纸笔测试可以评估使用软件的学习结果和理解教科书的能力。在评估部分，受试者填写了一份关于虚拟实验室和学习过程的评估问卷，如表1所示。受试者就学习支持、动机增强、项目总体评价等5个问题进行1 ~ 5分的评分，1分表示不同意，5分表示同意。最后，受试者花了一些时间讨论整个过程中的问题，并记录结论。Table1评估探索将根据实验室的要求对受试者的费用进行评估指数Q1Q2Q3Q4Q5问题我想我花了更短的时间来学习如何使用自己的应用程序。我认为使用应用程序增强了学习的动力。我认为这个应用程序对我学习摩擦学很有帮助。 我认为应用程序减少了我的认知负荷。我认为使用应用程序的体验很好。4结果和讨论4.1基于纸张的测试在考试部分，受试者可以在纸笔测试中每道题获得一个分数，测试结果如图3所示。计算两组学生概念题和实验题成绩的平均值。采用双尾t检验来评估两个团队在纸上测试中的差异。V+H组和V组在概念问题得分上的差异不显著（p=0.784），表明两组具有相同的阅读和理解文本的能力。同时，在实验题测试中，V+H组（平均值=5.4）的成绩优于V组（平均值=4.6）。两组之间存在统计学显著性差异（p=0.032 0.05），表明实验题测试结果的差异虚拟现实智能硬件2019年第4期432在虚拟实验室中加入触觉反馈可以提高物理学中摩擦概念的学习效果。在提供触觉反馈的操纵的科学实验中，提供了额外的（触觉）信息通道，允许受试者接收有关所涉及的操纵的进一步信息[9]。这种额外的（触摸）感觉通道的一个关键优点是，它启动了一种卸载认知机制，通过这种机制，图3纸上测试的结果。此处，*p0.05。在学习过程中，个人的工作记忆会减少，从而支持更复杂理解的发展。在学习部分，受试者没有通过视觉通道观察屏幕上摩擦力的大小，而是选择通过触觉通道感受它。因此，一些通常通过视觉通道传递的信息，反而通过触觉的感官通道传递。V+H组受试者视觉通道的认知负荷在不增加总认知负荷的情况下降低，导致摩擦概念学习效果更好。4.2评价问卷评价问卷结果方面，两个团队在5个问题上没有差异，所有问题的得分都在4分以上，如图4所示。这表明两个团队对虚拟实验室和实验过程给予了积极的评价。有两个原因可以解释这个结果。首先，根据背景调查的结果，大多数受试者没有与虚拟环境中的触觉设备进行交互。受试者不熟悉虚拟实验室，对它非常感兴趣，从而提高了两个团队的动力。第二，相同的视觉信息被传输到两个团队，足以帮助受试者理解有关摩擦的所有知识，导致两个团队相信使用虚拟实验室学习摩擦是有效的。由于本研究没有涉及虚拟实验室，这些问题的得分受到个体差异的影响。高分数并不表明虚拟实验室具有良好的性能，而是表明具有触觉反馈的系统的性能与没有触觉反馈的系统的性能被试只有在经历了两种学习条件后才能对两种学习条件做出不同的评价。然而，如果受试者同时经历了两种学习过程，i。例如，在有无触觉反馈的情况下，前一个实验前和后一个实验前对摩擦知识的理解程度会有所不同。在一项研究中[13]，受试者在虚拟实验室的不同场景中学习不同的知识。程序保证先验知识在图4评价调查表的结果。433Zhuoluo MA et al：触觉反馈对摩擦力虚拟实验室的影响在不同的条件下，受试者开始学习。然而，这个学习过程的共同问题是，不同的学习内容导致不同的学习困难。这可能会影响学习的结果，破坏学习内容在不同条件下的一致性。根据实验后被试的反馈，我们总结了两个关键的建议，对系统和实验程序。一个建议是，应该在虚拟实验室中提供更多的材料。受试者表示，他们愿意体验他们熟悉的材料。另一个建议是，纹理模拟应该添加到系统中，以增强真实感。一个真实的模拟导致先前的经验和实验之间的联系。4.3限制我们的研究还存在一些局限性。首先，在我们的实验过程中，在学习部分之前没有预先测试。由于受试者之前不了解摩擦力，因此在之前的测试中得分较低，结果对本研究不具有显著性。因此，先前的测试被取消。第二，课程材料和试卷是用中文写的，因此我们的学习结果可能与用英文写的其他人不同。中国受试者在学习知识时，阅读用中文书写的概念是有益的，他们在理解文本方面几乎没有压力。以前的研究[13，14]使用陈述性问题测试来评估受试者对知识的理解。这些答案真实地揭示了虚拟实验室中学习的结果，但这种分析过程很难让其他研究人员重现。有鉴于此，本研究选择了客观问题测试作为实验过程的评价方法。5结论在这项研究中，提出了一个虚拟实验室与触觉反馈设备（Haply）的摩擦的概念学习，并进行了实验，以调查视觉触觉条件和视觉条件的学习效果。从实验结果可以看出，在虚拟实验室中加入触觉反馈可以提高学生的学习效果，但学习条件并不影响虚拟实验室的评价。在未来，我们将通过减少视觉通道的负载来优化我们的虚拟实验室，或者通过在触觉设备中添加振动组件来优化触觉渲染。随着虚拟实验室的不断完善，将在更多的受试者中进行新的实验，以研究触觉设备对虚拟实验室的影响。引用1放大图片作者：J. T.科学和工程教育中的物理和虚拟实验室。科学，2013，340（6130）：305DOI：10.1126/science.12305792[10] Walsh Y，Magana A，Yuksel T，Krs V，Ngambeki I，Berger E，Benes B.识别视觉触觉模拟设计的物理操纵工具的启示。在：2017年ASEE年会博览会论文集。俄亥俄州哥伦布市，2017年DOI：10.18260/1-2-278453Han I，Black J B.物理学习中的触觉反馈模拟。计算机教育2011，57（4）：2281-2290DOI：10.1016/j.compedu.2011.06.0124Shaanxi U A S，Magana A J，Neri L，Escobar-Castillejos D，Noguez J，Benes B.大学生对触觉学习经验的概念诠释与知觉国际教育技术杂志虚拟现实智能硬件2019年第4期434在高等教育，2017，14：15DOI：10.1186/s41239-017-0053-25Özgür A，Johal W，Mondada F，Dillenbourg P. Windfield：用手持触觉机器人演示风气象学。在：2017年ACM/IEEE人机交互国际会议-HRI'的伴侣会议录17.奥地利维也纳，美国，ACM出版社，2017，48DOI：10.1145/3029798.30366646[10]杨文，李文，李文.触觉增强模拟对K-12学生成绩和物理态度的影响。欧亚数学杂志，科学技术教育，2014，10（6）：565-574DOI：10.12973/eurasia.2014.1122a7[10]张文辉，张文辉.设计和评估生物分子教育的触觉系统。2007年IEEE虚拟现实会议。2007年，171-178 DOI：10.1109/VR.2007.3524788[10]杨文，李文.触觉反馈和学生对杠杆的学习：揭示模拟触摸的效果。计算机教育，2009，53（3）：667-676DOI：10.1016/j.compedu.2009.04.0049Zacharia Z C.通过实验研究触觉反馈是否对科学学习是必要的：对K-16两条不同研究路线的文献综述。教育研究评论，2015，16，116-137 DOI：10.1016/j.edurev.2015.10.00110偶然。https://github.com/HaplyHaptics11坎皮恩湾Pantograph Mk-II：触觉工具。三维触觉纹理的合成：几何，控制和心理物理学。Springer系列触摸和触觉系统。London，Springer，2005，45-58 DOI：10.1007/978-0-85729-576-7_312彭青物理（8年级，第二卷）。北京：人民教育出版社，2002，2213作者：J.调查学生对浮力的看法和触觉反馈的影响。科学教育与技术学报，2016，25（2）：187DOI：10.1007/s10956-015-9585-114Yuksel T，Walsh Y，Krs V，Benes B，Ngambeki I B，Berger E J，Magana A J.探索视觉触觉模拟的启示，以学习摩擦的概念。In：2017 IEEE Frontiers in Education Conference（FIE），2017，1-9 DOI：10.1109/FIE.2017.8190471