基于多模式融合的智能实验导航系统的研究与应用

引文：韩瑞，冯志全，田景兰，范雪，杨晓辉，郭庆北。基于多模式融合的智能导航实验系统。虚拟现实智能硬件，2020，2（4）：345-353DOI：10.1016/j.vrih.2020.07.007虚拟现实智能硬件2020年12月第4·文章·基于多模式融合RuiHAN1，2，ZhiquanFENG1，2*，JinglanTIAN1，2，XueeFAN1，2，XiaohuiYANG1，2，QingbeiGUO1，21. 济南大学信息科学与工程学院，济南2500222. 山东省网络智能计算重点实验室，济南250022*通讯作者，ise_fengzq@ujn.edu.cn投稿时间：2020年5月7日修订日期：2020年6月14日接受日期：2020年7月5日国家重点研发计划项目（编号：2018 YFB 1004901）;济南市自主创新团队项目（编号：2018 YFB 1004901）。2019GXRC 013）。摘要目前，大多数实验教学系统缺乏操作人员的指导，因此用户在实验过程中经常不知道该做什么。因此，用户负荷增加，并且学生的学习效率降低。针对系统交互性和导航性不足的问题，提出了一种基于多模式融合的实验导航系统。该系统首先通过感知硬件设备获取用户信息，根据获取的信息智能感知用户意图和实验进度，最后为用户进行多模态智能导航过程。作为本研究的一个创新点，本研究采用智能多模式导航系统来指导用户进行实验，从而减轻了用户的负担，使用户能够有效地完成实验。实验结果表明，该系统能够指导用户完成实验，有效地减轻了用户交互过程中的负荷，提高了效率。关键词导航交互;化学实验系统;多模式融合1引言作为一项重要的新兴技术，人机交互和虚拟现实技术正被广泛应用于生活的各个领域。在教育领域，为了更好地辅助老师和学生，很多公司将人机交互和虚拟现实技术应用到产品中，提出了虚拟实验方案，如NOBOOK的虚拟实验系统、网龙的101 VR教室等。然而，大多数虚拟实验系统在实验过程中缺乏对用户的指导，使用户无法理解如何进行实验，从而增加了用户的负担，降低了学习效率。因此，开发一种智能地引导用户进行实验并在实验期间提醒用户特定问题的方法是非常重要的。2096-5796/©版权所有2020北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.com虚拟现实智能硬件2020年12月第4为了解决某实验系统中制导能力不足的问题，提出了一种基于多模式融合的智能导航系统。系统首先通过感知硬件设备获取用户信息，根据获取的信息智能感知用户意图和实验进度，最后为用户进行多模态智能导航本文的创新之处在于：采用智能多模式导航来引导用户进行实验，从而减轻了用户的负担，使用户能够更好地完成实验。它可以有效地减少交互过程中的用户负载，提高实验效率。第二部分介绍了与教学系统相关的前人研究。第三部分介绍了系统的设计与实现。第4节描述并分析了实验结果。第5节介绍用户体验。最后，第6节提出了一些结论性意见。2相关研究在教育领域，许多专家和学者致力于为学生和教师提供更好的学习和教学方法。2002年，Lesta等人提出了一个用于命题逻辑教学的智能教学辅助系统logic-ITA[1]。2003年，Zhao等人提出了计算机辅助语音教学系统的结构。该系统旨在帮助母语为汉语的人提高英语发音[2]。2011年，Huang等人提出了一种基于无标签增强现实的钢琴教学系统，可以自然地跟踪钢琴的真实键盘[3]。通过在键盘上添加虚拟手，初学钢琴的学生可以练习弹钢琴。2013年，Özcan等人提出了一种创新的基于Web的自适应智能网络学习系统，称为UZWEBMAT[4]。此外，Yan等人提出了基于物联网RFID技术的ISIC-CDIO教学实验系统[5]。GAO等设计了高分子化学可视化教学系统[6]。Sun等人提出了一个计算机辅助教学系统，用于区分汉语声调的自学[7]。2014年，谢先生提出了故障电子设备的维修教学模型，并将该模型应用于此类设备的故障原理与维修教学系统的设计[8]。此外，Lin等人提出了一种新的教学系统，使用户能够轻松操作机器人手臂并完成各种教学任务[9]。该教学系统由教学笔、笔上的光学标记、运动捕捉系统和笔尖估计算法组成。利用运动捕捉系统捕捉标记位置，采用笔点算法精确计算出示教笔的姿态，并对机器人框架进行控制。2015年，Luan提出了一个用于液压传动的虚拟仿真教学系统，具有方便的操作和交互功能[10]。2016年，Li等人提出了一种基于学习分析的自适应网络教学系统[11]。此外，Hsiao等人提出了一套适合对外汉语学习者的自适应补救教材[12]。汉语听说诊断与补救教学系统将计算机诊断测试与教材相结合，对听力理解和口语任务中的错误进行诊断。Chen等人提出了将运动仿真应用于虚拟投篮教学系统，为篮球运动员的训练提供了科学的参考数据[13]。2017年，Wang等人提出了基于微课的电子类专业在线视频教学系统[14]。此外，Lou还提出了平面设计课程的虚拟现实教学系统[15]。2018年，邓小平提出了一种基于云计算的人机对话式英语教学系统的设计方法[16]。Feng等人利用虚拟现实（VR）实现了测量学习系统，其中学生使用的各种测量仪器可以通过VR构建[17]。Liu等人提出了一346韩瑞等：基于多模式融合的智能导航实验系统小学数学四则运算教学体系[18]。Li等人提出了一种利用虚拟仿真系统进行数控工程训练的教学方法，可以帮助学生掌握不同数控机床的理论知识和实践及解决问题的技能[19]。2020年，Gao等人利用虚拟仿真技术开发设计了一套高速列车维护的实验教学系统[20]。目前，许多教育系统缺乏对用户的指导，这增加了用户的负担。因此，为了减轻用户的负担，提出了一种基于多模态融合的智能导航系统。该系统通过对用户意图和实验进度的智能感知，为用户实现多模态的智能导航。这种在实验过程中为用户导航的交互方式，可以引导用户更好地完成实验，有效减轻用户负担，提高实验效率。3系统设计与实现3.1实验装置图1显示了硬件设备的照片。每个设备所使用的传感器及其位置都标记在图表上。该设备通过多个传感器捕获用户动作，并使用MQTT协议将其传输到计算机软件应用程序。同时，需要Kinect硬件设备来捕获人手位移数据并将其传输到计算机软件应用程序。图1硬件设计图。硬件设备使用Kinect2.0、计算机和3D打印的实验模拟设备（包括传感器）。对于软件环境，应用了Windows10，Unity 2018，Visual Studio 2015和百度语音。最后，对于编程语言，使用C#。3.2导航交互模式导航交互设计基于有意行为节点和虚拟场景信息。意向行为节点是用户对系统多模态信息的感知描述，是交互的基础。具体交互设计如下（图2）：(1) 对意图行为节点集合NQ中的节点进行过滤，并将待执行的节点集合WNQ347虚拟现实智能硬件2020年12月第4图2交互设计。（详见3.2.1;NQ是意图行为节点的集合，由动作、对象和属性组成，WNQ是检查是否可以直接执行之前的状态(2) WNQ中的有意行为节点被应用。如果可以执行，则执行，否则提供语音指导用户操作（详见3.2.2）。(3) 通过导航系统监控实验进度并引导用户进行实验（详见3.2.3）3.2.1意图行为节点由于在化学实验中需要同时操作，该系统支持双操作意图的感知。由于可能会过滤出一两个意图行为节点，因此过滤出用户实际想要执行的节点是交互的先决条件。这是针对两个具有相同活动对象但不同意图的节点进行过滤的重点，因为可能存在无法同时执行的情况（意图行为节点包含活动对象，一般是主要发送信号的实验设备）。处理方法如下：(1) 确定NQ中元素的数量如果只有一个元素，则直接将其添加到要执行的WNQ节点集。如果有两个元素，并且如果它们的活动对象相同但具有不同的意图，则执行步骤2;否则，NQ被用作要执行的节点集WNQ(2) 根据最短意图转换路径方法SRP（Node）（详见3.2.2），确定两个元素的活动对象是否可以从当前意图到达其新意图。如果它们都可以直接到达，则执行步骤3;如果不能，则使用NQ作为要执行的节点集WNQ(3) 通过要求用户选择要执行的意图节点，另一节点被设置为无效节点。3.2.2预期行为节点指示系统根据过滤的节点进行交互。在节点执行过程中，根据最短意图转换路径方法SRP（Node），对WNQ（set of nodes to be executed）中节点的意图转换进行路径规划。如果可以直接转换，则直接执行intent节点。如果不是，则向用户提示计划的最短意图转换路径。最短转换路径方法SRP（Node）是基于图论的。对于每个对象，创建意图转换图来表示不同意图之间的转换。在知识库中保存有最短变换路径表SR 意图、变换要求表TPR 意图、必要性意图表TK 意图（TK意图图3显示了SRP（节点）方法。首先，根据TPR意图表，该方法确定节点是否满足意图转换条件。348韩瑞等：基于多模式融合的智能导航实验系统图3SRP（节点）方法。如果满足转换条件，则根据SR意图表，获得对象的当前意图转换为新意图的最短路径R节点如果路径指示新意图可以在该操作的内部直接到达，则该节点是可执行的“N节点”;如果在执行之前需要操作上的预定义，则R节点是计划的最短意图转换路径IR节点。如果不满足转换条件，则必须首先执行的Intent（所需Intent）将从TKIntent表派生。然后，根据SR意图表，将从当前意图到必要意图的最短路径与从必要意图到新意图的最短路径进行拼接，以获得最终规划的转换路径IR节点。3.2.3系统导航设计采用交互式导航方法，包括语音导航和视觉导航，实时监控用户的操作和实验进度。(1) 语音导航为了减轻用户的负担，本文提出了一种在实验过程中进行导航的方法。当用户犯了常识性错误（如违反实验仪器的操作方法）时，按照规划的路径提示用户，不仅告诉用户操作不合理，还降低了实验无法继续进行的风险。对于实验关键知识，系统支持探索性实验（即可以观察到错误操作的实验现象），使学生对化学关键知识有更深的理解。在此过程中，系统会对实验现象进行反馈和解释，并指导用户进行正确的操作。此外，该系统将自动监控实验进度，并在关键节点设置语音导航，在操作过程中指导用户。与传统方法（仅在实验开始时应用简单导航）相比，这种在实验过程中进行导航的方法可以更好地减轻用户负担，降低由于未知系统操作方法而导致实验无法完成的风险(2) 视觉导航本文中呈现的系统使用虚拟电子屏幕来引导用户。实验中的关键步骤都呈现在屏幕上，让用户在操作过程中按照屏幕上的提示进行操作。视觉和语音导航一起使用。视觉导航更侧重于提供实验步骤，而语音导航更侧重于在实验过程中动态生成的操作的导航。4实验结果及分析4.1实验结果该系统主要采用Unity3D进行设计，并将多模信号传输到Unity3D进行融合。349虚拟现实智能硬件2020年12月第4在这项研究中，所提出的系统的有效性进行了验证，通过稀释实验浓硫酸和碳化实验，使用蔗糖。图4（a）显示了在意图转换期间进行的操作检查。在浓硫酸稀释实验中，在锥形瓶上安装漏斗之前，需要将试剂装在锥形瓶中。因此，当锥形瓶中没有试剂时，需要先向锥形瓶中加入试剂，然后将分液漏斗安装在锥形瓶上。此时，基于SRP（节点）方法智能地提示用户。图4（b）示出了智能语音导航系统。在蔗糖碳化实验中，应使用玻璃棒搅拌试剂以加速反应。因此，系统使用语音导航提示用户搅拌。图4基于多模式融合的导航实验系统。(a)操作检查;（b）语音导航。4用户体验为了评价本文提出的基于多模态融合的导航式化学实验系统，邀请了来自暨南大学附属小学、章丘中学、章丘市五中学校和莘县实验高中的41名学生参与。此外，本发明还提供了一种方法，邀请了12名教师加入，共测试了53人（选择了稀释浓硫酸的实验）。图5显示了使用NOBOOK虚拟实验系统（简称NOBOOK系统）和本文提出的基于多模式融合的导航化学实验系统（简称本系统）的用户。NOBOOK系统基于鼠标或触摸屏进行交互，仅在实验开始时应用导航。该系统采用基于仿真设备、语音和视觉的交互方式，在整个实验过程中进行智能导航。它允许学生进行实验，教师亲自演示实验。通过调查问卷和描述，用户可以评估图5用户体验(a)（1）系统;（2）系统。350韩瑞等：基于多模式融合的智能导航实验系统不同的系统。图6示出了两个实验系统的用户体验的统计图。图中各指标数据为统计后的平均值。每个项目的评分从0到5分。其中，得分较低的是前四个项目（即。例如，心理要求、身体要求、挫折程度、独立完成实验的难度），系统体验越好;其余项目得分越高，系统体验越好。图6用户体验比较。与NOBOOK虚拟实验相比，本文提出的导航系统有效地降低了用户的心理需求（用户需要记住如何使用系统）、身体需求、挫折程度和独立完成实验的难度。有效地提高了用户的学习效率，让用户感觉更加轻松。四、结论针对目前实验系统中存在的交互性和引导性不足的问题，提出了一种基于多模式融合的智能导航系统。系统首先通过感知硬件设备获取用户信息，根据获取的信息智能感知用户意图和实验进度，最后为用户进行多模态智能导航。作为本文的创新之处，采用多模式智能导航的方式引导用户进行实验，减轻用户的交互负荷，使用户能够有效地完成实验。实验结果证明，本文提出的导航交互系统可以有效地降低心理需求，身体需求，挫折程度，和独立完成实验的难度。它有效地提高了用户的学习效率，并使用户感到更加轻松。因此，该系统可以有效地减少用户负载，提高学习效率。351虚拟现实智能硬件2020年12月第4引用1Lesta L，Yacef K.逻辑学智能教学辅助系统。在：智能辅导系统.柏林，海德堡，施普林格，2002年，421DOI：10.1007/3-540-47987-2_452赵天玲，贾玲，陆永芳，韩世平，李春玲.一个中国人学习英语的语音自动教学系统。IEEE InternationalConference on Robotics，Intelligent Systems and Signal Processing机器人、智能系统和信号处理国际会议湖南长沙，IEEE，2003，1157-1161DOI：10.1109/rissp.2003.12857543黄芳，周英，余英，王正清，杜世东. Piano AR：一个基于无标记增强现实的钢琴教学系统。2011年第三届智能人机系统和控制论国际会议。浙江，中国，IEEE，2011，47-52DOI：10.1109/ihmsc.2011.824乌兹尤特·巴基·A·一种创新的个性化自适应智能网络学习系统的设计与开发概率单元的教学：UZWEBMAT的细节。专家系统及其应用，2013，40（8）：2914DOI：10.1016/j.eswa.2012.12.0085严宏，胡惠英.基于物联网RFID技术的ISIC-CDIO教学实验系统的研究与实现。生物纳米科学杂志，2013，7（6）：696DOI：10.1166/jbns.2013.11726高俊，张智，宋强，丁勇，李强，林勇。高分子化学可视化教学系统的设计与实践。聚合物通报，2013，35（2）：947孙Q，刘S，Sunaoka K，Hiki S.汉语声调CAI自学系统中语音音高模式的可视化显示。美国声学学会学报，2012，131（4）：060007DOI：10.1121/1.48875058导弹装备电子故障原理与维修教学系统设计。 中国系统仿真技术及其应用学术会议. 20149林惠仪，林永华.一种新型工业机器人示教系统。传感器（瑞士巴塞尔），2014，14（4）：6012DOI：10.3390/s14040601210Luan F.基于Unity3D的液压传动虚拟仿真教学系统开发。201511李军，苏正，黄勇，苟新。基于学习分析的自适应网络教学系统设计。现代教育技术，2016，26（6）：11312萧宏生，张春生，林春英，陈波，吴春华，林春英。听说诊断与辅导教学系统之开发与评估。英国教育技术杂志，2016，47（2）：372-389 DOI：10.1111/bjet.1223713Chen G，Chen N.虚拟篮球投篮教学系统中的运动仿真。International Journal of Online Engineering（IJOE），2016，12（2）：55DOI：10.3991/ijoe.v12i02.504914王宝，李英，杨丽.基于JSP的电子类专业微课程教学系统设计。河南科技，2017（5）：1515Lou M Y.平面设计课程虚拟实境教学系统。International Journal of Emerging Technologies in Learning（IJET），2017，12（9）：117DOI：10.3991/ijet.v12i09.749216邓林明基于云计算的人机对话英语教学系统设计。2018智能交通国际会议，大数据智慧城市（ICITBS）。厦门，中国，IEEE，2018，283-286DOI：10.1109/icitbs.2018.00079352韩瑞等：基于多模式融合的智能导航实验系统17冯军，张丹，李伟，董丽.基于虚拟现实的辅助教学系统设计。中国科技信息，2018（1）：5718刘涛，闵鹏，肖宏.基于JAVA的小学数学算术教学系统的设计与实现。计算机与数字工程，2018，46（4）：65519李燕霞，张丹，郭宏霞，沈继艳.一种新型数控加工虚拟仿真教学系统。国际机械工程教育杂志，2018，46（1）：64DOI：10.1177/030641901771542620高乙，刘志，霍凯，焦芳.基于虚拟仿真的高速动车组维修技术实验教学系统开发。实验技术与管理，2020，37（3）：139353