化学实验增强现实中多通道交互设计与应用的虚拟现实智能硬件

引文：肖梦婷，冯志全，杨晓辉，徐涛，郭庆北。化学实验增强现实中多通道交互设计与应用虚拟现实智能硬件，2020，2（4）：291-304DOI：10.1016/j.vrih.2020.07.005虚拟现实智能硬件2020年12月第4·文章·化学实验增强现实中多通道交互设计与应用孟婷XIAO1，2，ZhiquanFENG1，2*，XiaohuiYANG1，2，TaoXU1，2，QingbeiGUO1，21. 济南大学信息科学与工程系山东济南2500222. 山东省网络智能计算重点实验室，济南250022*通讯作者，ise_fengzq@ujn.edu.cn投稿时间：2020年3月27日修订日期：2020年6月4日接受日期：2020年6月20日国家重点研发计划项目（2018 YFB 1004901）;济南市自主创新团队项目（2019 GXRC 013）。摘要背景增强现实教室已经成为教育领域一个有趣的研究课题，但也存在一些局限性。首先，大多数研究人员使用卡片来操作实验，大量的卡片给用户带来了困难和不便。其次，大多数用户只在视觉模式下进行实验，这种单一模式的交互大大降低了用户的真实交互感。为了解决这些问题，我们提出了基于增强现实的多通道交互算法（ARGEV），它是基于增强现实中的视觉和触觉反馈。此外，我们设计了一个虚拟和真实的融合互动工具套件（VRFITS）与手势识别和智能设备。方法ARGVE方法融合手势、智能设备和虚拟模型。我们使用卷积神经网络训练的手势识别模型来识别AR中的手势，并在识别五指抓握手势后触发振动反馈。通过建立真实手与虚拟模型之间的坐标映射关系，实现手势与虚拟模型的融合。结果手势识别的平均正确率为99.04%。我们验证和应用VRFITS在增强现实化学实验室（ARCL），和ARCL的整体操作负载减少了29.42%，相比传统的模拟虚拟实验。结论在ARCL中实现了手势、虚拟模型和智能设备的实时融合。与NOBOOK虚拟仿真实验相比，ARCL提高了用户的真实操作感和交互效率。增强现实;手势识别;智能设备;多通道交互;增强现实化学实验室1介绍虚拟实验是信息智能领域的重要研究方向[1]。它也是人机交互（HCI）的一个重要研究领域。虚拟教学方法采用增强现实（AR）2096-5796/©版权所有2020北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.com虚拟现实智能硬件2020年12月第4实现从二维（2D）空间到三维（3D）空间的变换的模拟。这些方法有助提高学生的学习兴趣，并丰富学习经验[2]。AR技术包括同步定位和地图（SLAM）[3]，卡标记识别[4]和手势交互技术[5]。在教育领域，大多数AR研究都是基于手机、iPad或电脑，不需要任何头戴式显示器（HMD）。这有利于用户友好的操作。Sun使用Vuforia软件开发工具包（SDK）来识别标记卡片，并构建了一个具有声音动画系统，手势交互，粒子效果，实时颜色映射和游戏交互功能的AR学习环境[6]。研究表明，AR学习可以激发用户的想象力。Fidan等人开发了一种基于AR技术的软件，称为FenAR，以支持课堂上的学习活动[7]。研究表明，将AR融入学习活动可以提高学生的学习成绩。但实验中用户操作多张卡片，操作复杂，交互仅限于借助外部对象与虚拟模型进行交互。互动性被忽视，尤其是在中学化学实验的学习和理解中，没有实际动手操作是学不到的。已经提出了基于手势识别的AR方法来增强动手操作。Dave等人结合了AR和手势，并使用自适应手部分割和姿势估计方法来识别虚拟实验中的手势，用户可以用自己的手模拟实验[8]。Alberbili等人开发了一个带有手势操作的AR几何教学系统，并验证了中学生3D思维能力的个体差异[9]。他们指出，个性化、动态化和智能化的学习环境尤为重要。Rani等人提出了一种交互式AR系统，使学生能够直接使用手势自然地操纵3D对象。研究表明，基于手势和AR交互的系统易于使用且具有吸引力。然而，这些研究仅集中在单模态手势交互与沉重的操作负载，和交互效率也很低。例如，如果在模拟化学实验中仅使用手势，则复杂和相似的手势可能被错误识别，从而增加操作负载。这导致交互效率和操作的降低。手势识别是实现AR效果的重要组成部分。手势识别方法包括基于深度学习的方法[11，12]，隐马尔可夫模型（HMM）[13，14]和几何特征[15，16]。这些方法用于实现手势和视觉之间的信息传输。这种方法也被用来实现手势和视觉之间的信息传递。Wu等人使用深度置信网络（DBN）和3D卷积神经网络（3DCNN）融合，并将手势分类概率作为HMM模型的输入，以实现手势识别[17]。Elmezain等人使用HMM模型，并识别手势的动态轨迹[18]。Priyal等人使用矩阵特征归一化来识别手势的几何形状[19]。Liang等人使用随机森林方法对手势进行分类，并在3D虚拟对象上操作手势，以实现真实场景和虚拟对象的无缝融合[20]。根据他们的研究，深度学习方法在手势识别问题中具有良好的性能，因为它们具有很强的适应性，并且比其他方法更具优势。然而，在实际应用中，手势识别的效率相对较低。在虚拟实验中，AR呈现的虚拟效果具有很强的沉浸感。物理和虚拟对象的融合以及多模态的融合交互可以进一步提高用户交互性。然而，以往研究中所采用的实验操作性不强，手势识别不准确，操作负荷大。为了应对这些挑战，我们提出了本研究的以下贡献：(1) 在增强现实中，我们使用手势识别代替了卡片标记识别，并提出了多模式292肖梦婷等：多模态交互设计及其在化学实验增强现实中的应用基于手势和传感器的增强现实交互算法（ARGEV）。ARGEV利用微软Kinect，将复杂的AR任务转化为简单的坐标转换问题，实现了用户手部、虚拟场景和传感器的融合。它解决了手势和虚拟对象的实时交互，提高了用户的交互效率。(2) 我们将手势与智能设备相结合，设计了一个虚实融合交互工具套件（VRFITS），解决了物理对象与虚拟模型之间的交互，进而在手势与虚拟模型交互时触发感知反馈，增强用户的真实操作感。(3) 设计了一个增强现实化学实验室（ARCL），通过用户的手，智能设备和虚拟模型的交互操作。2基于AR的多模态交互方法VRFITS包括智能设备和多模态交互。该智能设备通过视觉和触觉反馈增强用户操作的真实感，并采用手势交互方法识别用户的手势。然后，智能设备触发振动反馈。2.1VRFITS框架框架的结构包括模型建立阶段、手势识别和交互阶段、系统应用阶段（图1）。在模型构建阶段，我们处理手势深度图，并通过卷积神经网络（CNN）使用深度学习来训练手势识别模型。在手势识别和交互阶段，我们使用手势识别模型来识别手势，并将手势深度图输入到模型中。然后，通过坐标绑定，在虚拟场景和真实场景中实现了一致的手势识别结果。手势和虚拟模型的融合触发智能设备中的振动。在系统显示阶段，实现了ARCL。图1多模态交互方法的框架。2.2一种智能设备智能传感设备，如体感设备，谷歌眼镜，微软HoloLens和Kinect等，近年来已经变得丰富。用户可以使用这样的感测设备用于学习或家庭娱乐。研究人员也可以基于传感设备开发新的研究，但价格非常高，这对于中国中西部的大量教学教室来说是不现实的。此外，大多数设备不能在实际实验中重复使用，这导致浪费。我们的设计解决了这个问题293虚拟现实智能硬件2020年12月第4通过使用带有廉价传感器的智能设备。VRFITS使用智能设备中的传感器（图2）来检测外部信号的变化。它通过信号输出端口连接到STM32103主控芯片的I/O端口，采用串行传输方式，通过EIA-RS232将信号传输到计算机module. 最后，将串行数据读入Unity3D平台 的处理中图2智能设备的结构设计。振动器，串口发送来自Unity3D平台的数据，信息通过串口传输到STM32103主控芯片，控制振动器。智能设备包括一个智能戒指和两个触摸传感器，制造成本约为30元。我们在智能戒指上设置了一个振动器，在实验过程中，我们把戒指戴在用户右手的小拇指上。当用户抓取虚拟对象时，传感器会引起振动。具体的感知过程（没有特别的顺序）如下：(1) 如果用户的所有五个手指都抓住虚拟对象，则手势被识别。系统向串口发送一个输入“00”，信息通过串口传输到STM32103主控芯片。振动器传感器震动被设置为5秒，并且如果所有五个手指没有抓住虚拟对象，则不引起振动。(2) 当用户的手触摸触觉传感器时，计算感知的触摸强度，并且通过重复测量获得平均触摸强度。如果触摸强度大于平均值，则系统接收信号Noe，如果Noe=1指示开始实验的按钮，并且Noe=2指示结束实验的按钮。如果没有接收到信号，则意味着语义没有被表达。该智能设备适用于具有手势识别的AR和虚拟现实（VR）实验场景，并将手势行为与振动器相结合以触发触觉反馈。2.3手势识别方法2.3.1手势数据预处理以化学实验为例，统计了学生或教师在进行化学实验时所使用的自然手势类型。我们调查并设计了六个实验中常用的手势。首先，我们使用Kinect来采集人体的深度图，并采集了六种类型的10000张。然后，我们获得的深度信息和质心位置的人手的坐标Kinect分割手势深度图从采集的身体图像。距离质心位置3cm的点被用作阈值。如果距离大于阈值，则将超过人手区域。然后，对人手区域进行切割以获得200× 200像素的手势深度图。为了简单起见，我们认为类似的手势，如两个手指的蔓延和三个手指伸展表示相同的语义。预处理的六个手势深度图及其定义在表1中示出。2.3.2基于CNN的手势识别方法然后，我们建立了AlexNet网络结构模型。CNN的AlexNet结构是有利的，因为它可以学习更丰富和更高维的图像特征。AlexNet使用随机失活dropout，294肖梦婷等：多模态交互设计及其在化学实验增强现实中的应用表1六个静态手势Number名称深度图手势状态表示语义1五指抓五指是拳头抢2单指伸展3双指传播4双指伸展5三指伸展食指伸出打开拇指和食指食指和中指像剪刀一样张开拇指、食指和中指单击放大涡动放大6五指展开五指张开放下数据增强方法，以有效地抑制过拟合，并使用校正学习单元（ReLU）函数而不是sigmoid函数作为激活函数。因此，针对六种静态手势深度图，我们训练了一个基于AlexNet的手势识别模型。该网络结构包括五个卷积层，三个池化层，三个全连接层和一个Softmax分类函数。我们为每个手势选择了10000个深度图，每个手势的深度图最初设置为200× 200像素的分辨率。然后通过AlexNet网络得到手势识别模型。网络结构如图3所示。图3AlexNet结构。在AlexNet中，最佳迭代次数epoch设置为20000，每个训练或测试批次大小的数量为20，填充类型为padding，值dropout为0.8，每20个深度图评估泛化性能。每层的步长和卷积核大小如图所示3. 训练手势识别模型的过程如下：(1) 利用Kinect获取人体骨骼节点的深度信息和深度图，并根据阈值对人手区域进行评估，生成手势深度图。(2) 我们将数据集分为训练集和测试集，比例为7： 3。(3) 将训练集输入AlexNet，通过连续的手势深度特征提取，295我IJ=∑e虚拟现实智能硬件2020年12月第4根据以下等式更新权重：xm=f（∑nxm-1（wm+bm）（1）I jj= 1伊日其中m是当前层的数目，n是前一层中的神经元的数目，wm是层m中的神经元j和前一层中的神经元i的连接权重，并且bm是i特征偏置在M个卷积层之后。(4) 在计算Softmax层之后，获得向量v。 向量v表示预测类型的概率。预测概率由下式给出：evlPlvk（2）K其中vl表示向量v的第l个元素，Pl是向量v中第l个元素的预测概率。i∈（0，6];最后，我们得到一个训练的手势识别模型（AlexNet_gesture），并将其封装并导入ARCL。2.4多模态相互作用法我们使用Kinect RGB传感器来构建真实的环境。Kinect深度摄像头捕捉手部的深度图。我们通过在Unity3D中建立真实空间和虚拟空间的坐标标定来实现增强现实。ARGVE方法实现了触觉和视觉的融合交互。在进行实验时，用户通过计算机屏幕直接观察AR中的实验现象和场景，而无需佩戴任何HMD。如果用户做出五指抓取手势，则触发振动反馈。该过程如图4所示。图4AR中的多模态交互过程首先，我们封装AlexNet_gesture模型，并将右手手势表示为Ges_R，左手手势表示为Ges_L，由下式给出：296肖梦婷等：多模态交互设计及其在化学实验增强现实中的应用Ges_R∈ {R1，R2，R3，R4，R5，R6}（2）Ges_L∈ {L1，L2，L3，L4，L5，L6}（3）R1-R6和L1-L6表示表1中的数字1- 6。然后，我们在ARCL中调用AlexNet_gesture来建立一致的手坐标和虚拟坐标，由下式给出：θ=（kx，ky，kz）（4）其中θ是Kinect下的深度3D坐标。根据手部关节在真实空间中的坐标与深度3D坐标的映射，确定关节点坐标与虚拟场景的映射关系为：kk(5)k U d 其中（Ux，Uy，Uz）是Unity3D中的虚拟场景坐标，t是与真实世界场景和虚拟场景的3D坐标相对应的比率，并且（dx，dy，dz）是虚拟场景坐标处的截距值。在ARGEV算法中，我们输入手势深度图和传感器信号，执行多模态交互，并输出振动反馈和视觉效果。视觉效果包括Unity3D中设计的动画、粒子效果和虚拟烧杯的倾倒效果。具体手势交互算法如下：算法1：基于AR的多模态交互算法（ARGEV算法）输入：手势深度图，传感器信号Noe;输出：震动反馈，视觉效果;1. 使用Kinect深度摄像头获取（n-1）帧手势深度图，输入AlexNet_gesture模型进行手势识别;2. 获得n帧手势深度图，分别重新计算帧（n-1）和n的关节点坐标Sn-1（θn-1）和Sn（θn）corded;3. 如果（Noe = 1），则实验开始，并且虚拟设备出现在场景中。4. 如果（Noe = 2），则实验结束。5. 若（Sn-1=Sn（θn）），则当（Ges_R）如果（R1）则将Pis_v设置为虚拟模型Snθn$=Pis_v，发送如果（L1）则系统界面上出现所选实验设备的提示框效果如果（R4）则当前虚拟设备转储结束如果if（R6）则丢弃当前虚拟设备end if end，end if6. if（Sn-1Sn（θn））thenreturn 1end if3实验结果及分析3.1AlexNet_手势模型训练结果在训练过程中，本文设置了20次迭代来检测精度和损失值的变化，并通过Tensorboard方法将其可视化。AlexNet_gesture模型准确度和损失曲线如图5所示。297虚拟现实智能硬件2020年12月第4图5训练期间准确度和损失值的变化在图5中，训练过程中的准确率逐渐趋于1，Loss值从大值变为稳定值，然后趋于0。这证明训练后的模型是持续有效优化的。3.2对比实验我们设计了两组对比实验。第一组是模型优化前后每个手势准确度的比较，第二组是AlexNet、GoogleNet和VGG16Net模型训练结果的比较。我们在比较集中使用预处理的手势深度图和3000张测试图片。实验结果如图6所示。图6模型优化前后实验结果对比。可以看到，优化后手势识别的平均准确率为99.04%，比优化前提高了约2%。对于相似手势2和3的识别效果也比优化前更好。通过AlexNet模型训练得到的手势识别模型的准确率优于优化前后的其他两种网络模型，优化后的模型提高了约1%- 3%。3.3ARGEV算法我们通过评估姿态的坐标和虚拟模型的坐标是否一致来验证ARGEV算法的有效性。当用户做出五指抓取手势时，我们同时记录手和虚拟模型的三维坐标。298肖梦婷等：多模态交互设计及其在化学实验增强现实中的应用在图7中，我们用不同的颜色标记手势轨迹的3D坐标。图5a和图5b的3D坐标在相同的时间段是相同的，这证明手势识别算法是有效的。图7真实手和虚拟模型的3D坐标比较。3.4VRFITS在ARCL在智能设备、真实手和虚拟模型中构建了一个交互式的虚实融合环境。我们使用Intel® Core™ i7-8550 CPU，Kinect 3.0和智能设备。我们在Unity 3D中设置了实验场景，并使用C#作为编程语言。最后，将ARGEV算法和智能设备应用于ARCL中。VRFITS可以重复使用，也可以帮助学生避免在无人监督的情况下进行实验的危险。我们的目标是帮助学生专注于进行化学实验，加强观察和学习，并解决与实验相关的困难和恐惧，以及缺乏实验试剂等问题。通过在ARCL中进行钠水反应化学实验验证了ARGEV的有效性。在钠和水实验中，认为用户做出以下手势：抓取、放下和倾倒。因此，为了方便操作在ARCL，我们选择了三个手势进行实验验证。ARCL的流程图如图8所示。钠和水实验是中学化学教学中的主要化学实验。但是，用户实验过程中适量的钠和水反应产生气体，而大量的钠和水反应发生爆炸，使得实验难以观察和操作。为了让学生更好地体验实验过程，本文以钠水反应为例，介绍了VRCL中的实验机理。在虚拟场景中，我们增加了提示窗口、虚拟实验设备、粒子效果和动画效果，增强了实验过程中的沉浸感。实验操作的效果如下所示。在图9中，红色框表示操作提示和场景效果，黄色框表示用户操作行为。在用户触摸开始键以开始实验之后，系统呈现AR场景。在提示框中，用户用五指抓取手势选择实验设备，智能戒指振动（a）用户将虚拟断路器倾倒（b）然后取出实验所需的虚拟设备。299虚拟现实智能硬件2020年12月第4图8ARCL的流程图图9ARCL手术的效果一。在图10中，可以看出（a）用户使用虚拟刀切割钠块（b）使用镊子并取一小块钠并将其放入装有水的烧杯中（c）用户可以观察钠和水反应的五种现象并添加真实视频验证真实性（d）用户再次选择烧杯，以及（e）将其放在桌子上，用镊子将一大块钠放入烧杯中，可以看到爆炸的场景（f）最后，用户按下结束键结束实验。3.5用户评价比较我们选择了NOBOOK虚拟实验平台[21]和ARCL的钠和水实验，根据用户评价比较性能（图11）。NOBOOK的钠水实验是一个虚拟现实仿真实验，系统采用鼠标作为输入设备。我们邀请了十位老师和三十位学生来完成对NOBOOK和ARCL的评估。为了验证该实验系统符合教学应用，我们设置了以下七个300肖梦婷等：多模态交互设计及其在化学实验增强现实中的应用图10ARCL手术的效果二。图11(a)NOBOOK虚拟实验平台;比较方面：“教学评价“、“实验兴趣”、“实验互动”、“学习效果”、“系统稳定性”、“实验提示“和“操作简易性”作为VET_P，并将VET_P依次设置为VET_P1-VET_P7。术后，10名教师使用VET_P对两个系统进行比较，每个评分分为5个等 级 ， 由 高 到 低 依 次 递 增 （ 图 12 ） 。 以NOBOOK虚拟实验平台为A，ARCL为B.公司现采用国际ANOVA评估每个因素的显著性（表2）。显著性α为0.05。图12VET_P比较评分。教师们认为两种方法的实验结果都很令人满意，并表示能正确地操作实验，观察实验现象。但是，教师对两种实验模式的评价有很大差异，ARCL的平均值比NOBOOK实验高29.42%。教师对VET_P5的评价各不相同，从表2中可以看出，F小于F crit，说明两个系统相对稳定。对于VET_P1、VET_P3和VET_P7，ARCL的总体评价比NOBOOK高出28%，可见ARCL操作比301虚拟现实智能硬件2020年12月第4表2 ANOVA统计结果VET_P实验平台平均值方差SSMSFp值F临界值VET_P1一2.20.84418.0518.0525.9927.514.419B4.10.544VET_P2一2.80.62211.2511.2526.2997.044.419B4.30.233VET_P3一2.70.4568.458.4510.7870.0044.419B41.111VET_P4一1.90.767202026.0877.364.419B3.90.767VET_P5一4.20.7110.20.20.4090.5304.419B4.60.267VET_P6一1.20.17728.828.851.841.064.419B3.60.933VET_P7一2.70.4555514.5160.0124.419B3.70.233NOBOOK操作。此外，在VET_P4和VET_P6的评估中，可以看到ARCL分别比NOBOOK高40%和50%。进一步说明了在多通道交互的ARCL中，用户更沉浸在实验中，学习效果更好。从VET_P6开始，需要探索NOBOOK实验，根据提示框就可以操作ARCL，即使用户不熟悉虚拟实验环境。用户在实验过程中不需要浪费太多的时间，提高了实验交互的效率。此外，我们还根据美国国家航空航天局任务负荷指数（NASA-TLX）[22]认知负荷评估了该系统的运行负荷。我们利用国家航空航天局-TLX评价标准为“心理需求（MD）“、“身体需求（PD）“、“暂时需求（TD）“、“努力（E）“、“表现（P）“和“挫折水平（FD）”，对两个系统进行评分评价。根据NASA-TLX评估，所有用户分别体验了NOBOOK和ARCL，并统计评估了平均得分。比较分数与VET_P评估中使用的五分制规模 NASA-TLX模型评估图13中示出了两个系统。图13NASA-TLX模型评估结果。可以看出，两个实验对MD的评价和不同，这意味着用户在操作实验中消耗的脑力较少。但在其他五项指标上，ARCL的评价得分明显低于NOBOOK，ARCL的整体认知操作负荷降低了27.42%。这证明了VRFITS交互效率的提高。 因此，虚拟和真实的融合交互提高了用户与虚拟模型的交互，以及操作实验的沉浸感。4结论与讨论我们提出了VRFITS，它包含了一个智能设备和手势交互方法。套房302肖梦婷等：多模态交互设计及其在化学实验增强现实中的应用适用于任何带有手势操作的AR实验。我们在AR中实现了手势、传感器和虚拟模型的结合。智能设备与手势交互方法相互辅助，手势可以触发振动反馈。此外，我们设计并实现了一个原型系统ARCL。根据用户评价，与NOBOOK相比，ARCL增加了虚拟实验的交互性和真实操作感，同时减轻了用户操作负担，提高了用户交互效率。此外，与Vuforia SDK的AR卡片识别相比，ARCL摒弃了多次卡片操作，使用不同的手势命令触发不同的虚拟模型，操作更加便捷有效。然而，我们的工作有一定的局限性。一方面，手势识别的类型相对较少，因此在虚拟实验中用户交互过程中缺乏手势类型。另一方面，在虚拟化学实验系统中，实验场景中的粒子效果、动画效果、虚拟模型渲染效果并不突出，系统的界面效果有待于今后的改进。引用1Collazos C A，Merchan L.哥伦比亚的人机交互：弥合教育和工业之间的差距。IT专业，2015，17（1）：5DOI：10.1109/mitp.2015.82[10]张文，王文，王文.多模态协同虚拟实验室（MMCVL）的经验. 2017年IEEE第三届多媒体大数据国际会议（BigMM）Laguna Hills，CA，USA，IEEE，2017，376DOI：10.1109/bigmm.2017.623Chen L，Tang W，John N W，Wan T R，Zhang J J.基于SLAM的单眼微创手术中的密集表面重建及其在增强现实中的应用。生物医学中的计算机方法和程序，2018年， 158：135-146DOI：10.1016/j.cmpb.2018.02.0064黄B，奥洛斯基J，Höllerer T.增强现实语言学习的原位标记。2019年IEEE虚拟现实和3D用户界面（VR）会议。大坂，日本，IEEE，2019，1606DOI：10.1109/vr.2019.87983585杨鹏，李鹏，陈晓，李晓.用于增强解剖学学习的深度手势交互。国际信息管理杂志，2019，45：328DOI：10.1016/j.ijinfomgt.2018.03.0046Sun C X.基于增强现实的儿童教育系统的设计与实现。山东大学，20177Fidan M，Tuncel M.将扩增实境融入问题导向学习：对物理教育学习成就与态度之影响。计算机教育，2019，142：103635DOI：10.1016/j.compedu.2019.103635（美国联邦快递公司）8Dave I R，Chaudhary V，Upla K P.在增强现实平台上模拟分析化学实验。上一篇：Advances in Intelligent Systemsand Computing新加坡：Springer Singapore，2018，393DOI：10.1007/978-981-13-0224-4_359[10]李国雄，李国雄.评估几何教学与增强现实教材的支持，以提高学生的三维几何思维能力。国际科技数学教育杂志，2020，51（2）：224DOI：10.1080/0020739x.2019.158338210吴伟杰，王伟杰，王伟杰.增强现实中虚拟对象的手势控制。2017年计算、通信和信息学进展国际会议（ICACCI）。Udupi，印度，IEEE，2017，1500303虚拟现实智能硬件2020年12月第4DOI：10.1109/icacci.2017.812605311Skaria S，Al-Hourani A，Lech M，Evans R J. Hand-gesture recognition using two-antenna Doppler radar with deepconvolutional neural networks. IEEE Sensors Journal，2019，19（8）：3041DOI：10.1109/jsen.2019.2892073122005年10月27日，李文亮，李文亮.使用迁移学习进行肌电信号手势信号分类的深度学习。IEEE Transactions onNeural Systems and Rehabilitation Engineering，2019，27（4）：760DOI：10.1109/tnsre.2019.289626913Sinha K，Kumari R，Priya A，Paul P.使用隐马尔可夫模型的基于计算机视觉的手势识别。在：软计算和信息技术的创新。新加坡：Springer Singapore，2019，55-67 DOI：10.1007/978-981-13-3185-5_614张良智，张永荣，牛立东，赵志杰，韩晓文。基于形状特征和小波纹理特征相结合的HMM静态手势识别。无线和卫星系统，2019，187DOI：10.1007/978-3-030-19156-6_1815作者：Ahmad S U D，Akhter S.基于方向哈希码的实时旋转不变静态手势识别。2013信息学、电子学与视觉国际会议（ICIEV），2013，1-6 DOI：10.1109/iciev.2013.657262016作者：Jiangsu A，Jiangsu M.基于硬几何特征的草书多文种字符识别。International Journal of Computational Visionand Robotics，2020，10（3）：213DOI：10.1504/ijcvr.2020.1002903417吴D，Pigou L，Kindermans P J，Le N D H，Shao L，Dambre J，Odobez J M.用于多模态手势分割和识别的深度动态神经网络。IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（8）：1583DOI：10.1109/tpami.2016.253734018Elmezain M，Al-Hamadi A，Michaelis B.使用HMM的基于手势的手势定位和识别。2009年第16届IEEE图像处理国际会议（ICIP）。开罗，埃及，IEEE，2009，3577-3580 DOI：10.1109/10.2009.541432219Padam Priyal S，Bora P K.基于几何归一化和Krawtchouk矩的鲁棒静态手势识别系统。模式识别，2013，46（8）：2202DOI：10.1016/j.patcog.2013.01.03320梁宏，袁建生，王伟. AR在手：用于增强现实应用的以自我为中心的手掌姿势跟踪和手势识别。在：第23届ACM多媒体-MM '15国际会议的会议记录。布里斯班，澳大利亚，纽约，ACM出版社，2015年，743DOI：10.1145/2733373.280797221虚拟仿真实验在高中物理实验教学中的应用研究。201822杨文伟，李文伟. NASA任务负荷指数区分手术方法：结肠和直肠手术的改进机会。外科年鉴，2020，271(5)：906DOI：10.1097/sla.00000000003173304