基于虚拟现实技术的手势保持训练方法

基于虚拟现实技术的马诺赫·农富引用此版本：Manoch Numfu。一种基于虚拟现实的手势保持训练准备方法。人机交互[cs.HC]。格勒诺布尔阿尔卑斯大学[2020-..]，2020.英语NNT：2020GRALI071。电话：03158358HAL Id：tel-03158358https://theses.hal.science/tel-031583582021年3月3日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaireTHAPOSE为了获得等级格勒诺布尔阿尔卑斯大学博士专业：工业技术Arrêté ministériel：25 mai 2016Présentée parManoch NUMFUThèse dirigée parAndreas RIEL， proposeur associé HDR，格勒诺布尔INPFrédéric NOVEL，Mrsseur，Grenoble INP准备在第二医学院攻读G-SCOP一种基于虚拟现实的主要管理维护准备方法基于虚拟现实技术的手势保持训练准备方法Thèse soutenue publiquement le18 dec embre2020，devant le jury composé de：Lionel ROUCOULES法国普罗旺斯地区艾克斯ENSAM LISPEN公司总裁Vincent CHEUTET法国里昂INSA DISP顾问，特别报告员Florent LAROCHEMaitre de Confédé HDR à LS2N，ECN，France，特别报告员Dr. Siranee NUCHITPRASITCHAI泰国KMUTNB信息技术学院助理教授Pr. Frédéric NOVELGrenoble INP，Co-Directeur de thèseAndreas RIELHDR à G-SCOP，Grenoble INP，Director de thèse3确认我要向我的导师Andreas Riel教授和Frédéric Noël教授表达我最深切的谢意和真诚的感谢，感谢他们对我能力的信任。他们从一开始就以一种非常尊重、敏感和专业的方式鼓励我。我还要感谢我的辩护委员会所有成员对这项工作的关注。FlorentLaroche教授Vincent Cheutet、Lionel Roucoules教授、Frédéric Vignat博士和Siranee Nuchitprasitchai博士。特别感谢博士。Laroche和教授。感谢Cheutet接受了审稿人的工作，因此非常详细地研究了我的论文，并给予了高度赞赏的建设性批评。我还要感谢格勒诺布尔-阿尔卑斯大学的G-SCOP实验室对我的研究的支持。此外，我还要对参与这项研究的许多朋友、同事和G-SCOP实验室的专家表示衷心的感谢。此外，我还要感谢泰国政府在整个课程中支持奖学金。此外，我还要感谢我的代理机构Rajamangala University of Technology Lanna给了我一个很好的机会来法国学习。最后，我深深地感谢我的家人。没有他们的耐心和支持，这项研究是不可能的。45简历在10世纪末，虚拟现实（RV）技术迅速发展。RV的安装和设备非常强大，并且允许使用例外的经验。在各种工业应用中，特别是在培训和维护方面，这些措施和处置措施具有一定的潜力。L'industrie，cependant，aencore des difficultés à obtenir des résultats de formation satisfaisants ，principalementenraisondechoixetdeconfigurationsinappropriésd'infrastructure basées sur la RV.在对虚拟维修基地建设过程进行系统研究的基础上，提出了虚拟维修基地建设的整体构想，着重对虚拟维修基地建设的不同配置进行了经验、评价和比较。这一概念被称为“基于虚拟现实技术的形成准备过程”（VR-TPP），它是在非沉浸式和完全沉浸式配置中进行验证的过程。通过对蒙特内哥罗不同情况的三种研究，我们对系统化的方法进行了评述，以帮助劳动者了解劳动过程和主要的劳动管理，以及确定培训、培训和劳动指导的形式。Afin de tenir compte des spécificités desopérations de formation à la maintenance，un accentulier a été mis sur la bonnesastes des gestes de la main et eastern association avec dérents typesd'articulations mécaniques et le démontage des pièces mécaniques en fonetaryde aeradéquation.Ceci认为这是一个重要的贡献，它补充或甚至是补充了传统的工作说明，但没有积极参与使用虚拟工作说明，提供了一个使用经验。此外，VR-TPP概念的应用还有助于通过虚拟环境中的应用来解决错误的原因。Ces knaissances peuvent être réinjection ées dans la concept duprocesses de formation ainsi que dans l'infrastructure. Outre les formations à lamaintenance industrielle（donc au montage et au démontage），le conceptpeut être facilitateur pour de nombreuses autres applications.Mots-clés ： Réalité virtuelle ， formation basée sur la Réalité virtuelle ，formation à la maintenance ， formation au montage et démontage ，processessus de preparation de la formation basée sur la Réalité virtuelle67摘要在过去的十年中，虚拟现实（VR）技术一直在快速发展。VR环境和设备越来越强大，并实现卓越的用户体验。这种环境和设备在各种工业应用中具有巨大的潜力，特别是在维护培训中。然而，行业仍然难以实现令人满意的培训效果，主要是由于基于VR的培训基础设施的选择和设置不当。为了系统地支持基于VR的维修训练的准备过程，本文提出了一个整体的概念，准备基于VR的维修训练序列，重点是实验，评估和比较不同的VR设置和配置。这个概念被称为其中，三个不同的案例研究表明，这种系统的方法如何支持学员找出适当的工作流程和手势，以及培训人员在确定最适当的培训环境，顺序和工作指示。为了说明维护培训操作中的特殊性，特别关注正确捕捉手势并将其与不同类型的机械关节相关联以及根据其适当性拆卸机械部件。这被认为是一个重要的贡献，以升级，补充，甚至取代传统的工作指令，没有积极的用户参与虚拟工作指令提供用户体验。此外，VR-TPP概念的使用还有助于揭示用户在虚拟环境中工作时所犯错误的原因。从这些见解中，学习可以反馈到培训过程和基础设施的设计中除了工业维护（因此组装和拆卸）培训外，该概念还支持许多其他应用。关键词：虚拟现实，基于VR的培训，维修培训，装配/拆卸培训，VR培训准备过程89目录鸣谢3简历5摘要7目录9缩略语列表15图17表21发表文章231一、导言. 251.1一、一般性介绍. 251.2背景知识261.3研究动机271.4研究问题291.5A.方法. 291.6论文结构302艺术332.1一.导言. 332.2常规维修培训332.2.1场外培训2.2.1.1课堂讲座342.2.1.2场外实验室工作352.2.2现场培训35102.2.3常规维护培训总结362.2.4传统维修培训的局限性362.3虚拟现实技术382.3.1虚拟现实系统2.3.1.1非沉浸式系统392.3.1.2半沉浸式系统392.3.1.3完全沉浸式系统392.3.2VR设备和交互技术402.3.2.1输入设备402.3.2.2输出装置422.3.2.3互动技术2.4用于维修培训的2.5用于Dis/Assembly任务的虚拟现实492.6VR培训效果评估研究522.7用于VR环境中训练的手势模拟532.8摘要563准备VR维护培训的系统方法593.1导言. 593.2VR-TPP 59的概念3.3VR-TPP概念的系统方法3.3.1准备任务623.3.1.1模型准备模块623.3.1.2作业指导书（WI）制作模块703.3.2处决723.3.2.1记录模块723.3.2.2VR使用模块733.3.2.3翻译模块793.3.3执行任务82113.3.3.1评估823.3.3.2手势的分类823.4VR-TPP概念的系统方法概述854VR-TPP维护培训准备环境874.1一、导言. 874.2从VR-TPP概念推导出的结论874.3VR-TPP平台实施884.3.1系统准备894.3.1.13D零件904.3.1.2装配零件914.3.1.3场景组件934.3.2设备和交互技术的设计944.3.2.1输入设备944.3.2.2输出装置954.3.2.3互动技术964.3.3记录方法984.3.3.1图像序列984.3.3.2动画剪辑994.4在VR-TPP平台上实施的总结1005案例研究1015.1导言. 1015.2通过拆卸过程验证VR-TPP概念1015.2.1记录拼图1025.2.2关于图片顺序的讨论1035.3用于创建手势知识库的VR-TPP1055.3.1构建手势库1055.3.1.1选择维护任务1065.3.1.2创建虚拟环境107125.3.1.3手势分类1075.3.1.4执行和记录手势1085.3.1.5将手势作为模式1085.3.1.6构建手势库1095.3.2建立手势库的讨论1105.4虚拟现实在维修任务中的训练1145.4.1维护内容定义1145.4.2系统配置1155.4.3虚拟环境1165.4.4维修任务118中虚拟现实训练的探讨5.5摘要1206用户体验评估1216.1用户体验研究1216.2实验装置1216.3评价和解释1226.4用户体验评估1246.4.1NI-VR 124中的用户体验测试6.4.1.1对VR设备易用性的感知1246.4.1.2现实主义1256.4.2FI-VR 127中的用户体验测试6.4.2.1虚拟现实体验1286.4.2.2关于HMD使用的看法1326.4.2.3使用VR设备.................................................................... 1336.5摘要1367讨论、结论和展望1377.1根据研究问题讨论结果1377.2VR-TPP概念、平台和实施1397.3对研究和实践的重要贡献140137.3.1通用VR培训准备概念1407.3.2作业指导书编制1417.3.3机械关节的手势库1417.3.4VR设备的性能、真实性和副作用1417.4限制1427.5前景1437.5.1全身捕捉1437.5.2物理感知1437.5.3机器学习1447.5.4手势和机械关节的分类1447.5.5VR设备和设置的分类1447.5.6泰国VR培训的未来研究1457.5.6.1VR技术促进知识转移1457.5.6.2高速列车的维护培训145参考文献14715缩略语表VRVELMCHMDPCARIRVR-TPPVR-TMT一体机APWMRIMIBRBMCMRNI-VR虚拟现实虚拟环境Leap运动控制器头戴式显示器个人电脑增强现实红外辐射训练准备过程的虚拟现实技术维修作业训练的虚拟现实技术锚点在对象中锚点位置窗口混合现实交互管理器交互行为刚体网格渲染非沉浸式VR级别全沉浸式VR级别1617图目录图1：学习金字塔28图2：研究方法30图3：论文结构30图4：课堂授课法培训34图5：讲习班培训方法35图6：常规训练方法37图7：头戴式显示器（HMD）42图8：立体显示器43图9：洞穴自动虚拟环境（CAVE）43图10：使用触觉装置45的图11：六面CAVE 45图12：Go-Go互动技术：自我中心坐标系图13：刚体指状物48图14：图15：一些虚拟装配平台的关键特性。........................................................ 51图16：抓持模式54图17：与基本形状相关的虚拟手的手势55图18：大型类人猿生存项目分类法55图19：传统训练和VR训练方法的过程60图20：VR-TPP概念图21：VR-TPP的系统方法 61图22：STL文件格式的3D对象的特性6318图23：表示立方体的OBJ文件63图24：STEP文件格式64图25：非永久性接缝和永久性接缝65图26：不同类型的螺栓和螺钉66图27：不同类型的螺母67图28：螺柱67图29：典型的压配合公/母互连68图30：开口销连接部件69图31：肘节接头部件69图32：运动接头的类型70图33：WI和BOM 71图34：记录模块72图35：抓取记录方法的工作流程图73图36：虚幻引擎75图37：Unity Engine 76图38：Amazon Lumberyard游戏引擎77图39：CryEngine游戏引擎77图40：VR-TPP系统的交互活动图78图41：LeapMotion控制器79图42：OculusHMD设备80图43：ViveHMD设备80图44：Acer Windows混合现实HMD设备81图45：实施任务81图46：分类和记录手势的过程83图47：主要工作手势84图48：指状物84图49：抽象WI序列模型85图50：VR-TPP概念的技术框架88图51：3D物体8919图52：Unity 3D 90图53：3D零件的物理特性90图54：具有交互行为的基本XR装备92图55：具有行为设置的装配部件92图56：锚行为的结构93图57：虚拟环境中的图58：LeapMotion模块的虚拟手95图59：带有桌面屏幕的2D系统96图60：带有WMR设备96的图61：第一人称视角下的虚拟相机98图62：Unity记录器包用于记录方法99图63：图像序列功能的记录方法100图64：通过虚拟手修复锯片102图65：Jigsaw 102图66：学员在虚拟环境中练习103图67：系统103第68章：我的天图69：拼图105图70：虚拟工作指令106图71：构建手势库106图72：虚拟车间模型。.................................................................................. 107图73：机械接头图74：记录手势的图像序列109图75：在VR-TPP 110图76：螺钉110图77：使用螺栓和螺母的手势模式111图78：卡扣配合技术的手势模式111图79：折叠式STRIDA自行车（左）和展开（右）112图80：折叠STRIDA自行车113