数字人体模型在虚拟现实智能硬件中的应用及研究趋势

虚拟现实智能硬件2019年第1期引文：朱文敏，范秀敏，张艳欣。数字人体模型在制造业中的应用及研究趋势。虚拟现实智能硬件，2019，1（6）：558-579DOI：10.1016/j.vrih.2019.09.005·回顾·数字人体模型在制造业温敏ZHU1，XiuminFAN1*，YanxinZHANG21. 上海交通大学机械工程学院，上海2002402. 奥克兰大学运动科学系，奥克兰1142，新西兰*通讯作者，xmfan@sjtu.edu.cn投稿时间：2019年7月4日修订日期：2019年9月11日接受日期：2019年9月18日国家自然科学基金资助项目（51475291）.摘要虚拟现实（VR）已广泛应用于各个制造行业，基于VR的虚拟制造在当前的智能制造时代受到了极大的关注。数字化人体模型是虚拟制造应用的基础。此外，研究DHMs的新应用已经发展成为一个重要的学术研究领域。本文旨在明确数字制造模型在制造业中的应用和研究趋势，为虚拟制造和数字制造模型的持续发展提供参考。我们从2014年至2019年发表的大量文章中共选择了49篇相关文章。从不同的角度分析了DHMs在制造业中的应用，并讨论了各种相关的技术限制。结果表明，DHMs的应用显着不同类型的领域之间的差异。汽车行业是DHM的主要应用领域，装配/维护模拟和评估是主要的应用类型。此外，在虚拟环境的建立，运动控制和DHM评估方面仍然存在一些限制。最后，对DHMs应用的研究趋势进行了阐述和讨论，包括人机协作系统的规划与评估、DHMs与增强现实的结合以及改进的DHMs运动规划。综上所述，DHM的应用可以提高虚拟制造的真实性和有效性，在不久的将来，DHM将在各个制造行业中得到更广泛和深入的研究和应用。虚拟现实;数字人体模型;虚拟制造;人因/人机工程学评价;人机工程与运动控制1介绍虚拟现实（VR）系统利用计算机建模和仿真技术生成虚拟环境，让用户通过与虚拟环境的交互获得身临其境的体验，可以为人们了解世界提供有效的方法[1，2]。VR融合了多媒体、传感器、显示、人机交互、人机工程学、仿真、计算机图形学和人工智能技术，扩展了人类的感知。VR技术已广泛应用于教育、医疗、娱乐、文化、体育、工程、军事等领域[3-5]。VR已经存在于www.vr-ih.com朱文民等：数字人体模型在制造业559半个多世纪以来，它一直以某种形式存在，但直到最近才发展成为制造业的实用工具。因此，基于虚拟现实的虚拟制造作为一种新技术受到了广泛的研究关注。基于制造技术的快速发展和客户需求的不断变化，现代制造企业面临着全球化竞争的巨大压力。虚拟制造正成为企业应对竞争压力、促进转型升级的重要技术[6，7]。虚拟制造在产品生命周期的每个阶段都发挥着重要作用。例如，在产品设计阶段，虚拟制造可以分析产品生命周期中未来的制造过程和其他活动，以确保产品设计质量的优化和生产效率的最大化[8，9]。目前，自动化设备，如工业机器人和计算机数控机床，广泛应用于制造业，但也有许多活动需要人工操作[10]。例如，自动化设备目前无法执行各种复杂和灵活的任务。此外，手工操作在大多数中小型企业中仍然占主导地位。因此，人类操作员仍然在许多制造业中发挥着重要作用[11]。在大多数情况下，有必要在产品设计过程中考虑人为因素/人体工程学（HFE）问题，这可以带来许多好处。首先，HFE问题对产品设计很重要[12，13]。通过考虑HFE问题，可以在设计阶段识别出未来可能出现的许多问题，从而使设计方案在初期得到改进，以减轻隐患[14]。例如，在设计生产线、工作站和汽车驾驶室时，应考虑环境和操作员之间的关系[15，16]。其次，HFE问题对于制造业的工艺规划很重要[17]。例如，为了避免肌肉骨骼疾病（MSD）的风险，应在产品装配和维护计划中分析和优化操作员的工作姿势和流程[18]。因此，在虚拟制造中考虑HFE问题和采用数字人模型（DHMs）已经变得普遍，这将提高虚拟制造的真实性和有效性。制造技术。完整的DHM应该代表真实人类的所有功能，包括解剖学，运动，动力学，生物力学，心理学和生理学。但是，在目前的技术条件下，建立完整的DHM是困难的，也是不必要的。对于各种应用场景，DHM是根据不同的需求通过简化真实人体模型来构建的[19，20]。一般来说，DHM可以分为两类：认知DHM和物理DHM[12，21]。认知DHMs关注基于情感、语言和面部表情的人机交互的实现，主要应用于新闻学和社会心理学领域。物理DHM关注真实人类的身体结构的功能，并且可以细分为两种类型：生理学相关的DHM和姿势和运动相关的DHM[22]。生理相关的DHM是为生物医学，放射学，汽车安全等领域的研究而构建的。姿势和运动相关的DHM是为人体工程学领域的研究而构建的，重点是工作姿势和舒适度。在制造业中，姿势和运动相关的DHM是主要的DHM形式[23]。本文的目的是确定DHMs在制造业中的应用和研究趋势。因此，与姿态和运动相关的DHMs是本文的主要研究对象.总体而言，本文件的结构安排如下。第一部分介绍了本研究的背景、范围和目的。第2节描述了本研究中使用的文献检索策略。第三节介绍了DHMs在制造业中的应用。第四部分阐述和讨论了各种研究趋势，并总结了本研究的成果。560虚拟现实智能硬件2019年第1期2搜索策略为了确定DHMs 在制造业中的应用和研究趋势，有必要进行系统和完整的文献检索。根据MacDonald[24]和Santos[25]提出的检索策略，我们将文献检索过程分为三个步骤：计划、检索和评估。具体方法讨论如下。2.1规划规划阶段的任务包括定义研究问题，设定检索时间表和选择数据库。研究问题的制定，以解决我们的研究目标，这是确定DHMs在制造业中的应用和研究趋势。研究问题可以帮助研究人员分析检索到的文档的相关性。本文考虑了以下研究问题。Q1：目前DHM在制造业中的应用有哪些？Q2：DHMs的应用使用了哪些应用环境和开发工具？Q3：DHM应用的关键技术是什么？Q4：制造业DHMs的研究趋势是什么？近年来，DHMs在制造业中的快速发展导致了大量已发表的研究。因此，考虑到空间限制，我们将检索范围限制在2014年1月至2019年5月的过去五年。这一时间表将使读者能够了解DHM应用程序的最新技术水平，同时限制搜索工作。为了确保检索文件的质量和完整性，本研究选择了以下六个已被世界各地研究人员广泛认可和使用的数据库[26-29]。• IEEE Xplore（www.ieeexplore.com）• ScienceDirect（www.sciencedirect.com）• Scopus（www.scopus.com）• Google Scholar（www.scholar.google.co.uk）• Web of Science（www.isiknowledge.com）• 工程村（www.engineeringvillage.com）2.2搜索在检索阶段，分别使用上述六个数据库检索文件。由于制造业涉及的应用领域众多，因此检索词的选择非常重要。次优的检索词可能导致遗漏许多有用的文件。基于研究目的与问题，本研究以“数位人类”为检索词，扩大本研究之检索范围。此外，由于术语“虚拟人”在许多研究中与“数字人”具有相同的含义，因此我们使用了搜索字符串（“数字人”或“虚拟人”）。不同数据库的检索设置和结果见表1。从数据库中检索到的一些文件是重复的。删除重复文件后，仍有1 412份文件。2.3评估检索到的1412份文件需要进一步评估。评估阶段的目标是确定最相关的文件，并根据分析减少文件总数，561朱文民等：数字人体模型在制造业过滤排除标准定义为表1搜索设置和结果第一次筛选的文件，类似里卡多的研究[29]。本研究定义了以下排除标准。(EC1)文件不是英文的。(EC2)该文档不是期刊文章、会议文章或综述文章。数据库搜索字段数量(EC3)该文件与制造业无关。(EC4)本文档与姿势和运动相关DHM无关。(EC5)该文件直接关注DHM，而不是其在制造业中的应用第一次筛选过程及其结果如图1所示。在第一次筛选过程后，共留下53份文件。接下来，评估每份文件的质量，以确定最合适的文件。Santos提出了评估文件的五个质量标准[25]。除了这些标准之外，我们还考虑将文档类型作为质量标准，如表2所示。期刊文章得1分，会议和综述文章得0.5分和0.75分，图1文件的筛选过程IEEE Xplore仅元数据164ScienceDirect标题-Abs-Key145Scopus标题-Abs-Key1209Google Scholar标题701Web of Science标题-Abs-Key1107工程村主题-标题-Abs694562虚拟现实智能硬件2019年第1期表2质量标准ID描述点QC1文件描述清楚了吗？0/0.5/1Qc2方法或技术是否清楚？0/0.5/1QC3所构建的虚拟环境描述清楚吗？0/0.5/1QC4是否对研究进行了明确的评估和验证？0/0.5/1Qc5案例研究的结果提供了详细的？0/0.5/1QC6文档类型是期刊/会议/综述文章？0.5/0.75/1分别第二个筛选过程删除了质量分数小于2的任何文档。评价结果列于表3中。在第二次筛选过程中删除了4份文件，留下49份文件。在剩余的文件中，有21份期刊评分[5，6][2，5][0，2）表3评价结果质量好平均差数量11384文章，25篇会议文章和3篇综述文章[30- 32]。3DHMs在制造业中本节从应用领域和应用类型（Q1）、应用环境和开发工具（Q2）、运动控制和HFE评价方法（Q3）等6个方面回答了研究问题Q1 ~ Q3，对DHM在制造业中的应用进行了概述。21篇选定的期刊文章和25篇选定的会议文章被认为是代表最近的研究。本节将对这些文章进行分析和讨论。此外，本节中的统计图表来自这46份文件。这三篇综述文章不包括在内在这些统计中，但他们的结果将被考虑和利用在本文中。3.1应用领域与Riccardo的方法[29]类似，论文的应用领域被定义为DHMs应用的行业和/或技术环境。根据46篇文献的内容和统计分析结果，对其应用领域进行分类，并对分类进行分析和筛选。例如，有极少数来自石油工业和核工业的文章。没有必要将每个应用程序字段定义为一个类别，这将导致非常多的类别。因此，在本研究中，将石油工业和核工业合并为能源工业。DHMs的应用领域可分为以下五类：（1）汽车工业;（2）工业厂房;（3）航空航天工业;(4)军事工业;（5）能源工业。这五个类别不是在同一层次上抽象的，它们不一定相互排斥。一般来说，应用领域根据应用相应技术的行业进行分类。然而，有些文章没有具体说明行业，如[33]和[34]，只指出制造环境是工业工厂。根据这些文章的代表性和重点，基于不同的抽象层次对应用领域进行分类是可行的。如图2所示，汽车工业、工业厂房和航空航天工业是DHM的主要应用领域。这一结果与Masaaki[30]和Bures[36]提出的结果一致。汽车工业是最重要、最具代表性、最成熟的制造业之一563朱文民等：数字人体模型在制造业尖端技术往往首先在汽车行业得到应用和推广。因此，汽车行业在DHM的应用方面具有明显的领先优势[36]。对于工业工厂，工作场所和生产效率的优化一直是主要的研究重点，相关研究通常考虑详细的HFE问题。随着虚拟制造在工业工厂中的应用，DHM得到了广泛的应用[33，34]。航空航天工业是一个快速发展的行业，在航空航天领域发挥着至关重要的作用。图2应用程序字段类别。国家安全和经济，并得到了极大的关注。此外，在航空航天工业中，人工操作占主导地位。目前，DHM是希望分析手动操作的设计师的重要工具，因此DHM也已广泛用于该行业[37，38]。相比之下，DHMs在其他三个领域的应用相对较少。对于能源和军工行业[39- 41]，基于各自的行业特点，虚拟制造技术的普及程度并不普遍，这意味着DHM的应用受到限制。然而，随着虚拟制造和DHM的不断发展和推广，DHM在能源和军事工业中的应用应该会逐渐增加[30]。3.2应用类型应用程序类型由DHM所应用的特定工业任务定义。与应用领域相比，应用类型可以更深入地描述DHM应用。在详细阅读了所选的46篇文章后，将其类型分为以下六类：（1）装配/维护仿真与评估;（2）汽车内饰评估;（3）工作场所设计与优化;（4）人机协作仿真;（5）人类行为研究;（6）教育/培训。每种应用程序类型的比例如图3所示。在41.3%（19）的文章中确定了组装/维护模拟和评价类别。对于机械产品，装配和维护是贯穿产品生命周期的两个重要问题[43，44]。虚拟装配（VA）和虚拟维修（VM）已在很大程度上取代了物理原型，成为装配和维修过程设计和规划的主要手段。一些关于VA和VM的研究仅关注没有考虑HFE问题的产品，这可能导致难以或不可能完成的操作[45- 47]。因此，有必要考虑DHM的装配和维修模拟。首先，DHM被用来执行装配/维护操作在虚拟环境中根据建议的设计方案。接下来，对仿真过程进行评估，并在设计阶段确定与装配和维护相关的问题。因此，装配/维修仿真与评估DHM的研究主要集中在两个方面方面：提高图3应用程序类型类别。564虚拟现实智能硬件2019年第1期DHM运动[38，41，44，48- 54]和更准确地评估组装/维护过程[37，55- 62]。对于前一方面，许多学者研究了DHM的运动控制方法，这将在第3.5节中概述。对于后者，除了HFE评价的共同因素外，还考虑了其他因素。如图4a所示，Louison等人。[55]证明了力反馈对于受限环境中真实人类和DHM之间的交互是必要的，这意味着在模拟和HFE评估中必须考虑触觉的影响。如图4b所示，He等人[57]考虑了照明的影响，并研究了不同照明条件下DHM的维护模拟和HFE评估。如图4c所示，Geng et al.[62]考虑了维护时间的影响，并开发了一个时间补偿模型，以根据虚拟环境中的模拟来预测实际操作所需的持续时间。图4（a）密闭环境[55]，（b）虚拟照明[57]和（c）时间补偿模型[62]的装配/维护模拟和评估。汽车内饰评估类别在17.4%（8）的文章中确定。汽车内饰系统是汽车设计的重要组成部分，直接决定了乘员的安全性和舒适性[63，64]。虚拟制造技术和DHMs的应用大大提高了汽车内饰设计的效率和质量。DHM在汽车内部评估中的应用包括两种主要类型的评估：驾驶室评估[63- 68]和座椅评估[69，70]。评估过程通常包括三个步骤：（1）设置不同的内部配置，如驾驶员座椅高度和控制按钮位置;（2）利用人体尺寸的各种参数（即，驾驶员的身高和驾驶员的身高）。例如，第5和第95）和调整DHM的姿势;（3）完成HFE评估。通过对不同内饰配置的评价和比较，确定最优内饰配置。在大多数情况下，DHM只需要保持静态坐姿或进行简单的运动，如图5a所示此外，如图5b所示，Wan et al.[65]研究了汽车进出过程。他们根据DHM的进出运动生成人体扫描体积，并通过评估扫描体积和汽车座舱之间的干扰来评估汽车座舱的设计。565朱文民等：数字人体模型在制造业图5（a）静态坐姿[64]和（b）人体扫描体积[65]的汽车内部评估。在17.4%（8）的文章中确定了工作场所设计和优化类别。工作场所是制造系统的重要组成部分，工人通常需要在工作场所长时间工作。不合理的工作场所设计会导致生产力低下，并增加MSD的风险[71- 73]。通常，一旦制造系统的工作场所建立，调整成本很大。因此，详细的工作场所设计是重要的，虚拟制造技术已成为这类设计任务的主要方法。工作场所的布局会影响工人的可视性、可达性、舒适性等。为了设计合理的工作场所，在构建工作场所之前，应基于模拟对不同的设计方案进行验证和比较。DHM用于完成模拟中定义的操作。根据DHM的HFE评估，可以确定工作场所布局的合理性[71，72]。此外，同样的方法也可以用来改善现有的工作场所布局[74- 76]。在10.9%（5）的文章中确定了人机协作仿真类别。人机协作将机器人的重复性能与人类的独特技能相结合，以实现具有高度灵活性和自动化的新颖生产模式[42]。在实际生产开始之前，有必要验证和评估人机协作系统的安全性，协作性，效率和合理性[35，77]。然而，使用真实机器人进行验证存在一定的风险。此外，调试真正的机器人是耗时和复杂的。因此，模拟方法是一种可行的替代方法，可以允许在虚拟环境中完成验证工作。在仿真过程中，DHM被用来完成与虚拟协作机器人根据目标制造过程的交互。通过对人机交互过程的分析，可以对人机协作系统的性能进行评估。人机协作仿真包括两种主要类型：机器人协助工人完成操作，其中机器人和工人可以被视为一个单一的单元[35，42，78];机器人和工人彼此独立地完成操作[77，79]。对于前一种类型，如图6a至图6d所示，Maurice等人[77]研究了不同配置方案下DHM每个关节的应力情况。这些应力可用于确定最佳配置。对于后一种类型，如图6e至图6g所示，Castro et al.[42]使用快速上肢评估（Rounds）电子表格评估了不同的配置方案，并通过比较Rounds评分确定了最佳配置。此外，他们还在研究中考虑了人体尺寸的影响。在6.5%（3）的文章中确定了人类行为研究类别。在人类行为的研究中，实验环境的构建可能是复杂的、昂贵的或危险的。目前，为了模拟制造过程中的人类行为，一些学者已经开始利用VR技术构建用于人类行为研究的高保真虚拟环境[33，40，80]。基于DHM在虚拟环境中的性能，可以预测真实人类在物理环境中的行为。如图7所示，Gürek et al.[33]研究了工厂生产中的同伴效应在566虚拟现实智能硬件2019年第1期图6 人机协作仿真[42，77]：（a）仿真环境，（b）无机器人，（c）配置A，(d)配置B，（e）配置C，（f）配置D，以及（g）两组不同的人体尺寸的比较。（b）至（d）部分中的彩色球体表示每个接头的应力情况。在他们的实验中，一个真实的人类受试者观察了各种富有成效的虚拟同伴，并相应地改变了自己的工作速度。此外，Li等人[40]研究了DHM在虚拟核退役操作中的不安全行为。通常，这种基于VR的人类行为研究的准确性在很大程度上依赖于虚拟环境的真实性和人机交互手段。在6.5%（3）的文章中确定了教育/培训类别。传统上，在制造业中，提供技能和安全指导的教育和培训通过图7虚拟环境中的同伴效应研究[33]。各种文件和视频[81]。随着VR和DHMs的应用，学员可以在虚拟环境中观察DHMs并与之互动，这大大提高了学习兴趣和效率[82，83]。此外，在许多情况下，教育和培训费用可以减少。3.3应用程序环境通常，根据虚拟环境的呈现类型，VR分为沉浸式VR和非沉浸式VR。沉浸式VR主要使用洞穴自动虚拟环境（CAVE）或头戴式显示器（HMD）来呈现虚拟环境，可以为用户提供强烈的沉浸感[33]。相比之下，非沉浸式VR使用桌面显示系统呈现虚拟环境，无法提供高水平的沉浸感[39]。此外，增强567朱文民等：数字人体模型在制造业现实（AR）技术也可以用来提供虚拟信息或场景[63]。因此，在制造业中，DHM的应用环境可以根据上述方法来构建。这些类型的环境在制造业中的典型应用如图8所示。图8 应用程序环境的类型。(a)CAVE[33]，（b）HMD[60]，（c）AR[63]和（d）桌面[71]。根据上述分类，对46篇文献中的应用环境类型进行统计。结果如图9所示。如图9所示，DHM的桌面应用环境是当前实际应用中应用最广泛的类型，占入选文献的63.0%（29篇）。这主要是因为桌面显示系统和提供DHM功能的相应商业软件的普及。然而，CAVE和HMD系统的应用相对较少，这可能与两个不同的因素有关。首先，CAVE和HMD系统的建立和运行成本相对较高[33，72]，这限制了它们的应用。其次，DHM的运动由真人驱动，这意味着制造过程模拟的工作量非常大[48]。此外，CAVE和HMD系统中的相关设备的调试，例如运动捕捉系统的校准，是耗时的。因此，制造企业不喜欢将CAVE和HMD系统应用于实际应用。此外，一些研究人员已经建立了两种不同的沉浸式和非沉浸式系统（10.9%（5）的文章）目的[41，44，52，72，75]：比较上述两种类型的应用环境，并将其结合用于DHM模拟。为了减少建模和处理虚拟环境和模型的工作量，可以应用AR技术（4.3%（2）的文章）[63，65]。例如，[63]的作者将DHM与物理环境相结合，以实现汽车内部评估，如图8c所示。图9应用环境。568虚拟现实智能硬件2019年第1期3.4开发工具本文从硬件和软件两个角度介绍了DHM应用的开发工具[29，31]。对所选46篇文献中使用的硬件和软件进行分析。一些结果列于表4中。对于硬件，没有列出普遍存在的设备，如计算机、键盘和鼠标。表4开发工具第[三十三][35]第三十五届[37个][39]，[82][第四十二届][44]，[57][48个][49个][60个][第六十一届][63个][64个][第六十五章][72]，[75][80个][八十三]应用类型人类行为研究人机协作仿真装配/维护模拟和评估工作场所设计和优化人机协作仿真装配/维护模拟与评估汽车内饰评估汽车内饰评估汽车内饰评估工作场所设计和优化人类行为学人机协作仿真应用程序安装CAVEHMD洞穴桌 面 桌面HMD桌面桌面两个CAVEAR桌面AR两桌面HMD硬件aixCAVE/Kinect/3D眼镜/运动捕捉系统eMagin Z 800 3DVisor HMD/KinectCAVE系统/PhaseSpace运动捕捉无Xsens动作捕捉系统NDI POLARIS光学测量系统/CyberGlove/ Sensics HMDKinect无Oculus Rift/Vicon光学跟踪系统/平板电脑CAVE系统/Kinect/Firefly相机iPhone/VITUS XXL激光扫描仪无Xsens动作捕捉系统/微软HoloLensVicon光学跟踪系统/ Volfoni EdgeRF/AVR音响系统没有一Oculus Rift/Kinect软件3DsMax/SmartBodyUnity 3D/Evolver 3D数字AV‐atar/3Ds MaxDELMIA虚幻引擎/Adobe渲染器/Mixamo/3Ds Max工业路径解决方案（IPS）IMMAVESP/OSG杰克IPS IMMAUnity 3D/Middle VR/ VuforiaJack/VR Juggler/OpenGLApple ARKit/UMTRI人体模型/Unity 3DIPS IMMACATIA/Blender/UnityDelmiaRAMSISUnity 3D/Evolver 3D数字AV‐atar/3Ds Max大多数桌面应用程序环境不需要无处不在的设备之外的额外硬件，并且可以使用键盘和鼠标在各种软件中实现DHM的设置和模拟。然而，对于CAVE和HMD应用环境，DHM模拟由从真实人类捕获的运动数据驱动。此外，一些研究利用运动捕捉方法代替键盘和鼠标来驱动桌面环境中的DHM[34，42，48，56]。常用的运动捕捉系统可以分为两种：非光学系统和光学系统。如图10所示，Xsens是最常见的非光学系统。它使用附着在人体上的可穿戴惯性传感器来捕捉人体运动。光学系统包括非标记（e.例如，在一个实施例中，Kinect）和基于标记（例如，Vicon和NDI）方法。基于标记的光学系统必须将多个标记固定在人体上并进行系统校准，这是一个复杂而困难的过程。非光学和基于标记的光学系统通常是昂贵的。569朱文民等：数字人体模型在制造业此外，佩戴传感器或标记很容易使用户感到不舒服，并影响人类行为的真实性[72]。目前，Kinect是最常用和最经济的运动570虚拟现实智能硬件2019年第1期图10动作捕捉系统：（a）Xsens[65]，（b）Kinect，（c）NDI和（d）Vicon[72]。捕获系统它最初是为游戏开发的。虽然Kinect的准确性不如其他动作捕捉系统，但有学者通过利用多个Kinect系统来提高其准确性，可以满足制造业应用的要求[48，79]。对于HMD系统，使用不同类型的头盔，例如Oculus Rift、Sensics和eMagin[44，54，57，60，78，83]。对于AR系统，便携式设备，如MicrosoftHoloLens，平板电脑和智能手机，是常用的硬件[60，63，65]。在软件方面，Jack、RAMSIS和Delmia是DHM应用中最常用的商业软件。RAMSIS为设计人员提供了详细的DHM来模拟乘员的各种操作行为。它是汽车内饰HFE分析和评估的有效工具[80]。Jack和Delmia是DHM和仿真的强大工具，可以分析和评估各个阶段的HFE问题，包括产品设计和制造。此外，近年来，游戏引擎（GE）已应用于虚拟制造和DHM，包括Unity 3D和虚幻引擎[35，39]。GE可以为渲染、交互和物理提供有用的应用程序编程接口，促进高质量和高保真虚拟环境的构建[39，82]。GE中 使 用 的 DHM 通 常 来 自 在 线 角 色 动 画 数 据 库 ， 例 如 SmartBody 、 Mixamo 和 UMTRI HumanAnimation[82，84，85]。目前，这种DHM主要用于执行某些姿势或运动，并且不具有用于HFE分析和评估的内置功能。上述软件平台中使用的DHM如图11所示。3.5运动控制运动控制是指DHM在某些约束条件下执行所需姿势和运动的方法。在DHM的应用中，有时只需要将DHM调整到一组特定的姿势。例如，对于汽车座椅评估，DHM在各种坐姿下保持坐着和不动，并且基于这些静态姿势完成HFE分析和评估[63]。然而，在大多数情况下，DHM必须执行连续移动。这些运动的真实性对于随后的HFE分析和评估至关重要[48]。虽然与真实人体相比实现了一些简化，但DHM通常具有至少20个DOF（自由度）。生成DHM的姿势和运动是一个复杂的过程，这使得运动控制成为关键571朱文民等：数字人体模型在制造业图11 常用的DHMs。（a）Jack，（b）RAMSIS[80]，（c）Delmia[58]，（d）Mixamo[82]，（e）SmartBody[84]，以及(f)[85]第八十五章.技术和研究的重点DHMs的应用。一般来说，DHM的运动控制方法有五种类型：关键帧方法，运动捕获方法，模型驱动方法，运动合成方法和运动规划方法。这五种方法的比较见表5。表5运动控制方法方法现实可控性效率普遍性文章关键帧良好好贫困好[38][39][40][50][51][52][58][59][62][63][64][66][67][68][69][71][72][73][74][75][76][80][81][82]运动捕捉一般好一般[33][34][35][37][41][42][44][48][52][54][55][56]模型驱动运动合成运动规划好将军穷将军好将军好穷 人穷 人好[57][60][61][65][70][72][75][77][78][79][83][52][44][八十四][49][53]在关键帧方法中，设计者手动调整DHM的每个关键姿势并插入关键姿势以生成连续运动，如图12a所示。设计师必须具有非常高水平的人体工程学专业知识和经验，以协调DHM的多个自由度。这种类型的方法效率低下，并且需要为复杂的环境和任务进行大量的工作[48]。但由于设计人员可以控制DHM的每个关节，因此这种方法具有良好的可控性和通用性。运动捕捉方法使用从真人捕捉的运动数据驱动DHM，并且具有最高的效率水平。然而，运动捕捉方法的应用范围是有限的。目前很难完成需要DHM和环境之间相互作用的运动，例如拧紧螺栓的过程[44]。如图12b所示，用户在没有真实对象的情况下完成各种姿势和运动，这意味着基于缺乏真实交互，所得到的姿势和运动是不准确的。因此，捕获的运动数据不能准确地反映人的运动，这意味着以这种方式驱动的DHM的运动精度相对较低。为了克服这个问题，Peruzzini等人[72，75]通过结合虚拟和真实对象建立了一个混合沉浸式环境，如图7c所示。混合环境使用户的姿势和动作更加自然和真实，提高了DHM的运动精度。572虚拟现实智能硬件2019年第1期图12运动控制方法。（a）关键帧，（b）运动捕捉[72]，（c）运动合成[86]，以及（d）运动规划[49]。模型驱动的方法构造人体运动的运动函数，然后通过向运动函数中输入不同的参数来生成连续的运动。然而，这种方法只能用于某些常规行为，例如行走[52]和拧紧操作[44]。运动合成方法需要预先采集和存储大量的人体运动数据。然后，当处理新任务时，编辑和合成存储的运动数据以生成DHM的期望运动，如图12 c所示。然而，人体运动编辑和合成技术复杂，解决问题的效率低[86]。此外，由于这些方法主要利用存储的运动数据，它们的通用性很差。运动规划方法用于解决复杂环境和任务下的DHM运动生成问题，主要应用于机器人领域。对于某些复杂的环境和任务，以前的四种方法往往难以获得合理的姿态和运动的DHMs，但运动规划能够解决这样的问题。例如，在图12d中，DHM模拟的目的是验证工人是否可以在狭窄间隙内用他们的手臂完成装配操作。这个问题不能用模型驱动的方法来解决，但可以用关键帧或运动合成的方法来解决，但由此产生的工作量会非常大。运动捕捉方法也可以解决这个问题，但需要过多的人力和物力资源。在这种情况下，运动规划方法是最合适的选择。然而，基于随机采样的运动规划方法，运动规划的结果往往是随机的和不同的。此外，生成的运动的真实性较差，需要进一步优化。根据统计结果，关键帧和运动捕捉方法是制造业中使用的主要运动控制方法。相比之下，模型驱动方法、运动合成方法和运动规划方法很少使用。此外，一些研究结合了不同的方法，以提高运动控制的效率和精度。例如，Qiu et al.[44]结合模型驱动和运动捕捉方法。Guo等人。[52]结合了关键帧方法，模型驱动方法和运动捕捉方法。3.6HFE评价基于人类主体（设计者）的控制，DHM可以完成各种姿势和动作，573朱文民等：数字人体模型在制造业实现与虚拟环境的交互。这种情况也可以被看作是人类主体与虚拟环境的交互。因此，HFE问题可以从人类受试者和DHM的角度进行评估[72，75]。因此，HFE评估可以分为两种类型：基于DHM的方法和基于人类主体的方法。前一种类型通过分析基于DHM的模拟过程进行HFE评估，而后一种类型则侧重于由人类受试者完成的访谈或问卷调查[58]。在基于DHM的方法中考虑的因素主要集中在可达性，可见性，姿势，舒适度，疲劳和操作空间。主要的分析工具和方法包括包络球、视锥、Risk[37，42，44]、快速全身评估[74，76，79]、Ovako工作姿势评估系统[76，81]和欧洲评估工作表[34，71]，这些工具和方法通常集成到商业软件中。基于人类受试者的方法主要关注无法使用模拟评估的因素。例如，操作难度和压力难以使用模拟来量化，但它们可以基于人类受试者的主观分数来测量。常用的方法包括HFE检查表和NASA任务负荷指数问卷[12，60]。此外，访谈和问卷调查的内容可根据具体任务而有所不同。4研究趋势和结论在本节中，通过回答研究问题Q4，分析和讨论了各种研究趋势。接下来，总结了本研究中所做的工作。4.1研究动态基于我们对上述文章的分析，我们认为制造业DHMs的研究将基于以下趋势取得进展。4.1.1制造过程制造过程中的人类行为对生产效率有重大影响，需要进一步研究[33]。随着GE和计算机仿真技术的不断进步，构建高质量、高保真的交互式虚拟环境变得越来越容易[39]。因此，可以预先构建不同的制造场景，以研究沉浸式虚拟环境中的各种工人行为。一些学者已经开始研究与同伴效应相关的问题[33，40，80]，但未来应考虑其他因素，例如DHMs的不同身体特征以及DHMs之间的情感交流或对话。此外，认知DHMs可以被引入到制造过程中，以创建更逼真的制造环境。虚拟环境的真实性使获取的数据和信息更加可信。此外，仿真结果不仅限于研究层面，还可以直接作为改进工作场景和内容的依据。4.1.2人机协作系统人机协作是制造业的主要趋势。未来，大量的人工站将转变为人机协作站[42]。此外，基于人机协作的高度灵活性，人机协作站应经常调整，以满足不同的生产需求。人-机器人协作系统的合理设计是非常重要的，虚拟仿真和DHM被认为是设计的关键技术574虚拟现实智能硬件2019年第1期过程[35]。在传统的应用中，DHM的交互对象大多是静态的环境和产品。然而，DHM必须与动态机器人在国家的最先进的应用。因此，未来的研究应首先集中在反映在虚拟仿真环境中的物理世界中的人机交互的功能。例如，虚拟协作机器人还应该能够实时检测DHM的位置和姿态，然后执行相应的动作。此外，在规划过程中，应研究任务分配，操作顺序，安全性和效率的集成。在某些情况下，还应考虑工作人员在动态交互环境中的脑力负荷。否则，后续的交互可能会受到不利影响。目前还没有实用有效的人机协作系统评价体系，如何对人机协作系统进行有效、实用的评价是未来研究的重点。4.1.3与AR在没有3D模型或模型复杂且建模过程非常困难的情况下，可以通过结合AR和DHM来分析一些HFE问题[63，65]。然而，目前的DHM是非常静态的，只能与物理环境进行有限的交互。未来，应研究DHMs与物理环境之间的智能交互。这将允许DHM根据不同的需求自动生成姿势和动作，同时支持HFE分析和评估。此外，这种组合可以应用于制造业的教育和培训。4.1.4 改进 运动 规划 对于DHM基于DHMs的流行，越来越多的研究人员将在他们的研究中考虑DHMs。运动控制技术将一直是DHM在制造业中应用的关键技术。目前，最常用的方法是关键帧方法和运动捕捉方法。然而，基于劳动力成本的增长和智能制造的趋势，这两种严重依赖人工干预的方法将不再适用[49]。特别是在复杂的约束环境中，运动规划将是最合适的方法。当前的运动规划解决方案类似于机器人运动，其基于随机采样方法。然而，与机器人不同，人类的运动有其独特的规律和特点。因此，未来应研究人体在不同环境下的运动规律，以指导采样过程，提高规划效率。4.1.5系统和全面的HFE评估HFE评价是产品设计和改进的重要依据。现有的HFE评估系统通常通过忽略各种影响因素或仅考虑常见的制造条件来简化[72]。然而，随着产品结构和工作环境变得越来越复杂，HFE问题应该系统和全面地分析和评估。首先，应考虑各种制造条件，包括不同的照明环境[57]，工人的身高和年龄[80]以及工作时间[62]。根据不同条件下的HFE评估，可以确定最合适的设计和改进方案。第二，应考虑其他因素或指标。例如，对于基于DHM的方法，应使用更详细的DHM或工具（如AnyBody[87]）从模拟中获得更有用的信息。4.2结论随着虚拟现实技术的发展，虚拟制造技术和DHMs得到了广泛的应用 和575朱文民等：数字人体模型在制造业近年来发展起来的。本文旨在明确DHMs在制造业中的应用和研究趋势。首先，检索并筛选了过去5年（2014年1月至2019年5月）的相关文献。最终获得了49篇文章。在此基础上，从应用领域、应用类型、应用环境、开发工具、运动控制、HFE评价等六个方面分析了DHMs在制造业中的应用。最后，根据不同的分析方法，说明和讨论了某些研究趋势。研究结果表明，DHMs在制造业中的应用应考虑以下几个方面：（1）制造过程中的人类行为研究;（2）人机协作系统的规划与评估;（3）与AR的结合;（4）改进DHMs的运动规划;（5）系统和全面的HFE评估。综上所述，DHM在制造业中的应用前景广阔，本文可为从事DHM相关研究的读者提供有益的参考。引用1马J F，贾拉达特R，阿舒尔O，汉密尔顿M，琼斯P，Dayarathna V L.虚拟现实教学模块在制造系统设计课程中的有效性研究。机械设计学报，2019，141（1）：1-13 DOI：10.1115/1.40414282倪亚春，王世凯。虚拟现实和增强现实在制造业中的应用。IFAC Proceedings 2013，46（9）：15