飞机自动喷涂系统的三维虚实映射与在线仿真监控

引文：邱世光，刘顺涛，孔德帅，何其昌。飞机自动喷水作业三维虚实映射及在线仿真监控。虚拟现实智能硬件，2019，1（6）：611-621DOI：10.1016/j.vrih.2019.10.003虚拟现实智能硬件2019年第1期第6期·文章·飞机自动喷水作业三维虚实映射及在线仿真监控世广QIU1*，顺太OLIU1，德顺IKONG1，奇昌HE21. 成都飞机工业（集团）有限责任公司有限公司、邮编：6100922. 上海交通大学机械工程学院，上海200240*通讯作者，sgqiu2013@163.com投稿时间：2019年7月11日修订日期：2019年9月28日接受日期：2019年10月28日四川省军民融合专项基金资助项目（ZYF-2017 - 66）。摘要背景本研究旨在解决飞机自动喷涂系统中缺乏闭环反馈优化工具的问题;我们系统地分析了自动喷涂系统所使用的三维（3D）虚实映射技术，即数字孪生技术。方法通过在喷雾系统中安装传感器，在线采集喷雾作业参数，驱动三维虚拟喷雾系统，实现对喷雾作业的全要素监控。此外，作业评价模型用于分析和管理喷雾质量的关键指标，一旦关键指标的数据值超过阈值，则自动优化作业。结果该方法能有效地支持喷雾过程的高效分析、评价和优化。关键词数字孪生;飞机;自动喷涂;虚拟现实;虚拟环境1引言表面喷涂或喷漆是飞机制造的最后一步;它是现代飞机制造过程中最耗时的步骤之一。喷涂过程需要高度熟练的操作人员。一方面，这些操作人员可以通过培训和实践掌握喷洒任务。另一方面，还需要有出色的实践能力。手动喷涂无法提供一致的质量，并且还对工人的健康有害。由机器人进行的表面喷涂具有独特的优势，包括高效喷涂，质量一致性，安全性和环境保护;它具有在更广泛的市场中未来开发和应用的潜力[1]。通常，飞机的尺寸超过了普通工业机器人的工作空间限制。因此，它们需要专门设计，修改和集成;然而，这涉及很高的技术复杂性。 机器人喷涂系统已经在航空工业中引入，最初，整个机器的表面涂装是通过机器人实现的。飞机表面自动涂装涉及多道工序，合理安排各工序可以有效提高喷涂系统的自动化水平。Miao等人研究了与喷涂作业规划相关的关键技术，如飞机姿态标定和喷枪轨迹规划[2]。基于二次开发技术，开发了CATIA环境下的作业规划平台。www.vr-ih.com虚拟现实智能硬件2019年第1期第6期由于飞机外形复杂、体积大，在自动表面喷涂系统中需要多机器人协同工作。此外，喷涂工艺参数复杂，随工作空间、时间和环境的变化而动态变化，是一个典型的复杂的自动化操作系统，对喷涂工艺和机器人协作要求很高。目前，该领域的研究主要集中在自动喷涂系统的开发和喷涂作业的规划。闭环反馈优化的实现在自动喷雾系统领域尚未涉及。数字孪生技术又称虚实映射技术，可以将物理世界与虚拟模型联系起来，实现生产过程的在线监控、仿真分析、自动优化[3]。Grieves等人描述了数字孪生概念及其发展;还阐述了其在产品生命周期中的应用[4]。Tao等人提出了一种新的基于产品设计的数字孪生方法，并提出了一个框架[5]。Bilberg等人讨论了一种面向对象的事件驱动仿真，作为与机器人协调的柔性装配单元的数字孪生模型，与人类一起执行装配任务[6]。Tao等人提出了数字孪生车间的新概念，以允许制造的物理和虚拟世界之间的通信和交互[7]。Uhlemann等人提出了在生产系统中实施数字孪生方法的指导方针[8]。系统分析了三维数字孪生建模技术，实现飞机自动喷涂系统喷涂作业过程的全要素、全视角三维监控，全面探讨了自动喷涂作业的高效分析与评估优化。2总体方案飞机自动喷涂系统主要由三台IRB-5500机器人和三套三自由度运动平台组成。在喷涂作业之前，根据机器人工作空间的大小，将飞行器的整个外表面划分为若干个表面块;每个表面块的大小必须小于机器人工作空间。然后，设计每个移动平台的位置，以确保机器人在每个指定站点的喷涂范围完全覆盖相应的表面块。最后，每个机器人被运动平台提前送到指定位置，然后，每个机器人开始喷涂作业。飞机表面自动喷涂系统数字孪生技术的总体方案详见图1。首先，基于工艺流程，在虚拟环境中对整个喷涂过程进行仿真，考虑所有相关因素，验证机器人运动路径的合理性。因此，必须避免（1）机器人与飞机、（2）机器人与周围车间环境以及（3）机器人与机器人之间的干扰，以防止喷涂过程中的重大事故。仿真验证后，将作业规划数据传输到现场工控机，驱动机器人进行喷涂作业。在喷涂作业过程中，通过安装在系统中的传感器采集喷涂系统参数，包括喷涂状态数据集、机器人运动参数集、工艺参数集和工作环境数据集，并将这些数据集实时传输到虚拟监控系统。从而将整个作业过程映射到虚拟环境中，实现对喷涂作业的全要素监控。通过运行评价模型对喷雾质量的关键指标进行在线监测。当指标值超过设定阈值时，根据喷涂操作优化模型，系统检索工艺参数知识库612Shiguang QIU等：飞机自动喷雾作业三维虚实映射及在线仿真监控图1飞机自动喷涂数字孪生系统的总体方案。通过控制命令寻找最佳工艺参数并调整现场操作的工艺参数。如果没有合适的工艺参数或调整后指标值仍超过阈值，则通过控制命令停止喷涂，并发出警报通知技术人员进行现场处理。如果局部区域的喷涂质量不令人满意，则整个过程参数信息、环境（温度、湿度等）并且可以通过喷涂过程跟踪喷涂特性（厚度）。所有这些信息都用于全面分析和重新调整工艺参数。最优工艺参数存储在知识库中，实现闭环优化，充分支持多因素复杂条件下喷雾优化模型的构建。综上所述，飞机自动喷涂系统的数字孪生方法主要包括虚实映射技术和喷涂作业过程的在线评估与优化，还涉及大型复杂喷涂环境下的多机器人协同仿真。3关键技术3.1喷涂作业过程3.1.1喷雾作业表1列出了喷洒作业全因子信息中包含的7个数据集。对喷涂作业过程进行在线监测，支持虚拟还原喷涂作业的真实情况，优化工艺。每个参数的具体含义如下。参数集P= {Type，Da，Db，α，v，f，Pa，Pb，W}包括优化喷涂工艺和提高喷涂质量的关键参数，其中Type表示涂料类型（由于成分、粘度等的差异，自动喷涂的工艺参数因涂料不同而有较大差异）;Da为喷涂距离;Db为搭接距离; α613虚拟现实智能硬件2019年第1期第6期表1 喷洒作业类型质量参数集生产参数集工艺参数组设备参数集环境参数集符号Q速率OPrtKE描述表征与质量相关的变量，如喷雾厚度和稠度表征与生产相关的变量，如喷涂计划、喷涂面积和喷涂比率包括影响喷涂质量包括与喷涂设备本身密切相关的信息，如喷涂系统的运动信息和运行状态信号包括影响喷涂质量的环境变量和喷涂工艺参数特定参数ΔHa（t）SWRbtATe表示喷涂方向与飞机蒙皮法线之间的夹角（计算Da和α的方法详见第3.2.1节）;v表示喷涂速度;f表示油漆流速; Pa表示雾化压力;Pb表示风扇压力;W表示喷涂宽度（W=C ×λ，其中λ由Da、Pa、Pb确定）。参数集K={RbtA，RbtB，RbtC}包含了实现从真实机器人到虚拟机器人同步映射的基本运动数据，其中RbtA表示机器人A的运动参数（RbtA={Pos，R，Ctrl}，其中Pos={x，y，z}表示机器人的位置;R={R1，R2，R3，R4，R5，R6，R7}表示机器人的关节姿态）;Ctrl表示机器人的工作状态。参数组E={Te，Hr}包括影响喷涂质量的环境变量，喷涂质量又影响喷涂过程参数的选择。在E中，Te表示车间的温度，Hr表示车间的湿度。参数集OPrt= {PrtNo，PrtCur，PrtMat}包含喷涂对象的属性数据，其中PrtNo表示喷涂对象ID;PrtCur表示喷涂蒙皮的曲率;PrtMat表示材料，包括复合材料、金属等。参数集ODEV={SigRbtA，SigRbtB，SigRbtC，.}包括喷涂系统的运行状态，如运行、暂停、故障等，其中SigRbtA、SigRbtB、SigRbtC分别为机器人A、B、C的运行状态;ODEV还包括其他信息。参数集Rate ={S，Sa，Sb，PctS，Ta，Tb，PctT，Sp，Spa，Spb，PctSp}表征喷洒进度，其中S表示计划的总喷洒面积; Sa表示已喷洒的总面积（基于机器人的运动轨迹和喷枪的范围实时计算）; Sb表示剩余喷涂区域（Sb = S Sa）; PctS表示喷洒面积与总喷洒面积的比率（PctS =（Sa/S）× 100%）;Ta表示喷洒时间; Tb表示预计剩余喷洒时间（Tb = Sb/v）; PctT表示喷雾时间与总时间的比率（PctT=（Ta/（Ta + Tb））× 100%），并有助于了解喷雾过程与时间的关系; Sp表示当前喷涂皮肤的喷涂面积（在喷涂规划期间自动计算）; Spa表示当前皮肤已经喷涂的面积，并且当喷涂新皮肤时，记录喷涂时间t（Spa = W × t × v）; Spb表示当前皮肤的剩余喷涂面积（Spb = Sp × Spa）; PctSp表示喷涂面积与当前皮肤总面积的比值（PctSp =（Spa/SP）× 100%）。从PctSp可以直观地了解当前皮肤的喷涂过程。喷涂质量参数集的重要性详见第3.2.1节。3.1.2喷涂机器人的数据驱动建模喷涂机器人数据驱动建模的过程主要包括三个层次：（1）建立机器人模型各关节间的父子关系，（2）采集并分析喷涂数据，（3）建立机器人模型的运动模型。614Shiguang QIU等：飞机自动喷雾作业三维虚实映射及在线仿真监控（3）根据数据驱动机器人。图2说明了机器人的数据驱动建模过程。首先，ABB IRB-5500喷涂机器人被建模为具有三个独立辅助轴的六关节串联机器人。为了对机器人臂的末端关节的运动链进行建模，通过连接相邻的关节臂来建立父子关系，由此应用于父对象的变换可以同时传递到子对象，并且子对象的运动不应影响父对象。然后，通过OPC UA[9]标准协议采集喷涂过程的数据，处理后生成数据文件的喷涂操作数据包括系统运行时间、三自由度平台的XYZ坐标和三自由度平台的七个关节的角度。图2喷涂机器人数据驱动建模过程。机器人R1-R6。喷涂状态包括喷枪的打开和关闭以及工艺参数。坐标和角度是绝对值（即，坐标相对于平台的零位置，旋转角度相对于机器人关节的初始位置）。直接收集的数据文件必须通过定制的界面进行分析。然后，提取文件中的相应数据，并将其排序为关于时间的单个格式化指令。每个指令包括平台的坐标信息、机器人关节的角度信息和当前时刻喷涂过程的状态信息。最后，将飞行器的真实场景映射到虚拟环境中。飞机在真实场景中的位置与在虚拟环境中的位置存在一定的差异，这可以在图3中观察到。计划环境和实际环境之间的位置变换关系Mb可以通过校准导出。通过将位置矩阵设置为Mb×Ma1，可以将飞行器在实际场景中的位置映射到虚拟环境中。提取的格式指令中的坐标和角度信息与建立的三独立辅助轴模型和机器人模型中的对象一一对应。根据系统运行时间调用相应的运动指令，然后根据指令中的位置和角度信息控制喷涂机器人各关节的辅助轴位置和相应的旋转角度，从而实现喷涂机器人的数据驱动。3.1.3喷涂可视化技术在实际喷涂过程中，通过安装在机器人上的喷枪喷涂油漆，以形成由小颗粒组成的雾锥。每种粒子都具有以下特点：（1）具有一定的生命周期，从喷枪开始，到与飞机蒙皮碰撞后消失为止;（2）具有自己的运动状态，具有一定的发射角、初速度、喷射后的加速度;(3)该运动通常是线性的，与液滴本身的旋转运动无关;（4）它可能与周围环境碰撞;以及（5）它具有一定的外观状态。为了实现三维虚拟环境中喷雾的可视化，采用粒子系统，615虚拟现实智能硬件2019年第1期第6期图3虚拟场景中喷涂机器人的标定。模拟雾锥。该系统主要用于在计算机上模拟大量微小物质按一定规则运动或变化的生成和显示[10]。系统中的每个粒子都有自己的一组随时间更新的属性;这些属性包括生命周期、速度、加速度、颜色和位置。粒子发射系统的形状和位置分别设置为锥形和喷枪的喷嘴。粒子发射锥的半径和锥角同时设置。颗粒的生命周期必须根据喷涂距离和颗粒的速度进行调整。如果粒子的生命周期太长，会产生相当大的内存和GPU消耗，如果太短，粒子将无法与机身碰撞完成喷涂。粒子只有在与机身碰撞后才能消失。通过设置喷雾锥参数，喷雾可视化场景如图4所示。从喷射数据提取的格式指令包含喷射过程状态的信息，包括喷射的开始和暂停时间以及喷射的时间。雾锥的颜色和锥角。在粒子系统中，可以控制粒子发射的开和关状态、粒子的颜色以及圆锥发射形状中的圆锥的半径和角度。如果所提取的喷雾状态信息与粒子系统的属性之间存在一一对应关系，则可以有效地使用该数据来控制喷雾过程。在3D虚拟环境中，雾锥由粒子系统组成，通过每个粒子与机身模型的碰撞，通过碰撞检测得到碰撞点，并利用顶点改变碰撞点的颜色图4雾锥的模拟结果。着色方法实现了机身喷涂过程的可视化。3.2喷雾作业过程3.2.1喷涂作业过程为了保证喷涂质量，有必要对喷涂质量进行有效的评价。传统的人工喷涂工艺主要依靠操作人员的经验观察，616Shiguang QIU等：飞机自动喷雾作业三维虚实映射及在线仿真监控并及时发现和解决问题。因此，在机器人自动喷涂过程中，迫切需要对喷涂质量进行在线监测，以防止大规模喷涂事故的发生。喷雾均匀性是表征喷雾质量的重要指标。提出采用在线计算涂层厚度的方法对喷涂均匀性进行量化，构建了喷涂均匀性在线评价模型。具体建模过程详见下文。任意时刻的蒙皮的涂层厚度Ha（t）计算如下：Ha（t）=f×（t-t0）/Spa（ 1）然后，基于eq建立了单块蒙皮均匀性在线监测模型。（1）：Δ Ha（t）=|Ha（t）-H|，Δ Ha（t）≤ K1σHa（t）=STDEVP（Ha（t），Ha（t<$N），Ha（t<$2N），Δ FHa（t）=拟合（Δ Ha（t），Δ Ha（t-N），Δ Ha（t <$2N），......，Δ Ha（t <$MN）），|Δ FHa'（t）|≤ K3这里，ΔHa（t）是在任何时间点的涂层厚度与设计厚度H之间的偏差。该偏差必须与喷涂基本要求的设计值K1一致; σB（t）是表征喷涂质量稳定性的涂层厚度波动; σB（t）必须小于由一系列工艺试验获得的K2; Δ FHa（t）是0 μ t的线性拟合函数; Δ FHa'（t）是Δ FHa（t）的微分; Δ FHa'（t）从理论上表征喷涂厚度的变化趋势，Δ FHa'（t）=0，|Δ FHa'（t）|根据工艺测试，必须小于K3。在上述模型中，N是采样频率。为了减少在线拟合的在线计算，根据工艺的实际需要，MN一般为600 s。对于在任何时间点的所有喷涂皮肤，厚度Hb（t）计算如下：Hb（t）=f ×（t<$t0）/Sa（2）基于等式(2)建立了全机喷雾均匀性在线监测模型Δ Hb（t）=|血红蛋白（t）|，Δ Hb（t）≤ K1σHb（t）=STDEVP（Hb（t），Hb（tN），Hb（t2N），Δ FHb（t）=拟合（Δ Hb（t），Δ Hb（t N），Δ Hb（t 2N），......，Δ Hb（t-MN）），|Δ FHb'（t）|≤ K3全机喷雾均匀性在线监测模型参数与单蒙皮喷雾均匀性在线监测模型参数含义相同。采样频率更大，MN通常是单个皮肤的三倍。除了考虑喷雾均匀性作为喷雾质量的定量指标外，还需要在线监测喷雾质量的关键参数。喷涂机器人喷嘴与飞机表面之间的距离和角度对喷涂质量有重要影响。从理论上讲，喷头与机身的距离必须一致，角度必须垂直于飞机表面。在虚拟环境中，通过发射辐射来执行检测。机器人喷嘴的模型是圆柱形的。从底部的中心开始，垂直线垂直于底面，方向向外，从而形成射线。在喷涂操作过程中，无论喷嘴的姿态如何，射线始终垂直于喷嘴的平面，从而与机身的碰撞模型相交。飞行器碰撞模型包括简化体的网格。当射线与模型相交时，等效于计算直线与三角形的交点。碰撞点与射线基点之间的距离为实际喷涂距离Da。通过将射线的矢量和与皮肤的碰撞点的法向矢量相乘来计算真实喷射角α。通过在线监测Da和α的值，当超过阈值时，报警器应及时发出警报。617虚拟现实智能硬件2019年第1期第6期3.2.2喷雾作业过程的在线优化在喷涂作业的规划阶段，某些因素不能完全考虑，因此，喷涂作业的实际执行总是与理想状态存在差距。例如，喷涂路径t和喷涂参数的规划是在理想条件下完成的，但是真实的飞行器在装配过程中可能由于其自身重量而在不同区域中遭受变形。此外，车间环境、机器人运动精度、涂料性能等，将影响最终喷涂质量。因此，有必要通过全要素在线监测模型和质量在线监测模型综合判断喷雾异常。然后，系统根据分析结果和当前喷涂对象的特征属性（例如，例如，在一个实施例中，调整喷射距离、喷涂角度、涂料流量、喷涂速度等参数，及时在线优化）。喷雾操作过程的在线优化详见图5。图5在线优化喷涂操作过程。3.3大场景下多机器人高效协同仿真在实际喷涂操作中，必须避免喷涂机器人与机身蒙皮、车间设施之间的碰撞。由于整个虚拟场景模型由数千万个几何面片组成，因此无法使用DELMIA等软件工具进行多机器人实时协同仿真[11]。在Unity3D中建立简化的碰撞检测模型[12]，以取代原始的物体几何模型进行碰撞检测。以喷涂机器人为例，机器人由多个关节组成，并在机器人的每个关节上添加合适的包围盒模型。图6显示了添加到机器人的边界框模型。由于飞机模型比较复杂，如果使用包围盒组件进行碰撞检测，则碰撞检测不够准确，因此在飞机上添加网格体组件进行碰撞检测。因此，需要一种高效的碰撞检测方法。采用八叉树分割方法完成碰撞模型的分割。八叉树的节点从618Shiguang QIU等：飞机自动喷雾作业三维虚实映射及在线仿真监控图6用于碰撞检测的网格模型。根节点如果节点相交，则继续遍历，如果不相交，则放弃子树的遍历，实现实时碰撞检测。最后，可以得到碰撞结果[13]。从碰撞检测获得的结果包括碰撞的发生时间、位置和方向。该系统记录收集的数据，并将其用于喷涂过程的后续分析。4系统开发与应用飞机自动喷涂数字孪生系统是利用. NET框架，底层喷涂过程数据采集采用OPC UA标准协议。人机交互界面使用虚拟现实技术建立三维虚拟场景，同时提供用户友好的操作，如旋转，定位和缩放。利用粒子系统开发喷涂可视化模型，根据喷涂工艺参数实时绘制喷涂过程。碰撞检测算法用于实时检测机器人与飞行器部件之间的干涉。每个模块的主要功能如图7所示。飞机自动喷涂的虚实映射系统采用WPF[14]集成系统功能模块，使用Unity3D引擎实现三维可视化。该系统集成图7飞机自动喷涂数字孪生系统各模块。619虚拟现实智能硬件2019年第1期第6期设备管理、人机交互、可视化显示、逻辑计算、喷涂工艺知识库等模块，通过消息传递机制实现模块间的及时通信。平台可视化界面如图8所示。图8飞机自动喷涂数字孪生系统接口。5结论针对飞机自动喷洒系统缺乏闭环反馈优化使能工具的问题，提出了一种飞机自动喷洒系统的数字孪生模型。系统地研究了其关键技术。建立了飞机自动喷雾作业全要素信息模型和喷雾可视化模型。通过OPC UA协议实现了在线虚实映射。基于知识工程实现了喷涂过程的在线评价和闭环优化。研究了虚拟场景中数以千万计的虚拟喷涂粒子的碰撞检测方法。实际应用表明，飞机自动喷洒系统的数字孪生技术可以大大提高喷洒作业的规划效率和质量。引用1王国亮，吴丹，陈凯.航空制造机器人的现状与发展趋势。航空制造技术，2015，10：26-302苗东杰，吴玲，徐军，陈凯，谢勇，刘忠。飞机表面自动喷涂机器人系统及喷涂作业规划。吉林大学学报（工程技术版），2015，45（2）：547-553 DOI：10.13229/j.cnki.jdxbgxb2015020313陶芳，程建芳，齐庆良，张明，张宏，隋芳艳.以大数据数字化双驱动产品设计、制造和服务。国际先进制造技术杂志，2018，94（9/10/11/12）：3563-3576 DOI：10.1007/s 00170 -017-0233-14Grieves M，Vickers J. Digital Twin：Amplifying Unpredictable，Unexpected Emergent Behavior in Complex Systems.在：复杂系统的跨学科观点。瑞士，施普林格，Cham，2017，85DOI：10.1007/978-3-319-38756-7_45陶芳，隋芳英，刘阿，齐庆良，张明，宋碧英，郭正荣，陆世元，倪阿英。数字孪生驱动的产品设计框架。国际生产研究杂志，2019，57（12）：3935-3953 DOI：10.1080/00207543.2018.14432296作者：John A.数字孪生驱动的人机协同装配。CIRP Annals，2019，68（1）：499-502 DOI：10.1016/j.cirp.2019.04.0117陶锋，张明，程建，齐庆良。数字孪生工作坊：未来工作坊的新范式计算机集成620Shiguang QIU等：飞机自动喷雾作业三维虚实映射及在线仿真监控制造系统，2017，23（1）：1-9 DOI：10.13196/j.cims.2017.01.0018吴伟杰，王伟杰，王伟.数字孪生：实现工业4.0的信息物理生产系统。Procedia CIRP，2017，61：335DOI：10.1016/j.procir.2016.11.1529王建芳，陈宝泰，伊姆兰，陶芳，李丹，刘春林，艾哈迈德。面向物联网制造的动态资源管理。IEEE通信杂志，2018，56（2）：52DOI：10.1109/mcom.2018.170062910放大图片作者：J.剖析游戏引擎：以Unity3D为例。在：2015年国际研讨会 游戏的网络和系统支持（NetGames）。Zagreb，Croatia，IEEE，2015 DOI：10.1109/netgames.2015.738299011赵良智，张永华，吴晓华，严建华.基于DELMIA的工业机械手虚拟装配仿真与人机工程学分析第六届国际亚洲工业工程会议论文集管理创新Paris，Atlantis Press，2015，527DOI：10.2991/978-94-6239-148-2_5112刘耀新。基于混合包围盒的碰撞检测技术在工业机器人虚拟仿真中的研究与应用。广东：广东工业大学，201713刘晓萍，翁晓艳，陈红，曹玲.一种改进的基于八叉树的精确碰撞检测算法。计算机辅助设计与&计算机图形学，2005，17（12）：2631- 263514麦克唐纳M. Pro WPF 4.5 in C#，Windows Presentation Foundation in. 2012621