基于RGB-D相机的复杂产品增强装配引导系统

引文：杨康康，郭玉，唐鹏洲，张浩鹏，李汉。使用RGB-D相机进行对象配准，用于复杂产品增强装配引导。虚拟现实智能硬件，2020，2（6）：501-517DOI：10.1016/j.vrih.2020.01.004虚拟现实智能硬件2020年12月第6·文章·使用RGB-D相机进行复杂产品增强装配引导的杨康康，于古奥*，唐鹏卓，张浩鹏，李汉南京航空航天大学机电工程系江苏南京210016*通讯作者，guoyu@nuaa.edu.cn投稿时间：2019年6月30日修订日期：2020年1月6日接受日期：2020年1月13日国防基础科研项目（JCKY 2016605 B 006）;国防基础科研项目（JCKY 2017203 B 071）。摘要背景增强装配引导旨在通过增强现实技术帮助用户更高效、更快速地完成装配操作，打破传统装配引导技术内容单一、方式枯燥的局限性。对象配准是增强装配引导过程中的关键技术之一，它影响虚拟装配引导信息在真实装配环境中的定位和指向。方法提出了一种基于RGB-D摄像机的目标配准方法，该方法结合了Lucas-Kanade（LK）光流算法和迭代最近点（ICP）算法。利用该方法建立了复杂产品的增广装配引导系统。同时，为了比较所提方法的有效性，我们还基于开源的增强现实SDK Vuforia实现了对象注册。结果以某发动机模型和某复杂武器舱设备为例进行了验证。实验结果表明，与基于Vuforia的配准方法相比，本文提出的配准方法具有更高的准确性和稳定性，通过该方法构建的增强装配引导系统与传统装配相比，大大提高了用户的时间。结论本文提出的对象配准方法可以很好地应用于增强装配引导系统中，可以大大提高装配效率。配准;增强装配引导; Lucas-Kanade;迭代封闭点;复杂产品1引言在当前高度竞争和动态的商业环境中，制造业正面临着新的挑战，这需要对制造属性的四个主要类别进行整体透视：成本，时间，质量和灵活性[1]。装配活动作为制造业的最后一个环节，是复杂产品生产过程中非常重要的一环，具有多工序、多目标的特点。2096-5796/©版权所有2020北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.com虚拟现实智能硬件2020年12月第6装配作业空间狭小，装配工艺复杂。整个装配成本占复杂产品总制造成本的40%以上[2]。目前，以航空、航天、船用产品为代表的复杂产品的装配，仍大多由工人根据二维装配工艺信息纸质文件手工实施，导致操作不连续，无法将三维装配工艺信息传递到装配线上直观指导现场装配工作，大大延长了装配时间，增加了装配错误率[3，4]。而增强现实技术辅助下的装配引导，可以将虚拟三维引导信息与真实装配环境相结合，为用户提供虚实叠加的装配融合环境，使用户在线、实时地获取与装配操作过程相关的多种引导信息，从而显著提高产品装配效率，缩短产品装配时间。虚拟和真实物体的配准，也称为三维配准技术，是增强现实技术实现的关键瓶颈之一。它是指将虚拟物体放置在需要放置的真实位置上，当用户移动视点时，虚拟物体仍能保持真实场景中原有的物理姿态关系，其中包括位置和方向[5]。为了正确、高效地完成装配操作，需要在特定的工作站上为用户提供特定的装配指导信息。因此，虚拟装配引导信息的位姿必须与真实装配对象的位姿一致。提出了一种基于RGB-D相机的三维配准方法，该方法将LK光流法和ICP算法相结合。与传统的基于特征关键点的跟踪配准方法相比，该方法去除了描述符计算过程，利用光流跟踪实现特征点的匹配过程，减少了内存消耗，在一定程度上提高了跟踪配准的性能。本文共分为五个部分。第一部分是引言，概述了复杂产品装配的特点、增强装配引导的概念以及对象注册在增强装配引导中的作用。第二部分对现有的三维配准方法进行了比较和分析。第三部分是本文提出的方法，包括总体框架和具体步骤。第四部分是基于某复杂武器舱装备的增广装配制导案例研究。最后一部分是讨论和总结。2相关作品在Liu等人提出的基于AR的智能窗中，[6]，摒弃了传统的计算量大、精度不准确的跟踪方法，直接通过数控控制器采集并记录刀具的实时位姿信息，实时渲染虚拟刀具和刀具路径作为参考。Wu和Wang[7]使用两个CCD摄像机来捕获红外激光笔在现实世界中的实时位置和姿态。通过激光笔的移动对虚拟物体进行操作，包括选择、平移和旋转，从而确定虚拟物体的位置和姿态。Fiorentino等人[8]使用开源平台Metaio，通过基于标识符的方法实现虚拟对象和真实对象之间koch等[9]提出了一种基于自然标记的AR系统框架，用于通过识别进出口招牌、消防招牌等室内环境中已有的自然签名，对虚拟物体进行跟踪和注册，并测试了跟踪结果的质量和准确性。Rodkowski和Oliver[10]提出了一种基于自然特征的跟踪方法，以促进在线装配引导系统中多个刚性物体的跟踪。首先，采用概率搜索方法对SIFT特征匹配算法进行改进。其次，对生成的特征图结构进行了优化。502Kangkang YANG等：使用RGB-D相机进行复杂产品增强装配引导的对象配准最后，用几块印刷电路板对该方法进行了验证。Pasman等人[11]采用的是惯性跟踪器配准方法，通过加速度计和陀螺仪组成的惯性跟踪器感知真实物体的运动，将结果直接反馈给显示系统，并通过延迟大但精度高的摄像头测量补偿跟踪过程中的漂移。最后，实现了移动端的增强。高质量跟踪注册真实平台。这些方法都在一定程度上提高了跟踪配准的性能，但都有一定的局限性，要么需要额外的传感器辅助，系统构建较为复杂，要么便携性较差，系统过于笨重，无法在实际装配环境中使用。3基于RGB-D相机的3.1Kinect相机模型RGB-D相机比单目相机通过微动或双目相机通过视差获取深度信息更积极。在本文中，我们采用了Kinect v2深度相机，它基于飞行时间测量原理，如图1所示。图1Kinect的摄像头结构原理Kinect摄像头通过RGB摄像头采集RGB彩色图像，通过深度摄像头测量深度信息，其摄像头模型与标准单目摄像头相同，通常为针孔摄像头模型。接着介绍了标准针孔摄像机模型，并根据实际装配场景中的合适位置定义了世界坐标系。基于透视投影的成像原理如图2所示。根据透视投影的原理公式，可以得到图像坐标系与摄像机坐标系之间的变换关系：图2透视投影成像原理。503==虚拟现实智能硬件2020年12月第6X Y fXc Yc Zc（一）摄像机坐标系与世界坐标系之间的刚体变换关系表示如下：Xccc w因为图像坐标系和像素坐标系之间的转换关系是（3），其中α和β是图像坐标的两个坐标轴之间的缩放比坐标系和像素坐标系：u=αX+u0v=βY+v0（三）综上所述，通过将表达式变换为齐次表达式，可以得到世界坐标系中的任意点与像素坐标系中的对应点之间的变换关系如下：乌鲁河x0u0XwXwRTYw关于我们Z=0fy v0 =MintMext（四）1 0 0 000Zww 1 1 通过引入针孔摄像机模型，得到三维世界中的空间点与二维图像中的平面像素之间的映射关系。RGB-D相机通常更精确，因此此处不考虑失真模型。3.2基于平面标记在这项研究中，Kinect摄像头用于实时跟踪真实的零件，可穿戴设备Hololens用于查看虚拟现实融合的最终场景。因此，摄像机标定的目的有两个，一是获取深度摄像机Kinect的内参数（深度相机的精度一般都比较高，所以这里不考虑失真系数），二是将深度相机坐标系中获得的深度数据转换到Hololens坐标系中从而将获得的深度数据实时传输给Hololens，将虚实融合的场景正确地显示给用户。3.2.1 校准 的 Kinect 固有参数为了保证Kinect采集的RGB图像能够自动与相应的深度图像对齐，必须首先对Kinect进行校准。本文参考Kinect提供的开源标定库[12]对Kinect的RGB摄像头和深度摄像头进行了标定，其基本原理仍然是采用张正友的标定方法[13]，利用棋盘标记获取摄像头的内在参数。在这种情况下，我们进行了八次校准，平均值得到的RGB相机的固有参数矩阵如下：粤备11044888号Mrgb_ int 电话：010 - 88817874传真：- 888178740 0 1 深度相机的内部参数矩阵为：粤备15051554号-1Mdepth_ int 电话：+86-021 - 8888888传真：+86-021 - 888888885040 0 1深度深度深度深度WebcamRGB深度RGBWebcamRGBKangkang YANG等：使用RGB-D相机进行复杂产品增强装配引导的对象配准3.2.2从深度相机坐标系到Hololens坐标系的为了将深度相机坐标系中获取的数据转换到Hololens坐标系中，需要进行多次刚性变换，以便用户通过佩戴Hololens看到具有正确位姿叠加关系的实时融合场景[14]。传输示意图如图3所示注意，TVirtual是从将深度相机坐标系转换为Hololens虚拟相机坐标系，则可以获得转换关系：图3从深度相机坐标系到Hololens虚拟相机坐标系的转换。T虚拟=T虚拟T网络摄像头TRGB（五）RGB和网络摄像头是指Kinect摄像头和网络摄像头的彩色摄像头坐标系全息透镜的坐标系。 变换矩阵TRGB虚拟摄像头可以获得Kinect和Hololens的官方API文档。通过在场景中放置棋盘标记，估算TWebcam、TCalibb和TCalibb可以通过使用与标准相机相同的校准方法来获得。RGBRGBWebcam最后，可以估计：T网络摄像头=（T校准）-1TCalib（六）、因此，通过组合（5）和（6），可以最终获得从深度相机坐标系到Hololens虚拟相机坐标系的变换矩阵TVirtual3.3使用LK结合ICP的配准过程传统的匹配跟踪方法是采用特征点法，因为该方法计算每个特征点对应的描述符，然后进行匹配。大量的描述符会导致匹配过程通常非常耗时，并且系统的初始化过程会很慢。对于这个问题，研究人员通常使用GPU加速等并行手段来加速匹配。它确实在很大程度上减轻了耗时的影响，但目前市场上的高性能GPU加速器价格昂贵，这给用户带来了一些困难[15，16]。光流法可以直接跟踪图像中像素点的运动，因此，除了参考帧之外，可以省略后续图像帧的关键点提取和匹配过程，在大大节省时间的同时，可以准确地跟踪摄像机运动。基于上述原因，本文将LK[17]光流法与迭代最近点（ICP）[18]相结合，实现了真实装配环境下摄像机运动和位姿的实时估计。采用LK光流法跟踪摄像机的运动，采用ICP估计摄像机的位置和姿态。总体技术框架如图4所示。3.3.1初始位姿估计为了实现虚拟物体与真实物体的实时配准，增强现实中的跟踪配准需要获取摄像机相对于真实装配物体的实时位姿关系。本文采用LK光流法与ICP相结合的方法，505和T伊米1 虚拟现实智能硬件2020年12月第6图4基于LK光流场和ICP相结合的跟踪配准方法框架。相机相对于相机初始位置的姿态。而要获得摄像机与真实装配对象之间的绝对位姿关系，需要在摄像机的初始位置估计摄像机与真实装配对象之间的初始位姿。在获得初始姿态[R| t] 0，利用图5中的位姿转换图可以估计出摄像机相对于真实装配对象的绝对位姿，进而实现虚拟装配对象与真实装配对象的实时配准。通常，在初始帧处拍摄的第一帧图像以摄像机的位置作为参考系，图5摄像机绝对位姿的估计并且此时世界坐标系与照相机坐标系一致。此时，摄像机的初始位置在真实三维空间中具有确定的位置和方向，装配基准位置确定后，装配对象在世界坐标系中具有确定的位置和姿态。因此，摄像机与真实装配对象之间的初始位置关系是一种刚性变换。本文采用PSPECTIVE（Perspective-n-Point）方法求解该姿态矩阵。通过对标志点的二值化、编码和解码[19]，很容易得到齐次坐标u ivi在图像上绘制1个正方形标记点，并建立标记坐标系以标记的中心为原点，则空间齐次坐标为：可以容易地获得标记坐标系中的标记上的四个角的x mi y mi 0 1 π。这样，就可以得到标记点四个顶点的空间齐次坐标和相应的图像齐次性。根据透视投影原理，我们可以得到：乌鲁河我xmiλvi =MR（七）1 由于在3.1节中已经获得了Mint，因此可以通过将四个等式（7）与标记的四个角的对应2D-3D点组合来获得相机相对于装配对象的初始位姿矩阵。3.3.2摄像机相对姿态估计图6显示了Kinect在某个时间在装配对象上捕获的两个RGB图和相应的深度图。摄像机相对位姿估计过程分为两个部分。第一506Kangkang YANG等：使用RGB-D相机进行复杂产品增强装配引导的对象配准图6时间t上一帧的RGB图和深度图。部分是跟踪。首先，从RGB-D图像中提取关键特征点。然后，利用LK光流法跟踪关键特征点，得到不同帧间对应的二维匹配点对。最后，通过组合深度图像来获得3D匹配点对。在位姿估计部分，通过光流跟踪得到图像帧之间的3D匹配点对后，利用ICP算法得到摄像机的相对运动位姿矩阵，具体如下。(1)LK光流跟踪选择相机在初始位置拍摄的第一幅RGB图像作为参考帧，并提取其FAST[20]特征点。提取后，我们使用LK光流跟踪RGB图像。假设摄像机图像中像素灰度随时间变化的函数为Hx，y，t，表示t时刻的像素的像素的坐标为x，y。当摄像机移动时，像素的位置也改变。在LK光流中，我们假设每个图像中相同空间点的灰度值是固定的，因此：H$x+dx，y+dy，t+dt<$=Hx，y，t<$（8）得到一阶泰勒展开式。Hx+dx，y+dy，t+dtx，y，t+Hdx+Hdy+Hdt（9）公式（9）可以通过合并来简化。阿格什· 阿格什· 阿格什Hdx+Hdy=-Hdy（十）xdt其中dx和dy分别是像素在x轴和y轴上的运动速度，它们是DT DT记为j和k。 ΔH和ΔH是像素点处图像帧的x和y阿斯特丽德分别表示为Hx和Hy，则公式（10）可以变换为：I（十一）Xy 拉克莱特K 5071=    2 i= 1我我二（十九）CQ我虚拟现实智能硬件2020年12月第6假设在图像的帧内取一个大小为q×q的窗口，窗口中的q2个像素的数量具有相同的运动，因此有：xHY吉吉克鲁克tk，k= 1，H xH y1 1000t  吉吉不存在A=，b=，则公式（12）可变换为A，k=-b。结果是Hx HyHtk可以通过最小二乘解得到：j克雷奇这样，我们就得到了图像帧移动时像素的速度j，k。当t是离散的时，我们可以估计像素在几个图像帧中的位置。也就是说，实现了对像素块的跟踪，并获得了对应的二维匹配点对。由于RGB-D相机获得的深度图提供了每个像素的深度信息，我们可以获得像素坐标vd摄像机坐标可以通过4.3.1节中描述的摄像机模型获得像素坐标的转换关系如下：uxc dv=M intpc =Myc（十四）可以推导出相机坐标为：xu-cxzfxy =v-cyzF（十五）C cyzc=d以这种方式，可以获得对应的3D匹配点对图7显示实验结果的LK光流跟踪在六个离散帧图像。(2)ICP位姿估计通过LK光流跟踪，可以得到RGB-D图像之间的三维匹配点对应关系。注意，图像帧之间的一组匹配点如下匹配：Q=q1，qi=Rq'i+t（17）则欧氏变换矩阵[R|这两个帧之间的相对运动姿态矩阵是这两个帧之间的相机的相对运动姿态矩阵。通过SVD方法求解矩阵，将第i对的匹配点之间的误差项定义如下：ei=qi-（Rq'i+t）（18）然后构造最小二乘问题以找到[R| t]矩阵，其最小化误差项。[Rt]=argmin1∑n||2||2两组的质心记录如下：μ=1∑nq，μ=1∑nQ'508ni= 1昆i= 1i（20）=-HC2i= 12i= 12i= 12i= 1我我2i= 1我Q'Qi= 1i= 1'我Kangkang YANG等：使用RGB-D相机进行复杂产品增强装配引导的对象配准图7LK光流法的实验结果。公式（19）可以简化如下：1∑n||2||2 =1∑n||(q-Rq'-t-μ+Rμ+μ-Rμ）||210- 12 - 13（||q-μq -R（q'i-μq'）||2 +的||μq-Rμq'--||2+ 2（qi-μq -R（q'i-μq'））T（μq-Rμq' -t））（二十一）=1∑n||q-μ-R（q'-μ）||2 +的||μ-Rμ-t||2q iq q q根据两组点μq、μq'的质心位置，可以得到各点的分散坐标。pi=qi-μq，p'i=q'i-μq'（22）然后，可以根据以下优化形式来求解旋转矩阵：R=argmin1∑n||p根据Arun[21]，我们可以得到旋转矩阵R：-Rp'i||2（二十三）R=UVT（24）其中，U和V是矩阵W经过SVD分解后的对角矩阵W=∑npip'iT=∑n（qi-μq）（q'i-μq）T =U∑V T（25）∑是由奇异值组成的对角矩阵，其中对角元素从大到小排列。随后，如果阶（21）的第二项为我QQ'我我零，则可以获得平移向量：t=μq-Rμq'（26）总之，可以估计图像帧之间的相机的相对运动[R| t]。5090ZZ慈i=2i= 12i= 1-C虚拟现实智能硬件2020年12月第6(3) 位姿优化假设该点在摄像机两个不同时间帧中的投影像素位置分别为p1和p'2，利用[R| t]矩阵，对于实三维空间中的固定3D点P，通过第二次光流跟踪，该点对应的实际像素位置为p2。由于光流跟踪和ICP都是连续重叠的，在替代过程中，如果不进行位姿优化，p2和p'2之间的累积误差会随着迭代次数的增加而增加，从而影响最终的跟踪配准效果。因此，我们通过最小化重新投影误差来优化相机运动，也就是说，使用通过将像素坐标与通过根据当前估计的姿态投影对应的3D点而获得的位置进行比较而获得的误差，其旨在通过连续优化[R| t]矩阵，如图8所示。根据RGB相机模型公式（4），可以看出，任意像素点的位置关系及其世界坐标系中的空间点满足：乌鲁河我图8重投影误差示意图。Z 吉夫茨Mexp（平均）1 你好，1是摄像机外部参数的李代数表示，其被变换成矩阵。ZciUi =Mintexp（整数）Pwi（28）最小二乘问题是根据重新投影误差构造的：n=argmin1∑n||Ui-1Mexp（x）P||e||e||nintwii i（29）利用微扰模型得到了李代数的导数。对于εε的左乘法扰动δε，e相对于扰动的变化的倒数可以推导如下：x Z0-fx Xc-fx Xc Ycf+fx Xw2ZZZ-fx Y埃莱e（δε）e2 2x2C c cZδδδ= δPδf f Yf Y f X YyCf X（三十）cyyC银河 Z2C-fy-2CyCC2Cy C 其中，fx是指李代数上的左乘微扰，Pc是指像素在摄像机坐标系中的坐标位置，fx，fy，cx，cy是摄像机模型的内参数通过这个雅可比矩阵，我们得到了重投影误差与摄像机位姿李代数之间的一阶关系，为摄像机位姿优化过程提供了重要的梯度方向，指导了优化的迭代计算。图9示出了在t= 5和t= 6帧下通过ICP获得的最佳位置和姿势，并使重投影误差最小化。3.3.3渲染和显示从图5中可以看出，在通过ICP获得相机的相对位姿估计之后，结合初始位姿，可以推导出真实物体在任何时刻相对于相机的位姿转换矩阵。510Zint（二十七）Z词ZKangkang YANG等：使用RGB-D相机进行复杂产品增强装配引导的对象配准图9ICP姿势解决方案和姿势优化的示例。M姿态=[R|t] 0[R|（31）根据这个位姿矩阵，可以通过OpenGL渲染出一个用于实时配准真实物体的虚拟3D模型，图10给出了基于这个原理的示例图。3.4方法性能比较为了比较本文提出的方法的应用效果，基于增强现实开源SDK Vuforia实现了另一种对象注册方法。提到杨康康的图10一部分的虚实叠加。文章[22]中的研究，该方法主要利用二维码实现虚拟装配对象与真实装配对象的注册。以某机身比例件为例，选取夹具支架上边缘与中边缘的套准精度进行对比，结果如图11所示。从图中我们可以清楚地看到，本文提出的目标配准方法的准确性明显优于基于Vuforia的方法。此外，实验还表明，虚拟物体模型在初始阶段与真实零件具有良好的配准关系，但当用户相对于装配零件移动时，基于Vuforia的虚拟模型具有较大的抖动范围，而基于Kinect的虚拟模型始终具有相对稳定的位姿。4为例基于本文提出的对象配准方法，我们建立了一个增强的装配引导511虚拟现实智能硬件2020年12月第6图11虚拟和真实注册效果的比较。系统，并验证了它与发动机模型和复杂的武器舱设备。图12为发动机模型的原始图片，该发动机模型由某种树脂制成，3D打印，包括18个主要部件，形状为600 mm × 291 mm × 334 mm。同时，武器舱设备有近67个零件，包括刚性和柔性。它们都可以成为复杂产品的典型代表。图12发动机型号及其零部件。在本案例研究中，Microsoft Hololens（开发版）用作硬件平台，Visual Studio 2017社区用作开发环境，结合了Unity3D和通用资源库HoloToolkit-Unity的帮助。此外，我们还使用了OpencCV、PCL和Eigen等开源库的API。一方面，将UG中建立的三维模型和CAPP系统中存储的相应装配工艺信息进行格式转换后存储到VRML模型数据库和SQL Server数据库中，然后通过中间件系统Unity 3D获取相应的CAD模型数据和文本数据，在中间件系统Unity 3D中进行虚拟信息的渲染和其他系统配置。另一方面，利用Kinect估计零件的位姿，并将位姿关系通过TCP/IP协议实时传输给Hololens，从而实现零件的实时跟踪和配准。最终实现虚拟装配引导信息与真实装配场景的融合显示。图13显示了本实验中构建的舱内设备和装配引导场景的真实模型，其设置与发动机模型完全相同。其中，用于正式装配操作的增强装配引导场景包括用于实时获取深度信息的kinect传感器、用于渲染的头戴式设备Hololens512Kangkang YANG等：使用RGB-D相机进行复杂产品增强装配引导的对象配准图13装配对象和装配场景。显示虚拟模型、用于标定深度相机与Hololens之间的位姿转换关系的棋盘格、用于装配的装配物舱模型。基于Hololens提供的库HoloToolkit-Unity，我们还实现了用户与虚拟引导信息的多通道交互，包括语音、手势以及这两者的结合，使用户可以根据实际装配环境灵活选择交互方式。在图14a中，用户通过用手势点击虚拟按钮来控制与特定组装步骤相关的组装指导信息的显示。在图14 b中，用户通过预先设置的语音命令来控制与特定组装步骤相关的组装引导信息的显示。在该系统中，设置语音命令“下一个”和“上一个”，以分别控制上一个步骤和下一个步骤的装配引导信息的显示。图14多渠道互动。在进行装配操作时，用户只需佩戴Hololens观看虚实融合的装配场景，然后根据系统提示的装配步骤信息，逐步完成装配操作。系统的操作过程如下（图15）。进入系统后，深度摄像头将此时获得的位姿信息通过TCP/IP协议传输给Hololens，然后系统中预先加载的模型根据位姿关系渲染在用户视野中的正确位置（本实验中虚拟模型与真实零件位置设置重合）。用户根据此时显示的虚拟装配引导信息进行第一步装配。当用户完成装配操作并向系统发送反馈指令时，系统显示下一次装配指导信息。然后，用户进入下一个组装操作内容，重复上述步骤，直到用户最终完成整个组装对象的组装内容。系统的最终目的是引导用户完成一个装配对象的完整装配动作。图16和图17分别示出了上述两个装配对象中的一个部件在某一时刻在用户视野中装配的开始、过程和结束。513虚拟现实智能硬件2020年12月第6图15系统运行程序图16一个座舱部件的增强装配引导演示。图17一个发动机部件的增强装配指导演示。514Kangkang YANG等：使用RGB-D相机进行复杂产品增强装配引导的对象配准5讨论和结论提出了一种基于RGB-D相机的物体配准方法，该方法结合LK光流算法和ICP算法，并通过该方法构建了复杂产品的增强装配引导系统。我们已经在第3.4部分进行了第一组实验。通过比较基于Vuforia的对象配准效果和基于LK和ICP的对象配准效果，可以看出本文提出的后者的改进和优势。同时，以一个复杂的武器舱设备和一个发动机模型为例，通过配准方法对增广装配制导系统进行了验证。图18显示了两组用户组装这两种产品所花费的时间的比较，其中第一组采用依赖于工艺手册的传统组装方法，而另一组使用本文构建的增强组装系统。我们可以发现，在其他条件相同的情况下，后者的平均装配完成时间明显低于前者。图18组装耗时比较。从这两个对比实验中我们可以得出结论，一方面，我们提出的基于Kinect的配准方法比基于Vuforia的配准方法性能更好，因为虚拟物体和真实物体的配准精度以及虚拟物体的抖动幅度是影响用户体验和系统可接受性的重要因素。同时，要进一步研究增强现实技术在装配设计与仿真中的应用，515虚拟现实智能硬件2020年12月第6虚拟对象和真实对象之间的注册将是一个非常必要的实现，而基于Vuforia的注册由于先天性的不足将不能满足进一步研究的需要。从这一点来看，我们的方法的普适性也明显更好。另一方面，可以明显看出，与传统的单调的装配引导相比，通过本文的配准方法实现的增强装配引导系统确实可以帮助用户更快速、更高效地完成复杂产品的装配工作。因此，综上所述，本文所做的工作具有非常重要的现实意义，能够很好地应用于实际工业场景的装配指导。竞合利益我们声明我们没有利益冲突。引用1杨文忠，王世荣，陈文忠.增强现实在设计和制造中的应用。CIRP Annals，2012，61（2）：657DOI：10.1016/j.cirp.2012.05.0102刘军，王军。复杂产品的协同装配设计与规划。华中科技大学出版社，2011，563飞机零部件虚拟装配技术研究。南京：南京航空航天大学，2007，14小H。复杂产品装配现场移动三维模型关键技术研究。Xi：西北工业大学，2014，15杨惠娟，宁荣祥，郑勇.基于XML的CAD与虚拟装配系统的数据交换。机械设计&制造，2006（11）：46- 486刘春，曹顺，谢伟，徐翔。虚拟-实体机床的增强现实辅助智能窗口。制造系统学报，2017，44：280DOI：10.1016/j.jmsy.2017.04.0087吴昌良，王宏.基于多模态增强现实的虚拟装配系统。在：2011年以人为中心的计算和嵌入式和多媒体计算国际会议论文集2011。多德雷赫特：施普林格荷兰，2011年，65DOI：10.1007/978-94-007-2105-0_98[10]杨文，杨文.大屏幕上的增强现实，用于交互式维护说明。工业计算机，2014，65（2）：270DOI：10.1016/j.compind.2013.11.0049Koch C，Neges M，König M，Abramovici M.用于增强现实室内导航和设施维护的自然标记。建筑自动化，2014，48：18DOI：10.1016/j.autcon.2014.08.00910Radkowski R，Oliver J.现场装配辅助系统的自然特征跟踪增强现实//虚拟，增强和混合现实。系统和应用。柏林，海德堡：施普林格柏林海德堡，2013年，281DOI：10.1007/978-3-642-39420-1_3011杨文伟，王晓，王晓伟，王晓伟.用于移动增强现实的精确叠加。计算机图形学，1999，23（6）：875DOI：10.1016/s0097-8493（99）00118-112Järemo Lawin F，Forssén P，Ovrén H.使用核密度估计的高效多频相位展开// Computer Vision-ECCV 2016.Cham：Springer International Publishing，2016，170-185DOI：10.1007/978-3-319-46493-0_1113张振元。通过从未知方向查看平面进行灵活的相机校准。第七届IEEE计算机视觉国际会议论文集。希腊，克尔基拉。IEEE，1999，666516Kangkang YANG等：使用RGB-D相机进行复杂产品增强装配引导的对象配准DOI：10.1109/iccv.1999.79128914[10]杨文辉，杨文辉，杨文辉，杨文辉. HoloLens上的实时高分辨率3D数据。2016 IEEE International Symposiumon Mixed and Augmented Reality（ISMAR-Adjunct）梅里达，尤卡坦，墨西哥，IEEE，2016，189DOI：10.1109/ismar-adjuvant.2016.007315杨晓萍，王晓萍，王晓萍.增强现实的姿态估计：实践调查。IEEE Transactions on Visualization and ComputerGraphics，2016，22（12）：2633DOI：10.1109/tvcg.2015.251340816Belghit H，Bellarbi A，Zenati N，Otmane S.增强现实中基于视觉的姿态估计：比较研究。201817贝克S，马修斯I。卢卡斯-卡纳德20年：一个统一的框架。国际计算机视觉杂志，2004，56（3）：221-255DOI：10.1023/b：0.000011205.11775.fd18作者：J. J.一种三维形状配准方法。模式分析与机器智能学报，1992，14（2）：239DOI：10.1109/34.12179119王永涛，陈杰.增强现实技术简介北京：科学出版社，201520Rosten E，Drummond T. Machine learning for high-speed corner detection//Computer Vision柏林，海德堡，施普林格柏林海德堡，2006年，430DOI：10.1007/11744023_3421放大图片作者：Jiangsu S，Huang T S.两个三维点集的最小二乘拟合。IEEE Transactions on Pattern Analysis andMachine Intelligence，PAMI-9（5）：698DOI：10.1109/tpami.1987.476796522杨开坤，郭燕，张海萍，唐鹏中.基于全息透镜的复杂产品多通道交互式增强装配引导系统。南京航空航天大学2018年毕业生国际学术会议517