户外空中双臂机械手的抓取规划与视觉伺服

工程6（2020）77研究机器人-文章户外空中双臂机械手的抓取规划与视觉伺服PabloRamon-Soria，Begoña C.阿尼巴尔？奥莱罗？阿鲁机器人，视觉和控制组，工程学院，塞维利亚大学，塞维利亚41092，西班牙阿提奇莱因福奥文章历史记录：2018年10月30日收到2019年3月10日修订2019年3月26日接受在线发售2019年保留字：抓取规划视觉伺服A B S T R A C T本文描述了一种利用RGB-D摄像机实现无人机双机械手抓取已知目标的系统。空中操纵仍然是一项非常具有挑战性的任务。本文涵盖了三个主要方面的任务：目标检测和姿态估计，把握规划，并在飞行中把握执行。首先，使用人工神经网络（ANN）来获得关于对象的位置的线索。接下来，使用对准算法来获得对象的六维（6D）姿态，该姿态用扩展卡尔曼滤波器进行滤波。然后使用物体的三维（3D）检测算法的结果（即物体的姿态）用于更新手臂朝向物体的轨迹。如果目标姿态由于UAV的振荡而不可达，则算法切换到下一个可行抓取。本文介绍了整体方法，并提供了每个模块的模拟和真实实验的实验结果，除了一个视频显示的结果。©2020 THE COUNTORS.Elsevier LTD代表中国工程院出版，高等教育出版社有限公司。这是一篇CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍用于工业应用的无人机（UAV）的使用正在增加。无人机适用于在难以接近的位置进行的广泛应用，并且通常对人类操作员有危险，例如电力线检查[1，2]、风力涡轮机维护[3]、设施中各种结构的检查[4]和摄影测量[5]。然而，这些应用仅仅涉及感知任务。近年来，已经证明空中机器人也可以有效地执行操作任务[6]。空中操纵仍然是一项具有挑战性的任务，因为它有额外的要求;平台通常很脆弱，在空中保持不稳定的平衡为了执行操作任务，有必要为机器人提供各种能力，例如感知，规划，以及通常的智能能力。还需要为机器人配备适当的硬件以执行所需的任务。在这些应用中引入机器人的目的是为问题提供更有效的解决方案，降低成本（时间和金钱），并减少减少*通讯作者。电子邮件地址：prs@us.es（P. Ramon-Soria）。由于这些任务中的一些任务的单调性而导致的人类操作员的故障，相反，操作员被赋予了机器人无法履行的更重要的角色。操纵涉及使用操纵器与物理对象的交互，并且可以包括抓取对象、移动它们或保持与刚性对象的接触。为了执行这些任务，机器人需要能够检测和定位物体，以及分析如何与物体进行交互。此外，为了执行这样的任务，有必要规划操纵器的动作和移动，并防止它们与环境和平台本身碰撞。要执行任何操作任务，首先需要找到并跟踪要操作的对象。许多计算机视觉算法可用于此任务;这些算法可根据应用、计算资源和所用传感器进行分类。通常使用用于对象的单目检测的区域提议算法这些算法可以基于简单的颜色算法[7，8]、特征检测[9，10]或机器学习。新的算法使用人工神经网络（ANN）来检测预先训练的对象。由于深度学习领域和强大的图形处理单元（GPU）的可用性，ANN已经得到了利用，这些GPU可以增强和并行化ANN。https://doi.org/10.1016/j.eng.2019.11.0032095-8099/©2020 THE COMEORS.由爱思唯尔有限公司代表中国工程院和高等教育出版社有限公司出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程杂志主页：www.elsevier.com/locate/eng78P. Ramon-Soria等/Engineering 6（2020）77最新的设计（SSD [11]，RCNN [12]，F-RCNN [13]，Mask-RCNN[14]和YOLO [15]）已经超过了大多数传统的目标检测算法。然而，检测彩色图像中的对象的实例不足以执行操纵任务。还需要分析对象的三维（3D）信息为此，最近对深度神经网络（DNN）的研究已经扩展了ANN，以计算对象的六维（6D）位置[16]。Kinect或英特尔实感设备等深度传感器可用于直接从环境中提取3D信息[17，18]。然而，这些传感器在户外环境中通常有严格的限制，因为它们使用红外结构光，而红外结构光通常在户外是致盲的。相比之下，无源立体摄像机可以计算视差图，该视差图可用于执行点的逐像素三角测量，从而产生点云。这种设备通常不如深度相机准确，但几乎在任何条件下都能正常工作。 然而，由于它是基于可见光光谱的，这种器件在弱光条件下的性能很差。图像特征可以用来精确地获得物体在空间中的位置[19这些方法显示出良好的结果，并且对遮挡是鲁棒的然而，这些算法可能会出现问题，如果对象是纹理少，或者如果他们显示反射。其他作者使用了投影算法，该算法基于投影到图像上的几何模型，以便使用单目相机找到其位置和方向[22]。关于操作本身，机器人操作器已经被广泛研究用于各种应用。机器人手及其相互作用的力学和数学模型是机器人操作分析的一个基本方面。大量的对象和手的配置组合使这一领域的研究具有挑战性。Miller等人。[23]提出使用近似物体的原始形状，从而促进抓握的生成但是，该方法需要简单的对象，并且不能用于更复杂的形状。见参考文件[24]，研究人员提出了一种算法，该算法将物体的形状近似为一组平面区域，这些平面区域用于生成抓握的接触点最近的研究使用机器学习方法来生成更好的抓握;在这些方法中，系统使用合成数据集[25-27]或强化学习[28]进行训练。其他方法使用来自传感器的数据来创建对象的概率模型在参考文献中。[29一旦产生抓握，必须对其进行评价。抓握的质量[32]可以根据它们的几何形状、手指的力量和许多其他方面进行分析在目前的工作中，我们集中在共同的方面，这是力封闭，最大最小抵制扳手，和面向任务的质量指标。Marturi等人[33]提出了一种离线/在线规划器来控制工业机器人手臂，以便与人类操作员合作。该算法使用预先学习的抓取规划器（离线），生成一组可能的抓取。然后，在线检测物体然而，空中操纵比地面操纵更具挑战性。例如，在空中应用中，机器人和目标物体都在移动。此外，臂的动态影响空中平台的动态，损害其稳定性。一些出版物[34，35]研究了无人机的稳定性和控制，以及它的操纵器。在目前的工作中，我们假设的运动是没有侵略性的，控制器是足够快，以补偿半静态外力的武器施加在平台上。此外，为了实际执行抓取任务，有必要运行视觉伺服算法来精确地移动机械手。视觉伺服，或基于视觉的控制，可以根据数据分为两种类型。如果算法使用3D位置，则称为基于位置的视觉伺服（PBVS）[36，37];如果算法仅使用来自图像的2D信息，则称为基于图像的视觉伺服[37，38]。第三种选择涉及信息的组合-所谓的“混合算法”。本文提出了一种PBVS方法，检测目标对象的位置。设计了控制律以减小末端执行器的位置误差高空作业平台需要在工作区内定位，以控制其位置。一个标准的技术是使用运动捕捉（MOCAP）系统，在研究过程中准确定位这些系统以高频率定位机器人，这在测试新技术和算法时非常方便。户外任务也需要机器人精确的位置全球定位系统提供了一个广泛的和广泛的系统定位机器人的户外。然而，标准装置对于操作任务具有不可接受的误差为了解决这个问题，我们的研究小组[39]提出了使用全站仪，在全站仪处，信息与空中机器人的惯性测量单元融合，以便将机器人定位在户外的任何地方。根据机械臂的臂长可对空中机械手进行分类，本文着重研究串联机械手的应用。Laiacker等人[40]开发了一种配备工业机械臂的直升机，以执行操作任务。目前对空中操纵的兴趣越来越大，这使得研究人员在同一平台上放置两个而不是一个操纵器，以使其能够用双手进行灵巧的操纵。Korpela等人。[41]提出使用一对机械手在工业环境中转动阀门。已经发现双操纵器配置[42]对于操纵任务的性能非常通用。本文提出了一个完整的空中操作系统的设计，包括无人机的机械手的开发，视觉感知系统，以检测要操作的对象，和视觉伺服引导手臂。这项工作是在欧盟资助的项目AEROARMS（SI-1439/2015）的框架下进行的该项目旨在开发一种具有灵巧操作能力的新型空中平台，以在工业环境中执行检查和维护任务在这项工作中，在AEROARMS项目中开发的履带式机器人的实物模型被用作检测算法和抓取实验的用例。同样的方法学可以应用于其他对象。文章的其余部分组织如下。第二节介绍了为完成操纵任务而研制的空中机械手系统。第3节描述了用于检测、跟踪和定位目标对象的视觉算法。 第4节显示了抓取和重新规划算法，该算法考虑了机器人和目标的可能运动。第5节描述了全局过程和设计的执行任务的状态机。第6节显示对该系统进行了实验分析，通过与飞行机械手的实际抓取实验。最后，第7节讨论了本研究的结果和未来的步骤2. 航空机械手多旋翼已被证明是检查和维护任务的实用解决方案[6]。与固定翼飞行器不同，多旋翼飞行器可以在空间自由移动，并悬停在所需的位置执行任何任务。P. Ramon-Soria等/Engineering 6（2020）7779在这个项目中，共面六旋翼被选择来执行操作。这种配置比较小的多旋翼具有更高的稳定性和强度，以满足执行任务的有效载荷要求。图1示出了用于实验的平台。该框架是由DroneTools SL设计和建造的六轴飞行器。y其余的硬件，包括双操纵器和软件，设计和开发的作者在塞维利亚大学。该平台有一个Pixhawk自动驾驶仪，负责机器人在底部，安装了一台英特尔NUC计算机来运行所有系统，从视觉算法到操纵器的控制最后，内置英特尔实感摄像头来感知环境。为了执行操作，多旋翼配备有一对臂。这些手臂具有三个自由度（3-DoF）集成和可交换的末端执行器，根据应用情况，可以提供四个或六个DoF 图图1显示了具有作为末端执行器的夹持器的臂的模型。使用两个机械手而不是一个机械手是有利的，因为各种原因。首先，两个机械手可以执行更复杂的操作任务，因为每个手臂可以执行不同的操作。此外，具有两个末端执行器（例如，两个夹持器）使得抓握更稳定，因为可以从两个不同的侧面夹持只有一个抓手，抓持更有限，因为施加在质心上的重力在许多情况下会不对准因此，如果可能，唯一稳定的抓握是位于对象顶部的抓握，这将操纵限制在顶部具有手柄的对象。这里展示的手臂已经在一个名为hecatonquirosyy的开源项目中发布，该项目旨在开发通用、廉价和易于使用的机器人手臂。这些武器被设计成重量轻，所以相对较小的无人机可以携带它们。它们是3D打印的，这降低了整体生产成本，因为材料相对便宜，不需要后处理，可以直接组装手臂。单臂的成本约为150美元（包括智能串行伺服）。该项目还提供了一个基于OpenRAVE的包装器的运动学求解器，并与机器人操作系统（ROS）的模拟进行实际实验之前，支持。图2（a）示出了一对臂的运动学可达性，其用于估计机器人执行操纵任务的适当位置。 图图2（b）和（c）示出了为机器人定义的坐标系，其用于将检测到的物体的坐标从相机的 坐 标 变 换 到 臂 的 坐 标系， 以移动末端 执行器。如前所述，无人机配备了英特尔实感D435设备。选择该器械是因为其性能以在户外获得相当准确的深度信息。利用视觉算法的深度信息，以获得操作过程中的对象的6D姿态。这款相机在短距离下也具有出色的质量，因为它能够近距离捕获深度（高达0.2米），这使其成为机器人操作任务中手眼协调最后，表1总结了完整天线系统的规格3. 目标检测和姿态跟踪本节描述用于检测和跟踪目标对象的算法。目标检测是一项具有挑战性的任务。然而，在这方面，yhttp://www.dronetools.es。https://pixhawk.org/.yyhttps://github.com/bardo91/hecatonquiros/。Fig. 1. 一张多旋翼机内的旋臂的照片。深度学习技术的使用彻底改变了感知的方式。所提出的方法结合卷积神经网络（CNN）与随机样本一致性算法来检测物体并计算其姿态为空中机械手。 该算法总结在图。3.第三章。该算法基于两个阶段。首先，应用对象检测CNN来产生对象候选。然后，使用对准算法来计算目标对象的精确位置。CNN现在被广泛使用，并为许多困难的问题提供了解决方案如果目标对象是已知的，则只需要标记的图像数据库来训练网络。然而，这些算法是沉重的数学运算，虽然高度并行化。因此，GPU通常被使用，因为它们被专门设计为有效地执行并行操作。用于此目的的一些最常用的框架是TensorFlow[43]和Caffe[44]。这些框架为最新网络的实现提供了一个广泛的“模型动物园”，从而加快了测试和开发过程。然而，必须考虑到最终算法将由无人机中的机载计算机执行，这可能具有一些限制，例如计算统一设备架构（CUDA）兼容性。在第6中，对三种不同设备（配备GTX1070的笔记本电脑、Nvidia的JetsonTX 1和Intel NUC计算机）上的不同算法（F-RCNN、SSD和YOLO）进行了比较。CNN被馈送由相机提供的RGB图像结果，获得候选边界框的集合采用具有最高概率的边界框来裁剪RGB和深度图像。这些图像用于计算局部点云，结合来自图片的信息和设备的校准矩阵此彩色点云将在下一阶段中使用。简而言之，对象检测算法的使用减少了对齐阶段对对象的搜索，将可搜索区域减少了50%，如果爬虫代表图像的一小部分，则可能减少多达80%。此时，获得包含目标对象的点云的片段为了定位对象，使用对准该算法从背景中过滤对象。提供爬行器的点云模型以执行基于迭代最近点（ICP）的算法[45，46]，该算法输出目标的姿态ICP方法使用所有可用信息来增强对准过程。它包括点的3D位置（等式10）。（1）、正常信息获取80P. Ramon-Soria等/Engineering 6（2020）77图二、机械手（a）空中操纵器的运动可达性(b) OpenRAVE和坐标系中的6自由度手臂模型;（c）OpenRAVE和坐标系中的4自由度手臂模型表1平台规格。子系统特性规范武器UAVDOF最大射程每臂最大载荷每臂质量质量（包括武器）最大有效载荷4约500 mm约500克632克3.75公斤1.5 kg6约580毫米约400克663克检测范围2.5米从模型和场景（等式2），（2）颜色数据（方程式（3））。该信息在仿射变换的迭代计算之前的点的选择过程期间以离群拒绝的形式使用。最大化算法收敛到正确解的概率最后，通过扩展卡尔曼滤波器（EKF）对算法的结果进行滤波[47，48]。该滤波器有助于减少结果中的噪声，并且使得可以预测对象的相对速度，这用于改进对象姿态估计。一个简单的运动学模型被选择来估计对象的状态。4. 抓取规划为了能够抓取目标物体，开发了一种抓取规划算法，包括以下步骤：首先，考虑目标的形状，生成一组可行的抓取最后，选择最佳的可用抓地力，Ddist¼qx1-x22ð1Þ在每一时刻都与计算的视觉信息相关联在抓取过程中，如果物体的姿态使当前的其中Ddist是任意两点之间的几何距离x1和点云的x2Dnorm¼cos½\A1;A2] 2其中Dnorm表示法线A1和A2之间的夹角的余弦;A1和A2分别是点云中任意两个点x1和x2D颜色¼ jR1-R 2jjG 1-G 2jjB 1-B 2j3其中，D颜色表示指定给点云的任意两个点x1和x2的颜色之间的绝对距离;R、G和B分别是红色、绿色和蓝色通道的值值得注意的是，ICP算法对初始条件敏感出于这个原因，在先前时刻（k-这个事实，连同输入云的裁剪和清理抓不到，规划者选择最近的最佳抓。4.1. 抓取生成首先，在目标对象的表面上生成一组可能的接触点。我们的方法基于参考文献[49]中描述的抓取生成算法。该算法将一组光线从边界框投射到目标对象。每条射线与曲面碰撞一次，然后计算曲面法线。一个例子如图所示。 四、然而，这种方法可能无法产生一个可行的把握复杂形状的对象。图5示出了用于U形对象的射线跟踪算法的示例。可以看出，如果夹持器的孔径小于图5（b）中标记为“a”的尺寸然而，如果算法考虑到物体表面的所有可能的内部角落图三. 目标检测和目标姿态估计的视觉算法方案。EKF：扩展卡尔曼滤波器。P. Ramon-Soria等/Engineering 6（2020）7781X×图四、用于接触点计算的光线跟踪算法示例（a）用于计算抓取点的初始射线集;（b）使用射线跟踪算法计算得到的抓取点图五、非凸物体抓取算法的使用示例（a）穿过物体的光线的等距视图;（b）前视图。红线表示用于追踪可能的抓握点的射线。夹具的孔径大于图中标记为“b”或“d”的尺寸。 5（b）.一般来说，设p是穿过物体的单射线p与网格的碰撞次数为M次碰撞=M次折叠 2;因此，可能产生抓取的相对接触点的组合数量为M褶皱M抓地力¼j44第1页其中，M抓取是可能抓取的数量;M折叠对应于被射线包围的折叠;j是SUM运算符的内部循环变量。如果对象的网格太复杂，则接触点候选的这种生成可能是时间为了加快算法的这一步，生成的接触点被存储在一个二进制文件中，因此如果对象相同，它们可以在任何任务中重复使用。一旦执行了该光线跟踪，未变换的结果就被存储在数据库中;如果稍后掌握了同一对象或同一对象的不同实例，则恢复该数据库，从而避免了所有的光线跟踪计算。然后使用该组接触点来生成候选抓握。根据物体相对于空中机械手的姿态，在内部模拟器中对抓握进行采样。该算法计算每次抓取的可达性，机械手和目标物体之间可能的碰撞，以及每次抓取的质量。首先，每个手臂对所有可能的可行方案进行采样，以生成每个手臂的可行抓取列表。接下来，成对测试所有可行抓取，以获得双抓取列表。这些抓地力的质量是根据力闭合和最大最小阻力扳手进行分析的，如所述在参考文献[32]中。所有这些抓地力，然后储存使用，规划过程。4.2. 规划、伺服和抓取一旦布置了抓取列表，就基于当前相对目标对象姿态来选择最佳抓取。这是双机械手最接近和最稳定的抓持。在抓取之前，手臂被送到预抓取位置;这可以防止操纵器执行大而危险的运动，因为防止操纵器与机器人的飞行部件碰撞至关重要。假设它是由标量变量H = h1，. . 描述了其关节的状态主体的每个连杆的端部具有特定位置S = s1，. . S1，其中一些是所谓的末端效应器。这些位置可以使用Denavit-Hartenberg（DH）公式[50]描述为操纵器的关节之间的变换链，并且通过一组参数DH i = {ai，ai，di，u i }计算; ai表示关节的z轴之间的角度，ai是关节之间沿着第一关节的x轴的距离，di是两个关节之间沿着第一关节的z轴的距离，u i是关节的x轴之间每个DHi元素是在连杆（i- 1）到i之间变换的矩阵目的是获得一组适当的关节H，将末端执行器放置在目标位置Tr上;即，执行逆运动学。这个问题已经得到了广泛的研究。不幸的是，在大多数情况下没有直接的解决方案。迭代方法[51]和采样方法[52]非常适合这个问题。 FK由函数H′S（H）给出，82P. Ramon-Soria等/Engineering 6（2020）77JQCKCCKRN′R6，它描述了从N维空间到由末端执行器的位置和方向组成的6D空间的FK的操纵者。这些函数可以使用接近当前关节状态H的雅可比矩阵（J（H））来线性近似。速度可以表示如下：最后，由于空中机器人的振荡，或者如果目标物体是移动的，最佳抓取可能变得不可及。该算法在单独的线程中针对抓取数据库连续测量当前抓取如果抓地力变得遥不可及，S_HJHH_ð5Þ如果不可行，则算法切换到新的最佳选项。其中S（H）表示末端执行器在关节空间H方面的位置。5. 状态机和完成任务我的天啊。dsmð6Þ本文介绍的工作涵盖了过程开始dhnm;n从无人机从平台起飞到着陆在抓住目标物体之后。如此完整的任务需要其中d是偏导数算子，hn是联合空间的特定联合，sm是m个链接的位置，m和n是定义完整雅可比矩阵J（H）的变量上的索引迭代器。最终目的是使用来自传感器的视觉信息引导手臂朝向目标在这项工作中，应用雅可比阻尼最小二乘（DLS）梯度下降法[53，54]以确保手臂向目标位置收敛。该方法已被证明对接近雅可比矩阵中的不稳定性和奇异性的逆和伪逆方法[54]更稳健设XK和QK为抓取规划给出的末端执行器的定向目标位置，并由视觉算法更新其目的是通过更新其关节来更新机械手DLS如下进行：基于机器人的当前状态和末端执行器的目标姿态来计算公式（7）和（8）;公式（9）用于计算包含机器人的关节值的增量的向量，该增量允许末端执行器朝向目标姿势移动。复杂的系统设计该系统由五个模块组成，如图1和图2所示。6和图7每个模块负责UAV中的单个任务为了简化开发过程，模块之间的通信由ROS进行[58]。在本节中，每个模块在由全局信号start触发的空闲状态下初始化图6（a）示出了全局状态机，其负责任务的全局行为。它由三种状态组成：接近、抓住和归巢。接近触发起飞信号并等待直到UAV起飞。在此之后，全局状态机将携带初始航路点的接近信号发送到靠近目标物体的UAV一旦无人机处于目标位置，它将保持直到发现目标物体（发现信号）。然后，状态机切换到抓取状态，在该状态下，视觉伺服开始动作以抓取目标。一旦物体被抓住，状态机就切换到归航状态，该状态在UAV着陆时结束。图6（b）示出了UAV的控制器的状态机误差¼X目标-XKQ目标-QKð7Þ由六个国家组成。它从闲置开始。一旦无人机起飞，它会一直盘旋，直到下一个信号。如果全局状态机发送接近信号，则UAV控制状态机其中X目标和Q目标是末端执行器的目标位置;XK和QK是末端执行器在时刻K的目标位置和取向。J 1/4“JX#180其中Jc、JX和JQ是当前状态下的对应位置和取向雅可比矩阵。DHhJTH·JHk2·Ii-1·误差9切换到航路点状态，并将无人机移动到目标位置。如果找到对象，则切换到跟踪状态。跟踪模块负责检查目标物体是否处于要抓取的合理位置如果是，它发送近信号。当对象丢失或被抓住时，此状态结束图图7（a）示出了视觉状态机，其具有最简单的结构。该状态机连续运行视觉算法，以检测目标对象并计算其姿态。当找到对象并计算其姿态时，状态机将该信息与找到的信号一起发布。如果对象丢失，则发送丢失的信号以引起适当的效果。其中HK表示当前关节的臂角;k是阻尼系数，以减少与反演相关的问题矩阵。k必须足够大，以确保算法的行为充分接近奇点，但不能太大，以获得良好的收敛速度。I是指一个单位矩阵，其大小为Jc。这些基于在视觉模块中计算的目标对象的位置来计算。此外，使用一对操纵器需要附加约束。主要的限制是需要避免与自身和其他物体发生碰撞。然而，检查任何非凸对象的碰撞并不是微不足道的。在某些情况下，使用凸壳是有利的，因为它可以用来检查它们。然而，这种简化在某些应用中可能是粗略的。现代方法将对象分割成一组凸壳[55，56]。这导致更精确的解，同时保留了使用凸包的优点和数学简化。在目前的工作中，使用OpenRAVE给出的实现[57]，它集成了这些快速方法。图图7（b）示出了抓取规划器模块的状态机，其负责计算物体的适当抓取。它还运行伺服算法，根据目标抓取计算所需的手臂它开始估计的安排列表的把握。稍后，如果对象靠近，在手臂的范围内，则状态机切换到伺服状态，其中视觉伺服发布手臂的目标关节。如第4所述，手臂不直接进入抓取姿势。相反，他们被送到一个接近它的位置一旦手臂处于接近位置，状态机就切换到抓取状态，在抓取状态中，手臂快速地朝向物体移动并抓取它。最后，图7（c）示出了臂控制器状态机。操纵器控制器负责发布有关操纵器的信息，并提供用于移动它们的接口。它还限制了武器的速度和轨迹，以确保它们的安全。为了安全起见，已经设置了紧急停止（E_S）状态以在外部停止臂。紧急停止也会使无人机保持悬停，以防止坠毁。.P. Ramon-Soria等/Engineering 6（2020）7783见图6。 系统的前两个子模块。(a)全局状态机;（b）无人机控制状态机。见图7。 系统的前三个子模块。(a)视觉状态机;（b）抓取规划器状态机;（c）武器控制器状态机。6. 实验本节首先描述为评估和验证系统和算法而执行的实验。接下来，描述并讨论了一组实验，以表明系统在执行空中操纵任务时的性能。如前 所 述 ， 这 项 工 作的 重 点 是 抓 住 一 个 爬 行 机 器 人 ， 这是 在 项 目AEROARMS开发，并用于管道检查在工厂。然而，该算法可以同样很好地用于任何对象，因为视觉算法和规划过程都没有对该特定对象的任何特定限制。可以找到实验的摘要视频。yyhttps://youtu.be/nXYlzqwM8kA。6.1. 系统评价如第3所述，在视觉算法的第一阶段使用对象检测CNN来检测对象。这为对准算法提供了良好的初始解，这在计算上更昂贵。在三种不同的设备中测试了三种CNN，以选择适合操作任务的系统要求和空中机械手的有效载荷限制的最佳选项。测试的特定CNN是F-RCNN，SSD 300和YOLO（微小YOLO v2）。这些都在以下三个设备上进行了测试：一台配备GTX 1070的笔记本电脑，一台Jetson TX1和一台配备iris GPU的英特尔NUC。前两个设备具有CUDA功能，因为它们具有Nvidia GPU。然而，由于缺乏CUDA兼容性，第三种设备无法使用通用框架。表2总结了不同设备中不同检测算法的平均计算时间。由于Intel NUC不兼容CUDA，84P. Ramon-Soria等/Engineering 6（2020）77对YOLO进行了评估。具体来说，使用了YOLO的OpenCL实现。y可以清楚地看到，笔记本电脑上的性能超过了其他设备的结果。然而，由于严格的有效载荷限制，当与无人机一起操作时，只能考虑其他两种设备。首先，YOLO在Jetson TX1设备中运行得更快。然而，英特尔NUC计算机的中央处理器（CPU）能力大大超过了Jetson。由于整个系统需要对其余算法进行多个处理，因此选择了Intel NUC平台区域建议算法（CNN）的主要好处是它大大减少了对齐过程中使用的云的大小（在50%和80%之间）。它具有双重改进，因为它减少了这一步的计算时间，同时还允许算法收敛到一个好的解决方案;由于梯度下降算法通常对离群值和初始条件敏感，这将收敛到最小值。一旦检测到物体并估计其姿态，算法就执行第4节中描述的抓取规划过程。这个过程可以分为三个阶段。第一阶段是接触点的计算;该过程可以预先计算，因为它仅取决于为算法选择的分辨率和对象的模型。第二阶段是分别计算每个手臂的可行抓握。表3总结了各种对象的每个阶段的平均计算时间。最后，抓取被成对地采取，以通过它们的质量度量来排列它们。第二列评估了在生成最初的一组接触点方面所花费的时间。网格分辨率是在第4.1节所述的光线跟踪评估期间使用的初始光线集之间的距离。第三列显示了评估上一步中生成的抓取可行性所花费的时间。最后，第四列显示了评估抓握质量所花费的时间。为了防止臂与高空作业平台的任何部分碰撞，在臂的肩部上方留有安全容积。这个体积对应于机器人的飞行部件，它们决不能被碰撞。出于安全原因，在规划过程和伺服期间考虑了该体积。ing算法图8示出了在Open-RAVE中运行的用于抓取规划过程的在线模拟的序列。之后，存储可行抓取的集合以供以后在重新规划阶段期间使用表2测试设备中不同算法的计算时间（秒）计算机F-RCNN（s）SSD（s）YOLO（s）笔记本0.0670.0270.0103Jetson TX10.4700.1130.0510英特尔NUC--0.0530表3抓取规划过程中每个网格面的计算时间。见图8。不同样本的抓取规划过程。6.2. 模拟和试验台实验为了在实际实验之前验证手臂的性能及其控制，进行了一组模拟。要抓取的物体的姿态被赋予一定的噪声。这些对象然后动画强调手臂伺服算法。三个物体以不同的形状出现。然而，在这个阶段可以选择任何其他对象，因为该算法能够计算任何网格的抓取图9示出了模拟实验的一系列快照，以证明臂在不同情况下的可达性。在这些仿真实验中，算法的过程与真实实验中一样，但是物体的姿态由模拟器提供，具有一定的噪声水平。首先，该算法计算一组可行的抓取，如第4.1节所述。接下来，根据物体的位置，它选择最佳抓握方式，并引导手臂朝向物体，如4.2节所述。一旦手臂接近抓取姿势，系统就会发送信号关闭夹具。这些实验的目的是证明，无论视觉如何，该算法都能够处理不同的物体和形状。它生成一组可行的抓取，并根据对物体姿态的估计动态地选择最佳选项在真正的飞行之前，整个系统-包括视觉-在测试台上进行了测试（图10），其中空中机械手被放置在固定的结构中，目标物体被移动。6.3. 飞行实验计算机CP生成（网格分辨率0.015毫米）（s）可行性（每次抓取）（s）质量(per抓握）（s）本节描述了为以下目的而进行的实验：CP：接触点。yhttps://github.com/ganyc717/Darknet-On-OpenCL。在室内，无人机执行完全自主的操作，这要归功于MOCAP系统获得的位置第二个设置是为了在室外测试系统。在这两个实验中，选择了4-DoF夹持器，因为它比6-DoF版本更强。笔记本电脑Jetson TX10.4072.5340.00720.01130.00510.0100在真实环境中演示系统的性能对于这些实验，履带式机器人的模型是3D的英特尔NUC0.4170.00770.0506印刷的。 准备了两种不同的设置。 在第一个设置中，P. Ramon-Soria等/Engineering 6（2020）7785见图9。 在不同时间对不同物体进行模拟测试的样本。图10个。在室内测试台上测试整个系统（a）摄像机视图和履带式机器人模型的2D检测;（b）机器人的3D虚拟化，包括履带式机器人的估计位置和目标抓取;（c）实验的第三视图。第一个关键模块是视觉系统，它计算要抓取的物体的姿态以进行抓取规划，为手臂模块提供伺服，并为无人机提供参考位置。 图11示出了结果的的算法图11（a）示出了使用CNN的 图图11（b）显示了该点的片段- 使用深度图像和来自对准算法的对象姿态的估计计算的云，由卡尔曼滤波器滤波。如图所示，姿态估计用覆盖的红色点云和坐标系图图12示出了使用MOCAP系统相对于地面实况对来自视觉系统的对象姿态的估计。估计的均方根误差（RMSE）平均值小于0.02 μ m.这种精度对于确保机器人能够执行抓取任务至关重要机器人的定位的估计中的较大误差将是有问题的，导致机器人错过抓取并且甚至与环境碰撞图13示出了用于测试视觉检测模块的附加实验。在这个实验中，实体模型沿着管道移动。无人机和履带车的位置由视觉系统和MOCAP系统测量首先在室内用MOCAP系统在受控环境中测试了系统的精度。任务从无人机起飞开始;然后无人机执行第5节中解释的管道机动。图14提供了实验的快照。图15示出了在两个视觉伺服测试期间接头的值。虚线对应于目标关节，实线对应于实际关节值。该图示出了当先前的抓取变得不可达时，系统如何切换到新的抓取。最后，图16提供了户外实验测试台的照片。在这个实验中，出于安全原因，无人机在飞行时被绑在一个有安全绳的结构上。的图十一岁目标检测和姿态估计结果。（a）由YOLO产生的边界框;（b）云的碎片和姿态估计作为覆盖的红点模型和坐标框架。86P. Ramon-Soria等/Engineering 6（2020）77图12.在无人机的坐标系中，履带式飞机的估计姿态与地面实况。(a)在X轴上距相机的估计距离与地面实况;（b）距相机的估计距离与地面实况;（c）距相机的估计距离与地面实况。Y轴中的地面实况(c) 与相机的估计距离与Z轴上的地面实况。照片显示了机器人的观点，而抓住实物模型的履带。该实验表明，感知算法在户外使用RealSense Depth摄像头工作，无论阳光条件如何。7. 结论本文介绍了一个完整的系统，用于执行操作与空中平台。集成两个机械手，而不是一个，使其能够抓住更大，更复杂的对象。此外，具有两个操纵器有助于无人机消除由于外部干扰引起的波动，甚至可以选择更稳定的抓持，因为它们包围了质心。定性和定量的实验数据已被提供，以证明该系统，能够执行抓取操作。视觉系统的平均RMSE小于0.02 m。使用对象检测网络已被证明是非常有益的姿态估计的速度。主要限制来自可用的机载设备。大多数最先进的CNN已经过测试，并被设计用于强大的计算机，这使得将它们集成到空中平台中具有挑战性然而，在第6节的分析之后，所选择的算法为任务提供了足够公平的结果。下一步将包括在神经元网络中估计对象姿态。图十三.由视觉系统测量的无人机轨迹和履带式飞机的估计位置，以全局坐标（实线）和地面实况（虚线）表示。(a) 无人驾驶飞机和履带式飞机在运动试验(b) 估计位置与在每个轴上使用视觉估计的爬行器的实际位置图14.使用MOCAP系统的室内自主任务。在几种环境下的实验表明，该系统能够对目标物体进行操作和抓取此外，这些结果已得到支持与模拟对象，以证明抓取规划算法是能够规划与其他形状的操作任务。该视觉系统已在低光照条件下以及户外阳光直射下进行了测试。该算法在两种照明条件下均正确运行。确认这项工作是在欧盟资助的AEROARMS（SI-1439/2015）项目和国家项目ARMEXTENDED（DPI 2017 -89790-R）的框架内进行的。P. Ramon-Soria等/Engineering 6（2020）7787图十五岁实验期间的关节值（以弧度为单位）。首先，手臂跟随抓取目标。在某个点之后，物体旋转，因此系统切换到另一个可行的抓取。图16. 使用安全绳进行户外自主测试。遵守道德操守准则Pablo Ramon-Soria，Begoña C. Arrue和Anibal Ollero声明他们没有利益冲突或财务冲突需要披露。引用[1] 放大图片作者：Pouliot N，Richard PL，Montambault S. Linescout技术为高压电力线的机器人检查和维护开辟了道路。IEEE PowerEnergy Technol Syst J 2015;2（1）：1-11.[2] Matikainen L，Lehtomäki M，Ahokas E，Hyyppä J，Karjalainen M，JaakkolaA ， et al. 电 力 线 走 廊 勘 测 的 遥 感 方 法 。 ISPRS JPhotogramm Remote Sens2016;119：10-31.[3] 王磊，张志.基于无人机拍摄图像的风力发电机叶片表面裂纹自动检测。 IEEETrans Ind Electron 2017;64（9）：7293-303.[4] [10]杨文，李文.利用机器人系统进行结构检测的综述。Int J Adv Robot Syst 2016;13（6）：1729881416663664.[5] Reinoso JF，Gonçalves JE，Pereira C，Bleninger T.土木工程制图：无人驾驶飞行器支持的摄影测量。 Iran J Sci Technol Trans Civ Eng 2018;42（1）：91-6.[6] Ruggiero F，Lippiello V，Ollero A.空中操纵：文献综述。IEEERobot AutomatLett 2018;3（3）：1957-64.[7] Gevers T ， Smeulders AWM. 基 于 颜 色 的 物 体 识 别 。 Pattern Recognit1999;32（3）：453-64.[8] BruceJ，Balch T，Veloso M.用于交互式机器人的快速廉价彩色图像分割。在：2000年IEEE/RSJ智能机器人和系统国际会议论文集; 2000年10月31日至11月5日;高松，日本。NewYork：IEEE; 2000. p.2061- 6[9] 劳基于局部尺度不变特征的目标识别。在：第七届I