2013年AASRI智能系统与控制：无人机安全着陆区发现软件方案

2013李晓明。出版社：Elsevier B.V.由美国应用科学研究所负责选择和/或同行评审可在www.sciencedirect.com在线获取ScienceDirectAASRI Procedia 4（2013）230 - 2352013年AASRI智能系统与控制一种无人机安全着陆区发现的软件方案李晓明 *浙江理工大学机电一体化系，杭州下沙310018摘要提出了一种基于单摄像机和机器学习算法的小型无人机着陆区域发现软件处理方案。提出了两阶段处理工艺。在第一阶段，采用基于相似性的纹理区域识别方法来寻找可能的着陆区域。然后，在第二阶段，通过使用一些机器学习算法对这些结果进行改进和评估。无人机可以利用这些结果作为其紧急着陆目标选项。我们设计的软件方案实现了整个过程，但仍然允许开发人员嵌入自己的算法，以获得更好的结果。我们的初步研究表明，该软件和应用程序是有用的，可以提供很大的方便和效率。© 2013作者。由Elsevier B. V.在CC BY-NC-ND许可下开放获取。由美国应用科学研究所负责选择和/或同行评审关键词：无人机;着陆区发现;机器学习;计算机视觉1. 介绍无人机（Unmanned Aerial Vehicle，简称UAV）以其无视地面障碍物、直达目标、及时救援等特点，被广泛应用于野外勘探、远程监控和灾害搜救等领域。视觉传感器体积小、重量轻、经济实用，但提供的信息量大，是无人机上最常用的传感器。目前，在役无人机大多由操作人员远程控制，因此，操作人员有* 通讯作者。联系电话：电话：0571 -86843349传真：0571 -86843349电子邮件地址：xiaominglee@ieee.org。2212-6716 © 2013作者由Elsevier B. V.在CC BY-NC-ND许可下开放获取。美国应用科学研究所负责的选择和/或同行评审doi：10.1016/j.aasri.2013.10.035李晓明/ AASRI Procedia 4（2013）230231幻象然而，在一些紧急情况下，例如电源故障或失去控制信号，无人机应该能够找到一个安全的地方自主降落，并等待进一步的行动。要做到这一点，第一步是尽快找到一个安全的着陆区。也就是说，通过利用来自机载摄像头的视觉信息，连同诸如GPS或谷歌地图信息的其他数据，UAV可以自主地找到优化的合适着陆点，并且着陆点应该（1）在尺寸上足够大以用于着陆，以及（2）优选的着陆地形类型，诸如铺设的道路或平坦的广场，或者至少一些非危险空间，例如森林、河流表面或大砾石。提出了一种基于计算机视觉的小型直升式无人机单摄像机自主着陆区域发现的软件处理方案，详细阐述了其工作原理、处理流程、软件体系结构，并给出了基于该方案的原型应用。2. 相关工作在过去的几年中，基于视觉的自主着陆点定位/识别已经做了一些工作。为了缩小结果范围，仅考虑具有单个机载摄像头的那些。其中有三种不同的方法已经尝试解决这个问题。第一种方法是利用自然地标定位着陆点。这种方法是试图用机器视觉代替GPS，或者提高着陆点的精度。它需要预先确定着陆目标区域的模板，并使用一些匹配算法来定位着陆目标。这些研究纳入文献[1][2][10]。第二种方法是通过计算土地的地理特征来定位着陆点。它用一个数学模型来描述实际的陆地平面和相机拍摄的图像中的平面之间的映射。给定在两个不同位置拍摄的同一陆地区域的两张照片，可以计算该区域的表面是否是平面[3][8][9]。第三种方法是先用纹理特征对地形进行分类，然后用光流法计算深度数据。通过纹理分类，可以用安全/不安全标签标记捕获下的区域，并且深度信息可以进一步帮助在此过程中发现危险[4][6]。也有一些研究人员使用第二种方法来计算几何特征[5][7]。在这三种方法中，第三种方法由于兼顾了地理和地形的特点，显然最适合匿名登陆点定位应用。第一种方法需要事先了解着陆点，第二种方法需要大量的计算，并且对较低高度飞行的无人机没有反应。因此，我们的研究是基于第三种方法。3. 建议的软件处理方案无人机的安全着陆区一般应至少具有两个特征：一是地面平坦，二是着陆区的大小应能满足无人机的尺寸和运动要求。在本研究中，我们将目标着陆区域定义为正方形，因为我们的无人机是一架带有旋转机翼的直升机，本身具有圆形形状，并且正方形形状可以在计算中容易得多。因此，该软件的主要功能是对输入的视频流数据进行处理，得到最佳的合适正方形及其协调性。3.1. 基本工艺程序为了实现前面几节讨论的软件应用，我们为软件设计了一个基本的处理过程。如图所示。1.一、232李晓明/ AASRI Procedia 4（2013）230图2拟议框架3：评估和排序它们与良好的着陆选择的4：根据历史1：图像预处理2：快速定位/跟踪可能的着陆区域图1基于视觉的着陆区识别这个过程可以解释为4个步骤，而步骤2和3组成了内核。步骤2用于快速定位初始图像中所有可能的着陆区域。这是必要的，因为运行专门的，精心设计的算法来直接获得整个图像上的最佳着陆点是耗时的，有时甚至是困难的。图像包含如此多的信息，检索其中的每个内容仍然是机器视觉的一个挑战。例如，在无人机拍摄的图像中，道路、草地、树木、河流等组成的图像是非常典型的，但要获取这些信息，需要使用多个模板通过不同的算法进行反复处理，耗时很长。如果我们能得到一些可能的子图像，并运行这些算法，它会更快。第三步本身就是一个非常复杂的过程。它用于评估步骤2中生成的每个可能的着陆区域，并将它们与良好着陆选择的可能性进行排序，即结果是良好选择的置信度。步骤3的输出应该是一个排序的列表，列表的头部将是这段时间内无人机的推荐着陆点。所以，关键问题是如何给这些着陆点候选者分配分数。这个过程应该反复运行，因为随着无人机的移动，应该会有更多的着陆区域被发现。这个大周期的时间周期取决于步骤3，取决于它能多快地评估所有候选，以及需要多少图像才能提高精度。3.2. 建议软件方案李晓明/ AASRI Procedia 4（2013）230233这里显示了用于处理图像并获得图2中所需结果的程序的指定。带有彩色背景的框意味着它是一个可以被开发人员替换的模块。这种架构是基于机器学习的，因为它的核心是一个分类器。在学习知识的帮助下，分类器可以将特征向量映射到指示预先概述的候选者的DOC（置信度）的值。该分类器与第2节中的先前应用之间的区别在于，它不对候选区域进行分类，而只是评估适合无人机着陆的可能性。这是一个较低级别的映射器，有点类似于动物或植物的趋光性;因此它应该更容易实现。映射过程是一个典型的ML问题，在这种情况下可以研究和采用各种方法。整个过程可以分为两个阶段。在不同的阶段采用不同的方法。3.3. 阶段1：使用纹理过滤器通过观察和人类专家，合理的是，安全着陆区域是有纹理的区域，例如铺设的道路或草地。另一方面，这意味着如果我们能找出图像中的所有纹理区域，则可能的可接受着陆区域可能就在其中。这是该方法的第一个支持点：图像中的纹理区域往往是可能的着陆区域。为了从整幅图像中分割出纹理区域，需要采用一定的算法。自相似性是纹理的一个重要特征。虽然某些物体在不同的缩放比例下具有不同的视觉纹理，但在很大的距离范围内，自相似性不会发生变化。另一方面，这种自相似性特征可以用于从图像中判断和分割纹理区域，并且该方法对不同的图像分辨率具有鲁棒性。这也是这个方法的工作原理。然后我们得到了该方法的第二个支撑点：自相似性可以用来分割图像中的纹理区域。种子着陆区候选人图3第一其实施方式如下。(1)在图像中随机定位一个点。(2)以该点为中心生成一个正方形;正方形的大小是预定义的。(3)计算纹理特征。(4)增大正方形，然后再次计算纹理特征。(5)比较两组特征，并计算相似度。(6)如果相似度的值大于预定义值，则转到步骤（4）。(7)停下来，把最后一格作为结果。234李晓明/ AASRI Procedia 4（2013）230其难点在于如何选择特征来计算两幅子图像之间的相似度。本文采用OpenCV库中提供的直方图比较方法。3.4. 第二阶段：基于机器学习的分类器第二阶段的任务是从第一阶段提供的选项中选择最佳答案。在这里，我们使用一个分类器来实现这一点。分类是一个典型的机器学习问题，因此有许多可用的方法和算法。在当前版本的实现中，实现了朴素贝叶斯分类器。算法还考虑了直方图特征、光流特征和几何特征等额外的特征。在这些特征中，最重要的是光流特征。如果向量分布在着陆候选中不均匀，则候选很可能不是平坦表面。图4示出了阶段2的示例输出。分类着陆区图4基于机器学习的分类器4. 软件设计与实现该应用程序的软件开发为单循环，但通过状态驱动模型处理模块的并行运行（如图5（a）所示）。这在处理实时数据方面非常有效。整个应用程序主要由5个模块组成，每个模块都有一个时间片来执行自己的部分代码，这取决于当前状态。各模块的配合如图5（b）所示，这也是软件的主要流程。该软件使用OpenCV和C语言在Mac Pro Laptop上实现。它可以以40 fps的速度处理视频帧，并在连续4个有效帧后给出结果。然而，可能的着陆区域的发现是不确定的，因为分类器可能拒绝所有候选者，并且不给出输出。5. 结论介绍了一种基于视觉的无人机自主着陆区域识别的研究工作，包括其思想、工作原理、步骤和实现方法。其主要内容是寻找一个合适的软件方案，将所有的内容集成到一个完整的程序中，并适用于不同的机器学习算法。目前，朴素贝叶斯分类器已经尝试计算着陆区域作为输出，但是可能有其他机器学习方法来实现这一点，例如模糊逻辑或人工神经网络，它们可能是更好的方法。李晓明/ AASRI Procedia 4（2013）230235大周期暂停REPOS_FOR_LONGREPOS_FOR_SHORTREPOS_BAC_LONGREPOS_BAC_SHORTTEACH过程旁路示教互动教学图5（a）主程序的大周期（b）程序引用[1] 夏普，C.S.，Shakernia，O.，Sastry，S. S.。无人机着陆的视觉系统。机器人与自动化，2001年。2001年ICRA会议记录。IEEE International Conference on，vol.2，no.，pp. 1720-1727 vol.2，2001[2] A. Cesetti，E. Frontoni，A. Mancini，P. Zingaretti和S.隆吉“一个基于视觉的无人机导航和安全着陆系统使用自然地标”。Journal of Intelligent and Robotic Systems，vol. 57，Numbers 1-4（2010），233-257.[3] Bosch，S.，Lacroix，S.，Caballero，F..“从单目图像自动检测无人机的安全着陆区域智能机器人与系统，2006年IEEE/RSJ国际会议，第5522 -5527页，10月9-15日。2006年。[4] Cesetti，A.，Frontoni，E.，Mancini，A.，Zingaretti，P..视觉引导直升机的自主安全着陆。机电一体化和嵌入式系统及应用（MESA），2010年IEEE/ASME国际会议，卷，不，第125 -130页，2010年7月15-17日[5] Mejias，Luis，Fitzgerald，Daniel L.，工程师，支柱C，&Xi，Liu.“无人机的强制着陆技术：实现更安全的操作。“.In Thanh Mung，Lam（Ed.）空中交通工具。In-Tech，Kirchengasse，Austria，pp. 415-442[6] Meingast，M.，Geyer，C.，Sastry，S..基于视觉的无人机着陆地形恢复决策与控制，2004年。CDC.第43届IEEE会议，第2卷，编号，pp. 1670年至1675年第2卷，12月14日至17日2004年。[7] Mahmood，W.，Shah，S..“基于视觉的行星着陆危险检测和避障”。非线性动力学与同步，2009。INDS '09。第二届国际研讨会，第一卷，不，第175 -181页，2009年[8] Shakernia，O.，Yi Ma; Koo，T.J.，Hespanha，J.，Sastry，S. S.。无人驾驶飞机的视觉引导着陆决策与控制，1999年。第38届IEEE会议论文集，卷4，号，第4143 -4148卷，1999年。[9] Johnson，A.，Montgomery，J.，马提斯湖视觉引导的自主直升机在危险地形中的着陆机器人与自动化，2005年。ICRA2005年。2005年IEEE国际会议论文集，卷，不，pp. 3966-3971，2005年4月[10] 巴赫·范·凡，西蒙·拉克鲁瓦，米歇尔·德维.基于视觉的绝对导航下降和着陆。Journal of Field Robotics，第29卷，第4期，第627-647页[11] 全东云赵基浩金斗贤基于视觉的小型无人旋翼机自主着陆面向对象/组件/服务的实时分布式计算研讨会（ISORCW），2011年第14届IEEE国际研讨会，卷，不，第274 - 280页，2011年3月28-31日。球员UI渲染处理器输入捕获州议会初始化每个模块大周期模块任务命令端摧毁模块输入捕获开始