0AASRI Procedia 4 ( 2013 ) 230 – 23502212-6716 © 2013 The Authors. Published by Elsevier B.V.under responsibility of American Applied Science Research Institute doi:10.1016/j.aasri.2013.10.0350ScienceDirect02013年智能系统与控制AASRI会议0一种无人机安全着陆区域发现的软件方案0Xiaoming Li*0浙江理工大学机电工程学院，中国杭州市下沙3100180摘要0本文提出了一种使用小型无人机的软件处理方案，利用其机载摄像头和机器学习算法进行着陆区域的发现。提出了两阶段的处理过程。第一阶段采用基于相似性的纹理区域识别方法来找到可能的着陆区域。然后，在第二阶段，利用一些机器学习算法对这些结果进行细化和评估。然后，无人机可以将这些结果用作其紧急着陆的目标选择。我们设计的软件方案实现了整个过程，但仍允许开发人员嵌入自己的算法以获得更好的结果。我们的初步研究表明，这个软件和应用程序是有用的，可以提供巨大的便利和效率。2013年Xiaoming Li. Elsevier B.V.出版。由美国应用科学研究所负责进行选择和/或同行评审。关键词：无人机；着陆区域发现；机器学习；计算机视觉01. 引言0无人机（无人驾驶飞行器）广泛应用于户外探险、远程监测或搜索和救援等领域，由于其能够忽略地面障碍物，直接和及时到达目标地点。由于其体积小、重量轻和经济性，视觉是最常见的配备在无人机上的传感器，同时还提供了丰富的信息。目前，在役的无人机主要由人操控遥控器，因此解读摄像头内容是操作员的责任。0由于其能够忽略地面障碍物，直接和及时到达目标地点，无人机（无人驾驶飞行器）广泛应用于户外探险、远程监测或搜索和救援等领域。由于其体积小、重量轻和经济性，视觉是最常见的配备在无人机上的传感器，同时还提供了丰富的信息。目前，在役的无人机主要由人操控遥控器，因此解读摄像头内容是操作员的责任。0*通讯作者。电话：+86-571-86843349；传真：+86-571-86843349。电子邮件地址：xiaominglee@ieee.org。0在线访问 www.sciencedirect.com0© 2013 The Authors. Published by Elsevier B.V.responsibility of American Applied Science Research Institute0CC BY-NC-ND许可下的开放访问0CC BY-NC-ND许可下的开放访问0231 Xiaoming Li / AASRI Procedia 4 ( 2013 ) 230 – 2350通常情况下，无人机在紧急情况下，如断电或失去控制信号时，应能够自主找到一个安全的着陆点并等待进一步操作。为了实现这一点，第一步是尽快确定一个安全的着陆区域。也就是说，通过利用机载摄像头的视觉信息，结合GPS或Google地图等其他数据，无人机可以自主找到最优化的适合着陆的位置，而着陆点应该同时满足以下两个条件：（1）足够大以适应着陆，并且（2）要么是首选的着陆地形类型，例如铺设的道路或平坦的正方形，要么至少是一些非危险的空间，如森林、河流表面或大石块。本文提出了一个基于计算机视觉的小型直升机型无人机自主着陆区域发现的软件处理方案，并详细解释了其工作原理、流程、软件架构以及基于此方案的原型应用。02. 相关工作0过去几年中，已经开展了一些基于视觉的自主着陆点定位/识别的工作。为了限定结果，只考虑了那些带有单个机载摄像头的方法。其中尝试了3种不同的方法来解决这个问题。第一种方法是使用自然标志物来定位着陆点。这种方法试图使用机器视觉代替GPS，或者提高着陆点的精确度。它需要预先准备好着陆目标区域的模板，并使用一些匹配算法来定位着陆目标。这些研究包括在文献[1][2][10]中。第二种方法是通过计算地面的地理特征来定位着陆点。它使用数学模型来描述实际地面和摄像头捕捉到的图像中的平面之间的映射关系。给定两个在同一地区拍摄的不同位置的照片，可以计算出该区域的表面是否是一个平面[3][8][9]。第三种方法是首先通过纹理特征对地形进行分类，然后通过光流计算深度数据。通过纹理分类，可以标记捕获区域的安全/不安全标签，并且深度信息可以进一步帮助在此过程中发现危险[4][6]。还有一些研究人员使用第二种方法来计算几何特征[5][7]。在所有三种方法中，第三种方法显然最适合匿名着陆点定位应用，因为它考虑了地理和地形的特征。第一种方法需要关于着陆点的先前知识，而第二种方法需要大量的计算，并且对于低空飞行的无人机不够响应。因此，我们的研究基于第三种方法。03. 提出的软件处理方案0一般来说，无人机的安全着陆区域至少应具备两个特征：一个平坦的表面和足够大的尺寸以适应无人机的尺寸和移动。在本研究中，我们将目标着陆区域定义为一个正方形，因为我们的无人机是一种带有旋转机翼并且本身是圆形的直升机，而正方形在计算中更容易处理。因此，该软件的主要功能是处理输入视频流数据并获取最合适的正方形及其坐标。03.1. 基本过程流程0为了实施之前讨论过的软件应用程序，我们设计了一个基本的过程流程用于软件。如图1所示。 0232 Xiaoming Li / AASRI Procedia 4 ( 2013 ) 230 – 2350图1 视觉导航着陆区域识别的基本流程过程0这个过程可以解释为4个步骤，其中第2步和第3步组成了核心。第2步用于快速定位初始图像中的所有可能着陆区域。这是必要的，因为直接在整个图像上运行专用的、精心设计的算法以获得最佳着陆点是耗时的，并且有时是困难的。图像包含了如道路、草地、树木和河流等大量信息，在机器视觉中，检索其中的每个单独内容仍然是一个挑战。例如，由道路、草地、树木和河流组成的图像在无人机捕捉的图像中非常典型，但要获取所有这些信息，图像需要通过使用多个模板的不同算法进行反复处理，这是耗时的。如果我们可以获得一些可能的子图像，并对这些结果运行这些算法，那将会更快。第3步本身是一个巨大而复杂的过程。它用于评估第2步生成的每个可能的着陆区域，并根据好的着陆选择的可能性对其进行排序，即结果的置信度作为好的选择。第3步的输出应该是一个排序的列表，列表的头部将是建议的无人机着陆点。因此，关键问题是如何为这些着陆点候选分配分数。这个过程应该重复运行，因为随着无人机的移动，应该能够找到更多的着陆区域。这个大循环的时间周期取决于第3步，即它能够评估所有的候选者的速度以及它需要改进准确性所需的图像数量。03.2. 所提出的软件方案的处理过程0图2 所提出的框架的结构02：快速定位/跟踪可能的着陆区域03：通过可能性评估和排序选择最佳着陆区域01：图像预处理04：根据历史记录改进结果 0233 Xiaoming Li / AASRI Procedia 4 ( 2013 ) 230 – 2350图2展示了处理图像并获得期望结果的过程的设计。有着色背景的框表示它是一个可以由开发者替换的模块。这个架构是基于机器学习的，因为它的核心是一个分类器。借助学习到的知识，分类器可以将特征向量映射为指示预定义候选区域的置信度（DOC）的值。与第2节中的先前应用程序的分类器不同的是，它不对候选区域进行分类，而只是评估其适用于无人机着陆的可能性。这是一个较低级的映射器，与动物或植物的光合作用有些相似，因此应该更容易实现。映射过程是一个典型的机器学习问题，可以在这种情况下研究和采用各种方法。整个过程可以分为两个阶段，不同的方法在不同的阶段部署。03.3. 第一阶段：使用纹理滤波器快速定位着陆区域0通过观察和人类专家，可以合理地认为安全着陆区域是纹理区域，例如铺设的道路或草地。另一方面，这意味着如果我们能够在图像中找到所有纹理区域，可能可接受的着陆区域可能在其中。因此，这是该方法的第一个支持点：图像中的纹理区域倾向于是可能的着陆区域。为了从整个图像中分割出纹理区域，应采用一些算法。众所周知，自我相似性应该是纹理的一个重要特征。虽然某些对象在不同的缩放级别下具有不同的视觉纹理，但自我相似性在大范围的距离范围内不会改变。另一种方式，这个自我相似性特征可以用来判断和分割图像中的纹理区域，而且这种方法应对不同的图像分辨率具有鲁棒性。这也是这种方法的工作原理。然后我们得到了该方法的第二个支持点：自我相似性可以用来分割图像中的纹理区域。0图3 第一阶段的输出0实现如下。（1）在图像中随机定位一个点。（2）生成一个以该点为中心点的正方形，正方形的大小是预定义的。（3）计算纹理特征。（4）扩展正方形，然后再次计算纹理特征。（5）比较两组特征，并计算相似度。（6）如果相似度的值大于预定义值，则返回第（4）步。（7）停止，并将最后一个正方形作为结果。0着陆区域候选项0种子 0234 Xiaoming Li / AASRI Procedia 4 ( 2013 ) 230 – 2350难点在于如何选择特征来计算两个子图像之间的相似度。在本文中，我们使用了OpenCV库中提供的直方图比较方法。03.4. 第二阶段：基于机器学习的分类器0第二阶段的任务是从第一阶段提供的选项中选择最佳答案。这里我们使用一个分类器来实现这个目标。分类是一个典型的机器学习问题，因此有许多可用的方法和算法。在当前版本的实现中，实现了一个朴素贝叶斯分类器。考虑了一些额外的特征，包括直方图特征、光流特征和几何特征。其中最重要的是光流特征。如果着陆候选区域中的矢量分布不均匀，很可能候选区域不是一个平坦的表面。图4显示了第二阶段的示例输出。0图4 基于机器学习的分类器的实验结果04. 软件设计与实现0该应用程序的软件是作为一个单循环开发的，但通过状态驱动模型处理模块的并行运行（如图5(a)所示）。这在处理实时数据时非常高效。整个应用程序主要由5个模块组成，每个模块都有一个时间片来执行自己的代码的一部分，这取决于当前的状态。每个模块的合作关系如图5(b)所示，这也是软件的主要过程。该软件是在MacPro笔记本电脑上使用OpenCV和C语言实现的。它可以以40帧/秒的速度处理视频帧，并在连续4帧有效帧之后给出结果。然而，可能着陆区域的查找并不确定，因为分类器可能会拒绝所有候选项，并且不给出输出。05. 结论0本文介绍了一种基于视觉的无人机自主着陆区域识别的工作，包括其思想、工作原理、流程和实现。其中的主要部分是找到一个适合的软件方案，可以将所有内容整合到一个整体程序中，并适用于不同的机器学习算法。目前已经尝试使用朴素贝叶斯分类器来计算着陆区域作为输出，然而可能还有其他机器学习方法可以实现此目的，例如模糊逻辑或人工神经网络，这些可能是更好的方法。0分类的着陆区域 0235 Xiaoming Li / AASRI Procedia 4 ( 2013 ) 230 – 2350图5（a）主程序的大循环（b）程序的主要过程0参考资料0[1] Sharp, C.S., Shakernia, O., Sastry, S.S.. "A Vision System for Landing an Unmanned Aerial Vehicle". Robotics and Automation,2001. Proceedings 2001 ICRA. IEEE International Conference on , vol.2, no., pp. 1720-1727 vol.2, 2001 [2] A. Cesetti, E. Frontoni, A.Mancini, P. Zingaretti and S. Longhi. “A Vision-Based Guidance System for UAV Navigation and Safe Landing using NaturalLandmarks”. Journal of Intelligent and Robotic Systems, vol. 57, Numbers 1-4 (2010), 233-257. [3] Bosch, S., Lacroix, S., Caballero,F.. "Autonomous Detection of Safe Landing Areas for an UAV from Monocular Images". Intelligent Robots and Systems, 2006IEEE/RSJ International Conference on, pp.5522-5527, 9-15 Oct. 2006. [4] Cesetti, A., Frontoni, E., Mancini, A., Zingaretti, P.."Autonomous Safe Landing of a Vision Guided Helicopter". Mechatronics and Embedded Systems and Applications (MESA), 2010IEEE/ASME International Conference on , vol., no., pp.125-130, 15-17 July 2010. [5] Mejias, Luis, Fitzgerald, Daniel L., Eng, Pillar C.,& Xi, Liu. “Forced Landing Technologies for Unmanned Aerial Vehicles : Towards Safer Operations.“. In Thanh Mung, Lam (Ed.)Aerial Vehicles. In-Tech, Kirchengasse, Austria, pp. 415-442. [6] Meingast, M., Geyer, C., Sastry, S.. "Vision Based Terrain Recoveryfor Landing Unmanned Aerial Vehicles". Decision and Control, 2004. CDC. 43rd IEEE Conference on , vol.2, no., pp. 1670-1675 Vol.2,14-17 Dec. 2004. [7] Mahmood, W., Shah, S.. "Vision Based Hazard Detection and Obstacle Avoidance for Planetary Landing".Nonlinear Dynamics and Synchronization, 2009. INDS '09. 2nd International Workshop on , vol., no., pp.175-181, 20-21 July 2009[8] Shakernia, O., Yi Ma; Koo, T.J., Hespanha, J., Sastry, S.S.. "Vision Guided Landing of an Unmanned Air Vehicle". Decision andControl, 1999. Proceedings of the 38th IEEE Conference on , vol.4, no., pp.4143-4148 vol.4, 1999. [9] Johnson, A., Montgomery, J.,Matthies, L.. "Vision Guided Landing of an Autonomous Helicopter in Hazardous Terrain". Robotics and Automation, 2005. ICRA2005. Proceedings of the 2005 IEEE International Conference on , vol., no., pp. 3966-3971, April 2005. [10] Bach Van Pham, SimonLacroix, Michel Devy. "Vision-based absolute navigation for descent and landing". Journal of Field Robotics, Volume 29, Issue 4,pages 627–647, July/August 2012. [11] Dongwoon Jeon, Kiho Cho, Doo-Hyun Kim. "Vision-Based Autonomous Landing forSmall-Scale Unmanned Rotorcraft". Object/Component/Service-Oriented Real-Time Distributed Computing Workshops (ISORCW),2011 14th IEEE International Symposium on, vol., no., pp.274 280, 28-31 March 2011.0状态检查0输入捕获0播放器0处理器0UI渲染0大循环0播放 暂停 长度减少短长度减少 长度增加短长度增加 教学0处理绕过教学0显示 交互教学0大循环0开始0初始化每个模块0模块任务0输入捕获0命令0销毁模块0结束
我的内容管理
展开
