2013年8月28日至30日，国际自动控制联合会第10届IFAC研讨会控制教育进展。英国谢菲尔德使用视觉信息L.帕亚湾阿莫罗斯湖费尔南德斯岛雷诺索Departamento de Ingeniería de Sistemas y Automática米格尔·埃尔南德斯大学。Avda. de la Universidad s/n. 03202，Elche（Alicante）Spain（Tel：+34 96 665 88 59; e-mail：lpaya@umh.es）.翻译后摘要：在这项工作中，我们提出了一个软件工具，我们已经开发的计算机视觉和移动机器人主题，其主要目标包括在设计算法来控制一个自主机器人中使用。在需要机器人在未知环境中移动的应用中，构建该环境的模型或地图并以足够的精度估计机器人在该地图中的位置是非常重要的。随着新方法的不断出现，地图构建和定位是两个不断创新的主题，其中一些方法可能在数学上很复杂。考虑到这一事实，我们设计了一个平台，为学生提供所有必要的工具来理解算法，并允许学生对其进行配置，以优化映射和本地化过程。我们添加了一些数据库，由几组室内图像组成，在真实的照明条件下在真实环境中捕获，因此学生将面临在实际应用中可能出现的问题。在本文中，我们提出了一些细节的实施平台和学生如何使用它。关键词：机器人控制，教育软件，移动机器人，图像匹配，机器人视觉，实验室教育。1. 介绍当我们必须控制移动机器人，使其在未知环境中自主执行任务时，该控制过程中的两个必要步骤包括创建周围环境的数据库或内部表示（地图）以及估计机器人在该环境中的相对位置。为此，机器人必须使用其配备的传感器提供的信息，并将其与先前存储在地图数据库中的信息进行比较。通常，机器人使用安装在其上的摄像机捕获的信息作为输入数据来解决地图构建和定位问题。此外，通常使用折反射系统，提供机器人周围环境的全向图像（Amorós，2005）。这些相机是一个很好的解决方案，因为它们提供的信息丰富，而且与其他类型的传感器相比，它们的成本相对较低。由于这些原因，它们在过去几年中在机器人控制中得到了广泛的研究。在过去的几年里，在利用视觉信息创建和定位地图这一主题上开展的研究是非常大的，迄今为止已经开发了许多方法和新算法。这样，计算机视觉和机器人技术构成了两个不断进步的工程领域（Siegwart，2004）。这两个主题是在我们的博士课程的一个主题，在米格尔·埃尔南德斯大学（西班牙）研究。在这个主题中，我们的学生学习了可用于地图构建和定位的主要策略，使用安装在机器人上的全向视觉系统捕获的图像作为输入信息。在这些策略中，我们专注于基于外观的方法。该方法不进行局部特征提取来构建地图，而是将场景中的信息作为一个整体来利用，在对整个图像进行匹配的基础上实现定位。这种方法由于其简单性、鲁棒性以及在非结构化和动态环境中工作的能力而引起了研究人员的兴趣。为了解决使用这种方法的机器人的控制，必须实现两个阶段。首先，机器人穿过环境进行地图绘制，并从某些位置捕获一些图像。当新图像与前一个图像足够不同时，捕获新图像。由于图像是非常高维的数据，在基于外观的方法中，有必要压缩信息，保持场景的完整性，没有特征提取。可以使用几种技术来创建图像的描述符。这组描述符将组成映射。第二，一旦地图建立，机器人必须能够计算其在地图中的定位。为此，机器人捕获新图像，计算其描述符，并将其与数据库（地图）中的所有描述符进行比较。结果，可以估计机器人的当前位置和取向。我们意识到这样一个事实，有时候，学生们会迷失在课堂上，因为他们学习的算法可能会© IFAC 174 10.3182/20130828-3-UK-2039.00058第十届IFAC ACE2013年8月28日至30日。英国谢菲175数学上相当复杂。此外，动手实验是工程研究的基本组成部分，使学生能够获得解决实际问题和使用实际设备的能力。使用真实设备进行培训是学习过程中的基础。通常，学生们把注意力集中在数学工具上，而失去了这门学科的实际应用。此外，实验室中可用于进行实践课程的设备数量通常不是很高，一些学生不得不分享它们，因此，他们无法以他们所需的速度进行练习，并且实验室通常无法在他们需要练习他们正在学习的内容时使用。这就是他实施和开发这个软件工具的原因。我们可以在文献中找到一些虚拟机器人实验室（de Queiroz，1998; Ramasundaram，2005; Jara，2011）。在这项工作中提出的软件工具，我们已经包括了一些数据库的图像捕捉在几个真实的室内环境中，在现实的照明条件下，使学生可以测试的映射和定位算法。我们已经包括了一些最重要的基于外观的技术来描述全景场景：基于傅立叶的方法，主成分分析（PCA）的方法和基于梯度的方法。因此，学生将能够测试它们，并且他/她可以比较每种方法在哪些情况下更好地工作，以及如何调整它们以优化其性能。此外，我们还包括其他中间图像，包括噪声，旋转和遮挡，以测试定位算法。该工具是完全交互式的。映射和本地化过程都是完全可配置的，结果以图形方式显示，以便学生可以进行比较研究。本文的其余部分结构如下;第2节概述了该主题的理论概念，以了解应用程序如何工作。在第3节中，我们介绍了软件工具，如何使用它和它的主要功能，最后，第4节提出的结论和未来的工作。2. 基于外观的移动机器人控制方法：地图构建和定位为了构建我们在工具中包含的数据库，我们与Pioneer P3-AT机器人合作，该机器人配备了一个折反射系统，由一个前视摄像头和一个抛物面镜组成，可提供来自环境的全向图像。为了以有效的方式处理这些信息，将全向图像转换为尺寸为64x256像素的全景图像。图1示出了机器人（a）、相机和镜子（b）以及样本全向图像和到全景格式的转换（c）。为了构建数据库，我们在几个室内环境中在预定义的40x40 cm网格上捕获了一组全向图像。图2包括基于外观的方法意味着将视觉信息存储在地图中，而不进行局部特征提取，通过匹配该全局信息来执行定位。如果这些过程直接使用高分辨率图像进行，则计算成本在大环境中将是不可承受的，因此，地图构建和定位不能实时进行。(a)（b）第（1）款（c）第（1）款图1.一、（a）Pioneer P3-AT机器人，（b）折反射系统，(c)利用相机捕获的全向图像并转换为全景图像。在这样的应用程序中，可以使用不同的技术来减少数据的维度，使我们能够使用更少的特征。在这个工具中，我们包含了机器人应用中最常用的一些压缩技术：PCA（主成分分析），DFT（离散傅里叶变换），HOG（定向分量直方图）和GIST方法。学生可以在应用程序中调整的这些方法和参数将在下一小节中介绍。一旦使用这些技术之一创建了描述符（地图已经构建），应用程序就会向学生提供几个测试图像，这些图像是在地图中存储的一些中途点捕获的。我们已经拍摄了几组测试图像，第一组是在同一时间拍摄的训练集，其余的是在一天中的不同时间（包括不同的光照条件）拍摄的。此外，学生可以引入不同程度的噪音和遮挡。目标是计算机器人在捕获测试图像时的位置和方向。它必须进行只是比较当前的视觉信息与地图中的信息。第十届IFAC ACE2013年8月28日至30日。英国谢菲176p32.1 DFT技术我们已经实现的傅立叶方法是基于（Menegatti，2004）中提出的签名。这种傅立叶特征呈现出两个有趣的性质：最相关的信息集中在每行的低频分量中，并且它呈现旋转不变性。它包括使用DFT扩展全景图像的每一行。在该过程之后，每个图像由大小为m X k1的向量表示，m是全景图像的行数，k1是为构建描述符而保留的傅立叶分量的数量。k1是一个可配置的参数;k1越大，从场景中保留的信息越多，但计算成本也越高。为了计算每个测试图像的机器人的位置和方向，我们计算傅立叶签名，然后，我们计算测试图像的功率谱与存储在地图中的谱的欧几里得距离。将最佳匹配作为机器人的当前位置。另一方面，利用移位定理（Menegatti，2004）计算方向。用于计算方向的每行元件数k2也是一个可配置参数。2.2 PCA技术使用PCA（Krose，2004），可以在新的子空间中表示一组图像，其中图像被变换为具有k3分量的特征向量，k3是表示保留原始图像组的大部分方差的PCA特征的可调参数。主成分分析提出了一个很好的压缩比，但是，得到的特征向量不存在旋转不变性。为了解决这个问题，我们实现了一种算法，该算法对场景的傅立叶签名进行PCA，因此它构成了双重压缩效果，并且所得到的特征呈现旋转不变性。PCA图由矩阵V_k_3xM组成，其中C表示k_3m个特征向量s（M是图像的像素数）和图像的投影。培训image s pjRk3x1;jN（N i s t he nm b e r of地图中的图像为了计算机器人拍摄每个测试图像的位置，我们必须将测试图像投影到特征空间上。单元，然后，每个单元通过方向直方图来表示。每幅图像都由每个细胞的直方图表示，这些直方图排列成一个向量（Dalal，2005）。全向图像在一行中包含相同的像素，尽管图像被旋转，但具有不同的顺序。利用这一特点，我们可以通过计算与图像具有相同宽度的单元的直方图来实现机器人的定位。通过这种方式，我们获得了一系列旋转不变特征。另一方面，为了确定两幅旋转图像之间的相对方向，采用了宽度和距离可变的垂直单元，以获得良好的角度估计分辨率。当新图像到达时，首先，使用与构建地图时相同大小的水平和垂直单元计算其方向梯度直方图。因此，找到机器人姿势所需的时间取决于两种类型的细胞。为了找到机器人的位置，使用水平单元信息，而为了计算相位，需要使用垂直单元中的信息。在这两种情况下，通过计算新图像的直方图与地图中存储的直方图之间的欧几里德距离来找到信息。2.4 GIST技术基于GIST的描述符试图从模拟人类感知系统的图像中获得基本信息，通过识别颜色或显着结构来识别场景，避免表示特定对象或特征（Oliva，2001; Torralba 2003）。我们在平台中实现的描述符是基于Gabor滤波，它提供了频率和方向信息。每个场景使用具有不同分辨率和方向的一组Gabor滤波器进行滤波。使用与上一节相同的原则将场景划分为单元，并计算每个单元的平均值。通过计算数据库水平单元描述符与当前图像之间的最小距离来估计位置表1. 每种方法一旦 投影ik x1是 获得， 它 必须与所有的向量相比 pj存储在地图中。的使用的标准是欧几里得距离。呈现距离（1）的最小值的数据库的图像是对应的图像。K伊杰河3第二章：l1jN（一）2.3 HOG技术HOG描述符基于沿图像的梯度的方向。场景被分成多个方法参数意义1. DFTK1K2模块组件的数量。相分量的数量。2. PCAK1k3k2傅立叶模块压缩PCA分量数傅立叶相位分量数3. 生猪k4k5K6水平单元格数。垂直单元格的数量。垂直单元格的宽度。K7Gabor掩模数量（1级）K8Gabor掩模数量（尺度2）4. GISTK9水平单元格数。k10垂直单元格的数量。K11垂直单元格的宽度。第十届IFAC ACE2013年8月28日至30日。英国谢菲177图2实验过程中应用程序图形界面的外观第1部分：地图创建。3. 软件工具图 形 用 户 界 面 是 用 MATLAB 的 GUIDE 工 具（http://www.mathworks.com/products/matlab）创建的。在本节中，我们将详细描述通过接口提供的操作。我们设计它的目的是简化映射和本地化任务中对全局外观描述符的理解。这样，不同技术的所有参数都是可配置的。图像在数据库中的分布，测试图像的位置和测试到地图图像的距离以图形方式表示，我们还包括地图构建和定位过程的计算成本信息。最后，一个工具，让学生在不同的情况下进行技术之间的比较已经包括在内。图2示出了在实验期间应用的图形界面的第一部分。通过这部分界面，学生可以测试地图构建过程。学生可以选择所需的描述符并调整其参数。图3显示了图形界面的第二部分，学生可以使用先前创建的地图进行定位实验。两个图形界面都非常直观，学生可以通过地图构建和本地化过程进行指导。此外，该界面提供了所有必要的结果，可以分析哪一个是计算成本和内存需求方面的最佳描述符，以及只有良好的参数配置才能正确定位机器人。我们现在描述这两个步骤。3.1 地图构建实验在第一步中，学生必须创建地图。图2所示的数据库（左侧）由363幅彩色全景图像组成，分布在4个不同区域的40x40厘米网格上。要构建地图，学生必须选择要应用的压缩技术，并且必须配置参数的值。有五种可能性。作为示例，图2示出了用于傅立叶签名和HOG描述符的参数。每个变量的值都可以使用弹出菜单选择。如果没有更改任何参数，应用程序将使用显示的默认值。选择所需的参数后，学生可以生成地图。一旦创建了映射，就会显示一个图形，其中包括计算所有图像的描述符所需的时间以及存储此信息所需的内存。通过所示的图形界面，学生可以决定哪些房间必须包括在地图中，并且他/她还可以对两个描述符的时间和内存要求进行比较。第十届IFAC ACE2013年8月28日至30日。英国谢菲178图3实验过程中应用程序图形界面的外观第2部分：机器人定位。3.2 机器人定位实验机器人控制的第二步是估计它在地图中的位置。为此，该工具中包含了一些测试图像集。这些图像已经在地图图像之间的中途点被捕获，并且目标是通过比较视觉信息来估计机器人在捕获这些测试图像时的位置。所使用的压缩方法和参数与地图构建阶段相同。在地图成功创建之前，“本地化”按钮将被禁用。通过该接口，学生可以根据参数的值检查每个全局外观描述符的计算成本和精度。图像测试集由每个区域9个位置组成，每个位置有16个方向（每22.5º），总共有546个不同的示例。在界面中，学生可以选择测试图像的区域、数量和方向。此外，他/她可以测试一天中捕获图像的时间，并且他/她可以向测试图像添加噪声或遮挡。由于这些功能，实验将再现一些典型的情况下，可能会发生在一个真正的应用程序的自主机器人控制（图。4）。当学生按下“显示测试图像”按钮时，应用程序将读取测试图像及其在地图中的位置。然后，这个位置出现在地图的鸟瞰视图中最后，当学生按下“定位”按钮时，应用程序计算测试图像的描述符，并计算与所有地图图像的描述符的欧氏距离。返回最近的图像作为机器人的相应位置。接下来，应用程序通过计算测试图像与地图中的最近邻（NN）相比的相位滞后来估计机器人的方向。一旦计算出定位和方向，“定位结果”面板（图3）将显示最近邻所在的区域、最近邻与测试图像之间的距离以及估计的方向。此外，界面还显示了计算这些数据所需的时间。这是一个有趣的因素，知道这个描述符是否可以在实时机器人控制应用程序中工作。在测试图像下，我们在窗口的左下角包含NN的图像。这样，界面便于两个图像之间的比较，以便了解位置是否正确及其相位滞后。在右侧，应用程序绘制测试图像与地图的每个图像在每个元素位置中，第十届IFAC ACE2013年8月28日至30日。英国谢菲179显示彩色圆圈。圆圈的颜色和大小代表图像之间的相似性。较大的红点表示相似性较高，而较小的蓝色标记对应于不太相似的场景。然后学生可以欣赏地图中是否有任何其他局部最小值可以产生视觉混叠（这通常发生在室内环境中的真实定位实验中，其中视觉结构往往会重复）。最后，在右上方，应用程序显示了一个召回精度图，该图是在考虑所有测试图像的情况下计算的。这是总结描述符行为的好方法。当选择不同的压缩方法或修改任何描述符参数时，本地化例程期间包含的所有元素都会消失，并且禁用“本地化”按钮，见图4。具有不同遮挡百分比和具有不同方差的高斯噪声的测试图像的示例。最后，如图3所示，界面还为学生提供了比较用于构建映射的两个描述符的性能的可能性。学生可以在两个不同的描述符之间进行比较，或者比较同一描述符如何根据主要参数的配置改变其行为。4. 结论在这项工作中，我们提出了一个教育软件工具的学习映射和定位算法。这些算法构成了自主移动机器人控制过程中的两个关键步骤。该工具已被设计用于在博士学位的主题有关计算机视觉应用于移动机器人的控制。由于这个工具，学生可以把在课堂上学习的算法付诸实践。建议的实践课程使学生能够全面了解该主题并了解实际应用。该平台为学生和讲师提供了几个好处。学生可以通过直观的图形界面测试所有的算法，他/她可以在他/她需要的时候进行实验，他/她可以按照自己的学习进度完成主题，没有时间表的限制。该系统赋予学生自主权，并允许公平的评估系统。从讲师的角度来看，学生的总体知识水平有所提高，这一科目的辍学率有所下降。大大低于往年。由于这个工具，我们希望学生能够设计更复杂的算法来控制移动机器人的运动，并设置必要的参数的正确值。我们现在正在从几个方面改进这一工具。首先，我们希望包括新的本地化和映射方法，使其更加完整。此外，我们希望将此工具与远程实验室集成。这样，学生可以通过互联网远程操作真实的机器人，他们可以执行一个面向真实情况的概率定位算法。确认这项工作得到了西班牙政府的支持，通过项目DPI 2010 -15308，引用Amoros，F.，帕亚湖Reinoso O.，费尔南德斯湖还有马林J. M.（2010年）。基于外观的视觉地图构建和定位方法。第七届国际信息学会议论文集，控制，自动化和机器人，ICINCO 2010。第二卷，423-426页Dalal，N.和Triggs，B.（2005年）。用于人体检测的定向梯度直方图。IEEE计算机视觉与模式识别会议论文集，美国圣地亚哥。de Queiroz，L.R.; Bergerman，M.; Campos Machado，R.;S.S. Alberto; Elfes，A.（1998年）。机器人与计算机视觉虚拟实验室，先进运动控制，1998。AMC '98-科英布拉。Jara角，Candelas，F.，Puente，F.，托雷斯角，澳-地（2011年）。自动化和机器人本科生使用虚拟和远程实验室的实践经验，计算机教育，57（4）。Krose，B.，Bunschoten河，Hagen，S.，Terwijn，B.，和Vlanjin，N.（2004年）。家用机器人观察和学习：全方 位 视 觉 系 统 的 环 境 建 模 和 定 位 。 RoboticsAutomation Magazine，IEEE，11（4），45Menegatti，E.，Maeda，T.，和Ishiguro，H.（2004年）。利用全方位图像特性的机器人导航图像存储器。机器人和自主系统。47（4），251-276。Oliva，A.和Torralba，A.（2001年）的第10页。模拟场景的 形 状 ： 空 间 包 络 的 整 体 表 示 。 Int. Journal ofComputer Vision，42（3），145-175.Ramasundaram ， V. ， Grunwald ， S. ， Mangeot ， A. ，Comerford，N.B.，布利斯，C.M.（2005年）。开发环境虚拟现场实验室。计算机教育，45（1）。西格瓦特河，巴西-地和Nourbakhsh，I.R.（2004年）。自主移动机器人导论。麻省理工学院出版社，马萨诸塞州剑桥。Torralba，A.（2003年）的报告。用于物体检测的上下文启动。Int. Journal of Computer Vision，53（2），169-191.
