移动设备ROS可视化应用程序iviz

软件影响8（2021）100057原始软件出版物iviz：一个用于移动设备的ROS可视化应用程序AntonioZea，Uwe D.Hanebeck德国卡尔斯鲁厄理工学院智能传感器-执行器-系统实验室（ISAS），Adenauerring 2 Geb.50.20，76131 Karlsruhe，GermanyA R T I C L E I N F O保留字：机器人数据可视化增强现实A B标准在这项工作中，我们介绍了iviz，一个移动应用程序的可视化数据在机器人操作系统（ROS）。在过去的几年里，ROS的流行程度大大提高，使其成为机器人编程的标准平台。但是，这种环境的可用性通常仅限于使用Linux操作系统的PC。因此，用户希望通过智能手机或平板电脑查看系统中发生的情况，这些公司都被困在屏幕镜像或rviz的Web浏览器版本等解决方案中，使得增强现实等较新的可视化模式变得不可能。我们的应用iviz基于Unity引擎，通过提供一个从头开始设计的可视化平台来解决这些问题，该平台可用于iOS，Android和UWP等移动平台，并包括对所有三个平台的增强现实的本地支持。 如果需要，它也可以在Linux，Windows或macOS的PC中使用，而无需任何更改。代码元数据当前代码版本v1.0开发用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-1可复制胶囊法律代码许可证MIT使用git的代码版本控制系统使用C#的软件代码语言、工具和服务编译要求，操作环境依赖性Unity Engine 2019.4或更高版本，.NET Standard 2.0或更高版本如果可用，链接到开发人员文档/手册https://github.com/KIT-ISAS/iviz/tree/devel/iviz问题支持电子邮件antonio. kit.edu1. 介绍自2007年成立以来，机器人操作系统（ROS）[1] 已经逐渐成为机器人编程的首要中间件平台。如今，ROS可以在机器人的各个领域看到，从小型真空吸尘器[2]到草坪拖拉机[3]，从水下航行器[4]到外太空部署[5]，甚至用于危险环境的净化[6]。 传统上，机器人数据的可视化仅限于静态二维显示，如计算机显示器。 然而，能够在生成数据的真实世界位置旁边可视化这些数据可以提供宝贵的上下文信息，否则这些信息将在2D显示中丢失。这激发了对增强现实（AR）和虚拟现实（VR）技术的重视，这些技术能够在空间中的任何点显示任意三维信息文献中的多个项目将ROS与VR [7虽然机器人中的AR并不完全是新的，但在过去的五到七年里，随着价格合理的现成设备的出现，它出现了爆炸式的增长，这些设备具有准确和强大的用户跟踪功能，例如（相当昂贵的）微软Hololens。更实惠的替代品以Apple的ARKit和Google的ARCore的形式存在，它们可以将日常智能手机和平板电脑变成AR演示设备。不幸的是，移动设备不与ROS已经传输支持的平台相交，即，使用C++或Python的Linux PC-一个值得注意的例外是2012年的[16]。然而，移动设备日益增强的数据处理能力，以及AR的优势（例如减少认知负荷[17]），正在引起ROS社区的重新评估，表明需要适当的软件平台来利用这些新功能。资助：这项工作得到了德国联邦教育和研究部（BMBF）在ROBDEKON框架内的支持[项目编号13N14675]。∗通讯作者。电子邮件地址：antonio. kit.edu（A. 玉米），uwe. kit.edu（美国）。Hanebeck）。https://doi.org/10.1016/j.simpa.2021.1000572021年1月1日;接受日期：2021年1月23日2665-9638/©2021作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsA. Zea和U. D。Hanebeck软件影响8（2021）1000572Fig. 1. 使用iviz应用程序的示例[18，19]。在本文中，我们介绍了iviz，一个新的平台，ROS数据可视化的移动 设 备 ， 特 别 是 Android/iOS 智 能 手 机 和 平 板 电 脑 ， 和 微 软Hololens。我们的平台有以下目标：（i）能够可视化各种各样的ROS数据，从点云到交互式标记，（ii）具有快速更新速率和（相对）低延迟，以及（iii）直接支持AR（如图1）。1（a））。我们的应用程序基于Unity引擎并使用C#编写，这使我们能够在不更改代码的情况下针对许多操作系统和设备。 核心动机是有一个移动应用程序，允许用户在任何时候简单地拿出平板电脑或智能手机，进入ROS网络，并通过几个水龙头能够看到机器人正在发生的事情（图1）。1（b）），而不需要系统中的特殊节点或服务。此外，通过启用AR模块，只需单击一下即可将3D视图投影到现实世界中。2. 挑战ROS是一个准操作系统，有自己的驱动程序、模块和实用程序。幸运的是，我们不需要将它们重写到我们的移动应用程序中，因为ROS提供了接口， 允许从网络远程访问其全部功能。因此，为了与ROS系统“对话”，我们需要做的就是来实现其网络层。然而，这项任务带来了三个主要挑战。首先，我们需要一个消息序列化机制，可以在移动终端中从C#轻松使用。第二，我们需要实现ROS API，让我们与其他ROS节点对话。第三，机器人可视化需要位于ROS中心的网格和纹理等资产。因此，我们需要某种方法来根据需要自动将它们传输到移动终端。实现ROSAPI不是一件容易的事情，因此移动ROS程序员传统上更喜欢Rosbridge套件[20]，例如[9，12但是，集中式架构和基于JSON的消息序列化很快就会导致可伸缩性和性能. 为了缓解这个问题，Unity引入了自己的序列化机制[21]，不幸的是，它仍然需要一个集中式节点，从而使瓶颈问题没有得到解决。ROS的新版本，称为“ROS 2”，旨在解决平台可移植性的问题。然而，虽然已经有了C#和Unity的实验库[22，23]，但ROS 2并不向后兼容，因此，在可预见的未来，大多数现有代码仍然需要ROS 13. iviz套房因此，我们剩下的是更具挑战性（但更有价值）的选择：从头开始在C#中重新实现ROS API，目标是不仅可供我们的可视化应用程序使用，任何基于C#的项目。此外，没有一个模块需要完整的ROS安装，因此，在计算机上安装它们只需要复制一个目录。iviz套件分为以下子模块。消息解析器：与roscpp库类似，iviz_msgs_gen模块获取ROS消息定义文件并从中构建C#代码，将依赖项封装为类常量。ROS客户机：iviz_roslib模块实现了主题、服务、对参数服务器的访问，以及一个实验性的动作客户机。它是基于在ROS#界面上[24]，Rosbridge用户广为人知资产加载器：可视化来自机器人的数据时的一个重要挑战是如何显示机器人本身。我们不仅需要机器人的定义，还需要它的网格、纹理、姿态信息等等。有一个自动化的程序，只传输必要的文件。为了实现这一点，我们引入了iviz_loader_service，这是一个用C#编写的可选独立ROS节点，它与资产一起运行在PC上。它在后台自动与可视化应用程序进行通信，无需用户输入可视化应用程序：这是主要的应用程序，基于Unity引擎。类似于rviz [25]（A. Zea和U. D。Hanebeck软件影响8（2021）1000573ROS），iviz严重依赖于“显示器”的概念，即， 可重用和可回收的代码模块，其任务是渲染实体，如线、点云、重复网格等。负责显示PointCloud2消息的用户也可以被重用，以实现的显示包括点云，激光扫描，（交互式）标记（图。1（c））、占用网格等。一个用于屏幕上点击的模块（图1（d））也包括在内，允许快速远程操作与扭曲的消息。感兴趣的是增强现实模块。激活它很简单：首先，根据需要添加主题来设置场景，然后启用AR。寻找一个合适的表面，如地板或桌子，最后，点击“开始”按钮。场景将出现在该表面上。最后，用户可以根据需要旋转、平移和缩放场景4. 影响据作者所知，iviz平台是第一个用于移动设备的通用ROS可视化应用程序，具有对AR的原生支持。虽然远不如rviz功能齐全，但它的优势是可用于所有主要的桌面和移动操作系统。这与AR一起，允许各种新的，更直观的可视化和交互方式。例如，规划机器人手臂的运动不再需要查看监视器。 相反，可以直接在机器人的顶部和周围渲染规划的路径，以及在其真实3D位置上显示的交互式标记，这可以用简单的手指移动就可以拖动。与Rosbridge解决方案不同，iviz不需要通过安装新节点来更改ROS系统。因此，拥有平板电脑的用户只需要登录机器人网络，即主机的IP，就可以立即开始远程操作一个带着自动变速器的机器人目前，iviz主要用于ROBDEKON项目[6]，其任务是在危险环境中远程操作远程拖拉机和人形机器人[26]。 其前身是与德国公司PFW Aerospace合作的Microsoft Hololens用于室内定位[27]。 这项工作将很快扩展到基于AR的工业管道分类系统，将ROS图像处理节点与Hololens 2相结合。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作附录A. 补充数据与 本 文 相 关 的 补 充 材 料 可 以 在 网 上 找 到在https://doi.org/10.1016/j.simpa.2021.100057。引用[1]M. Quigley，K.康利湾Gerkey，J. Faust，T. Foote，J.Leibs，R. 惠勒，A.Y. Ng，ROS ： an open-source robot operating system ， in ： ICRA Workshop onOpenSource Software，vol. 3，no. 3.2，Kobe，Japan，2009，p. 5.[2]A.阿劳霍湾葡萄牙，硕士Couceiro，R.P. Rocha，在ROS中集成基于Arduino的教育移动机器人，J. Intell。机器人77（2）（2015）281[3]N.O. Lleras，S. Brennan，D.放大图片作 者：Murphy，M.J. Klena，P.M.宋明，《拖拉机驾驶模拟器的开发与应用》，北京交通大学出版社。农业。更安全。健康22（4）（2016）227[4]K.德马科，医学博士韦斯特，T.R. Collins，ROS在黄鳍自主水下航行器（AUV）上的实现，在：OCEANS '11 MTS/IEEE KONA，IEEE，2011，pp. 1-7号。[5] J.Badger，D.古丁，K. Ensley，K. Hambuchen，A. Thackston，ROS在太空中：R o b o n a u t 2的案例研究，在：机器人操作系统（ROS），施普林格，2016年，pp。343-373.[6] J. Petereit，J. Beyrer，T. Asfour，S.让特斯湾犹他州海因Hanebeck，F.基什内尔，R. Dillmann，H.H. Götting，M. 威瑟 et 例如， - 你好 机器人 危险环境中的去污系统，在：2019 IEEE安全，安保和救援国际研讨会机器人（SSRR），IEEE， 2019年，页249-255[7] J.J. 罗尔丹河Peña-Tapia，D.Garzón-Ramos，J. de León，M. Garzón，J. 德尔塞罗，A. Barrientos，多机器人系统，虚拟现实和ROS：开发新一代的操作员界面，在：机器人操作系统（ROS），施普林格，2019年，pp。29比64[8]D. Whitney，E. Rosen，D. Ullman，E.菲利普斯，S。 Tellex，Ros reality：Avirtualrealityframeworkusingconsumer-gradehardwareforros-enabledrobots， in：2018 IEEE/RSJ International Conference on Intelligent Robots andSystems（IROS），IEEE，2018，pp. 一比九[9] F.穆罕默德，A.哈桑A. Cleaver，J. Sinapov，创建与机器人共享的现实，在：2019年第14届ACM/IEEE人机交互国际会议（HRI），IEEE，2019年，pp。614-615[10] L. Peppoloni，F. Brizzi，C.A. Avizzano，E. Ruffaldi，机器人远程操作的沉浸式ROS集成框架，在：2015年IEEE 3D用户界面研讨会（3DUI），IEEE，2015年，pp. 177比178[11] D.李，Y.S. Park，基于机器人操作系统（ROS）的增强遥操作系统的实现，在：2018 IEEE/RSJ智能机器人和系统国 际 会 议 （IROS），IEEE，2018，pp。5497-5502[12] L. Kästner，J. Lambrecht，基于增强现实的移动机器人导航数据可视化在微软全息透镜上的可能性和局限性，在：2019 IEEE控制论和智能系统国际会议（CIS）和IEEE机器人，自动化和机电一体化会议（RAM），IEEE，2019年，pp. 344-349[13] L. Manring，J. Pederson，D.波茨湾Boardman，D. Mascarenas，T. Harden，A.Cattaneo，用于交互式机器人控制的增强现实，在：结构动力学&实验技术专题，第5卷，Springer，2020年，pp. 11比18[14] J.Guhl，S. Tung，J. Kruger，使用Microsoft Hololens等移动设备的增强现实编程工业机器人的概念和架构，在：2017年第22届IEEE新兴技术和工厂自动化国际会议（ETFA），IEEE，2017年，pp. 一比四[15] E. Sita，C.M. 霍瓦特湖 P. Korondi，A.G. 烟斗， Ros-unity3d 基于系统的工业机器人过程监控，在：2017IEEE/SICE系统集成国际研讨会（SII），IEEE，2017年，第10页。1047-1052.[16] A.Zimmermann，RvizforAndroid，2012，URLhttp://wiki.ros.org/rviz_for_android.[17] J.Baumeister，S.Y. Ssin，N.A. ElSayed，J. Dorrian，D.P. Webb，J.A.Walsh，T. M. Simon，A. Irlitti，R.T.史密斯，M。Kohler等人，使用增强现实显示器的认知成本，IEEE Trans. 目视Comput. Graph. 23（11）（2017）2378[18] T. 埃姆特角Frese，A.Zube，J. 陈文，自主移动机器人系统的算法工具箱，北京交 通 大 学 出 版 社。10（3）（2017）48[19] T. 阿斯福尔湖考尔，M。Wächter，S.Ottenhaus，P.韦纳，S。雷德河格林，Y. Zhou，M. Grotz，F. Paus等人，Armar-6：用于工业环境的协作人形机器人，在：2018年IEEE-RAS第18届人形机器人国际会议（Humanoids），IEEE，2018年，pp。447-454[20] C.克里克， G. Jay，S.奥森托斯 基湾皮策Jenkins，Rosbridge： ROS fornon-ROSusers，in：Robotics Research，Springer，2017，pp. 493-504.[21] C. Greene，J.Platin，M. Piñol，A. Trang，V. Vij，统一的机器人模拟是就像1，2，3一样简单，2020年，URLhttps://blogs.unity3d.com/2020/11/19/robotics-simulation-in-unity-is-as-easy-as-1-2-3/。[22] S.Lindgren，ROS2forunity，2019，URLhttps://github.com/DynoRobotics/UnityRos2。[23] E.费尔南德斯，S。Kelly，ROS2for.NET，2019，URLhttps://github.com/ros2-dotnet/ros2_dotnet。[24] M. Bischoff，Ros#，2018，URLhttps://github.com/siemens/ros-sharp。[25] D. Hershberger，D. Gossow，J.Faust，RViz，ROS的3D可视化工具，2019，URLhttp://wiki.ros.org/rviz。[26] C. Pohl，K.希茨勒河Grimm，A. Zea，U.D. Hanebeck，T. Asfour，基于示能性的抓取和操纵在现实世界中的应用，在： 2020年IEEE/RSJ智能机器人与系统国际会议（IROS 2020），美国拉斯维加斯，2020年。[27] A. Zea，U.D. Hanebeck，使用形状拟合对正方形标记进行姿态估计，在：第22届信息融合国际会议论文集（Fusion 2019），2019年，pp.加拿大渥太华