MERLIN2：机器人符号规划和状态机决策系统

软件影响15（2023）100477原始软件出版物MERLIN2：MachinEd Ros 2 pLanINgMiguel González-Santmarta，Francisco J.Rodríguez-Lera，Camino Fernánác-Llamas，Vicente Matellán-OliveraGrupo de Robótica，Universidad de León，Campus Vegazana，s/n，24007，León（莱昂），西班牙自动清洁装置关键词：认知机器人混合体系结构符号规划有限状态机反应性知识管理A B标准任何服务机器人都应该能够做出决策和安排任务，以达到预定义的目标，例如开门或在家中帮助用户。然而，这些过程不再是单一的短期任务需要设置长期技能，以建立一个控制架构，使机器人能够执行日常任务。本文介绍了MERLIN2，一个混合认知架构的基础上，符号规划和状态机决策系统，允许执行机器人的行为。 架构可以运行在 任 何 运 行 ROS 2 的 机 器 人 中 ， ROS 2 是 机 器 人 操 作 系 统 的 最 新 版 本 。 MERLIN2 可 在https://github.com/MERLIN2-ARCH/merlin2上获得。代码元数据当前代码版本v1.0用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2023-26可再生胶囊的永久链接https://codeocean.com/capsule/9822103/tree/v1GPL-3.0许可证使用Git的代码版本控制系统使用ROS 2、Python 3的软件代码语言、工具和服务编译要求、操作环境依赖性Docker OR ROS 2、Python 3如果可用，链接到开发人员文档/手册https://merlin2.readthedocs.io/en/latest/问题支持电子邮件mgons@unileon.es1. 介绍社交机器人需要相当数量的组件一起工作，以帮助人们完成日常任务。在实际情况中，有许多挑战需要克服。诸如人类随机行走、长期操作周期或管理多个目标的环境动态使机器人的决策在这种情况下，自主机器人的行为生成是一个与人工智能系统相关的开放性问题。几种范例产生了所谓的控制架构[1]，特别是作者的方法集中在那些认知启发。例如，我们可以找到专注于规划方法或包容架构[3]的慎思架构[2]和面向快速行为生成的反应式架构[4]。这些架构及其组合对社区产生了更大的影响：Gat的三层架构[5]，它将架构的决策组件组织在三个不同的层中;以及混合架构[6]，它合并了审议和反应概念，以实现短期和长期目标。因此，在研究社区中可以找到几种类似方法的实现，每一种都是为了自己的目的而开发的，具有可重复性问题，使得认知架构的图片难以遵循并部署在真实的机器人中。这些天来，我们可以找到ROS中开发的先前范例的特定方法[8]。从审慎的角度来看，规划方法，如ROSPlan [9]或PlanSys2 [10]，可用于制定计划，以实现机器人的高级目标这些应用本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。*通讯作者。电子邮件地址：mgons@unileon.es（M.Á.González-Santmarta），fjrodl@unileon.es（F.J. Rodríguez-Lera），cferll@unileon.es（C.Fernán-Llamas），vmato@unileon.es（V.Matellán-Olivera）。https://doi.org/10.1016/j.simpa.2023.100477接收日期：2023年1月24日;接收日期：2023年2月3日;接受日期：2023年2月4日2665-9638/©2023作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsM.Á. González-Santmarta，F.J.罗德里格斯-莱拉角Fernán-Llamas等人软件影响15（2023）1004772Fig. 1. MERLIN 2组件的生物吸气。基于规划域定义语言（PDDL）[11]，该语言已用于使用符号知识表示机器人的环境。然而，这些方法并没有给出一种简单的方法来修改知识，也没有提供持久性。从反应的角度来看，有几种解决方案，例如，SMACH分层状态机生成器[12]或行为树[13]。前者有FlexBee等替代品，后者已成为2022年行为生成中最扩展的范式。然而，将所有这些解决方案集成到一个单一的体系结构中可能很困难，并且其中一些解决方案缺乏可视化或符号知识操作等功能。这项工作提出了一种名为MERLIN 2（MERLIN的演变[14]）的认知架构的软件实现，该架构与ROS 2（软件开发中的事实标准）完全兼容。它提供了一个认知架构框架，适合混合架构范式，但它也包括通用的架构工具，用于管理符号知识和调度机器人的行为。2. 架构来自MachinEd Ros 2 pLannINg的MERLIN2是一种软件架构，代表了由四层组成的机器人混合认知架构的范例[14]。它包括用于生成机器人行为的主要软件功能：知识操作，用于世界模型表示;审慎决策系统，用于完成任务和响应动态环境的行为生成。MERLIN2的这种组织类似于人类的认知能力。在自然界中，认知能力，如短期记忆，感知或感觉运动;是由人类大脑的一些大脑叶执行的[15，16]。将MERLIN2组件组织为大脑认知功能，我们得到了图1所示的草图。人类大脑由四个结构组成，称为前额，颞叶，枕叶和顶叶[17]。前额叶拥有来自MERLIN2的大部分模块。它主管记忆，记忆分为长期和短期。长期记忆，这代表了环境的状态，对应于知识库管理的康德。短期记忆与YASMIN状态机的黑板相对应。此外，在规划过程中使用长期记忆来选择机器人必须使用以实现其目标的动作。这些动作是用YASMIN状态机实现的，也可以管理长期记忆的知识。最后，动作可以使用导航、文本到语音和语音到文本模块来与环境和人类交互。的前额叶还负责运动控制、导航和语音产生，即文本到语音;而颞叶负责音频处理，即语音到文本。这些认知功能被转化为图1所示的经典认知结构。二、它详细介绍了MERLIN2体系结构，在技术上分为四层，经典的混合体系结构和多层认知的建议。2.1. 任务层这一层负责生成机器人的高级目标。这些目标与机器人的职责有关，即内部或外部激励的特定工作，这意味着从本体感受或外部感受刺激（低电池状态或人类要求）中产生。这一层的软件组件设置了机器人的目标， 一个给定的瞬间。该目标从由当前环境事实组成的初始状态开始，并设置机器人希望为真的事实2.2. 规划层这一层负责生成计划，以实现先前创建的高级目标。它与经典的慎思子系统相关联，需要环境、计划求解器、任务调度器和执行的正式表示[2]。MERLIN2为此层提出了一组五个组件：• 知识库：这一部分是康德的知识库，与长期记忆相对应。它储存了环境的知识。根据存储类型，有两种类型的知识库：ROS 2节点，将知识存储在进程内存中; MongoDB [18]数据库，更持久。• PDDL生成器：该组件负责从知识库生成PDDL文本• Planner：该组件使用PDDL文本创建计划。可以使用多个PDDL规划器。可用的规划器是POPF [19]，SMTP [20]，统一规划[21]和VHPOP [22]。• Plan Dispatcher：该组件负责执行生成的计划的操作。如果需要，它还必须取消当前操作。• 执行者：这个组件是这个层和任务层之间的门面。它执行此层的组件并取消计划调度器。M.Á. González-Santmarta，F.J.罗德里格斯-莱拉角Fernán-Llamas等人软件影响15（2023）10047732.3. 执行层图二. MERLIN2架构。• 文本到语音：这个组件负责从句子中产生语音。这一层由机器人可以执行的动作组成。当一个动作被实例化时，它的相关知识被保存在知识库中。此外，这些动作被实现为YASMIN状态机。如前所述，状态机的黑板是短期记忆，存储PDDL动作所需的初始对象和状态机的部分解。此外，YASMIN有一个查看器，可以用来监视高级别的操作。最后，可以开发新的动作，以便机器人可以执行其他任务。因此，可以实现更复杂的行为。2.4. 反应层这一层提供了一组软件组件，这些组件带来了有限的和特定的应用程序，这些应用程序将被视为机器人技能，例如导航（世界探索），文本到语音（说话）或声音识别（倾听）。此版本的MERLIN2包括三个特定组件，适用于验证认知架构的使用：• 导航：该组件对应于Nav2 [23]，这是ROS 2的导航系统• Speech-to-Text：这个组件负责监听语音并将其转换为文本。3. 软件影响机器人中的认知架构面临着软件组件的开发和组织，以模仿人类的思维。是一个活跃的研究领域，不同的软件技术和机制可以一起发现。其中一些已经提出过，如状态机和规划系统。MERLIN2认知架构包含的元素可以有益于在机器人竞赛中进行的研究，在真实1和模拟2环境中，包括但不限于RoboCup或SciRoc。它允许通过使用KANT管理符号和子符号信息，使用YASMIN生成有限状态机，以及集成机器人任务的机制1. MERLIN2旨在加快机器人行为的产生过程，以应对使用ROS 2的服务机器人的日常短期和长期任务。2. MERLIN2结合了四个高价值的机器人开发工具：YASMIN，KANT，通用规划系统和用于任务和动作跟踪的视觉监控引擎1 https://youtu.be/BfbsLQNG0gg2https://youtu.be/ZKOqBHytXAIM.Á. González-Santmarta，F.J.罗德里格斯-莱拉角Fernán-Llamas等人软件影响15（2023）10047743. MERLIN2的四个层允许生成用于执行复杂机器人任务的机器人。任务层由一个任务引擎支持，该引擎允许创建初始问题以及创建和执行目标的能力，作为开发的行动的结果。规划层管理符号任务求解。执行层具有动作，这些动作是基于以下两个概念对技能进行关联和分组的结果：YASMIN有限状态机和（2）技能重用。反应层部署机器人的技能，添加一个新的是一个简单的过程。当前的存储库包含三种基本机器人技能的示例：导航，STT和TTS。4. MERLIN2通过DTO和DAO模式支持的KANT添加了符号知识操作的特性KANT提供了两种方法：一种是使用MongoDB实现知识持久化;另一种是使用内存存储。KANT引擎使开发人员可以更新/更改所使用的技术5. MERLIN2包括一个基于PDDL（规划层）的通用规划系统。该规划系统自动从知识库中提取PDDL，生成计划并以透明的方式为开发人员执行操作。求解器电机包括简化访问一组PDDL求解器参加所需的版本。由软件单独和整个架构实现的结果已在以下学术出版物中报道• Miguel González-Santamán ， Francisco J. Rodríguez-Lera ， Fran-isco Martín，Camino Fernández，and Vicente Matellán.康德：一个基础和知识管理的工具。In Josá Manuel Ferrández Vicente，JoséRamón Álvarez-Sánchez，Félix de la Paz López，and Hojjat Adeli，editors，Bio-inspired Systems and Applications：from Robotics toAmbient Intelligence，pages 452-461，Cham，2022.施普林格国际出版社。[24日]• Miguel González-Santamán，Francisco J. Rodríguez-Lera，VicenteMatellán-Olivera，and Camino Fernán-Llamas.Yasmin：又一个状态机。在Danilo Tardioli，Vicente Matellán，Guillermo Here- dia，Manuel F. Silva和Lino Marques，编辑，ROBOT 2022：第五届伊比利亚机器人会议，第528-539页，Cham，2023年。施普林格国际出版社。[25日]• Miguel放大图片创作者：González-Santamán，Francisco J.Rodríguez-Lera，Claudia Álvarez-Aparicio，Ángel M.Guerrero-Higueras和Camino Fernández- Llamas。MERLIN是服务机器人的认知体系结构.应用科学，10（17）：5989，2020年8月。[14个]第一章4. 局限性和进一步改进最后，几个未来的工作考虑。MERLIN2需要一个感知模块来实现更复杂的行为。此外，它还可以用于执行接地和锚定[26]，改善MERLIN2的长期和短期记忆。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作确认这项工作得到了西班牙大学部提供的FPU奖学金（FPU 21/01438）和赠款的PID2021-126592OB-C21资助通过MCIN/AEI/10.13039/501100011033和ERDF一种制造欧洲的方式引用[1]Danial Nakhaeinia，S. Hong Tang，S.B.莫哈末努尔岛Motlagh，移动机器人自主导航控制体系结构综述，国际物理杂志。Sci. 6（2）（2011）169-174。[2] 费利克斯·英格朗，马利克·加勒布，自主机器人的审议：调查，人工智能247（2017）10-44。[3] 罗德尼·A Brooks，New Approaches to Robotics，Science 253（5025）（1991）1227-1232。[4] R.彼得·博纳索河放大图片作者：James Firby，Erann Gat，David Kortenkamp，David P. Miller，Mark G. Slack，智能反应代理架构的经验，J. Exp. 理论上第内特尔9（2[5]埃兰加特河Peter Bonnasso，Robin Murphy等人，在三层架构上，Artif.内特尔暴徒210.第210章大结局[6] Ronald Arkin，Tucker Balch，AuRA：原则与实践回顾，J. Exp. 理论。阿蒂夫。内特尔9（1970）。[7]叶培军，王涛，王飞跃，认知体系结构20年回顾，IEEE Trans.Cybern. 48（12）（2018）3280-3290.[8] Morgan Quigley ， Ken Conley ， Brian Gerkey ， Josh Faust ， Tully Foote ，JeremyLeibs，Rob Wheeler，Andrew Y Ng，et al.，ROS：an open source robotoperatingsystem ， in ： ICRA Workshop on Open Source Software ， vol. 3 ， no.3.2，Kobe，Japan，2009，p. 五、[9] 迈克尔·卡什莫尔，玛丽亚·福克斯，德里克·朗，丹尼尔·马加泽尼，布拉姆·里德，阿劳·卡雷拉，N。Palomeras，N. Hurtós，Marc Carreras，ROSplan：机器人操作系统中的规划，在：自动规划和调度国际会议论文集，ICAPS，卷。2015，pp.333-341。[10] Francisco Martín，Jonatan Ginés，Francisco J. Rodríguez，Vicente Matellán，PlanSys 2：ROS 2的规划系统框架，在：IEEE/RSJ智能机器人和系统国际会议，IROS 2021，捷克共和国布拉格，2021年9月27日至10月1日，IEEE，2021。[11]陈晓，陈晓，等.基于PDDL的时态规划模型的设计与实现. 第内特尔Res. （JAIR）20（2003）61[12]Jonathan Bohren，Steve Bohins，IEEE Robot公司SMACH高级执行官。 自动17（4）（2011）18-20。[13]Michele Collandanchise ， Lorenzo Natale ， 论 机 器 人 中 行 为 树 的 实 现 ， IEEERobot。自动Lett. 6（3）（2021）5929[14]Miguel 放 大 图 片 作 者 ： González-Santamario ， Francisco J. Rodríguez-Lera ，Claudia Álvarez-Aparicio ， Ángel M. Guerrero-Higueras ， Camino Fernánán-Llamas，MERLIN服务机器人认知体系结构，应用科学。10（17）（2020）5989.[15]理查德·S·JFrackowiak，人脑功能，爱思唯尔，2004年。[16]作 者 声 明 ： Ian Q. Whishaw ， G. Campbell Teskey ， An Introduction to BrainandBehavior，Worth New York，2001.[17]放 大 图 片 作 者 ： Geraldine Ed Dawson. Fischer ， Human Behavior and theDevelopingBrain，Guilford Press，1994.[18]S. Bradshaw ， K. Chodorow ， E. 巴 西 ， MongoDB ： The Observative Guide ：Powerfuland Scalable Data Storage ， in ： The Expert' sVo i c ei nO p e nS o u r c e ， O ' R e i l l y M e d i a ， I n c o r p o r a t e d ， 2 0 1 9 。[19]Amanda Coles ， Andrew Coles ， Maria Fox ， Derek Long ， Forward-chainingpartial-orderplanning，in：ICAPS2010-Proceedingsofthe20thInternationalConferenceon Automated Planning and Scheduling，2010，pp.42比49[20] Michael Cashmore ， Maria Fox ， Derek Long ， Daniele Magazzeni ， 将 完 整 的PDDL+语言编译成SMT，在：第三十届AAAI人工智能会议研讨会，2016年。[21]aiplan4eu，AIPLAN4EU/unified-planning：TheAIPLAN4EUUnifiedPlanningLibrary，GitHub.[22] Håkan L.S. Younes ， Reid G. Simmons ， VHPOP ： Versatile heuristic partialorderplanner，J. 人工智能研究20（2003）405[23] Steve Macenski，Francisco Martín，Ruffin White，Jonatan Ginés Clavero，马拉松2：导航系统，2020年IEEE/RSJ智能机器人和系统国际会议，IROS，2020年。[24] Miguel González-Santamán ， Francisco J. Rodríguez-Lera ， Francisco Martín ，Camino Fernández ， Vicente Matellán ， KANT ： A tool for grounding andknowledgemanagement ， in ： José Manuel Ferrández Vicente ， José RamónÁlvarez-Sánchez ， Félix de la Paz López ， Hojjat Adeli （ Eds. ） ， Bio-InspiredSystems and Applications ： From Robotics to Ambient Intelligence ， SpringerInternational Publishing，Cham，2022，pp. 452-461[25] Miguel González-Santamán ， Francisco J. Rodríguez-Lera ， Vicente Matellán-Olivera，Camino Fernánán-Llamas，YASMIN：Yet another state machine，in：Danilo Tardioli ， Vicente Matellán ， Guillermo Heredia ， Manuel F. Silva ，LinoMarques（编辑），机器人2022：第五届伊比利亚机器人会议，施普林格国际出版社，Cham，2023年，第10页。528-539.[26] Silvia Coradeschi，Amy Loutfi，Britta Wrede，符号接地的简短评论机器人和智能系统，KI-Künstliche Intelligenz 27（2）（2013）129-136。