深度机器人学习中的可变形物体操控任务

软件影响9（2021）100087原始软件出版物Deep-LfD：从演示中进行深度机器人学习阿米尔·加拉姆赞Kiyanoush Nazari，Hamidreza Hashempour，Fangxun Zhong林肯大学，Lincoln LN6 7TS，英国自动清洁装置保留字：深度学习机器人从演示中学习可变形物体操作A B标准与其他机器人从演示中学习（LfD）方法一样，deep-LfD从示例演示中构建任务模型。然而，与传统的LfD，深LfD模型学习高维视觉感官信息和机器人的轨迹/path. This本文提出了一个数据集的成功针插入到可变形物体的基础上，建立了几个深LfD模型作为基准模型学习机器人控制器的针插入任务。代码元数据当前代码版本v1.0用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-39可再生胶囊的永久链接https://codeocean.com/capsule/0078633/tree/v1法律代码许可证MIT许可证使用git的代码版本控制系统软件代码语言，工具和服务使用Python 3，Matlab编译要求，操作环境依赖Python3，Tensorflow，sklearn，Pandas，Numpy，CUDA（可选）如果可用，链接到开发人员文档/手册github存储库README问题支持电子邮件aghalamzanesfahani@lincoln.ac.uk1. 背景和动机编程机器人既耗时又昂贵[1]。为了减少编程成本和时间，提出了传统的LfD方法然而，传统的LfD不足以用于许多复杂的任务，例如机器人手术。微创手术（MIS）[2，3]已通过手术机器人得到改进。机器人操作是每个MIS的关键，在每个操作过程中都需要相当多的时间和精力我们提出的方法建立了一个深LfD的基线，有助于未来完全自主的机器人手术在真正的手术操作。这将显著减少手术时间、成本以及外科医生操作员的疲劳和认知工作量，从而改善患者体验。成功完成机器人缝合的挑战之一是在将针插入组织时组织变形，这使得缝合失败，因为它没有抓住足够的组织[4]。图1（a）示出了插入软组织中以实现期望的出口点（红色球体）的圆形针;但是，实际出口点与期望的出口点不同，因为针使组织变形。因此，第二臂通常用于主动操纵组织，以确保期望的和实际的出口点相同。虽然传统的运动规划和控制被提出用于编程机器人任务[5-相反，我们提出了从演示中进行深度机器人学习（Deep-LfD），作为在这样的环境中进行运动规划和控制的解决方案本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。*通讯作者。电子邮件地址：aghalamzanesfahani@lincoln.ac.uk（A. Ghalamzan E.）。https://doi.org/10.1016/j.simpa.2021.100087接收日期：2021年4月6日;接收日期：2021年5月16日;接受日期：2021年5月18日2665-9638/©2021由Elsevier B. V.发布。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsA. Ghalamzan E.，K. Nazari，H.Hashempour等人软件影响9（2021）1000872Fig. 1. 软组织中的针插入：（a）针推动组织，形成实际（红色球体）和期望（（绿色虚线）和预期（红色虚线）针路径不同;（b）由于针插入导致的组织变形的2D示意图（原始形状显示为灰色虚线）从其原始位置（灰点）改变目标（红点）;以及（c）2号臂主动操纵组织以提高插入精度，如手动操作技能所采用的。非结构化环境，从高维观测空间即RGB图像中提取特征。2. 软件细节和影响作 为 机 器 人 控 制 器 Deep-LfD 的 基 准 ， 我 们 在https://github.com/imanlab/d-lfd上的软件包括全面的针插入数据集[10]、前馈神经网络（NN）和Recurrent NN模型。该软件包括（i）预处理脚本，（ii）前馈模型脚本和（iii）递归卷积网络（RCN）脚本[11]。预处理模块将摄像机拍摄的视频转换为图像帧.预处理模块保持图像帧和机器人数据的采样频率相同。因此，我们认为，不同针插入轨迹的图像数量随着其持续时间的不同以及插入点和期望的退出点的函数而变化。此外，我们将这些模型合并到闭环控制系统（深LfD）中，该闭环控制系统经由相对于软组织校准的RGB相机观察字状态（即，针插入软组织中）。机器人基础框架。然后，它在时间t1处生成时间t2的控制动作，从而在t2 + 1处产生期望状态。 我们的软件基于两个主要的Python库（1）Tensorflow -来自Google为深度学习而开发，以及（2）Keras -一个构建在Tensorflow之上的库，作为深度神经网络设计的高级API。该软件为Deep机器人从演示中学习的进一步发展提供了基线。2.1. 数据集我们已经创建了一个数据集，使用达芬奇研究套件将针插入可变形物体[10，11]。图2显示了用于数据收集的实验装置。体模（在我们的实验中使用的可变形物体）由均质聚乙烯制成，其杨氏模量约为0.02-0.04 [GPa]。在机器人手术中，Arm-2用于操纵软组织（图1）。1（c）），以确保针穿过/离开所需的点，从而产生足够的由缝线夹持的组织。图图2（b）呈现了针对每个针插入试验所包括的数据集的结构，其包括（i）具有由6个高分辨率校准相机记录的随机化的期望出口点的60次2.2. Deep-LfD模型我们的基线模型是我们定制设计的用于特征提取的CNN，我们称之为 FNN 。 我 们 将 FNN 的 性 能 与 包 括 AlexNet 、 VGG16 、 VGG19 、MobileNet和ResNet152V2在内的各种知名CNN模型进行了比较。在前馈模型中，在CNN之后，密集层被用于在下一个时刻生成控制动作，图二. （a）数据集收集设置;（b）数据集包括 ：1号臂的关节空间运动学数据（1 × 6）; 2号臂的关节空间运动学数据（1×6）; 1号臂相对于其基本框架的姿态（4 ×4）; 2号臂相对于其基本框架的姿态（4 ×4）;1号臂相对于其基本框架的姿态（+ 1）; 2������号臂相对于其基本框架的姿态（���+ 1）;6台摄像机（6×2）捕获的图像上的2D跟踪目标点;3号臂：计算的目标点相对于摄像机3的3D位置（1×3）。机 器 人 的 状 态 是 10+ 1 。 表 1 显 示 了 最 先 进 的 前 馈 模 型 和 我 们 的cosutomised模型获得的误差。为了进一步提高控制动作生成的准确性，我们使用递归神经网络（RNN）-包括简单的RNN，使用门控递归单元（GRU）和长短期记忆（LSTM）-输出低维特征向量 通过前馈模型，并在时间t处输出控制动作。图 3给出了用于机器人控制动作生成的深度LfD的总体结构。这（使用RNN而不是简单前馈模型中的密集层）显着提高了生成的控制动作的准确性，参见表2。2.3. 软件影响该软件能够实现深度LfD，这将显著影响大多数繁琐的远程操作任务，例如极端/远程环境中的机器人手术和远程操作系统-例如空间机器人远程操作。Deep-LfD是数据驱动机器人控制器的基线实现，是一种用于学习需要运动规划和控制的机器人任务的端到端解决方案。该软件是一个基线A. Ghalamzan E.，K. Nazari，H.Hashempour等人软件影响9（2021）1000873表1图3.第三章。 系统演示：机器人代理，摄像机和网络， 包括CNN，级联和RNN块。竞合利益使用CNN架构评估D-RLfD模型MaxPE a平均PE aMaxOE b平均OE b损失电话：+86-021 - 8888888传真：+86-021 - 8888888沪ICP备16006665号-1移动网络2019 - 04 - 25 0.964 1.631 0.477 0.050我们的有线电视新闻网0.154 0.755 1.528 0.475 0.005aPE（单位：[mm]*e−3）。bOE *e−3 次。表2RCN的评估，包括RNN，GRU和LSTM。模型MaxPE c平均PE cMaxOE d平均OE d损失前馈0.154 0.755 1.528 0.475 0.0050.068 0.153 0.704 0.173 0.00972009 - 2009两年期LSTM 0.035 0.134 0.338 0.106 0.0048cPE，单位[mm]*e−4。dOE，度数 *e−4。从演示中进行数据驱动学习，这是第一个。有几个开放的研究问题，因此，数据集和基线实现为未来的研究发展提供了一个基准。该数据集是独特的，具有几个有趣的功能，使未来的研究，例如（1）将机器人控制器推广到不同的相机视图，（2）通过数据驱动的方法和RGB相机关闭控制回路;（3）数据驱动的滚动水平运动规划可变形物体操纵;（4）数据驱动的机器人控制器。该软件提供了一种新颖的方法，可以查看机器人编程以执行复杂的任务，其中经典控制系统的设计是耗时且昂贵的（尽管如此，生成相应的数据集是可行的-类似于机器人中的远程操作任务）。该软件可以学习繁琐的遥控机器人任务的控制器，例如。机器人分类和隔离以及机器人手术，其中很难对机器人与环境交互的动态进行建模文[10，11]中的工作是基于本文所介绍的软件。此外，我们正在进一步开发软件，以用于（1）软水果推送[12]：其中模型学习如何到达成熟的水果并从成功的水果簇操纵样本中采摘它;以及（2）在操纵运动期间避免滑动[13]：其中成功控制机器人的演示（通过遥操作或动觉教学收集）用于学习操纵控制模型。在使用该软件控制不稳定或边缘稳定系统之前，需要进一步测试和稳定性分析[14]。可复制的软件胶囊可以在https：//codeocean.com/capsule/0078633/tree/v1网站。作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢这项工作得到了英国农业食品机器人（AgriFoRwArdS）资助参考EP/S 023917/1博士培训中心（CDT）的部分支持;以及由英国研究所扩大卓越英语基金（英国研究所项目参考编号26.18）资助的林肯农业机器人（LAR）项目引用[1]S. Schaal，模仿学习是类人机器人的道路吗？趋势认知Sci.3（6）（1999）233[2] A. Mirbagheri，F.Farahmand，S.Sarkar，A.阿拉姆达尔湾莫拉迪E。阿夫沙里，新浪机器人辅助手术系统，见：机器人和图像引导手术手册，爱思唯尔，2020年，pp. 107-121[3] D.J. Jacofsky，M.艾伦，关节成形术中的机器人：全面综述，J。关节成形术31（10）（2016）2353-2363。[4] F. Zhong，Y.中国云南省，云南省Wang，Z.王玉-H. Liu，双臂机器人针头插入，主动组织变形的自主机器人，IEEE机器人。自动Lett. 4（3）（2019）2669-2676.[5] C. 吴，W。Liang，C.W.Gan，H.Y.Lim，K.K.精密运动控制在手术器械中使用非线性接触力模型，在：2019年第41届IEEE医学和生物学工程学会年度国际会议，EMBC，IEEE，2019年，pp. 5378-5381。[6] K. 豪泽河，巴西-地Alterovitz，N.Chentanez，A.Okamura，K.戈德堡，反馈使用螺旋路径操纵针通过3D可变形组织的控制，机器人科学与系统：在线会议记录（2009）37。[7] P. 孙达雷桑湾Thananjeyan，J.Chiu，D.Fer，K.戈德堡，自动提取-组织模型中的手术针，在： 2019年IEEE第15届自动化科学与工程国际会议，CASE，IEEE，2019年，pp. 170比177[8] R. Alterovitz，K. Goldberg，A. Okamura，可操纵斜尖穿刺针计划通过具有障碍物的2D软组织插入，在：2005年IEEE机器人和自动化国际会议论文集，IEEE，2005年，pp. 1640 -1645年。[9] K.B. Reed，A.马戈维奇河谷卡莱姆河Alterovitz，K.新泽西州戈德堡Cowan，A.M.Okamura，机器人辅助针转向，IEEE机器人。自动18（4）（2011）35-46.[10] H. Hashempour，K. Nazari，F. Zhong，A. Ghalamzan E.， 穿孔数据集Needle through deep Learning from Demonstrations，2020，arXiv preprintarXiv：2012.02458.A. Ghalamzan E.，K. Nazari，H.Hashempour等人软件影响9（2021）1000874[11]A. Ghalamzan E.，从示例任务执行中学习针头插入，2021，arXiv预印本arXiv：2103.07938。[12] S. Mghames，M. Hanheide，A. Ghalamzan E.， 交互式运动基元：计划推动水果采摘的遮挡件，在：2016年IEEE/RSJ智能机器人和系统国际会议，IROS，2020年。[13] A.卡瓦洛湾德玛丽亚角Natale，S. Pirozzi，基于卡尔曼滤波器的滑动检测和避免，Mechatronics 24（5）（2014）489-499。[14] W. Li，长穗条锈菌A. Leonardis，M. Fritz，机器人操作的视觉稳定性预测，在：2017年IEEE机器人与自动化国际会议，ICRA，IEEE，2017年，pp. 2606-2613