没有合适的资源?快使用搜索试试~ 我知道了~
基于特征的视觉伺服控制方法的研究与应用
认知机器人1(2021)76-82基于特征的六自由度机器人视觉伺服控制土田信也、卢慧敏、神谷彻、芹川诚一日本九州工业大学aRT i cL e i nf o保留字:视觉伺服Posit算法雅可比机器人基于图像的视觉伺服a b sTR a cT视觉伺服是机器人手臂运动控制的一种方法。它由计算内部雅可比矩阵和特征误差向量的结果--端点矢量速度控制。自动化机器人任务通常要求高质量的传感器能够测量三维距离,并进行标定以使传感器坐标系与机器人坐标系在欧氏空间中相适应。在本文中,我们只使用RGB相机作为数据采集,这不需要在传感器帧内的校准。因此,我们的方法比任何其他自动运动方法都简单。同时,本文提出的基于特征的视觉伺服方法改变了超参数,在仿真环境和实际环境中均能有效地指示位姿误差的精度。1. 介绍工业机器人手臂被用于许多工厂。他们重复地做简单的任务,或者在某些情况下代替人类在危险的领域工作。在许多情况下,工业机器人手臂由示教作业激活。首先,我们遥控手臂记录 准确的运动。机器人手臂在工厂里多次做这些动作。然而,如果手臂周围的环境,如光线条件,距离,目标物体发生变化,或者如果我们想做新的任务,我们必须重新教机器人。这给产品公司带来了很大的成本。因此,我们需要产生更多的自动化机器人系统。为了自动识别机器人末端距离和目标位置,一般采用灵敏的视觉传感器 例如激光雷达或立体相机,并通过计算PointCloud或RGB-D数据来获得三维位置和旋转。 然而,对于初学者来说,开发自动化系统的程序并不容易,并且对工作空间环境变化时产生的各种噪声敏感。虽然在模拟器中传感器框架与机器人框架之间的移动很容易,但传感器与机器人之间的距离测量很困难,因此在实际环境中传感器框架与机器人框架之间的匹配需要很高的技能。在产品工厂中,需要更简单和更容易的机器人系统[4本文提出了机器人手臂的视觉伺服控制方法,该方法只需要机器人手臂和RGB摄像头。它输入由雅可比矩阵相乘得到的末端矢量首先,我们在目标位置拍摄图像,并记录目标对象的特征点。之后,手臂回到任何位置,并开始伺服。然后,从摄像机获取图像数据,计算手臂在目标位置和当前位置时的特征位置误差然后,我们产生逆雅可比矩阵X,这是映射的点的特征平面和摄像机的速度,并乘以他们的目标对象的特征误差这些结果的输入控制[11,12]。文[1]详细阐述了视觉伺服的原理。典型的视觉伺服可以分为三类:(1)基于位置的视觉伺服(PBVS),(2)基于图像的视觉伺服(IBVS),3)混合视觉伺服。PBVS使用估计的3-D相对姿态误差作为特征。根据图像平面上的特征点误差和内部矩阵计算估计的3-D位姿。∗ 通讯作者。电子邮件地址:www.example.comdr.huimin.lu @ ieee.org(H. Lu)。https://doi.org/10.1016/j.cogr.2021.06.002接收日期:2021年4月24日;接收日期:2021年6月1日;接受日期:2021年6月4日2021年6月8日网上发售2667-2413/© 2021作者。Elsevier B. V.代表KeAi Communications Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)可在ScienceDirect上获得目录列表认知机器人期刊首页:http://www.keaipublishing.com/en/journals/cognitive-robotics/S. Tsuchida,H. Lu,T. Kamiya等人认知机器人1(2021)7677������相机IBVS直接利用特征点的二维图像坐标误差。IBVS是已知的比PBVS更简单和更鲁棒的系统。本文实现了IBVS。同时,我们提出了一种新的基于机器人系统的位姿估计方法。再说我们采用了两种摄像机位置设置方式,在机器人端部(Eye-in-hand)和机器人周围(Eye-to-hand),称为 IBVS手眼伺服系统。为了研究该方法的特点,我们改变了超参数,如输入增益和误差阈值。第二部分介绍了伺服系统的工作原理。第三部分阐述了摄像机空间与图像映射的原理空间在第四节中,给出了目标特征点的获取方法和摄像机与目标物体的相对位姿。第二部分,介绍了实验的内容。在最后一章,我们总结了视觉伺服是否有用。2. 视觉伺服模型阐述了利用视觉伺服控制手臂的算法[1]。视觉伺服的目标是使误差最小化,其定义为:���������������������������(其中,λ是当时间为λ时的输入图像的特征向量,λ是期望位置处的输入图像的特征向量���矢量������是一组图像测量值,例如图像坐标。���摄像机内部矩阵等整个系统的参数我们认为,在摄像机运动不变的情况下���摄像机安装在机械臂的末端,具有6个自由度视觉服务方案的设计方式不同。���首先,我们描述了基于图像的视觉伺服控制(IBVS),它是由一组功能,可立即在图像数据。���然后,我们提出了基于位置的视觉伺服控制(PBVS),其中,位置是由三维参数的集合决定的,这些参数必须由图像测量来估计如果我们定义摄像机的空间速度为:θθ=(θθ,θθ),θθ是摄像机帧原点的瞬时线速度,θθ是摄像机帧的瞬时角速度。现在和未来之间的关系由下式给出:���������(2)其中Ls ∈λ��� × 6称为相关的相互作用矩阵或Jacobian���。Jacobi矩阵X,它是映射x和x。���使用(1)和(2)得到了摄像机速度与误差随时间变化的关系������(3)其中Le = Ls。如果用下式表示������������������(我们得到下面的微分方程现在()= −现在()(5)������如果我们得到是ε(ε)的拉普拉斯变换的ε(ε),则ε(ε)由下式给出:()=(���0)中文(简体)���根据微分方程,我们得到下面的方程。(六)lim()= lim()=���������������(0)���= 0(7)→∞→0中文(简体)���在(6)中,我们可以知道,θ(θ)收敛到0,因此控制系统是稳定的。使用(3)和(4),我们由下式给出������������= −������ (���)(8)()−1=−()−1()(9)������������������������������������������������������������������= −��� L���+��� (���)(10)其中L+= −(LTL)−1LT。S. Tsuchida,H. Lu,T. Kamiya等人认知机器人1(2021)7678[…]���2=闪烁=���⎡⎤���−������∕���现在=现在闪烁−现在闪烁2=������������̇−������̇ ∕���1Fig. 1. 与相机空间的几何关系。3. 雅可比矩阵在图1中,相机帧中坐标为=(,,)的3D点在图像中投影为坐标为=(,)的2D点,我们有������{=闪烁=((−))���闪烁���������������(十一)其中,λ=(λ,λ)给出了以pix el单位表示的图像点的坐标,λ=(λ,λ)是一组相机内参数:λ和λ是主点的坐标,λ是焦距,λ是图像平面坐标的比率。���������������取Eq的时间导数。(11),我们得到{闪烁今=闪烁今−闪烁今2=(闪烁今−闪烁今))闪烁今������������(十二)我们可以使用众所周知的方程将3-D点的速度与相机空间速度相���此时= −−×(13)���������我们从(13)���现在= −− +���������������������{现在= −现在 −现在 +现在���������������������现在= −− +���������������������在(12)中的注入(14),以及分组项,我们得到{现在=−电子闪烁+电子闪烁+(电子闪烁−)(1+2)电子闪烁+电子闪烁������������������������������(十四)(十五)���今=−���������������������������������������������������可以写成���������(16)其中,与λ相关的雅可比矩阵Lx为���L0���������������−( 1 +���2)���](十七)0 −1������1 +������������在雅可比矩阵Lx中,值λ是点相对于相机帧的深度因此,任何视觉伺服控制都必须估计或估计价格。为了控制六自由度,至少需要三个特征点来制定控制方案。如果我们使用特征向量=(1,2,3),���通过简单地堆叠三个点的雅可比矩阵,我们得到LL =L1⎢⎣L���3⎥⎦(十八)S. Tsuchida,H. Lu,T. Kamiya等人认知机器人1(2021)76794. 的方法 位姿估计为了估计点X相对于相机帧的深度,我们使用图2中的以下姿势估计方法。我们使用AR Marker作为目标对象。首先,我们检测目标对象的四个顶点作为以下过程[2]。(1) 对输入图像进行二值化,提取暗区。(2) 我们设置顶点1是封闭区域中外部矩形的第一个点。S. Tsuchida,H. Lu,T. Kamiya等人认知机器人1(2021)7680图二、 与三维物体的几何关系。图三. 视觉伺服实验。(3) 我们设置顶点2是顶点1在封闭区域的轮廓线上的最远点(4) 我们递归地搜索轮廓线中顶点1和顶点2的最远点的点在得到4个顶点后,我们估计对象的姿态。如果我们将坐标点设置为例如:=(,,),=(X,Y,Z),则由下式给出:���������������������������0=���������������������(十九)���0���0S. Tsuchida,H. Lu,T. Kamiya等人认知机器人1(2021)7681Z零Z[客户端][客户端]|<如果我们定义摄像机坐标系的单位矢量为θ,θ是X轴的单位矢量,θ是Y轴的单位矢量,θ是X轴的单位矢量,我们得到这些方程������������������������������������0如果我们设置=[������⃖⃖⃖⃖⃖0⃖���⃖⃖⃖⃖⃖⃗1⋮���⃖⃖⃖⃖⃖0⃖���⃖⃖⃖⃖⃖⃗4],′=[������1(1 +���������⋮���4(1 +���������],我们得到���������=���′(21)0������= 第22章一个人的世界���������������我们得到与(19)-(22)相同的过程如果我们设置′=[���我们可以决定诸如������1(1 +���������]���4(1 +���������������= 第23章一个人的世界���������������我们使用POSIT算法作为姿态估计方法[3]。1 εi(0) = 0(i = 1<$4),n = 12使用公式(22)和(23)���3计算()���=10���������������������������4 如果|εi(n)– ε���0阈值,退出。否则n = n + 1。转到第2步5 我们得到位置是x0=(X0,Y0,Z0),旋转矩阵X是[x0 x0]T������5. 实验我们使用了图3中的UR3,它是由Universal Robots制造的。我们将RGB摄像机连接到机器人终端显示器上。我们在机器人编程的标准中间件ROS workspace中开发了程序我们的实验是一个如下的过程(1) 我们遥操作机器人手臂到达目标位置,并从RGB相机获得图像(2) 我们记录了末端执行器(3) 我们把手臂放回第一个位置表1机器人姿态精度的结果。(A) 模拟器���E[mm]秒[sec]宽度[mm]宽度[mm]宽度[mm]滚转[度]螺距[度]压力[deg]0.11.030.54-0.261.36−0.12-3.50−0.05-3.520.15.020.32-0.080.35-3.363.47-0.133.490.110.016.281.550.94-6.631.510.961.260.51.06.470.681.34-0.10-2.83-0.26-2.770.55.05.280.500.58-0.53-0.61-0.11-0.440.510.04.261.550.94-6.631.510.961.260.81.05.12−0.030.18-0.23-0.570.05-0.650.85.04.680.01-0.400.72-0.34−0.15-0.330.810.04.373.67-0.223.22-3.720.87-4.00绝对平均数10.81 0.87 0.64 2.33 2.01 0.39 1.97(B)实际环境���E[mm]秒[sec]宽度[mm]宽度[mm]宽度[mm]滚转[度]螺距[度]压力[deg]0.11.044.240.301.27-1.445.220.224.980.15.025.020.412.16-7.692.730.322.620.11017.781.853.62-16.743.070.502.870.51.09.35-0.820.21-0.870.770.060.58S. Tsuchida,H. Lu,T. Kamiya等人认知机器人1(2021)76820.55.06.53-0.93-2.85-8.411.56-0.661.270.5105.93-0.58-2.85-11.723.47−1.113.220.81.08.66-0.750.490.02−0.250.16-0.410.85.05.73-1.78-4.33-3.57-0.87-0.82-1.150.8105.34-0.58-5.21-9.27-1.45-0.67-1.68绝对平均数14.29 0.89 2.55 6.64 2.15 0.50 2.09S. Tsuchida,H. Lu,T. Kamiya等人认知机器人1(2021)7683(4) 我们启动了视觉伺服系统见图4。 模拟器位姿误差的传递。(5) 当特征点误差达到阈值时,停止视觉伺服并记录位姿。我们做了一些改变超参数的实验根据定量实验的结果,我们得到了最佳阈值E和最佳阈值E。对于评估,假设是如果增益较大,则处理时间将较小。在模拟器和实际环境中的结果与假设相同。然而,尽管当k从0.1到0.5时,处理时间减少到五分之一,但是减少的尺寸是当λ= 0.5 ~ 0.8时,不存在线性关系。这是因为当我们与图4进行比较时,我们可以知道,如果θ较大,则瞬时运动也较大,因此需要更多的时间来收敛到特征点误差的零。我们预测,如果我们使阈值小,准确率的结果会更好,因为特征点误差会更接近零.然而,当我们将其与E = 1[mm]和E = 5[mm]的结果进行比较时,这是不正确的。我们认为这是因为在将二维图像点与三维位姿相关联时所使用的摄像机参数的误差影响了精度的结果。在该实验中,认为将E设置为5左右是准确的比较了模拟环境和实际环境下姿态的精度。在表1的绝对平均值中,两者姿势误差无显著差异虽然机器人的规模,重量,摄像机的参数不同,S. Tsuchida,H. Lu,T. Kamiya等人认知机器人1(2021)7684模拟器和真实,这些偏差对于视觉伺服控制是小的。因此,我们假设视觉伺服是鲁棒的变化的条件。6. 结论本文针对机器人控制系统和位姿估计问题,采用视觉伺服实现机器人控制,并在仿真环境和实际环境中进行了有效的验证。实验结果表明,该方法具有良好的位姿估计精度和有效的机器人执行效果。此外,通过设计增益和误差阈值,进一步提高了系统的稳定性和效率。未来,控制器将基于当前模型进行开发,扩展处理对象。此外,我们将从其他角度进一步评估该方法的有效性竞争利益提交人声明,他没有已知的竞争性经济利益或个人关系,可能会出现在本文报告的工作中参考[1] François Chaumette,S.哈钦森[2] 杂志,电气和电子工程师协会,2006年,第。82比90[2]ARToolKit,管道渲染http://render.s73。X rea.com/pipe_render/2008/04/artoolkit-12.html[4] D. Oberkampf,D.F. DeMenthon,L.S. Davis,Iterative pose estimation using coplanar points,in:Proceedings of IEEE Conference on Computer Vision andPattern Recognition,New York,1993,pp. 626-627[5] 可视化服务平台3.3.1版正在开发https://visp-doc.inria.fr/doX ygen/visp-daily/index.html(2021.01.22)[6] 理查德·哈特利,在:澳大利亚国立大学,堪培拉,安德鲁·齐瑟曼,牛津大学,剑桥大学出版社,2004年,第100页。88比165[7] A. Hajiloo,M. Keshmiri,W. Xie,T. Wang,Robust online model predictive control for a constrained image-based visual serving,IEEE Trans. Ind. Electron.63(4)(2016)2242-2250 April .[8] E. 马钱德,H。Uchiyama,F. Spindler,增强现实的姿势估计:实践调查,IEEE Trans. 目视Comput. Gr. 22(12)(2016)2633.[9] KWang,SM Jia,TXu,etal. ,基于混合位姿估计模型的移动机器人三维地图构建[J],控制决策. (2015)1504-1508。[10] FShamsfakhr,BS. 李文,李晓,等:基于扫描配准的机器人位姿估计算法[J].装配自动化. 40(6)(2020)801-817.[11] Q Ma,JNiu,Z Ouyang,et al.,基于边缘计算的机器人手臂三维位姿估计与标定[C],见:第七届IEEE网络安全与云计算国际会议论文集(CSCloud),IEEE,2020。[12] Yoshimura M,Marinho M M,Harada K,等.基于单目内窥镜图像的手术机器人器械轴单次位姿估计2020年。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- C++标准程序库:权威指南
- Java解惑:奇数判断误区与改进方法
- C++编程必读:20种设计模式详解与实战
- LM3S8962微控制器数据手册
- 51单片机C语言实战教程:从入门到精通
- Spring3.0权威指南:JavaEE6实战
- Win32多线程程序设计详解
- Lucene2.9.1开发全攻略:从环境配置到索引创建
- 内存虚拟硬盘技术:提升电脑速度的秘密武器
- Java操作数据库:保存与显示图片到数据库及页面
- ISO14001:2004环境管理体系要求详解
- ShopExV4.8二次开发详解
- 企业形象与产品推广一站式网站建设技术方案揭秘
- Shopex二次开发:触发器与控制器重定向技术详解
- FPGA开发实战指南:创新设计与进阶技巧
- ShopExV4.8二次开发入门:解决升级问题与功能扩展
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功