具有站立辅助功能的深度传感器移动机器人系统的研究和验证

认知机器人2（2022）83具有站立辅助功能的Shenglin MuShibata，Satoru Shibata，Tomonori Yamamoto日本爱媛大学研究生院理工学研究科，松山文京町3号，邮编790aRT i cL e i nf o保留字：跟随用户移动机器人使用深度传感器的PD控制速度控制a b sTR a cT本文提出了一种用户跟随式移动机器人，它能够跟踪和跟随用户，并具有站立辅助功能。建议的机器人扮演一个椅子的角色，用户可以坐在上面，并提供一个站立的辅助功能，补偿肌肉力量的缺乏。在建议的机器人，臀部识别的传感方法，提出了使用深度传感器。通过测量与用户臀部的距离作为实现跟踪功能的一种途径，提出了一种基于PD控制的移动机器人人体跟踪方法。通过实验研究，验证了该机器人具有跟随和站立辅助功能的实用性。验证了采用PD控制的用户识别方法和跟踪方法的有效性。通过提出的机器人系统，可以预期福利领域的改善1. 介绍近年来，随着老年人数量的增加，日本需要长期护理服务的人也在迅速增加。2010年，需要长期护理的人数约为480万。2020年，669万人2020年，根据年度健康、劳动和福利报告[1]的数据，增长了约1.4倍。老年人需要长期护理的原因之一是身体老化导致身体功能下降。特别是当老年人下肢功能随年龄增长而下降时，外出散步变得困难，外出和人际交往等活动的机制和意图也会降低。日常活动的减少可能会引起各种问题 甚至卧床不起为了避免这种情况，我们的研究小组提出了一种用户跟随移动机器人，它跟随用户，并在用户想要休息时扮演椅子的角色。同时，当用户想要站起来再次进行他/她的行走时，提供帮助使用者站立的辅助功能，以补偿他/她的肌肉无力。机器人被提议帮助老年人，减轻照顾者的负担关于站立运动的辅助，进行了关于福利机器人开发[2-“ROBEAR”平台它能够将用户从坐姿提升。机器人检测老年人的状态，如站，坐，别动有助于支持用户自主行走、换乘等，但目前平台上还没有用户跟随功能的报道。另一方面，有一些关于跟随人类的移动机器人的研究报告[8Morioka等人[8]已经构建了一个系统，其中移动机器人基于传感设备跟随人类∗ 通讯作者。电子邮件地址：mu.shenglin. ehime-u.ac.jp（S. Mu），shibata.satoru.mg @ ehime-u.ac.jp（S. Shibata），yamamoto.tomonori.mh @ ehime-u.ac.jp（T.Yamamoto）。https://doi.org/10.1016/j.cogr.2022.03.003接收日期：2021年12月28日;接收日期：2022年3月17日;接受日期：2022年3月17日2022年3月23日在线提供2667-2413/© 2022作者。Elsevier B. V.代表KeAi Communications Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）可在ScienceDirect上获得目录列表认知机器人期刊首页：http://www.keaipublishing.com/en/journals/cognitive-robotics/S. Mu，S. Shibata和T. 山本认知机器人2（2022）8384放在整个空间里。Okusako等人[9]根据激光测距仪获得的距离数据，通过移动机器人实现了对人类的实时跟踪。Buyo等人。[10]提出了一种结合距离图像和彩色图像的机器人人跟随控制方法。Shimoyama等人[11]通过使用深度传感器检测人并使用激光测距仪检测物体及其距离，Satake等人[12]提出了一种基于立体的人检测和跟踪方法，用于移动机器人，可以在动态环境中跟踪特定的人Iida等人。[13]使用Kinect作为传感器来获取二维距离数据。这些数据被应用于计算机器人跟随用户的速度。Yamakura等人[14]。提出了一种利用全方位立体摄像机检测人脸，并利用激光测距仪（LRF）根据距离控制机器人运动的方法然而，至今仍未有任何关于具有椅子功能及站立辅助功能的在本研究中，提出了椅子和站立辅助功能。同时，作为实现用户跟随功能的感测方法，开发了从附接到机器人的深度相机获取的深度图像的使用。执行从用户的后视图识别臀部。在本文中，建议的机器人跟随用户在一定的距离。在跟踪中，使用基于深度图像识别的用户臀部的信息来控制机器人。此外，在图像上识别的臀部中心的坐标与坐标的中心之间的误差当用户向左或向右行走时，图像的“”用于控制跟随用户的机器人的转向。通过采用所提出的控制方法，它是可能的，使机器人跟随用户的有效。介绍了局部放电的控制方法，建议的制度。实验研究证实了该系统的有效性在本文中，本研究的介绍是在第一节。在第2节中介绍了拟议的机器人系统的设计和架构。第3节介绍了在所提出的机器人的跟踪功能的距离测量和臀部识别与深度相机。介绍了跟踪功能中的控制方法。根据第4节中的实验研究证实了所提出的方法的有效性。本研究的结论见第5。2. 具有站立辅助功能的2.1. 具有站立辅助功能的拟议机器人的结构图1示出了具有站立辅助功能的随动移动机器人的配置图。当用户外出散步时，图1所示的移动机器人跟随，同时在适当的距离处跟踪用户。当人类想坐下来休息时，机器人会移动到一个舒适的位置，扮演椅子的角色。当用户想要恢复行走时，它支持 用户的站立运动，并跟随用户行走。图图2和图3示出了所提出的机器人的3D-CAD结构。风景机器人的尺寸如图所示。图2示出了机器人上的座椅表面关闭的状态。图3示出了实施站立辅助的状态。 后轮由马达驱动。左、右电机独立控制，允许机器人左右转动。机器人设计紧凑的结构，即使在电梯和医院等狭窄空间内也可以跟随用户平稳移动。为了实现站立辅助功能，通过齿轮减速电机的输出来增加升高座椅表面的扭矩。然后，连接到座椅表面的弧形齿条通过改进的扭矩移动以将座椅表面向上推动。机器人座椅的高度根据从地面到膝关节的高度和从人体尺寸数据库[15]获得的日本人的座椅高度来确定。男女从地面到膝关节高度的平均值如表1所示。男女组平均身高为439.8 [mm]。因此，在本研究中，机器人的高度被设置为440 [mm]作为适当的值。图1.一、具有 站立辅助功能的移动机器人的配置图。S. Mu，S. Shibata和T. 山本认知机器人2（2022）8385图二、所提出的机器人的结构的一般视图。图3.第三章。所提出的机器人结构的侧视图。表1膝关节褶皱中心高度和受试者数量组膝关节褶皱中心高度[mm]的受试者年轻男性457.8217年轻女420.3201年轻男女439.8418表2平均大腿长度。组平均大腿长度[mm]的受试者年轻男性409.2212年轻女397.4202年轻男女403.4414通过机器人轮子的平移运动和弧形齿条座面的旋转运动相结合，可以实现对人体站立运动的辅助。根据[15]中的lous coition转子距离数据，将弧形齿条在座椅表面上的安装位置设置为从背部起100 [mm]的位置。位置如图4所示。图中还显示了弧形机架的安装位置。参考以下平均值，将齿条的半径设置为410 [mm]：男性和女性数据[15]见表2。由于齿条半径比平均大腿长度大几毫米，因此在本研究中被认为是合适的。S. Mu，S. Shibata和T. 山本认知机器人2（2022）8386见图4。 弧形齿条半径和安装位置。图五. 弧形齿条传动装置。图5示出了如何驱动安装在机器人座椅背部的两个弧形齿条。这是座位的俯视图机器人的表面如图所示，由一台直流电机驱动，弧形齿条通过传动而转动通过锥齿轮将旋转运动传递给垂直输出轴。这种方法节省了空间，因为直流电机可以垂直安装。控制直流电机同时驱动两个弧形齿条。为了实现跟踪功能，使用所提出的机器人，控制程序的流程设计如图6所示。首先，深度摄像头用于获取用户用户之间的距离S. Mu，S. Shibata和T. 山本认知机器人2（2022）8387见图6。 建议机器人的控制流程。表3英特尔实感3D摄像头（R200）规格。分辨率彩色照相机最大1920 × 1080@30fps分辨率深度相机最大628 × 480@30fps（VGA）可视范围彩色摄像机（D×V×H）77◦ ×43◦ ×70◦视程深度相机（D×V×H）70◦ ×46◦ ×59◦检测范围500并且可以估计机器人以调整机器人速度。使用者臀部中心与中心线之间的距离利用图像的灰度值来估计转向操纵的差异。根据估计的偏差，控制输入可以估计。控制量经D/A板转换后送电机驱动器驱动电机。2.2. 建议机器人在这项研究中提出的机器人有两个功能：站立援助和用户以下。介绍了实现人体跟踪功能所需的传感功能。为了获取深度图像作为视觉信息以实现跟踪功能，英特尔实感3D摄像头安装在机器人的座椅靠背上，如图2所示。RealSense 3D相机拥有RGB和深度相机。它的优点是比传统的传感器相机更便宜，尺寸更小。本研究中提出的机器人旨在以1.0 [m]的固定距离跟随用户。由于相机的识别范围为500 [mm]至4000 [mm]，因此相机具有适合我们应用的规格。深度相机的规格如表3所示。如前所述，识别信息由笔记本电脑处理，机器人的运动由连接电子电路的LinuX PC控制。建议的机器人与PC的结构如图所示。第七章3. 使用深度相机进行距离测量和臀部识别从实感3D相机获取的彩色图像和深度图像如图1A和1B所示。8和9。在该深度图像中，原点在图像的左上方，黑色部分是距离数据为0 [mm]的部分，即，S. Mu，S. Shibata和T. 山本认知机器人2（2022）8388见图7。 笔记本电脑和LinuX PC上提出的机器人。见图8。 从realsense相机获得的彩色图像。超出测量范围，白色部分是距离数据不为0 [mm]的部分。对于彩色图像和深度图像两者，所获取的图像的大小在高度上为240 [piXel]，在宽度上为320 [piXel]。移动机器人获取距离数据来自安装在座椅靠背上的深度相机。作为用于从所获取的距离数据估计臀部的位置的方法，我们关注深度图像上的腿的特征，并且识别臀部的基部的位置。腿当我们检查所获得的图像时，我们可以看到用户的两条腿的分裂可以被识别。通过检测腿根据距离数据可以检测腿的基部。在我们提出的方法中，首先，对每行由深度相机获取的距离数据。已知的是，由于实验期间衣服的亮度、颜色和材料，不能很好地获取距离数据，并且在距离数据的中间出现变为0[mm]的PIXEL的对象。在我们的设计中，每5个连续的像素与距离数据为0 [mm]被分成一组。B组是指其中组中像素的所有距离数据都是0 [mm]。由于组b是一个空间，在那里没有物体在可见的范围，其被从对象候选中排除，以及组a，其包含距离数据不为0 [mm]的至少一个pixel，即，可以显示对象，被设置为对象候选。假设对象的集群是从每个对象的第一个非0 [mm] pix el开始的，a组至最后一个非0 [mm]像素Xel。当获取多个对象的深度图像时，30 [piX el]或更大，因此在对象的聚类中，具有30 [piX el]或更大的大小的聚类是用户身体的候选。 在如上所述的聚类之后，身体的聚类考虑他有两条腿的行。可能存在。图10示出了来自深度传感器获得的图像的用户的聚类结果。小于或等于30 [piXel]的聚类显示为红色，大于30 [piX el]的聚类显示为黄色，两个大于或等于30 [piX el]的聚类显示为黄色。显示为紫色，即可能是腿的群集。在具有高腿部可能性的聚类（紫色聚类）中，由噪声干扰引起的聚类是小的组，例如a到c。此外，还能准确识别腿根部附近的区域作为一条腿，是最大的一组，如d。此外，该组的顶行与腿的基部重合。此功能用于确定腿的基部的位置。首先，在深度图像的y方向上执行聚类，以便 将可能有腿的行分成组。作为聚类的一个条件，只要很可能有腿的行是连续的，如果有5个连续的行没有腿，最后一行包含腿，S. Mu，S. Shibata和T. 山本认知机器人2（2022）8389见图9。 从realsense相机获得的深度图像。见图10。 聚类结果。组使用。这是集群的结束。当对图10中的深度图像执行该聚类时，a至d变成聚类。其中最大的集群是d，顶行被确定为腿的底部。对所获取的第6至第15深度图像的距离数据执行直到识别腿的根部的上述处理，并且根据所获取的第6至第15深度图像的距离数据来确定腿的根部的平均位置。最终确定为每一行确定的总共10行中的腿。用户的腿的基部可以被识别，就像我们所看到的在图11中。腿基部上方30 [piXel]的行是包括臀部中心的行，并且第16行和随后的行是包括臀部中心的行。行仅聚集到该行，并且最大的聚类是臀部的聚类。使用上述识别方法进行识别实验。实验条件是调整机器人的背部，将R200的传感器固定在受试者臀部的高度，他拍摄了站在距离R200 1000 [mm]处的人。识别实验的结果如图11所示。绿线表示腿根部的线，蓝圈表示臀部的终点，红圈表示中心臀部的如图11所示，腿的基部被准确地识别，并且臀部从该线估计。因此，我们认为，可以发现，通过识别腿的基部的臀部识别方法是有效的。4. 跟踪功能中的控制方法4.1. 定距跟踪用深度摄像头识别人体臀部，并利用距离数据跟踪人体臀部的控制规则在本节中介绍。作为一种有效的控制方法，PD控制被用作机器人的控制规则，以遵循user. PD控制规则在等式中示出。 4.1.���������������������������������=S. Mu，S. Shibata和T. 山本认知机器人2（2022）8390图十一岁 被认为是腿的基础的线。见图12。 臀部识别结果。该控制规则为：距离数据与目标值之差为Δθ（θ），当前误差为Δθ（θ）。������其中，误差Δ k（k-1）和一步前的误差Δk（k-1）是中的变化，Δ k是PD控制的操作量。The values of������ and������是通过实际移动机器人的试错法获得的值，分别为0.4和0.5。一个后续实验以确认机器人是否能够跟随用户并与机器人保持恒定距离。实验条件设定为如下首先，跟踪从人和机器人停止的状态开始。当用户使用常量速度，机器人开始跟随用户。测量了机器人与跟踪目标之间的距离。目标距离 在10秒后从1000 [mm]变为800 [mm]，从1000 [mm]变为1200 [mm]作为实验结果，用户和机器人之间的距离如图12所示。 在间隔1和2中，可以确认所提出的方法通过在跟踪期间改变机器人与用户之间的距离来有效地遵循。4.2. 跟踪转向控制当用户在转弯的情况下行走时，需要在用户跟踪中建立用于转向的控制方法。我们提出了一种方法，在该方法中，机器人的方向进行控制，使红色点的臀部图。图4-11中所示的图像几乎存在于图像的水平方向上的中心点处。图13示出了从深度相机获得的图像。图14示出了图13的俯视图。由于图像的宽度为320 [piX el]以及240 [piX el]高时，从x坐标减去图像水平方向上的中心piXel值（160 [piXel]臀部中心点（红色圆圈）所在位置的piXel值，因此臀部位于图像的中心。它可以检测有多少像素的中心点彼此分离假设检测值如下所示。������在这个S. Mu，S. Shibata和T. 山本认知机器人2（2022）8391图十三. 使用PD对照的随访受试者的实验结果。见图14。 ������探测器。时间，如果臀部的中心点是负的，则臀部的中心点在图像中心的左侧，并且如果臀部的中心点是正的，则臀部的中心点在图像中心的右侧������PD控制中的控制规则如等式所示。4.1.其中，A是转向操作量，B是臀部位置与图像中心的误差，A是一小时前的臀部���������另外，Δθ d和Δ θd的值分别是通过实际移动机器人而在1.2和0.8处进行试错而4.3. 转向控制的实验研究为了确定转向控制方法，进行了实验研究。机器人实际上是跟随人，人和机器人通过的坐标由LRF绘制，LRF是外部传感器。实验条件示于图1A和1B中。15和16。以LRF的位置为原点，在图15中，机器人和人的起点分别位于（X，y）=（-1.1，6.5）和（-1.1，5.5）。在图16中，它被安排在（X，y）=（1.1，6.5），（1.1，5.5）处。当用户开始行走时，他/她从拐角处转弯1.75 [m]，即，在转弯之后通过通道的中心。可以确认机器人和用户的轨迹S. Mu，S. Shibata和T. 山本认知机器人2（2022）8392图15. ���从上方观察时的倾斜图16. 实验条件1。采用PD控制的控制规则进行后续实验。从LRF获得的机器人和用户的坐标绘制图如图1和2所示。图17 -20示出了人的角度相对于被测机器人的位移。根据实验结果，可以确认机器人在跟随用户方面是有效的。在图18中，可以看出右转操作从5秒到13秒。最终值为-1.65。 在左转弯的情况下，在图。 20，可以确认左转从9秒到15秒。可以确认机器人有效地跟随用户。（图第二十一章）5. 结论本文提出了一种具有跟随和站立辅助功能的移动机器人。在建议的机器人，识别和跟随用户的方法。通过采用所提出的方法，使用所获得的距离数据通过机器人上的深度摄像头，正确识别用户臀部的位置。为实现用户的定距跟踪，在定距跟踪和转向中构造PD控制。实验结果表明，该方法能够有效地跟踪用户直行和转弯时的左右方向运动。S. Mu，S. Shibata和T. 山本认知机器人2（2022）8393图17. 实验条件2.图十八岁使用 PD控制的人和机器人的轨迹（右转）。S. Mu，S. Shibata和T. 山本认知机器人2（2022）8394图19号。 使用PD控制（右转）的人相对于机器人的角度。图20. 使用 PD控制的人和机器人的轨迹（左转）。实验证实了所提出的机器人的有效性。然而，由于使用深度图像通过腿的簇来识别用户的臀部，因此当用户穿着裙子或长外套时难以应用臀部识别。因此，在今后的研究中，有必要引入一种新的识别方法。同时，随着最近对控制技术的研究[16竞争利益作者声明，他们没有已知的竞争性经济利益或个人关系，可能会影响本文报告的工作S. Mu，S. Shibata和T. 山本认知机器人2（2022）8395引用图21岁 使用PD控制（左转）的人相对于机器人的角度。[1] 健康、劳动和福利年度报告（2020年）。[2] S.H. Tak，L.E.D.F.贝尼菲尔德Mahoney，长期护理技术，Res Gerontol Nurs 3（1）（2010）61 -72，doi：10.3928/19404921-20091103-01。[3] C. Jiang，S.平野，T. Mukai，H.中岛角Matsuo，D.张明汉Honarvar，T.铃木河Ikeura，S.细江，2A 2-u 06用于患者转移和站立辅助的高功能护理助理机器人robear的开发，Proc. JSME Ann. Conf. Robot。机械电子（Robomec）（2015）2A2-U061，doi：10.1299/jsmermd.2015._ 2A2-U06_1。[4] B. 机器人技术仍然是医疗保健未来社论的必要组成部分行为举止。Soc. 网络 20（2017）511 -512，doi：10.1089/cy-ber. 2017. 29083. bkw。[5] T. Kawamura，Y. Enomot，T.小林K. 水上，气动控制站立辅助运动器械的开发，社会福利工程学报。（2006）191-192，doi：10.1299/jsmewes.2006.191.[6] K.藤原T. Noritsugu，M. Takaiwa，D.佐佐木山杨志，气动橡胶肌肉辅助站立运动装置的研制，中国科学院学报。Conf. 机器人机械电子（ Robomec）（2009）1P1-K02，doi：10.1299/jsmermd.2009._ 1P1-K02_1。[7] T. Noritsugu，气动橡胶人工肌肉驱动的动力辅助磨损的开发，J.机器人。日本社会33（4）（2015）222 -227，doi：10.7210/jrsj.33.222。[8] K. Morioka，J.- H. Lee，H.李明，李明博，李明博，等.智能机器人控制.北京：机械工业出版社，2001.日本社会22（1）（2004）103-111，doi：10.7210/jrsj.22.103。[9] S. Okusako，S.Sakane，使用激光测距仪的移动机器人的人类跟踪，J。机器人Soc. JPN. 24（5）（2006）605 -613，doi：10.7210/jrsj.24.605。[10] Y. Buyo，S. Hashimoto，E.李志华，基于距离图像和彩色图像传感器融合的机器人人跟踪，第70届中国科学院学报。会议信息流程。Soc.JPN. 人工智能和认知科学（2008）233[11] M. Shimoyama，N. Matsuhira，K. Suzuki，在拥挤环境中开发跟随机器人的基本功能，ROBOMECH 2017（2017）2 P1-J 04，doi：10.1299/jsmermd.2017.2P1-J 04.[12] J. 佐竹李文，一种基于立体视觉的移动机器人跟踪系统机器人Soc. JPN. 28（9）（2010）1091 -1099，doi：10.7210/jrsj.28.1091。[13] M. Iida，A.王志文，机器人追踪算法及参数获取的研究，北京：机械工业出版社。22（50）（2016）253-257，doi：10.3130/aijt.22.253。[14] K. Yamakura，J.Imai，在动态环境中引导多个人的自主移动机器人，J.Jpn。模糊理论Intell. Inf. 30（5）（2018）725 -733，doi：10.3156/jsoft.30.5_725.[15] A.I.R.中心，Aist/hql三维人体测量数据库1991[16] T. Wang，X. Ji，黑穗醋栗A.宋，K. Madani，A.乔赫拉湾卢河，巴西-地Monero，输出有界和基于rbfnn的位置跟踪和自适应力控制的安全远程手术，ACM Trans.多媒体计算Commun. Appl. （2020），doi：10.1145/3394920.[17] P. Wang，D. Wang，X. Zhang，X. Li，T. Peng，H. Lu、X.田，基于主动螺旋桨控制的波浪滑翔机操纵性能的数值与实验研究，应用。海洋水库 25（2020），doi：10.1016/j.apor.2020.102369.[18] X. Yang，H. Wu，Y. Li，S.康湾Chen，H. Lu，C.李平，纪志华，并联隔振机构的动力学与各向同性控制，电机工程与机械工程学报。25（4）（2020）2027-2034。[19] M. Wang，C.妈Z。Li，S. Zhang， Y.李，使用脑网络的连接参数进行警觉性估计，IEEE Trans.Intell。运输单系统（2021）1 -10，doi：10.1109/TITS.2021.3124372。