基于单目视觉的四足机器人跟踪方法的研究

仿生智能与机器人2（2022）100058一种基于单目摄像机的四足机器人跟人方法刘金浩a，陈翔宇a，王超群a，张国腾a，宋瑞a，b，王a山东大学控制科学与工程学院，济南250061b山东省工业技术研究院，济南250061A R T I C L E I N F O保留字：人跟随单目视觉重新识别四足机器人A B S T R A C T本文提出了一种基于单目视觉的人跟踪方法，该方法允许四足机器人在室内和室外不同光照条件下跟踪目标人。我们的方法是由一个人检测器，卡尔曼滤波（KF）跟踪器，和一个重新识别模块。是 更具体地，人检测器使用人姿态估计方法来检测人。应用KF以预测目标人的位置并利用检测结果更新其状态。 提出了一种基于卷积通道特征（CCF）的目标识别模块，利用在线提升（Online Boosting）方法对目标进行识别。特别地，我们设计了一个基于递归神经网络（RNN）的目标重捕获机制。结合运动信息和外观特征，系统可以准确地重新识别目标人物。在没有额外定制标记的情况下，我们的方法可以仅使用单目相机实时稳定地跟踪目标人物。实验结果验证了该方法的鲁棒性和有效性1. 介绍移动机器人与人类合作工作的需求 在非结构化环境中的应用越来越受到人们的关注。其中，四足机器人的开发研究近年来不断加大。与轮式或履带式机器人相比，四足机器人具有更强的环境适应能力.因此，它们被广泛应用于救灾、地形勘探和军事辅助领域[1，2]。在这些应用中，自动跟随目标人的能力是越来越必要的，这解放了领导者在过去的几十年里，一些研究人员已经利用各种传感器来处理人跟踪问题。主要有两种方法：基于激光的方法和基于视觉的方法。激光测距仪（LRF）用于通过检测和跟踪反射材料[3]或身体部位（如腿[4]）来跟踪领导者。应该注意的是，这些方法通常受目标人的姿势变化的影响。此外，虽然LRF可以提供相对准确的距离信息，但仅凭点云数据很难区分不同的人。与激光相比，视觉传感器因其丰富的颜色和纹理信息而得到广泛应用[5特别是，结合深度学习，视觉传感器在区分不同人的目标方面明显优于激光传感器。值得注意的是，计算∗ 通讯作者。立体相机的复杂度相对较高，并且RGB-D相机容易受到光照的影响。因此，近年来基于单目摄像机的人跟随问题的研究有上升趋势（见图1）。①的人。尽管有越来越多的尝试使用单目摄像机进行人员跟踪，但这些方法仍然具有局限性[8，9]。具体而言，在实际应用中，由于遮挡导致的不准确识别导致目标丢失是不可避免的。因此，需要对人员进行重新识别人员跟踪系统不仅要能够检测到单个目标，而且要能够重新识别追踪失败的目标为了解决上述问题，一些方法在目标人上放置额外的标记以使得更容易识别目标。然而，这些方法受到目标姿态的限制，不能应用于非合作场景。其他方法提出了基于机器学习和深度学习的不同的重新识别这些模块试图在早期阶段在足够大的数据集上进行训练，并且它们没有考虑人类的外观和运动信息这两个因素。总之，从复杂环境和多行人中准确地重新识别目标人是当前视觉人跟踪任务中的研究热点。提出了一种基于单目摄像机的四足机器人跟随方法，该方法由人检测器、KF跟踪器和重新识别模块组成。的电子邮件地址： chaoqunwang@sdu.edu.cn（C. Wang），rsong@sdu.edu.cn（R.Song）.https://doi.org/10.1016/j.birob.2022.100058接收日期：2022年6月8日;接收日期：2022年7月18日;接受日期：2022年7月28日在线预订2022年2667-3797/©2022作者。由Elsevier B.V.代表山东大学出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表仿生智能与机器人学期刊主页：www.elsevier.com/locate/birobJ. Liu，X.Chen C.，马缨丹属Wang等人仿生智能与机器人2（2022）1000582Fig. 1. 在现实世界的实验中，人跟随基于单目视觉的结果。左边的图像代表室外实验场景。右边的图像表示机器人的相机视图的快照人物检测器用于从噪声背景中检测人物。KF跟踪器根据检测结果更新状态。为了重新识别，我们首先使用卷积信道特征（CCF）在初始化阶段提取目标的外观特征并存储。在跟踪阶段，在线Boosting根据存储的特征和CCF实时提取的特征将目标人与其他人区分开来。更重要的是，我们设计基于RNN的目标重捕获机制。将RNN预测的运动信息与外观特征相结合，进一步提高了重新识别的准确性。实验结果表明，我们提出的方法可以实现良好的性能在室内和室外环境中的人跟驰。总体而言，我们的贡献主要体现在三个方面。(1) 我们提出了一种新的单目视觉为基础的四足机器人的人以下的框架。(2) 结合目标的运动信息和外观特征，设计了一种基于RNN的目标重捕获机制。(3) 我们比较我们的算法与其他算法，并在模拟和真实世界的实验中的四足机器人进行测试。本文的其余部分组织如下。第2节回顾了这一领域的相关工作。第三部分详细介绍了整个系统的设计，包括人物检测器、KF跟踪器和重识别模块。在第4节中，我们设计了一些实验并展示了结果。最后，我们总结了本文，并在第5节列出了一些未来的工作。2. 相关工作近年来，人们提出了许多移动机器人的人跟随方法。一些学者使用2D或3D激光来完成这项任务。Ling等人[3]提出了一种通过检测反射材料来跟踪人的方法。Chung等人[10]提出了一种检测目标人的腿以实现人跟随的方法。但在实际应用中，放置反光材料不方便，仅检测身体的一部分并不可靠。Yan等人[11]使用机器学习来开发端到端系统，用于在线检测和跟踪人。这种方法的缺点是，它是不容易区分的目标人从其他人只有点云数据。也有学者利用视觉传感器来实现人的跟踪. Chen等人[5]使用立体摄像机来检测利用在线Ada-Boosting的目标Chen等人。[12]将立体视觉与卷积神经网络集成在一个人跟踪机器人中。这些使用立体相机的方法具有高计算复杂度。Luber等人。[13]提出了一种基于RGB-D相机的方法，该方法使用在线增强的目标模型来跟踪人们。然而，RGB-D相机受到照明的影响因此，基于单目摄像机的人跟踪方法受到了越来越多的关注。已经发表了许多基于单目视觉的人跟随方法这些方法主要以两种方法实现一种方法是基于身体信息来检测目标人。Cheng等人[14]提出了一种通过检测目标人的上身和脚来实现人跟踪的方法。Sun等人。[15]开发了一种使用单目相机的基于手势的方法。机器人根据目标手的位置完成不同的指令。Koide等人。[16]提出了一种方法，结合身高、步态和颜色特征来识别目标人物。这些使用身体信息的方法容易受到目标人的姿势和步态的影响。另一种方法是检测定制标记以识别目标。巴卡尔等人。[17]在目标人物身上放置几个标记利用定制的标记，可以更好地识别目标人，但是这些标记受到目标的姿势的限制。值得注意的是，由于遮挡，识别不准确，因此在跟踪时会丢失目标。是不可避免的如何重新识别目标人是需要解决的问题。对于移动机器人来说，人的重新识别最直观的特征是外观，如衣服的颜色和质地。目前，用于人员重新识别的方法主要有两种：传统方法和基于深度学习的方法。近年来，许多基于传统方法的身份重新识别算法被提出。Pang等人。[18]将方向梯度直方图（HOG），颜色命名和局部深度模式特征与内核相关滤波器（KCF）相结合，以检测和跟踪目标。 Tsai等人[19]提出了一种通过使用人体检测、块匹配算法和颜色直方图比较来从多个人中检测所选目标的算法。Sun等人[20]提出了一种人的重新识别方法，该方法结合了人的衣服颜色和身体尺寸。值得注意的是，上述方法的性能受到照明条件、目标人的姿势和深度图的精度的与上述传统方法不同的是，基于深度学习的人物再识别近年来也得到了成功应用。Pang等人[21]提出了一种基于卷积神经网络（CNN）用于人员重新识别。Babaee等人。[22]应用RNN重新识别视频序列跟踪场景中的人。这些方法主要应用于稳定的轮式机器人或视频序列。四足机器人存在高频振动是显而易见的事实。为了解决四足机器人上的重新识别问题，研究人员提出了Yang等人[23]目前一种基于深度监督目标检测器（DSOD）检测框架和改进的KCF跟踪器的四足机器人方法。Pang等人。[24]提出了一种四足机器人视觉领导者跟随框架，该框架由视觉跟踪器，人员检测器和人员重新识别模块组成。然而，上述方法仅考虑人的重新识别中的外观特征。他们可能无法处理一些跟踪失败的场景，例如多个人的相似外观。3. 方法我们的方法的概述如图所示。2，由人员检测器、运动跟踪器和重新识别模块。首先，在初始化阶段，机器人根据CCF学习目标人的外观特征。在接下来的过程中，对于输入视频帧，人检测器将首先检测并输出图像中的人的边界框。然后，将检测结果视为测量值，用于人的分类。CCF将始终提取特征，在线提升将更新其分类器以将目标与其他目标区分开来。此外，当机器人陷入分心并失去目标时，RNN模块将预测目标运动，并将运动信息与外观特征相结合以重新识别目标。最后，KF将根据重新识别的目标的状态更新自己，使机器人始终跟踪目标J. Liu，X.Chen C.，马缨丹属Wang等人仿生智能与机器人2（2022）1000583图二. 建议的人以下框架与单目摄像机。整个框架分为三个部分：（1）人物检测（2）目标再识别（3）目标跟踪。人检测器感知环境并检测人。再识别模块由基于CCF的人员分类模块和目标重捕获模块组成基于RNN。目标跟踪模块由卡尔曼滤波器组成，在跟踪过程中对目标人物进行跟踪图三. （a）人体18个关节的示意图。(b)检测结果OpenPose和一个边界框实例。3.1. 目标提取在开发的框架中，初步的步骤是提取感兴趣的区域（ROI）的人在图像帧中的噪声背景。为此，OpenPose[25]由于其高精度和实时性能而被用作检测器。此工具在提取图像帧中多个人的骨架时非常有用������������它可以实时检测图像中多个人的2D姿态，并提供图像帧中18个人体关节的位置，如图3（a）所示。因此，我们使用这些关节的信息来描绘用于人检测的ROI在此，我们利用颈部关节和踝关节作为关键关节的ROI提取。图像中的颈关节和踝关节的位置是为了稳定ROI，我们记录了关键关节的位置���，��� 以消除连续帧。关节在时间t1的位置是这些t1帧的平均值。窗户的大小为100厘米，可以滑动以应对震动。在从嘈杂的背景中检测到人之后，我们继续使用CCF来提取外观特征，并在线提升作为分类器来对人进行分类[26]。值得注意的是，在初始化阶段，特定的目标人需要首先站在机器人面前，然后对目标人物的外貌特征进行特殊提取，���使用CCF并存储。在跟踪阶段，图像中有多个人 。使用CCF提取这些人的特征，并且我们获得了={1，2，������在线增强模块将当前帧中的存储的目标人物特征和提取的特征���然后，它将目标人与其他行人区分开来。详细的工作流程如图所示。四、人物分类模块由基于CCF的特征提取器和在线提升分类器组成CCF由从训练的CNN中提取的几个卷积层组成。因此，为了获得CCF提取器，我们首先训练CNN网络。在训练CNN阶段，两幅输入图像分别提取特征，CNN网络输出输入图像是否为同一个人。训练好后，前两个卷积层将被用作CCF提取器来提取外观特征。然后，在人物分类阶段，CCF提取器的输出将被用于Online Boosting算法，以将人物分类为目标或非目标。在线Boosting算法将多个弱分类器组装成一个强分类器，每个弱分类器根据输入自适应调整自己的参数3.2. 目标再识别在目标人跟踪的过程中，机器人可能会陷入你好，你好， 而，分别。 根据各缔约方分散注意力失去目标分心可能来自于在颈部轮廓和脚踝轮廓之间，ROI的中心（其随后表示图像中的边界框的位置）通过以下方式获得：障碍物或其他行人的遮挡以及目标特征的不匹配。这将导致不可靠的目标跟踪性能，有必要发展目标重捕获方法，以保持=+(2）闪烁2（一）长期稳定性。在我们的工作中，我们设计了一个基于RNN的目标重捕获机制然后，我们得到一个如图所示的以为中心的边界框 。3（b），将所有关节包封为ROI，用于后续的人物特征提取。特别是对于四足机器人来说，高频振动是不可避免的，并且一直存在。行走时的震动四足机器人的性能将直接影响到摄像机的数据接收和处理，这将对我们的人跟踪系统的鲁棒性和稳定性带来挑战具体地，在图像帧中存在振动，从而在推断ROI时引入很多噪声以提高目标重识别的鲁棒性。我们应用RNN的原因是：第一，与CNN不同，CNN的当前节点的输入只包含前一个节点的信息，而RNN的当前节点的输入包含了所有前一个节点的信息，这意味着RNN可以更好地预测时间序列;第二，当目标的服装颜色和纹理与其他人相似时，只依赖外观特征是不可靠的。结合 RNN预测的运动信息与CCF提取的外观特征相结合，可以提高重新识别的准确性公司简J. Liu，X.Chen C.，马缨丹属Wang等人仿生智能与机器人2（2022）1000584（）（）（+） （））当机器人陷入分心并失去目标时，RNN模块将被激活以再次识别目标。如图所示图在时间6处 ，标记为ID1的目标人被标记为ID2的人遮挡。机器人失去了目标，机器人需要重新捕获目标。具体来说，RNN模块在这里被激活用于预测目标人物在特定时间步长内的可能边界框的位置和尺度。图6中的目标重新捕获过程体现了由RNN预测的目标边界框的位置，如虚线框所示。为了提高重新识别的可靠性，可信度得分计算如下：���������������������1=���1(���) ∩���2 (���)12���������������������2=���1(���+���(���))∩ ���2(���+���(���))12（三）（四）见图4。人物分类模块有两个部分：（1）CCF提取器（2）在线提升分类器。CCF提取器由从训练的CNN网络中提取的几个卷积层组成。在线提升分类器调整每个弱分类器的参数，以实现对目标和其他人的强分类效果图五. 左边是RNN网络的基本结构，右边是它在时间上的示意性扩展，由许多RNN单元组成。���是网络在时间上的输入���。对应的输出���和���分别是网络的隐藏层和输出层在时间 上的输出。在该框架中采用的RNN的结构在图1中示出。其中 1是由分类模块输出的目标边界框。 2是由基于RNN的目标重捕获模块预测的目标的未来边界框。为了判断重新识别的目标人是否正确，将可信度得分与预定义阈值进行比较，如下所示：���������������������1+���������������������2≥��� ℎ��������� ℎ���������.（五）如果分数大于或等于阈值，则认为重新识别目标是正确的。然后，我们通过预测的边界框内插遗漏的检测，并使用重新识别的结果来更新KF跟踪器。具体地，阈值阈值1和阈值2分别大于不同的阈值。如果该值低于阈值，则将其设置为零。该条件可以减少后续可信度的计算，保证实时性。中文（���������������������简体）中文（简体）���������������������3.3. 人员跟踪我们用KF来追踪人。 我们使用KF而不是继续在重新捕获模块中使用RNN来跟踪行人有两个原因。首先，在跟踪过程中，跟踪模块不仅要跟踪目标人，而且要跟踪其他人。图五.表示向量���= [���（���），���（���），（），���（������）] = [���−���，−行人，因为人员分类模块需要计算������−1���每个人的ROI来提取外观特征。考虑到������−1,������−������−1, ℎ��� − ℎ���−1]as the one representing the changes of thebounding box between time��� and���− 1.它作为RNN结构的输入。在这项工作中，RNN细胞的结构是长短期记忆（LSTM）[27，28]，内部大小为 。如图RNN单元的输入包括两部分：一部分是 ���当前时刻的输入;另一部分是上一���时刻隐层状态的-1，表示时间-1时输入的记忆���。在时间t1处的输入的记忆计算如下：ℎ��� =���( ℎ���−1 + U������)(2)其中和U是权重向量，λ是激活函数。在对所有RNN单元迭代之后，RNN网络输出在特定时间步长内图像中的目标边界框的预测位置和尺度。跟踪所有检测到的行人，基于简单模型的KF可以简化计算。其次，人的跟踪是一个连续的过程，而RNN只有在机器人因分心而失去目标，需要重新识别时才会起作用，因为RNN长期运行会产生累积误差。我们标签作为的机器人坐标系统和������������相机坐标系。 ������是目标的边界框 。根据 ���针孔投影模型可以估计目标人与四足机器人之间的距离。的水平中心坐标 ��� ���被认为是目标人的期望位置，并且水平方向角目标人物相对于X轴的位移为计算如下：特别是，鉴于采用RNN的计算负担，它以事件触发的方式激活。当四足动物（− 2）���������������ℎ（八）机器人正常跟踪目标，基于RNN其中，和λ是摄像机的分辨率和视场被搁置一边 在每次执行时 ，我们都维护一个向量{，，.，������，}包含2 + 1个元素。是分别在水平方向随着距离的和角度���−���������−������+������+定期跟踪目标人物时，以滑动窗口方式更新。然而，四足机器人然后被控制以保持以下特定的人。J. Liu，X.Chen C.，马缨丹属Wang等人仿生智能与机器人2（2022）1000585见图6。 夺回目标的处置过程。ID1表示目标人，其他行人用ID2、ID3和ID4表示。实线框是实际的检测边界框。虚线框显示预测的边界框。 曲线表示每个行人的轨迹。 可以看出，当标记为ID1的目标人被标记为ID2的行人遮挡时，机器人失去了它的目标。通过目标再捕获机制，机器人可以重新识别目标人，而不会将其他行人误认为目标。见图7。本文所采用的四足机器人是跟人机器人。四足机器人配备了Nvidia Jetson TX2开发板和单目摄像头。4. 实验和结果4.1. 实验装置我们进行了一系列的实验，以验证重新识别模块和整体框架的有效性和准确性。用于评估开发的框架的实验配置如图所示。第七章单目摄像机安装在四足机器人的前面，作为外部传感器来感知环境。考虑到四足平台的上升和下降，相机离地面的高度平均为0.4米。水平视野约为95度。捕获的大小 使用相机的图像是640× 480像素。移动底座是一个爵影Mini Lite四足机器人，以Jetson TX2作为处理单元。该系统使用机器人操作系统（ROS）和Ubuntu 18.04操作系统构建。TX2接收并处理相机然后，它生成线速度和角速度命令，并通过Wi-Fi模块将其发送到四足机器人4.2. 目标提取为了实现人跟随，我们的系统首先需要提取目标，即将目标与其他行人区分开。因此，对于分类模块，我们训练CNN网络以获得特征提取器对行人外观进行特征提取，然后对特征提取和分类的效果进行评价。首先，我们使用CUHK03数据集[30]训练CNN网络，如[29]所述。CUHK03数据集是一个能够进行深度学习的大规模人员重新识别数据集。CUHK03数据集中的身份总数约为1400个，每个身份的图像数量约为10个。在训练过程中，CNN网络从两个连续的输入图像中提取特征，并输出在相似位置的人是否是同一个人。当完成训练时，CNN的前两个卷积层将被用作CCF提取器来提取外观特征。在这项工作中，第一层和第二层中的卷积滤波器的数量为10。然后，我们使用在线boosting算法来区分CCF特征，以确定目标人物。在线Boosting框架包含一系列弱分类器。每个弱分类器的权重在分类过程中不断调整。具体地，具有高分类准确率的弱分类器具有较高的权重。在这项工作中，弱分类器的数量是150。对于每15个弱分类器，我们选择准确率最高的一个。总共，我们得到了10个弱分类器，并使用它们来形成一个强分类器。图图8示出了通过在线boosting选择的特征图。它显示了10个弱分类器的输出。这些图像中的明亮颜色表示具有该分类器的独特区域。这些特征被组合以形成用于行人分类的特征，如图所示。八、这里的实验只是验证了CCF特征提取器和在线Boosting方法的有效性，为目标分类铺平了道路4.3. 目标再识别为了评估重新识别模块和开发的框架，我们收集了两个数据流在室内和室外环境中使用的四足机器人。在收集的数据流中，图像的分辨率为640×480像素。数据流的一些快照如图所示。第九章如图所示，我们采集了不同环境中各种光照下的图像序列J. Liu，X.Chen C.，马缨丹属Wang等人仿生智能与机器人2（2022）1000586Dim户外见图8。一个由CCF提取并在评估过程中通过在线提升选择的特征图的例子。图像中每个弱分类器的明亮颜色表示该分类器的唯一区域。这些区别特征相结合，形成特征的行人分类。见图9。 用于方法评估的数据流快照。数据流包括从四足机器人记录的RGB图像。四足机器人手动控制，并在两种情况下跟踪目标人物条件在记录的序列中，当发生遮挡时，四足机器人无法感知目标人并失去目标。重识别模块不仅要识别和重识别目标，而且要识别不同的其他人。为了评估目标重新识别的有效性和鲁棒性，我们采用ID开关paradigram[31]，将ID开关定义为一个跟踪的轨迹改变了它的匹配ID。我们分配唯一的ID每个被检测到的人。我们使用收集的数据流测试了具有（w/）和不具有（w/o）RNN的目标重新识别模块的性能。表1记录了实验结果，其中我们使用两个度量，包括跟踪精度和数量 ID开关跟踪精度意味着成功跟踪的帧的百分比，其中目标边界框的中心点与地面实况之间的距离小于表1在不同的场景下，使用开发的有和没有RNN模块的管道进行评估。方法目标丢失计数跟踪精度ID开关使用RNNw/RNN 685.9%↑ 0↓不含RNN 15 84.3% 15w/RNN 1588.1%↑ 1↓不含RNN 8 83.6% 8w/RNN 887.4%↑ 1↓给定阈值。ID切换的数量进一步指示人员跟踪性能。更少的ID切换次数和更高的跟踪精度表明更好的人员跟踪性能。此外，我们统计了每个场景中目标丢失的次数，并分别记录了使用（w/）和不使用（w/o）RNN的上述两个指标从表1中可以看出，具有RNN模块的人跟踪方法比没有RNN模块的流水线实现了更好的性能，具有更少的ID切换时间和更高的跟踪精度。特别是当照明条件较低或目标的外观特征与其他人相似时，没有RNN模块的机器人具有更多的ID切换次数或重新识别错误。一般情况下，RNN模块预测的目标运动信息将用于基于外观特征确认识别结果是否正确，从而提高重新识别的准确性。4.4. 目标跟踪在本节中，通过从室内和室外环境收集数据流来验证单目人跟随系统的有效性。室内实验在走廊进行，室外实验在校园内进行图图11显示了我们在室内和室外环境中的人员跟踪评估结果。其中，Fig。图11（a）在不同的光照条件下，开发的管道可以帮助跟踪目标人物。图图11（e）-（h）指示室外环境场景中的跟踪性能。可以看出，室外环境更加复杂，干扰因素也更多。我们的方法仍然可以检测和跟踪目标，即使目标人是由于频繁的遮挡丢失总之，从室内和室外的实验中可以看出，我们的方法导致更好的性能的人跟随评估。这得益于两个方面。首先，我们的基于人体姿态的检测器可以准确地检测复杂环境中的人。其次，当机器人丢失目标时，利用目标重捕获机制，机器人能够准确地识别目标。采用基于RNN的运动信息和基于CCF的外观特征相结合的方法对目标进行重新识别，从而提高了目标重新识别的准确性和目标跟踪的稳定性此外，为了显示所提出的方法的优点，我们将我们的方法与KCF[32]，ESTA [33]，DSST [34]和CNN [12]使用我们收集的户外数据流。对于用于比较实验的数据流，通过手动标记每个帧中的领导者的边界框来获得地面实况。我们在上面标记为地面真实的相同数据流上评估所有这些方法。在评估过程中，我们引入了两个度量：精确度图和成功图。精度图显示成功跟踪的帧的百分比，其中目标边界框的中心点距离地面实况的中心点小于给定阈值。它反映了目标边界框位置的准确性。成功图显示成功的百分比明亮户外明亮室内无RNN1010百分之八十三点五86.6%↑101↓室内调光，不带RNN6百分之八十二6J. Liu，X.Chen C.，马缨丹属Wang等人仿生智能与机器人2（2022）1000587图10. 在数据流中 的 性 能 评 估 ， 我们的 方法与KCF，KNN，DSST和CNN。见图11。 使用收集的数据流进行人员跟踪评估。第一行图像是室内评估结果，第二行图像是室内评估结果。是户外评估结果。即使有遮挡和光照变化，所开发的框架成功地保持跟踪和跟随目标人跟踪帧，它反映了目标边界框的尺度的准确性。图10显示了比较结果。从图中的两个指标来看，与SVM、DSST、KCF和CNN相比，我们的方法分别将定位精度提高了约25.8% 、19.5%、14.3%、10.4%。在重叠成功率方面，我们的方法优于其他方法，这得益于我们的方法在目标人被遮挡时从失败中恢复的能力。从整体比较来看，本文提出的人跟踪方法是一种有效的解决方案，具有更好的适应复杂环境和更高的准确性，重新识别。4.5. 使用四足机器人的为了评估所开发的方法在真实机器人平台上的性能，我们进行了长期的人跟随实验在户外环境中。只有一个单目摄像头安装在 作为感知传感器的四足机器人平台，会跟随目标人物在校园里走动我们的校园快照和跟踪性能如图所示。13岁目标人物沿着预定义的路径行走，如图所示图12个。具体的实验过程是，机器人在初始化阶段首先学习指定目标人物的外貌特征。然后，当目标开始移动时，机器人使用开发的方法跟随目标人。特别地，当机器人由于分心而丢失目标时，目标重新捕获机构被激活以重新识别目标并继续跟随。在整个过程中，TX2开发板负责接收和处理相机数据，并向机器人发送控制命令。根据图13、四足机器人可以检测目标人物，并鲁棒地跟踪目标即使是四足机器人J. Liu，X.Chen C.，马缨丹属Wang等人仿生智能与机器人2（2022）1000588见图12。山东大学校园内四足机器人的长期跟踪轨迹。 红色曲线代表机器人的轨迹。 机器人跟随目标人从起点到终点，克服各种干扰因素，如其他行人和车辆。图十三. 使用四足机器人平台于户外环境中进行人跟驰实验。(a)户外跟踪校园场景。四足机器人跟随目标人物 （b）机器人的摄像机视图的跟踪结果的快照。机器人可以成功地保持检测和跟踪目标的人，即使目标多次被其他人员和车辆遮挡平台有振动，这会给相机数据带来很多噪声，我们的人跟踪方法是可行和可靠的。为了更直观地展示机器人的跟随效果，我们描绘了机器人在校园内跟踪目标时的轨迹，如图12中的红色曲线所示。可以看到，机器人跟随目标人从起点到终点，绕着建筑物行走，穿过走廊。为了进一步验证我们的方法在长期跟踪中的有效性，我们重复了图12中的户外实验5次。在长时间的跟踪过程中，机器人始终能够稳定地跟踪目标，证明了该方法能够实现稳定的跟踪和四足机器人的实时跟踪。5. 结论和今后的工作提出了一种基于单目摄像机的四足机器人跟随框架。所提出的框架首先使用人体姿态估计方法检测人。然后利用卡尔曼滤波跟踪模块对所有行人进行跟踪，并根据检测结果更新其状态。更重要的是，当机器人丢失目标时，重新识别模块中基于RNN的目标重捕获机制通过评价和与其他方法的比较，表明我们提出的方法是更有效的人J. Liu，X.Chen C.，马缨丹属Wang等人仿生智能与机器人2（2022）1000589以下.我们还将整个框架应用于现实环境中的四足机器人。实验结果表明，该方法能使实际的四足机器人稳定地跟踪目标人物。在未来，我们将在持续学习的基础上改进重新识别模块。我们打算设计一个无监督的连续学习机制的人以下。机器人可以不断学习目标人物的特征，从而使识别的准确率越来越高。此外，我们将多个传感器与摄像头相结合，以进一步提高我们的方法的鲁棒性竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作确认本文得到国家自然科学基金（批准号：200000000）的部分资助。62103237）。附录A. 补充数据与本文相关的补充材料可以在https://doi.org/10.1016/j.birob.2022.100058上找到。引用[1]H. Chai，J. Meng，X. Rong，Y.李，scalf的设计和实现，先进的 液压四足机器人，机器人36（4）（2014）385-391。[2] M. Raibert，K. Blankespoor，G.纳尔逊河，巴西-地Playter，Bigdog，粗糙地形四足机器人，IFAC Proc。卷41（2）（2008）10822[3] J. Ling，H. 柴湾 Li，H. Zhang，P. Jiang，基于3D激光雷达的四足机器人户外人体跟踪方法，在：2019 IEEE第9届自动化，控制和智能系统（CYBER）年度国际会议，IEEE，2019，pp. 843-848[4] A. Leigh，J. Pineau，N.奥尔梅多湾Zhang，Person tracking and follow with2D激光扫描仪，在：2015年IEEE机器人与自动化国际会议（ICRA），IEEE，2015年，pp. 726-733。[5] B.X.陈河，巴西-地Sahdev，J.K. Tsotsos，使用立体摄像机选择在线ada-boosting的人跟随机器人，在：2017年第14届计算机和机器人视觉会 议 （CRV），IEEE，2017年，pp。48比55[6] Y.孙湖，加-地Sun，J. Liu，基于RGB-D的服务机器人实时快速人员检测和跟踪，2016年第12届世界智能控制与自动化大会（WCICA），IEEE，2016年，第116页。1514-1519年。[7] Z. Zhu，H.马，W。Zou，带单目云台相机的轮式机器人的人类跟随，2019，arXiv预印本arXiv：1909.06087。[8] N. Yao，E. Anaya，Q. Tao，S. Cho，F. Zhang，基于单目视觉的人类跟随微型机器人飞艇，在：2017 IEEE机器人与自动化国际会议（ICRA），2017。[9] M.巴卡尔河，加-地Saad，基于单目视觉的移动机器人特定人检测系统，ProcediaEng. 41（2012）22[10] W.钟，H.金，Y。喂，C.- B. Moon，J. Park，通过具有单个激光测距仪的移动机器人的感应方法检测和跟踪人腿，IEEE Trans. 印第安纳电子学。59（8）（2011）3156[11]Z. Yan，T. Duckett，N. Bellotto，基于3D LiDAR的人体检测在线学习：点云聚类和分类方法的实验分析，Auton。机器人44（2）（2020）147-164。[12] B.X.陈河，巴西-地Sahdev，J.K. Tsotsos，将立体视觉与CNN跟踪器集成用 于 人跟踪机器人，在：计算机视觉系统国际会议，Springer，2017年，pp. 300-313[13] M.卢伯湖Spinello，K.O. Arras，人跟踪rgb-d数据与在线提升目标模型，在：2011年IEEE/RSJ智能机器人和系统国际会议，IEEE，2011年，pp. 3844-3849[14] X.郑，Y. Jia，J. Su，Y. Wu，Person-following for telepresence robots usingwebcameras，2019IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems（IROS），IEEE，2019，pp. 2096-2101。[15] T.孙习Nie，D.- Y.杨，S. Shen，基于手势的单目视觉空中机器人驾驶，在：2017年IEEE机器人与自动化国际会议（ICRA），IEEE，2017年，pp。5913-5920。[16] K. Koide，J. Miura，使用颜色，身高和步态特征识别特定的人，机器人。奥顿系统84（2016）76[17]M.N. A Bakar ，A.R.M. Saad ， 基于单 目视觉 的移 动机 器人特 定人检 测系 统，Procedia Eng. 41（2012）22[18] L.庞湖，澳-地 Zhang， Y. Yu，J. Yu，Z.曹氏C. Zhou，使用双目摄像机的人类跟踪方法，在：2017 IEEE机电一体化和自动化国际会议（ICMA），IEEE，2017年，pp.1487-1492年。[19] T.- H.蔡角，澳-地H. Yao，一种用于人跟随移动机器人的鲁棒跟踪算法，IET图像处理。15（3）（2021）786[20] S. 太阳，N。 An，X. Zhao，M. Tan，使用Kinect传感器跟踪机器人的人类识别，在：2016 IEEE机器人和仿生学国际会议（ROBIO），IEEE，2016年，pp。1331-1336年。[21] L.庞，智-地Cao，J. Yu，P. Guan，X.陈威张文，一种基于视觉的移动机器人跟踪方法，北京交通大学学报.14（2）（2019）2965[22] M. Babaee，Z. Li，G. Rigoll，使用RNN跟踪多个人的遮挡处理，在：2018年第25届IEEE图像处理国际会议（ICIP），IEEE，2018年，pp。2715-2719[23] T. Yang，H.柴湾Li，H. 张，智-地 Zhang，基于双目立体视觉的四足机器人跟随方法，在：2019年IEEE第9届自动化，控制和智能系统（CYBER）中的CYBER技术年度国际会议，IEEE，2019年，pp。第677-682页。[24] L.庞，智-地Cao，J. Yu，P. Guan，X. Rong，H. Chai，四足机器人的视觉领导者跟随方法与TDR框架，IEEE Trans.Syst.ManCybern。系统（2019年）。[25] Z. Cao，G. Hidalgo，T.西蒙，S。- E. Wei，Y. Sheikh，OpenPose：使用部分亲和场进行实时多人2D姿态估计，IEEE Trans.Pattern Anal。 马赫内特尔43（1）（2019）172-186。[26] K. Koide，J. Miura，基于卷积通道特征的人识别，用于人跟随机器人，在：智能自主系统国际会议，Springer，2018年，pp. 186-198.[27] S. Hochreiter，J. Schmidhuber，长短期记忆，神经计算。9（8）（1997）1735-1780。[28] A. Sadeghian，A. Alahi，S. Savarese，跟踪不可跟踪的：学习跟踪具有长期依赖性的多个线索，在：IEEE计算机视觉国际会议论文集，2017年，pp.300-311[29] E.艾哈迈德，M。Jones，T.K. Marks，An improved deep learning architectureforperson re-identification ， in ： 2015 IEEE Conference on Computer VisionandPattern Recognition（CVPR），2015.[30] W.利河，巴西-地Zhao，T. Xiao，X. Wang，Deepreid：深度过滤器配对神经网络用于人员重新识别，在：IEEE计算机视觉和模式识别会议论文集，2014年，pp. 152比159[31] Y. Li，C.黄河，巴西-地Nevatia， Learnin