ViT与机器人3（2023）：基于可穿戴软装的地形识别系统

仿生智能与机器人3（2023）100087研究基于ViT的可穿戴软装地形识别系统杨方良a，b，c，陈春杰a，c，d，王卓a，b，c，陈辉a，b，c，刘耀a，c，李刚e，吴新宇a，c，d，1a中国科学院深圳先进技术研究院，中国深圳518055b中国科学院大学深圳先进技术学院，深圳518055c中国科学院深圳先进技术研究院广东省机器人与智能系统重点实验室邮编：518055d粤港澳人机智能协同系统联合实验室e新松机器人自动化有限公司版权所有：沈阳市中企动力提供技术支持ar t i cl e i nf o文章历史记录：收到2022年2023年1月4日修订2023年1月8日接受2023年1月16日在线提供保留字：Vision Transformer（ViT）深度相机可穿戴软机器护甲力辅助策略地形识别a b st ra ct复杂环境中的地形分类和部队辅助策略一直是人们关注的焦点许多研究人员的兴趣。对于可穿戴软机器护甲，不准确的地形识别可能容易引入不期望的辅助力，这可能容易伤害穿戴者。由于这些问题，我们将深度相机引入到机器人系统中，基于视觉Transformer（ViT）执行地形分类，并优化控制算法，称为基于ViT的地形识别系统（TTRS）。首先，我们使用了Transformer演算法，在地形辨识上取得相当的我们还将地形识别作为先验知识引入到机器护甲的力辅助策略中，在不同的地形中为机器护甲提供不同的力辅助。随后，我们用7名身体健全的人（6名男性和1名女性）进行了人体实验实验结果表明，该算法在6种不同地形下的分类准确率均达到99.2%，并且能够在不同地形下平滑切换助力曲线，更好地适应复杂地形，提高步行效果。上述地形识别算法和版权所有2023作者。由Elsevier B.V.代表山东大学出版。这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍近年来，可穿戴软机器护甲的进步得到了越来越多的关注[1随着最近的技术进步，可穿戴软机器护甲不再局限于实验环境或固定的应用场景，例如基于跑步机的步态训练[4]。越来越多的可穿戴机器人已被用于辅助日常生活中行动能力较弱的人，这需要增强对复杂环境的适应性[5]。大多数机器人腿假体和软机器人使用具有高级、中级和低级控制器的分层控制架构[6高级控制器负责状态估计和预测用户的运动意图。中级控制器使用运动控制器的动力学方程将运动活动转换成模式特定的参考轨迹。*通讯作者。电子邮件地址：cj. siat.ac.cn（C. 陈）。[1]鉴于他是该杂志的客座主编，Xinyu Wu没有参与这篇文章的同行评审，也没有获得有关同行评审的信息。这篇文章的编辑过程的全部责任被委托给教授。白少平https://doi.org/10.1016/j.birob.2023.100087生物识别系统这种控制水平通常由具有离散机械阻抗参数（例如刚度和阻尼系数）的独立有限状态机组成，这些有限状态机针对不同的运动活动被逐行地调谐以生成期望的设备状态。低级控制器使用标准控制工程算法（如本研究主要集中在高中控制策略上。具体地，在不同的地形中使用不同的力应变策略以帮助用户更有效地行走。为了容易地获取信号，已经开发了具有各种感觉系统的一些策略，例如表面肌电图（sEMG）和机械压力传感器、惯性测量单元（IMU）以及不同传感器的组合最先进的可穿戴软外装。[11]利用表面肌电信号对环境地形进行识别，取得了良好的识别效果。在[12]中，IMU用于地形识别，SVM中的高斯核函数用于获得100%的识别准确率。虽然这些传感器2667-3797/©2023作者。由Elsevier B.V.代表山东大学出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表仿生智能与机器人学期刊主页：www.elsevier.com/locate/birobF. 杨角，澳-地 Chen，Z. Wang等人仿生智能与机器人3（2023）1000872但是它们使用方便、操作快速，但也存在一些缺点，如传输延迟和用户依赖性等，为此，在以前的一些研究中，如视觉传感器，已经提出了与代理无关和环境感知的策略。[1]提出了一种基于深度图像的运动识别系统，它可以捕捉用户面前的身体运动和地形在[13]中，从深度相机获得的三维（3D）点云被简化为二维（2D）点云信息，然后映射到二进制图像中进行分类和特征提取。[14]使用眼动仪和深度相机融合技术来扩大视野，并使用决策融合技术来提高意图理解。在前人研究的基础上，采用了单深度摄像头和双IMU的设计方法。以前的研究人员已经对可穿戴软机器护甲的地形识别算法进行了广泛的传统的机器学习方法，如SVM [15]和决策树[16]已用于地形识别。然而，也引入了当前快速去冗余的深度学习方法，例如CNN、无监督学习和强化学习方法。这些方法在不同的任务中都取得了很好的分类效果。在[17]中，使用SVM对地形进行[18]采用CNN结合HMM识别环境地形，识别准确率高达98%。然而，在我们所知的范围内，很少有人将Transformer算法用于机器护甲的地形识别我们引入了Transformer算法来提高分类精度。本文的主要贡献如下：(1) 据我们所知，视觉Transformer（ViT）首次引入到机器人的地形识别中，有效地提高了分类精度;(2) 根据预先预测的环境地形实时调整不同的辅助策略研究报告的其余部分组织如下。第二节介绍了TTRS的方法。实验和结果分析分别在第3节和第4节中给出。本研究的结论见第4节。2. 方法TTRS系统的方法学主要包括 首先介绍了软机器人实验平台，其次介绍了数据的预处理和分类算法的ViT，最后介绍了不同地形下辅助曲线的生成2.1. 软机器人实验平台图1示出了TTRS的整体系统框架。本研究中使用的机器人由中国科学院深圳先进技术研究院（SIAT）可穿戴软机器人实验室团队自主设计和开发。这款轻便的软装主要由控制单元、驱动单元、Bowden线缆、IMU、深度摄像头和树莓派组成。传感器单元主要用于采集外界环境的特征信息，由一个深度相机（RealSense D435i，Intel，USA）和两个6轴IMU（LPMS-B2，alubi，China）。之前的研究表明，深度相机安装在腰部，相对稳定，行走时干扰较小[5]。 使用RGB- D摄像机以一定频率捕获视频流，并将信息实时Fig. 1. TTRS的总体系统框架。(a)上感知层是视觉感知和计算机处理。 (b)整个系统图是多个传感器和负载。(c)下位控制层为单片机算法控制。地形分类的时间。通过蓝牙串口进行数据传输，测量髋关节的角度和控制单元由STM32控制板、蓝牙模块和通信模块组成。传感器采集到的信号经过加窗、滤波后通过这些模块驱动器由两个无刷 电 机 （ MG-1/S 6010 ， DJI ， Shenzhen ， China ） 组 成 。Bowden线缆由驱动电机驱动，驱动电机由于其重量轻，整个软式外装装置由轻质铝合金和树脂材料制成整套设备重3.972 Kg，主要分布在腰部和大腿。2.2. 数据处理与视觉Transformer的分类算法深度学习在各种视觉应用中显示出有希望的结果，例如语义分割[19，20]和站点识别[21]。在实践中，神经网络的性能受到数据模糊性、数据噪声和训练不足或偏差的挑战。即使是微小的错误也可能导致可穿戴机器人受伤[14]。Transformer是一种现代神经架构，它使用注意力机制将输入数据编码为强大的特征[22]。从根本上说，视觉转换器首先将输入图像划分为几个局部补丁，然后计算两个表示及其关系[23]。同时，与最先进的卷积网络相比，该方法取得了优异的结果，同时需要更少的计算资源来训练[24]。最终，ViT被用于我们的任务中。图 图 2 显 示 了 Transformer 的 基 本 组 件 ， 它 们 是 多 头 自 注 意（MSA）、多层感知器（MLP）和层归一化（LN）。MSA：在自注意模块中，输入X∈Rn×d被线性变换为三个部分，即，查询Q∈Rn×dk 键K∈Rn×dk，值V∈Rn×dv，其中n是序列长度，F. 杨角，澳-地 Chen，Z. Wang等人仿生智能与机器人3（2023）1000873·∈δ=∈∈∈∈格卢德克图二、 Vision Transformer（ViT）的模型架构。它主要包括以下三个部分：MSA，MLP和LN。图3a中所示的缩放的点积注意力用于Q、K和V，如下所示：Attention（Q ，K ，V） =softmax（QKT）V（1）最后，使用线性层来产生输出。MSA将查询、键和值分成h部分，并并行执行注意力功能，每个头的输出值连接并线性投影以形成最终输出。MLP：MLP应用于自注意层之间，用于特征变换和非线性：MLP （ X ） =FN （ σ （ FN （ X ） ， FN （ X ） =XW+b（2）其中W和b分别是全连接层的权重和偏置项，并且σ（）是激活函数，诸如GELU。LN：LN是Transformer的关键部分，用于稳定训练和更快收敛。LN如下应用于每个样本xRd：LN（x）=x−µ·+θ（3）其中，µR、δR分别是特征的均值和标准差，θRd、θRd是可学习的仿射变换参数。“多头注意”如图所示。 3 b，其公式如下：MulitHead（Q，K，V）= Concat（head1，. . . ，头部h）W o（4）其中，headi Attention（Q， K， V）。Transformer模块有两个子模块（图1）。3c）。第一子模块包括多头注意层，随后是归一化层。第二子模块包括按位置完全连接的前馈层，之后是归一化层。请注意，ViT仅使用标准Transformer本研究中主要使用的模型是ViT-B-16。2.3. 不同地形髋关节的生物力学（扭矩、功率）在不同的地形中变化很大。在这项研究中，一个轻量级的软外套设计，以协助髋关节屈曲。因此，本节重点分析了髋关节在地面行走时的生物扭矩，并为轻型软式外装护具制定了适当的控制策略通过改变力的幅值和相位，以及关节的位置，实现了轻量化软机器人的控制策略 在行走时，人体下肢的运动产生力矩，这是所需的力。髋关节屈曲辅助是通过固定在髋关节前方的鲍登线来实现的，因此髋关节前方的目标辅助曲线直接根据人体髋关节屈曲生物力矩来设计。在这项研究中，我们希望在不同的地形提供适量的实时援助。为了利用我们系统中的扭矩，我们使用高斯滤波对原始数据进行了细化。由此产生的援助战略，如平地，和向上和向下坡道（图。4）提供适当的髋关节屈曲度，使Bowden线帮助，但不是在其他环境中。在这项研究中，人体髋关节的生物扭矩被用来设计一个轻量级的软外套所需的力为了防止过度用力造成关节损伤，实际控制扭矩必须设定在理论值的80%左右辅助力时间从髋关节正方向的最大旋转角度开始，并在负方向的最大旋转角度结束（图1）。5），使用正弦函数周期的1/2作为所需力。这是因为正弦力产生的脉冲比同时均匀力产生的脉冲少。因此，正弦力所需的力可以减少轻便服装对人体的冲击，使使用者更加舒适。人机交互力自适应控制方法偏差和相互作用力之间的关系导纳控制的思想可以表示为应用附加驱动控制来修改受控对象对于特定力输入的响应速度，F. 杨角，澳-地 Chen，Z. Wang等人仿生智能与机器人3（2023）10008742x22x2DD差异，分别。图三. T r a n s f o r m e r 模 块 的详细结构如下：（a）缩放点积注意，（b）多头注意，（c）Transformer模块。图五. 轻量化软机器护甲所需的力。 执行力时间从髋关节的正方向上的最大旋转角度开始，并在负方向上的最大旋转角度结束见图4。在不同地形上，在步态周期的不同时间鲍登缆索中的力正向力表示施加在膝关节板上以辅助髋关节伸展的力，负向力是大腿前部的力，该力在髋关节屈曲时产生辅助力因此，整个系统导纳模型建立如下：其中，ω（s）为外骨骼机器人关节运动的角速度，γ（s）为重力补偿后髋关节相互作用力在这项研究中，我们使用PD控制器作为我们的反馈控制器，它可以由以下方程表示：Pt=Kpeef+Kdef（ 7）其中K pe∈R且Kd∈R表示系数ma-1三个比例和微分控制器，分别，H（s）=R（s）=J s2+A s+K（五）和ef和ef表示当前迭代的误差及其其中s是拉普拉斯复变量，ΔQ（s）是机器人的位置偏差值，ΔR（s）是相互作用力与期望力之间的偏差;Jd是惯性系数，Ad是阻尼系数，Kd是弹性系数。根据实际和期望的交互转矩偏差计算需要调整的响应速度由于外骨骼在人机物理交互牵引运动过程中不需要有恢复力对于输出速度的导纳控制器，等式（5）可以表示为：简化了递阶控制策略，降低了控制复杂度。控制系统包括准入控制器、位置控制器、致动器、穿戴者和机器护甲、深度相机、IMU、步态识别和力发生器（图1B）。（六）。当整个系统开始自然运行时，它首先通过深度摄像头获取周围环境的信息，并以图片的形式发送给Raspberry PI。经过一段时间的测试后，该模型预测了有关周围环境的信息。然后，另一方通过IMU获得人体的欧拉角和角速度，并分析人体的步态信息。根据步态周期的预测结合G（s）=ω（s）= 1（六）周围的环境，信息产生的经验，γ（s）Jd s+Ad辅助力的作用时间（Fdes）。 最后，准入DF. 杨角，澳-地 Chen，Z. Wang等人仿生智能与机器人3（2023）1000875±±见图6。轻型软机器护甲控制系统。(a)利用IMU反馈的角速度和角加速度信息，为不同的环境提供不同的助力曲线。(b)电机采用导纳控制与比例微分（PD）控制算法相结合的闭环控制与位置反馈结合形成。(c)利用深度相机采集不同地形环境信息，并利用ViT算法实现分类。控制器调整系统误差，使电机输出准确的力，作用在物体上。同时，通过力反馈（Pt）和电机位置反馈（PM）减小误差（ep）3. 实验和结果本研究所涉及的这一部分由三个子部分组成.第一部分是实验设计，包括实验者的结构和实验的过程步骤。第二部分是实验结果与分析，主要是对不同算法的分类精度进行比较。第三部分主要对实验结果进行了详细的讨论3.1. 实验方案本实验用于验证识别的准确性不同的地形，以及是否可以同时在不同的地形7名健康青年受试者（1名女性和6名男性，身高171.9.5cm，年龄25.2 5.2岁）。详细信息见表1。所有参与者在参与研究前提供了书面知情同意书。本实验已获得深圳高等技术研究院医学伦理委员会批准（（SIAT）-IRB-200715-H 0512（有效期2020年1月至2022年12月）），并在实验前向所有受试者说明了本实验的内容及其可能产生的影响。在这个实验中，我们首先戴上TTRS系统，使用深度相机在室外和室内6种不同地形（平地、楼上、楼下、上坡、下坡等）下捕获视频流。其次，我们使用该算法以固定的帧速率将视频流转换为RGB图像（数据以6个周期的间隔获得），并执行过滤和标记。第三，我们基于ViT算法对图像进行分类，并将训练好的模型下载到Raspberry Pi上。第四，利用实时采集的图像、地形信息对环境进行识别和分类表1受试者的身体状况科目性别身高（cm）重量（kg）年龄（岁）S0男性1827525S1男性1656121S2女性1604525S3男性1766824S4男性1655824S5男性18510224S6男性1727229发送到单片机板上，在不同的地形环境下采用不同的抗干扰策略。最后，实验人员佩戴TTRS系统在六种不同地形下进行测试，每种地形下分别来回测试五组为了更好地分析，我们以60 Hz的帧速率对从深度相机获得的视频流进行采样，并生成了我们的地形数据集，称为TRS-EXO-Net，其中包含31，399张图像，包括5329张下坡（DR）图像，5079张楼下（DS）图像，5389张平地（LG）图像，4964张其他（OTS）图像，5308张上坡（UR）图像和5330张楼上（US）图像。 具体细节如图所示。早上7不同地形条件下的实验测试环境如图所示。7b，并提出了六种不同的地形。基于这些数据集，按照6：2：2的比例划分训练集、验证所提出的网络是使用Python 3.9.7、CUDA 11.6和PyTorch1.11.0设计和训练的。在训练过程中，使用Adam算法作为优化器，学习率为2-e5，权重衰减为0.0005，其余的其他重要参数设置为，beta1为0.99，beta2和动量分别为0.99和0.9。最大epoch为5，批 次 大 小 为 64 。 培 训 过 程 和在 配 备 有 W-2245 CPU（3.90GHz）、256 GBRAM和NVIDIARTXA 6000 GPU的计算机上进行实验分析F. 杨角，澳-地 Chen，Z. Wang等人仿生智能与机器人3（2023）1000876±±± ±±±表2与以前的研究比较涉及的算法有SVM，CNN，贝叶斯NN，无监督学习和ViT。参考方法类型受试者编号和类型分类精度实际数据集大小Y.massalin等人[17]SVM3四个健全的主体百分之九十四点一402，403张深度和置信度图像B. Laschowski等人[28]CNN3一个健全的实验对象百分之九十四点八五34254 RGB图像B. Zhong等人[14]贝叶斯神经网络6七名健全受试者，百分之九十五点一五327000 RGB图像1名截肢者C. Chen等人[27]无监督5六个健全人和三个98.06%（室内）7500个二进制图像学习截肢者95.91%（室外）我们ViT6七个健全人百分之九十九点二31399 RGB图像见图7。六个地形数据集的组成部分。(a)六种不同地形下的数据集分布。（b）典型的室内环境分布，同时包括六种不同的地形。（c）典型的室外实验场地，图为上楼梯的环境3.2. 实验结果为了对TTRS系统的地形分类进行实验验证，招募了一名健康男性受试者（受试者0）来收集用于所提出的方法的训练和初步验证的数据集。地形分类的平均准确率为99.2%，混淆矩阵如图所示。 八、对不同实验者的测试结果示于图9中。平均分类准确率为DR （ 99.29%0.71% ） ， DS （ 99.19%0.79% ） ， LG（99.53%0.57%），OTS（99.05%0.9%），UR（99.30% ± 0.95%）和US（99.29% ± 0.71%）。此外，我们还比较了以往的研究和分类指标（表2）。两者都被用来评估不同算法的性能，地形类型，实验者的数量，分类精度和数据集大小。我们使用的ViT方法在它比[27]中提到的方法准确0.6%。3.3. 实验结果首先，随着计算机计算能力的发展和深度学习方法的进步，各种分类算法在地形分类实验中对地形识别都取得了优异的分类效果。根据我们有限的知识，目前的评估方法地形识别的有效性取决于算法的分类精度和执行效率。我们选择的ViT近年来在CV领域取得了可喜的成绩，在我们的实验中取得了99.2%的平均分类准确率，这略高于其他一些先进的算法。同时，随着数据集规模的增大，ViT的性能也在提升，其运算效率极高，训练准确率超过99%，训练损失为0.000031。第二，DS和OTS环境的分类精度略低于其他四类，见图8。6种地形下分类精度的混淆矩阵。不同地形下的分类准确率分别为：DR（ 100% ） ， DS （ 98% ） ， LG （ 100% ） ， OTS （ 99% ） ， UR （ 100% ） ， US（100%）.根据实验结果，在地形识别中，楼梯和其他类别存在原因是在某些图片中，DS被认为是OTS，因为存在光泽反射。未来我们将考虑是否增加多相机融合的方法来增加视觉域信息，有效克服这些问题。最后，在不同地形下提供不同的辅助曲线是我们研究的一个关键任务.我们通过定期收集鲍登电缆中的张力来评估软机器护甲中的力跟踪性能。在不同地形上的跟踪实验结果如图所示。 10，其中-0表示预期的动力辅助曲线，-1表示F. 杨角，澳-地 Chen，Z. Wang等人仿生智能与机器人3（2023）1000877- -−−见图9。不同实验分类精度的比较。(a)不同实验者在不同地形下的平均分类准确率。(b)七名被试在六种不同地形（DR、DS、LG、OTS、UR和US）下的识别准确率，其中受试0是作者。见图10。 不同地形下有不同的辅助曲线。0表示期望的动力辅助曲线，1表示检测到的实际动力辅助曲线。(a)上坡情况下的辅助曲线（b）平地情况下的辅助曲线（c）下坡情况下的辅助曲线检测到实际动力辅助曲线虽然柔性外骨骼的穿戴位置不均匀，但无论穿戴位置如何，跟踪结果都与所需辅助力相似在控制系统中，我们注重控制器的响应时间和在我们的实验中，灵活的外骨骼控制不需要高度精确的跟踪，因为这里的目的是在行走时为穿戴者提供实时和适当的帮助。跟踪曲线在某些点上是不连续的（图1）。11），这可能是由于柔性外骨骼系统和主机之间的不同采样频率。使用主机确定在200 Hz下外骨骼负载单元下的实际张力。柔性外骨骼系统中的真实采样频率因此，如果真正的采样频率很慢，数据就会重复。不同实验者的辅助扭矩幅度和定时的调整是手动进行的[29]。4. 结论复杂环境下的地形分类和兵力支援策略一直是众多研究者关注的问题。对于可穿戴的软体机器人来说，即使是偶尔的错误动作也可能导致受伤。各种传感器，如sEMG、IMU和机械传感器，用于复杂的地形环境。考虑到延迟的不重要性，这些传感器中的一些我们提到的TTRS系统采用双IMU加深度摄像头，可以有效提高复杂环境下的视野最重要的是，近年来深度学习的发展势头非常强劲。以往的研究已经将许多优秀的模型和算法应用到地形中见图11。不同情况下助力曲线的比较。 0表示期望的动力辅助曲线，1表示检测到的实际动力辅助曲线。软机器人的识别和意图识别。在本研究中，我们将ViT应用于地形辨识，并取得良好的效果。并对不同方法进行了比较。这种方法特别适合于地形识别，特别是当我们的数据集在未来增长。引擎盖之下，其轻量化优势将更加明显。此外，软式外装护具的助力控制方法与使用者的舒适度有关。我们在前期的研究中对控制算法中的先进算法进行了很多改进，如迭代学习、导纳等F. 杨角，澳-地 Chen，Z. Wang等人仿生智能与机器人3（2023）1000878控制优化[5，30，31]。控制的先验知识可以增加供应并改善用户体验。最后，我们的任务有一些缺点。目前，我们的助力曲线只完成了上坡道和下坡道以及平地的助力跟踪和评估，并没有在楼上楼下或其他环境中提供助力。今后，我们将集中精力在这方面进行深入研究。同时，在实验过程中，摄像头的图像处理和边缘芯板识别算法仍然滞后。地形识别算法在树莓派上运行也需要一些时间，与控制器的通信存在延迟。将来，我们可能会讨论实时性能。例如，NVIDIA的Xavier NX模块用于取代现有的树莓派，以提高运营效率。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢这项工作得到了国家自然科学基金会-深圳机器人研究中心项目的支 持 （ U2013207 ） ， 国 家 自 然 科 学 基 金 项 目 （ 62273325 和U1913207），“泉城学者”研究项目，负重步行作为支撑的机器人刚-柔仿生机构和运动模式自适应控制，中国机器人与智能系统国际科学技术合作计划SIAT-CUHK联合实验室&（2018 YFE 0125600）和国家自然科学基金（62003327）。作者要感谢SIAT运动服团队的所有成员和参与实验的受试者。附录A. 补充数据与本文相关的补充材料可以在https://doi.org/10.1016/j.birob.2023.100087上找到。引用[1] T. Yan，Y.孙，T.刘角H. 张先生，M.Q.-H. Meng，使用深度图像的运动识别系统，在：2018 IEEE机器人与自动化国际会议，ICRA，IEEE，2018年，pp.6766-6772[2] 体育Dupont，B.J. Nelson，M.戈德法布湾Hannaford，A. Menciassi，M.K.O'Malley，N. Simaan，P. Valdastri，G.- Z. Yang，A decade retrospectiveofmedical robotics research from 2010 to 2020 ， Science Robotics 6 （ 60 ）（2021）eabi8017.[3] A. Rodríguez-Fernández，J. Lobo-Prat，J.M. Font-Llagunes，可穿戴下肢外骨骼用于神经肌肉损伤步态训练的系统综述，J。神经工程康复中心18（1）（2021）1[4] Y. Qian，Y. Wang，C. Chen，J. Xiong，Y. Leng，H. Yu，C.傅，预测运动模式识别和准确的步态相位估计髋外骨骼在各种地形，IEEE机器人。自动Lett. 7（3）（2022）6439-6446。[5] D.- X. 刘，J.Xu，C.Chen，X.长，D.Tao，X.吴，视觉辅助自主下肢外骨骼机器人，IEEE Trans. Syst. Man Cybern.：系统51（6）（2019）3759-3770。[6] A.J. Young，D.P. Ferris，下肢机器人外骨骼的最新技术和未来方向，IEEETrans. Neural Syst. Rehabil。Eng.25（2）（2016）171-182。[7] C. Meijneke，G.Van Oort，V.Sluiter，E.Van Asseldonk，N.塔吉翁特，F. 塔 穆 利 亚 岛 皮 索 塔 湾 Masciullo ， M. Arquilla ， M. Molinari 等 人 ，Symbitron外骨骼：设计，控制和评估模块化外骨骼的不完全和完全脊髓损伤的个人，IEEETrans. 神经系统康复中心Eng. 29（2021）330[8]M.R. Tucker，J. Olivier，A. Pagel，H.布莱克斯特湾布里岛Lambercy，J.d.R.米兰河Riener，H.瓦勒里河Gassert，主动下肢假肢和矫形器的控制策略：综述，J. Neuroeng。康复中心12（1）（2015）1-30.[9]B. Laschowski，W. McNally，A. Wong，J. McPhee，使用深度卷积神经网络对机器人腿部假体和外骨骼进行环境分类，Front。神经机器人15（2022）730965。[10]J. Zhang ， P.Fiers ， K.A.Witte ， R.W.Jackson ， K.L. 波 根 塞 Atkeson ，S.H.Collins，行走过程中外骨骼辅助的人在回路优化，Science 356（6344）（2017）1280-1284。[11]H. Huang，T. A.库伊肯河Lipschutz等人，一种使用表面肌电图识别运动模式的策略，IEEE Trans. Biomed。Eng.56（1）（2008）65-73。[12]Z. Wang，Y. Zhang，J. Ni，X. Wu，Y. Liu，X.叶角，澳-地Chen，使用IMU进行地形识别和步态周期预测，2021年IEEE实时计算和机器人国际会议，RCAR，IEEE，2021年，pp. 602-607[13]K. Zhang C.，中国古猿科熊，W. Zhang，H. Liu，L.赖，Y。荣角，澳-地傅，环境特征识别下肢假肢走向预测行走，IEEETrans. 神经系统康复中心Eng.27（3）（2019）465[14]B. Zhong，R.L.达席尔瓦，M。Li，H. Huang，E. Lobaton，下肢假肢与不确定性量化的环境背景预测，IEEETrans. 自动Sci. Eng. 18（2）（2020）458[15]N. Anantrasirichai，J. Burn，D. Bull，人体运动过程中人体安装摄像机的地形分类，IEEE Trans.Cybern。45（10）（2014）2249-2260。[16]M. Liu，L. Wang，H.黄，动力下肢假肢的环境感知运动模式识别系统的开发，IEEETrans. 神经系统康复中心Eng. 24（4）（2015）434[17]Y. Massalin，M. Abdrakhovova，H.A. Varol，使用深度感测的下肢假体的用户独立意图识别，IEEE Trans. BioMed. Eng. 65（8）（2017）1759[18]K. Zhang，J. Luo，W.肖，W. Zhang，H. Liu，J. Zhu，Z. Lu，Y. Rong，C.W. deSilva，C. Fu，增强动力经股动脉假体环境适应性的Subvision系统，IEEE Trans. Cybern. 51（6）（2020）3285-3297.[19]Y.莱 昆 湾 ， 巴西 -地 本 焦 湾 Hinton ， Deep learning ， Nature 521 （ 7553 ）（2015）436-444.[20]J. 朗 ， E. 谢 尔 哈 默 ， T. Darrell ， Fully convolutional networks forsemanticsegmentation ， in ： Proceedings of the IEEE Conference onComputer VisionandPattern Recognition，2015，pp. 3431-3440[21]S. Lowry，N.放大图片作者：J. J.作者声明：John W. 李文，视觉位置辨识，国立成功大学机械工程研究所硕士论文。32（1）（2015）1-19。[22]A.瓦斯瓦尼北沙泽尔，北帕尔玛湖，加-地琼斯，A.N.戈麦斯。凯泽岛，智-地Polosukhin，注意力是你所需要的，高级神经信息处理。系统30（2017）。[23]K. Han ， A. Xiao 、 肖 氏 E. Wu ， J. Guo ， C. Xu ， Y. Transformer inTransformer，Adv. 神经信息过程系统34（2021）15908[24]A.多索维茨基湖拜尔A.科列斯尼科夫D.魏森伯恩，X.翟氏T. Un- terthiner，M.德加尼，M。明德勒湾，澳-地海戈尔德，S。Gelly等人，一张图像值16x16个单 词 ： 变 形 金 刚 用 于 大 规 模 图 像 识 别 ， 2020 ， arXiv 预 印 本 arXiv ：2010.11929。[25]K.汉，Y。Wang，H. Chen，X. Chen，J. Guo，Z. Liu，Y. Tang，A.肖氏C. Xu，Y. Xu等人，视觉Transformer综述，IEEE Trans. Pattern Anal.马赫内特尔（2022年）。[26]Y. Tu，黑冠草A.Zhu，J.宋，H.沈，Z.Shen，X.Zhang，G.曹，下肢康复外骨骼机器人的自适应滑模变导纳控制方法，应用。Sci. 10（7）（2020）2536.[27]C. Chen，K. Zhang， Y.冷，X。Chen C.，马缨丹属傅，无监督的模拟到真实的 适 应 环 境 识 别 辅 助 行 走 ， IEEE 跨 神 经 系 统 康 复 。 30 （ 2022 ）1350http://dx.doi.org/10.1109/[28] B. Laschowski，W. McNally，A. Wong，J. McPhee，用于控制机器人下肢假肢和外骨骼的环境识别系统的初步设计，在：2019 IEEE第16届康复机器人国际会议，ICORR，2019年，第16页。 868 http://dx.doi.org/10。1109/ICORR.2019.8779540。[29]C.利沃尔西河Conti，F. Giovacchini，N. Vitiello，S.徐文，一种基于小波变换的 步 态 分 割 方 法 ， 机 器 人 工 程 学 报 . 38 （ 3 ） （ 2022 ） 1503http://dx.doi.org/10.1109/TRO。2021.3122975。[30]C. Chen，Y. Zhang， Y. Li，Z. Wang，Y. Liu，W. Cao，X.吴，具有髋关节和膝关节辅助的软外骨骼的迭代学习控制，传感器2 0 （15）（2020）4333.[31]L. Chen C.，马缨丹属Chen，Z. Wang，X.叶，Y。Liu，X.吴，一种新型的轻量 级 可 穿 戴软 外 套 ， 用于 降 低 代 谢率 和 肌 肉 疲劳 ，生 物 传感 器 11（ 7 ）（2021）215。