类风湿关节炎患者手部活动度自动评估框架

医学信息学解锁23（2021）100544类风湿关节炎患者手部活动度自动评估框架LucianoWalentyXavierCejnoga， *，TeofilodeCamposb，Val'eriaMeirellesCarrilEluic，小罗伯托·马孔德斯·塞萨尔一aDepartamentodeCiBundesdaComputaBundeso，IME-USP，RuadoMataBundeso，1010，圣保罗，巴西b巴西巴西利亚大学计算机系cDepartamentodeTerapiaOcupacional，FMSPSRibeiraPasteoPreto，巴西A R T I C L EI N FO保留字：手姿态估计计算机视觉手部作业疗法深度图像A B S T R A C T我们提出一个评估风湿性关节炎患者手指运动模式的框架：屈曲，伸展，外展和内收。该框架使用最先进的3D手部姿势估计方法，该方法实时运行，允许用户在获取深度图像的同时可视化3D骨骼跟踪结果我们从获得的骨骼姿态参数计算屈曲和外展角度。我们从一组患者和一组对照组中进行了数据采集，并比较了这两组人的角度。采用时间序列相似性与频域描述符的分析来表征屈曲/伸展的运动模式。我们进行了分类实验，使用这些描述符，从而区分运动序列的手类风湿关节炎健康的手。在分类实验中使用的描述符是有效的，并达到了89%的平均结果的情况下看不见的子，和平均82%的样本合成实验，允许更强大的统计性能评估。我们的框架允许表征每个患者的疾病的当前状态，以最小的干预和减少评估时间。1. 介绍非接触技术是生物医学和健康信息学的重要趋势[1]。在不同的进步中，值得一提的是智能个性化医疗保健和远程监护[2]。AI和机器学习的应用特别令人感兴趣，以便对抗诸如神经退行性疾病和退行性关节炎的病理，例如参考文献[3]。本文介绍了一种计算机视觉方法来分析手部作业治疗患者的运动模式。我们专注于类风湿性关节炎（RA）的康复。RA是一种慢性自身免疫性疾病，由于炎症导致组织（包括骨骼）侵蚀，导致关节畸形。这种炎症机制是最近才发现的[4]。基于人群的研究结果显示，发达国家5-10%的成年人患有RA。这种疾病在女性中的发病率是男性的三倍，50%的RA风险可归因于遗传因素[5]。临床主诉包括疼痛、肿胀和受影响关节的体检显示，存在疼痛、关节体积增加、关节内积液、发热和最终发红[6]。由于骨和软骨的侵蚀，其并发症可导致关节畸形和破坏。虽然不存在死亡风险，但RA严重影响患者的日常生活质量。在手部，畸形可触及所有关节，导致掌指关节、指间关节和手腕的半脱位和畸形，影响运动功能。在某些情况下，畸形的进展会导致尺骨偏斜，并破坏向桡骨偏斜移动的腕关节韧带。使用身体补偿机制，过度的力被转移到手指图1示出了与健康的手相比，具有尺骨偏斜由于类风湿性关节炎是一种慢性疾病，早期诊断对于预防和治疗非常重要。因此，治疗师必须评估持续的关节炎症、进行性关节损伤和持续的功能下降。通常，手臂、肩和手残疾（DASH）问卷用于评估恢复过程中的手部功能。 该评价方法是* 通讯作者。电子邮件地址：cejnog@ime.usp.br（L.W.X. Cejnog），rmcesar@ime.usp.br（R.M. Cesar Jr.）。https://doi.org/10.1016/j.imu.2021.100544接收日期：2020年9月17日;接收日期：2021年2月24日;接受日期：2021年2月24日2021年3月3日网上发售2352-9148/© 2021作者。出版社：Elsevier Ltd这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表医学信息学期刊主页：http://www.elsevier.com/locate/imuL.W.X. Cejnog等人医学信息学解锁23（2021）1005442Fig. 1. 图1同一个人手指尺偏的手（右侧）与正常手（左侧）的对比。这样的手形代表了手跟踪算法的挑战。基于患者对日常活动执行困难的定性自我评估，例如写作、做饭或铺床。定量评价使用活动度测量。测量活动角度范围的标准程序包括使用测角仪。该手术简单且相对可靠，但是耗时，并且在畸形较多的情况下可能对患者造成困难和疲劳。在本文中，我们提出了一个基于摄像头的框架，可以提高患者的舒适度和效率的运动角度评估的范围。我们的程序是无标记的，不需要环境设置，并使用最先进的计算机视觉技术。虽然这是一个非常重要的健康问题，但文献中描述的计算机视觉方法很少用于自动分析治疗进展并评估患者的运动范围。本文提出了填补这一空白的步骤。所提出的方法遵循图1所示的流水线。二、我们系统可处理尺骨偏斜的左手和右手，以及健康的手。管道从使用RGBD传感器从许多患者采集数据开始。所提出的方法中的一个关键步骤是在3D中准确地定位手部关节。对于每个深度图像，应用现有技术的3D手部姿势估计方法，产生21个关节的3D骨架模型。然后分析这些骨骼姿势（表示为3D点阵列），以估计治疗师在治疗中应使用的屈曲和外展角度以及运动范围测量值。我们进一步分析获得的信号与序列的角度，以确定结构模式。我们将屈曲运动分类为患者和对照组，以表明使用最先进的手部姿势估计算法能够概括任何手部姿势，从而获得理想的采集条件，因此这种分析是可行的。本研究的主要贡献在于：（1）引入了一种新的（2）介绍了基于骨骼估计角度和运动范围测量的手部运动分析工具;（3）我们提出了一个新的深度图和手跟踪结果的数据集，这些数据集是使用在一家医院接受治疗的风湿性关节炎患者获得的。联合国-圣保罗大学O1。本文是一个后续的分析发表在参考。[8]的一项建议。在这里，我们提出了一种新的分析的基础上的时间序列相似性，与新的分类结果，包括两个特征提取1作为这项工作的一部分，在http://vision.ime.usp.br/~cejnog/handanalysis/上提供了数据集的匿名版本。方法和几个分类器。本文的其余部分组织如下：第2节显示相关工作的手姿态估计和范围的运动测量在职业治疗;第3节详细介绍了建议的框架，在其每个步骤;第4节显示的实验结果与数据和第5节提出的结论性意见。2. 相关作品2.1. 活动度测量手部功能的评估是治疗师计划治疗以及记录结果的基础。手部治疗的文献定义了指标和指南，以精确提取这些测量值[9]。为了测量关节角度，广泛使用的度量是运动范围（ROM），其包括关节之间的一组角度，其最大值和最小值在屈曲/伸展和外展/内收运动期间被评估。这通常是以静态方式或通过机械传感器完成的，这妨碍了在患者执行职业任务时评估这些角度的能力。用于运动范围测量的最广泛使用的评估方法之一是测角法。使用特定的手/手指角度计，治疗师可以客观可靠地获得运动测量范围。测角仪由于其简单、成本低而被广泛使用。然而，测量程序需要训练有素的治疗师，必须遵循协议。该任务是手动的、耗时的、重复的、对患者的侵入性的并且容易出错。此外，测量是在受控情况下进行的，可能无法反映日常活动的实际执行能力。DASH调查问卷被用来补充这一评估。尽管存在这些问题，但与传统的2D视觉估计和导线跟踪相比，测角显示出更高的可靠性和精度[10，11]。测角术的一种替代方法是评估关节活动度，数字摄影测量的保证。这种方法主要由外科医生使用，最近的一些研究表明，这种方法的可靠性近年来有所增加[12]。然而，Meals等人[13]提出的可行性研究表明，到目前为止，与手动测角法相比，使用数字摄影测量法测量手关节角度的有效性有限。摄影测量技术的主要局限之一是不能立即评估结果：必须先对接缝拍照，然后再进行测量。这项工作表明，未来的可能性，使用三维扫描和视频捕捉技术的自动测角仪的手的发展。由于手的姿态估计的结果是实时的，我们相信，本文提出了一个重要的第一步，在这个方向上。评估中的其他替代方法是使用电子测角仪，如基于扭矩的Multielgon系统[14]。之间 近期作品 提出解决方案 基于计算机Vision，Pereira等人[15]提出了一种基于智能手机加速度计的应用程序，用于在临床环境中测量主动和被动膝关节ROM。然而，将这种技术应用于测量手关节ROM更具挑战性（对于初学者来说，不能使用手机）。基于2D图像的手部姿态估计方法仍然不可行。另一种方法是使用深度传感器，尽管它们最近越来越受欢迎，但迄今为止很少有作品使用这种设备来完成这项任务。我们强调了Lima等人的工作。[16]，这是一个使用Leap Motion传感器获得的信息来估计手部角度的系统。我们希望计算机视觉和手部姿态估计的重大进展可以在这个特定的应用领域带来一系列的进步。获取3D帧和骨架的可能性减少了2D视觉估计中发现的大多数模糊性，并且其在患者治疗中的使用可以比使用测角仪的侵入性小得多L.W.X. Cejnog等人医学信息学解锁23（2021）1005443++图二、建议的流水线提取和分析的RGBD图像实时 采集的手关节角度测量。2.2. 手势估计随着低成本深度传感器的发展，用于手部姿势估计的最常见的输入数据是深度图。这种传感器的使用减少了数据的模糊性，而不需要配置和校准多视图设置，便于手姿态估计任务。近年来，深度学习算法的发展导致了机器学习及其应用的重大进展，特别是在计算机视觉方面。这些算法的出现与基于卷积神经网络（CNN）的2D联合检测精确解决方案的开发相结合[17，18]导致3D手部姿势估计社区设计也基于CNN的方法[19这些方法在神经网络架构和类型、输入图像类型、所使用的手表示和先验约束的使用方面例如，DeepPrior[20]使用残差神经网络，其训练基于最小化每层中的残差权重。它还使用数据增强，其中真实的样本是从原始训练样本上的简单几何变换生成的。Guo等人。[24]使用一种基于集成的神经网络，它集成了图像不同区域中不同回归量的结果。Chen等人。[25]为每个关节计算一个特征图，并使用结构化区域集成网络（名为Pose-REN）融合这些图，达到可靠的结果。Wan et al.[26]提出了生成对抗网络（GAN）的组合来模拟深度图的分布和变分自动编码器（VAE）来模拟手部姿势的分布。 这种方法允许从未标记的数据中进行训练和学习Fang等人[27]最近提出了JGR-P2 O，这是一种基于联合图推理的piXel到偏移预测系统。该系统显式地对关节之间的依赖关系以及像素与关节之间的关系进行建模，以更好地进行局部特征表示学习。该方法将逐像素偏移预测和直接联合回归统一起来用于端到端训练，从而以相对较低的计算成本获得最先进的结果。另一线的工作包括 方法 基于按体积信息，其使用3D点集的上下文特征以便更准确地定位关节。方法如A2J[28]、V2V [29] 和DenseNet [30]目前在所有最先进的手部姿势估计数据集中达到了最佳结果。DenseNet通过融合2D和3D热图来获得手部姿势。V2 V使用编码器-解码器架构将2D深度图像转换为3D体积像素网格，然后估计每个关键点的每体积像素可能性，识别最高可能性的位置。然后这些被扭曲回到现实世界的坐标.这种方法的缺点是体积化过程的计算成本高，增加了训练过程的难度。A2 J使用深度图像中的锚点，其捕获全局-局部上下文信息。通过对每个锚点的影响进行加权来回归关节位置。使用的神经网络是2D-CNN，这降低了训练的计算成本。该方法目前在HANDS 17数据集上达到了最佳性能结果[31]，而JGR-P2 O是NYU和ICVL数据集上性能最好的方法。该地区目前的情况表明，使用深度图像改进基于深度CNN的方法，因为这是世界各地许多研究小组的重点。这在本论文中提出的应用中特别重要，因为在标准健康手上训练的最先进的方法在应用于具有畸形的手（例如图1中的手）时往往失败。1.一、虽然自从第一批商品深度传感器问世以来，已经观察到了很多改进，但所有方法都有其局限性，深度图仍然远非完美。未来工作的一个潜在方向是利用预处理步骤来使用诸如Yan等人的方法对深度图进行去[32 ]第32段。另一个用于3D手部姿态估计的潜在途径是使用跟踪即检测方法（或者实际上，跟踪即检索），类似于Stenger和其他人在2000年中期所做的尽管当时取得了相对的成功，但自深度学习革命以来，这种方法似乎没有再被探索过。Yan等人的深度多视图检索方法。[34]在跟踪即检索框架中肯定具有很高的成功潜力。L.W.X. Cejnog等人医学信息学解锁23（2021）1005444FPIPk外国直接投资与从2D RGB图像推断3D相关的其他问题，例如房间布局估计[35]当然可以启发在没有深度信息的情况下进行手部姿势估计的方法。更密切相关的是基于CNN的2D联合检测方法及其在人类姿势估计等问题上的成功应用[36]。已经提出了使用基于学习的2D关节检测和逆运动学的方法来专门基于RGB图像估计手部姿势[37基于单目图像的姿态估计方法的发展对于推广和易用性很重要，但是深度维度的缺乏使得问题变得更加困难。数据驱动的方法需要更大的数据集来训练，以获得良好的泛化能力。3. 该方法我们遵循图2的流程，分为数据采集、3D手部姿势估计和分析。表1列出了本文中使用的主要数学符号。3.1. 数据采集作为该项目的第一步，我们的目标是从类风湿性关节炎（RA）导致手部畸形的患者中获取数据。该数据来自圣保罗大学Hospital dasClínicas的患者。在一系列初步实验中对几种深度传感器进行了评估，我们发现英特尔实感®SR 300可生成最佳深度图，并且具有最适合我们采集场景的范围。该设置如图3所示。对于采集，相机和肘部支撑件之间的距离是固定的，但手本身保持自由。然而，手需要是相对于相机最近的对象，否则跟踪器产生非常嘈杂的结果。表1本文其余部分使用的符号和缩写象征意义D深度图像→S（t）帧t处的骨架手指掌指关节我们在深度图上应用深度阈值来减少跟踪器的搜索空间。对于每一个病人，我们记录了屈曲运动，和绑架图2图4和图5示出了从对照受试者记录的屈曲和外展运动的示例。我们的数据集包含从12名健康受试者和8名RA患者中捕获的样本，他们的每只手都进行屈曲和外展运动。对于每个RA患者和每只尺偏手，我们获得了两个屈曲和两个外展序列。由于患者和职业治疗师的可用性，从患者中获得的数据有限。我们以类似于数据增强策略的方式进行样本合成（SS）。我们的目标是评估噪声的手部姿势测量，以及平衡类的性能评估实验（第4.3节）3。表2给出了我们数据集的摘要。从主要影响老年人的退行性疾病的真实患者获取数据存在许多挑战。这些挑战包括匹配议程，在繁忙的诊所有限的空间内设置采集硬件，并让患者不介意在视频上捕捉他们变形的手。据我们所知，我们的数据集是同类数据集中的第一个，我们在http://vision.ime.usp.br/~cejnog/handanalysis上公开提供。这确实是我们工作的主要贡献之一。从传感器捕获的原始数据包括RGB通道，这可能会暴露并识别患者。我们重新处理了所有数据，以删除RGB通道，并以与Pose-REN兼容且不影响报告结果的可访问方式存储深度图。在一些捕获的序列中，患者佩戴矫形器。引用Goia等人的话[7]，“矫形器是应用于身体任何部位的外部设备，用于稳定或矫正、预防或纠正畸形、防止受伤、最大限度地发挥功能并减少畸形引起的疼痛”。在治疗风湿性关节炎（RA）引起的手指尺偏时，矫形器是由治疗师量身定制的，其作用类似于杠杆系统，分配用于纠正手指尺偏的力。在我们的数据集中，患者佩戴的矫形器是由生物工程师、机械工程师和职业治疗师组成的团队使用CAD系统和3D打印机制造的，详见参考文献。[7]的文件。3.2. 三维手势估计PIPK手指近侧指间关节鉴于患者手部的不寻常特征，DIPk手指k用于手指k的W腕关节腕掌拇指关节接头MCP的整流角k接头PIP的整流角k接头DIP的整流角ATIPk指尖k和k-1之间的外展距离在标准基准上产生最佳结果并不一定在我们的数据集上表现良好。经过一系列初步实验，我们选择了使用HANDS 17数据集[42]训练的Pose-REN [25]，当应用于我们的数据时，它会产生最佳结果4Pose-REN基于使用卷积神经网络（CNN）估计特征图。这些特征图使用集合网络组合， 以便产生一致的手部姿势。该方法将深度图像D作为输入，并将→A=ai（t）角度表示一个剪辑作为一组功能：一个i表示第i次. 框架上的角度t。手关节的3D位置P=（pXi，pyi，pzi），i∈ {0， n，Nj}，其中Nj是手模型的关节数架构是循环的：角度表示ai的 傅里叶变换。F构成剪辑的角度表示→ A的所有角度的傅立叶变换的级联。N（μ，σ）具有平均值μ和标准差σ的高斯分布。一个人出去。ROM（j）关节j的运动范围，通过减去延伸角从这种关节的屈曲角度SS样品合成TAM（f）手指的总主动运动f。手姿态St的当前估计被用作输入以帮助在St+1处对其进行细化。在第一次迭代中，使用简单的CNN来估计粗略的手部姿势S0然后，该网络通过两个步骤增强该姿态：姿态引导区域提取和结构化区域集成。对于姿态St，在区域提取中，骨架的每个点从[2]在本文的其余部分，我们使用3 这种方法受到生物信息学中提出的解决方案的启发在许多情况下，小样本量问题很常见，参见Doughnut et al.[41].4 经过实验的发展和本文的写作，JGR-P2 O [27]与其源代码一起发布。RA患者图像序列的方法的评价建议作为未来的工作。FMCPkL.W.X. Cejnog等人医学信息学解锁23（2021）1005445我我J图三. 用于数据采集的设置，使用英特尔实感®SR 300。SR300的工作范围可达2 m。在我们的应用程序中，受试者被指示保持他们的手在距离相机镜头不超过60厘米见图4。 屈曲/伸展运动示例。表2图五. 外展/内收运动示例。fc层。 这些特征向量根据以下方式分层集成：我们的数据集摘要，可从http://vision.ime.usp.br/~cejnog/handanalysis获得。总结手的拓扑（即属于同一手指的关节）被连接在同一向量中。然后将该向量馈送到另一个fc层，其输出是每个手指i的特征向量h/2。的载体所有的分支被连接，并再次被馈送到FC层，FC层的输出是St+1是一个3×Nj的三维点位置矩阵。然后将此姿势输入到初始层，开始网络的新迭代，逐渐地，手指位置周围的特征比远处的特征对特征向量的贡献更大，从而优化输出姿势。该方法是目前所有最先进的数据集中性能最好的方法之一。其执行情况可在网上查阅。5HANDS17数据集使用的骨架具有21个参考点：手腕的中心（W）以及对于每个手指k，近端指间关节（PIPk）、远端指间关节（DIPk）和尖端（TIPk）。唯一的例外是拇指，它由腕部代表。将世界坐标转换为piX el坐标，并且裁剪每个关节周围的边界boX，生成特征区域Ft。在系综网络中，那些特征区域由全连接（fc）层处理，为每个联合生成j个特征向量hl1，其中l1指示第一个掌骨关节（CMC）和单个指间关节（IP）。 手指由各自的罗马数字表示（5 https://github.com/ X inghaochen/Pose-REN.类风湿关节炎8控制集中12患者序列79控制序列108患者夹310控制夹581剪辑总数891总帧数85,755剪辑上使用的帧60,192使用帧的百分比70.2%大小（GB）482L.W.X. Cejnog等人医学信息学解锁23（2021）1005446（）下一页̂ ̂（）下一页（）下一页作为预处理，我们执行深度滤波。如第3.1中所述，在大多数情况下，这足以将手分割在（）下一页F DIPk= arccos DIPk- PIPk TIPk- DIPka我N我N（四小手指）。骨架如图6所示。在我们的流水线中，我们将深度图像称为D（x，y，t），并将获得的骨架FPIPk=arccos（PIPk-MC→PkDIPk-PI→Pk）（2）通过手姿态估计算法，将手姿态估计算法计算为S（t）。（→→）现场图7示出了具有患者数据的Pose-REN方法的定性结果。一般来说，该方法可以处理数据集的挑战，但在某些示例中存在明显的不准确性。主要的挑战是矫形器的存在，因为该方法没有经过训练来处理手-物体的相互作用;手臂突出且不被背景阈值分割的情况，以及手指在外展运动中弯曲的情况。从所有捕获的帧中，我们使用了70个。数据集中的2%，丢弃不在预定义运动序列中的帧和具有不准确骨架的帧。这个选择是使用视觉检查完成的，并且它表明姿态估计方法在至少70.2%的帧中工作良好，尽管一些帧仅仅因为受试者没有执行所需的运动而被丢弃。对于拇指，类似地获得CMC和IP关节的屈曲角。至于外展，有一些困难来计算它作为一个角度，因为两个指骨之间的角度实际上取决于两个系统的关节，而不是一个单一的关节连接两者。这使得很难将外展与屈曲角度分开，特别是 手有残疾的人。出于这个原因，外展治疗师通常通过两个连续指尖之间的距离来测量外展。在任何情况下，我们还计算手指之间的开口，这不是职业治疗的常用测量，但很简单，可以以不随手的大小而变化的方式指示其他类型的模式。张开角被计算为两个手指的MCP关节的中点与每个PIP关节之间的角度。3.3. 手分析ATI Pk=πP（x-1-TIP kπ|2→̅ ̅→)使用骨架→St通过手部姿态估计获得方法，分析的目的是获得屈曲/伸展和内收/外展的测量。针对在采集中获得的所有序列的每个帧计算这样的测量。我们的最终目标是估计这些角度的精度类似于使用测角仪手动测量获得的，但在一个更有效和更少的侵入性的方式。通过提取结构中相邻关节之间的向量来获得屈曲角度的估计。对于手指k，来自关节MCP、PIP和DIP的屈曲角度分别定义为：FMCPk=arccos（MCPk-→WPIPk-MC→Pk）（1）OPk=arccosPIPk-mid（MCPk，MCPx+1）PIPx+1-mid（MCPk，MCPx+1）图图8和图9示出了分别针对对照个体和患者获得的序列中的所有帧计算的角度FMCP 3、FTIP 3、FPIP 3和ATIP 3。这些图还示出了给定姿势与角度图形上的最大值和最小值之间的对应关系，从而说明手部姿势估计的方法对于屈曲运动达到一致的结果。对于尺偏患者，角度序列显示出更高的变异性，这是由患者手形的更高变异性引起的从患者和对照手获得的结果表明，Pose-REN方法能够概括看不见的形状，尽管不寻常的手姿势不准确，但角度检测的整体性能表明该方法可以在我们的管道中使用。4. 实验方法和结果4.1. 数据描述对于患者和对照个体获得的所有运动序列，我们逐帧计算屈曲和外展角度，并手动提取每次运动开始和结束时可以使用时间序列分析方法自动检测这些标志此外，我们倾向于将时间标志检测排除在我们的评估范围之外我们将移动序列的角度表示称为剪辑，将第i个角度表示为ai t。对于每个检测到的移动周期，我们通过对手部点轨迹序列进行子采样来对手部点轨迹序列进行归一化，使得所有剪辑具有相同的持续时间（即，测量次数相同）。用于分类实验的样本表示基于针对每个角度ai的傅立叶系数Fi的提取。每个角度的25个第一系数被连接并存储为样本表示.针对角度ai的傅里叶变换Fai（u）的系数通过下式计算：N-1F（u）=1∑a（t）e-j2πut;u=0， 10， 24（5）t=0时见图6。 HANDS17数据集中使用的手部模型。令Na是为每个剪辑计算的角度的数量。剪辑的最终表示Fu是所有角度的所有傅立叶描述器的级联。（三L.W.X. Cejnog等人医学信息学解锁23（2021）1005447+==-··见图7。使用HANDS 17模型训练的Pose-REN [25]对我们的患者数据获得的定性结果。注意，（h）、（i）、（j）、（k）和（l）呈现一些故障情况。然而，这些都是令人惊讶的好结果，因为在这些图像中，患者呈现出高度的手部畸形，并且佩戴着矫形器。当手臂在图像中突出时，结果也会降低F=concat（Fai（u）），（6）对于i1， n，Na和u0， n， 24. 图10示出了在FFT处理之后获得的训练样本的示例。请注意，每个样本都有 25×Na= 575维。4.2. 分类我们进行了一系列的实验来将序列分类为患者或对照。由于样本数量很少，我们定义了三种类型的分类实验：80-20%分裂，留一人，留一人与样本合成（LOO SS）。初步实验的目的是验证基于傅立叶描述符的特征提取方法，并选择适当的分类算法。为了验证我们的方法，我们定义了一个基线描述符，该描述符通过简单地连接手的每个关节的每个角度的最小值和最大值B=concat（min（ai），max（ai）），（7）对于i1， n，Na.我们进行了配对实验与基线和傅立叶描述符，使用分裂和留一个人的策略。分裂（80-将80%的样本用于训练，剩余的用于测试。然后我们报告所获得的准确度的平均值和标准差Leave-one-person-out（LOO）：我们选择一个人，并将该人的所有剪辑作为测试集。训练是用所有其他序列完成的。这个测试显示了从患者或对照受试者获得的模式是否可以很好地推广到看不见的受试者。我们将结果分为对照组和患者组，显示两组准确性的平均值和标准差。此外，在实验过程中，在Split 80-20和LOO中尝试了不同的监督分类器，即：AdaBoost，决策树，高斯过程，线性SVM，朴素贝叶斯，最近邻，神经网络，QDA，随机森林和RBF SVM。在分类器中，线性支持向量机表现出最好的性能。两个实验的结果示于表3和表4中。在两个实验中，分类器和描述符的最佳组合是具有傅立叶描述符的线性SVM，在Split 80-20实验中达到94.1%的准确率，在leave-one-person-out实验中达到89.6%。值得一提的是，除了一些特定的情况下，大多数分类器的性能并不比这里报道的SVM结果差。我们的解释是，建议的手跟踪和角度测量成功地捕捉控制和病人的运动之间的差异，在一个强大的方式。因此，分类任务本身并不严格依赖于特征，也不依赖于分类器，这是所提出的方法L.W.X. Cejnog等人医学信息学解锁23（2021）1005448图8.第八条。 角度估计和两个对应的姿态获得的姿态估计算法对控制个人。框架.估计数据 其他COM中使用的数据增强策略-傅立叶描述符始终优于基线描述符，平均差异为5%。基线结果在留一人法中平均准确率达到84%，表明最小和最大角度是重要的测量值，可用于识别患者和对照。然而，傅立叶描述符添加的信息能够始终如一地提高性能，作为一个微调的描述符。线性支持向量机在两个实验中的高精度是一个很好的指示，特别是在leave-one-person-out中，这表明描述符可以推广到看不见的主题。对于患者，准确性略低，这是预期的，因为数据更加多样化，因为每个患者的手都处于尺骨偏斜的不同阶段。手的形状和运动模式的这种更高的差异产生了对分类器更具挑战性的数据集群。4.3. 通过样本合成对于第三个实验，我们进行了样品合成（SS）[41]，以解决患者和对照样品量之间的不平衡。在这个过程中，我们从样本中生成合成数据。有了这个，我们可以在存在噪声的情况下评估跟踪器的结果。在我们的工作中，我们为每个骨架应用高斯噪声。人们可能会问，为什么我们没有在深度图上应用标准的数据增强策略，而是在姿势上注入噪声计算机视觉应用通常遵循两种策略：（a）RGB值扰动（例如改变亮度、对比度、注入高斯噪声等）;以及（b）单应性变换、裁剪和填充。这些策略不能简单地应用于深度图，原因如下：(a) 深度图中噪声的行为与piX el RGB值的行为不同。来自基于主动红外图案的深度传感器的噪声倾向于在类高斯图案和具有未知深度值的补丁之间交替。 事实上，Yan等人。[32]已经利用深度图像固有的低范围和自相似特性提出了一种去噪方法。一个合适的数据增强方法应该从3D场景模型开始，并应用一个变换，该变换将与Yan等人的方法相反。可以这(b) 基于单应性的失真对于我们的数据采集设置来说是不现实的，并且会产生意想不到的深度值。一种替代方案是从每个深度图生成3D点云，扰动每个点的3D位置，并通过光线跟踪和插值重新生成深度图文献中有一些作品讨论了增强深度图的最佳方法，用于与手部姿势估计不同的问题，例如深度完成[43]。然而，L.W.X. Cejnog等人医学信息学解锁23（2021）1005449（）下一页我我我标准偏差的重要值这个小小的性能损失我我我分析可以处理来自跟踪器的小的不一致图9.第九条。 角度估计和两个对应的姿态获得的姿态估计算法对RA患者。这样的方法肯定会拖慢训练的进度。此外，我们的深度图是在非理想条件下使用真实传感器获得的（特别是当患者佩戴或佩戴时）。这意味着深度图已经有了这种传感器和这些条件下非常典型的噪声。因此，我们认为没有必要在深度图上注入更多的噪声来合成新的样本。相反，我们将样本合成方法集中在手部姿势估计方法的潜在缺陷建模上（而不是深度图），这就是为什么在产生的3D点位置上注入噪声更明智的原因。这与其他关于姿态估计方法的论文一致：其中许多论文利用骨架和模型先验进行样本合成和训练过程[44因此，对于序列→S（t）={x（t），y（t），z（t）}对于i=1， n，Nj和t=1， n，T，我们生成增广序列→S′（t）={x（t）+N（0，σ），y（t）+N（0，σ），z（t）+N（0，σ）}，控制和患者集的变化，并评估高斯噪声如何影响分类精度。对于每个患者的手和噪声幅度，我们从原始序列中生成100个增强样本。训练集由每次执行与剩余患者的100个随机样本组成，使得对照和患者样本的数量相等，并且测试集由未见过患者的所有样本组成。我们重复了留一法实验，使用所有受试者进行测试，并使用不同的σ值（1，2和4）。我们使用线性SVM分类器和傅立叶描述符，这在以前的实验中产生了最好的结果。结果示于表5中。我们观察到，在留一法实验中得到的结果是一个更准确的表示看不见的手的分类实验。增强数据的存在降低了患者集的准确性（在这种情况下，对于所有σ值，约为75%），其中sig如前所述，由于患者组中的手姿势的变化而预期。尽管如此，结果是一致的，表明管道能够处理不同级别的噪声，并且角度其中，Nμ，σ表示具有μ平均值和σ标准偏差的高斯函数，以毫米为单位测量。在每个帧中应用此过程以生成新的剪辑样本。从这个意义上说，我们增加了训练集和测试集，并进行了Leave-one-person-out实验。我们分析5. 结论我们试图评估使用最先进的手部姿势估计手部作业治疗评价的可能性。我们定义了L.W.X. Cejnog等人医学信息学解锁23（2021）10054410图10个。傅立叶描述符的示例，通过剪辑的每个角度的傅立叶描述符的级 联获得。表3在Split实验中表现最好的分类器（准确率百分比表4在留一人实验中表现最好的分类器。基线QDA 96.66± 3.81 89.11±6.82 92.88 ± 6.69傅立叶最近邻97.08± 3.42 86.31±9.39 91.69 ± 8.88基线AdaBoost 94.99± 4.29 83.08±12.56 89.04 ± 11.11基线神经网络88.87± 8.93 88.65±8.03 88.76 ± 8.49基线线性SVM 92.72 ± 3.69 84.60 ± 7.51 88.66 ± 7.17傅立叶AdaBoost 95.86± 1.51 78.97±11.65 87.41 ± 11.85傅立叶神经网络94.37± 5.88 78.50±13.42 86.44 ± 13.05基线最近邻95.30± 4.68 73.79±13.97 84.54 ± 14.97基线随机森林98.96± 1.62 65.33±15.04 82.15 ± 19.93使用患者组和对照组的采集设置，获得屈曲和外展运动序列。在患者的情况下，尺骨的发育和矫形器的使用影响了获得和结果手的姿势，这使得问题更具有挑战性，比狗-傅立叶神经网络92.89± 12.01 73.11±36.33 85.60 ± 25.85基线AdaBoost 89.54± 15.54 74.07±30.09 83.84 ± 23.28基线线性SVM 89.08± 20.29 74.57±33.44 83.74 ± 26.85基线神经网络87.35± 22.97 73.91±35.87 82.40 ± 29.14傅立叶AdaBoost 91.92± 8.93 65.71±34.74 82.26 ± 25.59傅立叶决策树90.76± 10.56 62.01±28.66 80.17 ± 23.78基线QDA 90.58± 17.43 59.71±38.39 79.21 ± 30.93基线随机森林95.82± 9.59 49.71±40.60 78.83 ± 34.06傅立叶最近邻92.50± 16.03 53.64±40.62 78.18 ± 33.49表5使用不同的σ值（mm）进行样本合成的线性SVM准确度（%）。租用最先进的手部姿势估计。实验控制患者一般信息我们使用Pose-REN算法估计手部姿势，可以说是最先进的技术之一，并提出了一种将3D点坐标转换为屈曲和外展角度的方法。我们提出了一种策略，注册序列的运动和运动周期表示为特征向量的基础上频域描述符。运动模式的这种表示然后用于分类，旨在识别模式并区分患者和对照数据。LOO 94.66± 8.45 83.00±31.69 90.37 ± 21.14LOO+ SS，σ=1 88.19± 19.31 72.35±36.87 82.35 ± 28.19LOO+ SS，σ=2 88.61± 18.19 73.24±36.18 82.94 ± 27.32LOO+ SS，σ=4 86.97± 18.17 73.31±34.96 81.93 ± 26.49实验对照组（%）患者（%）一般（%）实验对照组（%）患者（%）一般（%）傅立叶线性支持向量机96.31 ±3.0791.97 ±6.5594.14±5.56傅立叶线性支持向量机94.33 ±10.5381.57 ±31.3489.63±21.67L.W.X. Cejnog等人医学信息学解锁23（2021）10054411==-++所提出的方法是能够准确地估计骨骼角度和运动测量范围从控制和风湿性关节炎（RA）患者，即使在一个完全不同的健康手部运动的数据集训练的3D手部姿势估计算法。分类的结果是有希望的，表明一个简单的运动周期就足以区分患者和对照组。我们预计，最先进的手姿态估计方法的发展将导致进一步的进步，在分析病人的模式和RA诊断。竞合利益没有人申报。致谢这项工作得到了圣保罗研究基金会（FAPESP）的财政支持，资助#2015/22308-2和#2016/13791-4。TdC感谢Conselho Nacional dePesquisa（CNPq）授予PQ 314154/2018-3的支持此外，我们感谢Daniela Goia在数据采集方面的合作，以及Janko Calic，Maria daGraça Pimentel，Phillip Klejov和Adrian Hilton对该项目进行了富有成效的讨论引用[1] 张文龙，陈晓梅，陈晓梅.使用网络摄像头改进非接触式心率监测的机器学习方法。IEEE生物医学和健康信息学杂志2013;18：1153-60。[2] 王X，桂Q，刘B，金Z，陈Y.实现智能个性化医疗保健：用于ECG远程监护的混合移动云方法。IEEE生物医学和健康信息学杂志2013;18：739-45。[3] Adeli E，Rekik S，Park SH，Shen D.生物医学与健康信息学中的预测智能。 IEEEJournal of Biomedical and Health Informatics 2020;24：333-5.[4] 捐赠PB，de Lima KA，Peres RS，Almeida F，Almeada SY，Silva TA，Nascimento DC，Cecilio NT，TalbotJ， Oliveira RD，Pa