基于计算机视觉的婴儿姿势对称性评估系统的开发与应用

19091科视SyRIP数据集和模型代码是https://github.com/ostadabbas/Infant-Postural-Symmetry。计算机视觉拯救：不一致注释对婴儿姿势对称性的估计Xiaofei Huang1，Michael Wan1，Lingfei Luan1，Bethany Tunik2，Sarah Ostadabbas11增强认知实验室（ACLab），东北大学，波士顿，MA，美国2名委员会认证的儿科物理治疗通讯作者ostadabbas@ece.neu.edu摘要双侧姿势对称性作为自闭症谱系障碍（ASD）的潜在风险标志物和婴儿先天性肌性斜颈（CMT）的症状起着关键作用，但目前评估对称性的方法需要费力的临床专家评估。在本文中，我们开发了一个基于计算机视觉的婴儿对称性评估系统，利用三维人体姿势估计婴儿。我们对人类角度和对称性评级的调查结果使我们的系统相对于地面真实评估的评估和校准变得复杂，这种评级表现出较低的评级者间可靠性。为了纠正这一点，我们开发了一个贝叶斯估计的地面真相来自一个概率图形模型的易犯错误的人类评分。我们发现，3D婴儿姿势估计模型可以实现68%的面积下的接收器工作特征曲线的性能预测贝叶斯聚合标签，相比之下，只有61%的2D婴儿姿势估计模型和60%的3D成人姿势估计模型，突出了3D姿势和婴儿领域的知识在评估婴儿身体对称性的重要性。我们的调查分析还表明，人类评级容易受到更高水平的偏差和不一致性的影响，因此，我们最终的基于3D姿势的对称性评估系统经过校准，但不直接由贝叶斯综合人类评级监督，从而产生更高水平的一致性和更低水平的肢体间评估偏差1。1. 介绍生命早期的持续不对称身体行为是神经发育疾病（如自闭症谱系障碍（ASD））的一个显著前驱风险标志，约有2%的儿童会受到影响[17，16，4，3]。它也是先天性肌性斜颈（CMT）的症状，可用地址：常见的肌肉骨骼疾病，估计发生率为3.9%至16%[8]。ASD和CMT的早期筛查对于及时干预和支持至关重要[14]，但目前需要费力的专业口腔评估，并且对于ASD，可靠的确定通常仅在儿童期后期进行。在本文中，我们提出了一种计算机视觉方法来评估双边婴儿姿势对称性的图像，基于三维人体姿态估计，域适应于具有挑战性的设置的婴儿身体。我们的方法似乎对人类评级中存在的肢体间偏差不太敏感，因此可以在远程医疗中发挥巨大作用，即使是专家也可能发现很难从屏幕上的2D图像判断3D对称性。由于我们的系统是基于从姿势估计中提取的角度，因此它既保护隐私又具有高度可解释性，并且适用于基于更新的科学假设或发现的姿势对称性的新定义以及不同条件。我们的模型评估双边姿势不对称，首先采用国家的最先进的3D身体姿势估计专为婴儿身体设计，第二，通过学习的姿势为基础的评估校准人类评级的不对称性。流水线很简单，但它的实现是非常重要的，因为对于这两个任务都不存在可靠的地面实况数据。对于姿态估计，不存在用3D地面实况姿态标记的婴儿数据集，这将需要对于婴儿受试者不可行的装置。我们取得了一些进展，通过扩展现有的婴儿身体数据集与新的3D姿态标签获得手动correc- tion的预测获得的尽管如此，由于这些3D数据仅由平面图像的感知引导，因此这些标签只能作为弱3D地面实况。在对称性评价方面，我们设计了一个由10名评价者对700幅婴儿图像中4对肢体的姿势对称性和角度差异进行评价的开创性调查在这两种情况下，地面实况数据受到导出三维数据的基本挑战的约束。1910图1：基于2D姿态和基于3D姿态的对称性测量之间的差异示例。左右肢体对如果对称则呈现为绿色，如果不对称则呈现为红色，分别根据（a）贝叶斯聚合的人类对称性评级（即，弱地面实况），（b）基于2D姿态估计的评估，以及（c）、（d）基于3D姿态估计的评估。从二维图像的信息，特别是在婴儿的身体领域。本文的主要技术重点是具体而言，我们的策略如下：• 为了弥补人类评分员可靠性的不足，我们将人类评分员作为易犯错误的评估员使用概率图模型，并计算基础事实的贝叶斯聚合，其似乎表现出比人类评分更高的内部一致性。(Full可靠性不被假定）。• 我们发现，对于婴儿图像，从婴儿3D姿态估计模型获得的身体关节角度可以单独用于预测贝叶斯地面实况评估，这些图像具有合理的准确性，约68%的受试者工作特征（ROC）曲线下的面积。相比之下，从婴儿2D姿势估计模型获得的角度这种差异的一些可视化的例子如图所示。1.一、预测的力量完全独立地获得的响应变量（尽管两个变量中存在潜在的噪声）提供了3D姿态估计角度的准确性的证据。• 最后，我们学习了一个简单的对称性分类器的基础上的三维姿态估计的角度，现在已知是相当准确的贝叶斯聚合对称性评级校准的婴儿图像。这个最终的 分 类 器 是 由 人 的 直 觉 的 截 止 阈 值 的 对 称 性asessment，但通过设计和我们验证定量，是免费的明显偏见，从错误的因素，影响人类的判断。我们还证明了它的优越性，从2D姿态估计的类似分类。总之，我们提供了对人体对称性的人类和机器学习评估的挑战的探索，并将我们的见解提炼成一种适应性强、可解释、端到端的算法，用于评估婴儿对称性。尝试从静态图像，以期应用于ASD，CMT和其他常见神经发育状况的早期检测和治疗。2. 相关工作在过去的十年中，计算机视觉已被用于自动化医疗诊断领域，包括通过基于视频的诊断或监测来区分非典型发育[18，2]。这些基于视觉的系统提供了一种低成本和非侵入性的方法，能够以更客观的方式分析数据，并且与医学检查相比，可能会降低医疗保健支出。在关键的基于视觉的生物标志物中，婴儿的持续身体不对称性表明与发育障碍相关的异常，如ASD和CMT [3，14]。在[15]中，作为ASD行为表型的一部分，作者检查了儿童的手臂运动和不对称性。他们使用预先训练的实时多人2D姿势估计模型OpenPose [1]从录制的视频中提取了孩子的手臂和肩膀角度。在[5]中介绍了一种计算机视觉工具，用于基于自闭症观察的组成部分测量和识别ASD自闭症标志物。 作者首先应用了2D姿态估计，这是通过扩展对象云模型（OCM）分割框架[12]来处理视频数据而提出的，并在视频片段中产生幼儿自然行走的2D火柴人。然后，静态和动态的手臂对称性，作为一种类型的运动标记，使用视频片段中对应的手臂部分之间的绝对2D角度差跨时间检测如果两个相应臂部分之间的角度相差超过45°，则定义为不对称。这两篇论文都是基于测量的臂对角度差来检测身体运动的对称性。同时，在[6]中，作者开发了一种基于虚拟现实（VR）的运动干预方法，该方法使用运动跟踪数据来量化全身运动的效率、同步性和对称性。他们提出了另一种双手对称的定义，即双手水平距离绝对值之差的平均值和标准差。对于对称性测量，手腕的2D位置由集成在Microsoft Kinect API中的姿态估计器预测，然后根据他们提出的对称性测量公式计算对称性分数然而，所有先前的基于计算机视觉的姿势对称性方法的普遍缺点是它们依赖于来自2D身体姿势的测量，即使人体运动和对称性基本上是三维的。通过3D身体姿势的姿势对称性测量还有待探索。19113. 概念和方法3.1. 基于姿态的对称性测量在本文中，我们使用一个简单的参数化方法-基于2D或3D身体关节位置的身体肢体对称性的测量，受[3]中姿势对称性定义的启发。首先，婴儿2D或3D姿态或骨架，人体关节位置的集合，通过姿态估计算法从平面图像中提取。有成熟的计算机视觉算法可以完成这项任务，但它们在数据稀缺的婴儿领域的性能较弱，因此我们使用专门适用于婴儿身体的模型。对于2D姿势提取，我们使用[7]中的微调域适应婴儿姿势（FiDIP）模型，其通过从成人姿势模型微调到婴儿姿势来工作，利用域对抗网络从真实和合成婴儿数据中进行均衡学习。对于3D婴儿姿势检测，应用启发式弱监督人体姿势（HW-HuP）估计方法[11]。HW-HuP以灵活的方式（例如RGB、深度或红外信号）从公共3D人体姿势数据集学习部分姿势先验，然后在优化和回归混合循环中迭代地估计目标婴儿域中的3D人体姿势和形状。这些婴儿2D和3D姿态估计器分别输出17个关键点和14个关键点位置，但是我们将我们的姿态限制为定义上臂和小腿（肩部、肘部、手腕、臀部、膝盖和脚踝）所需的12个身体关键点，其中不对称性最突出地表现出来。从身体姿势中的12个关键点，我们可以获得角度的测量值和几何对称性的评估，如下所示，如图2所示。二、首先，考虑连接两个肩关节的线段ls，然后定义它的中垂线ps，即在中点与ls正交的线（二维）或平面（三维）然后反射右上臂穿过ps，移动它，使它的肩关节与左上臂的肩关节对齐，并测量得到的角度。同样，反射右前臂穿过ps，移动它，使其肘关节与左前臂的肘关节对齐，并测量角度。对腿重复这一过程：反射、对齐并比较右侧与左侧的大腿和小腿角度，这次是穿过连接髋关节的线段l h的中垂线。如果给定的肢对的成形角小于某个固定的预定义角θ，则对应的肢对被认为是对称的，否则它是不对称的。通过采用上述方法和不同的角度阈值，我们能够产生原始的角度值和姿势对称标签的基础上，他们的2D和3D骨架婴儿图像中的每个肢体对。3.2. 人体对称性评价与贝叶斯聚类姿势不对称通常由临床专家评估，以衡量神经发育，或作为某些疾病的症状图2：我们的婴儿姿势对称性测量的图示。 红色的右上臂和下臂在绿色的两个肩关节的中垂线ps（2D）或平面（3D）上镜像，与根关节处的左对应物对齐，从而产生蓝色的幻肢。同样，右上腿和右小腿在两个髋关节的中间垂直的ph上镜像，并与它们的左对应物对齐。测量所有四个结果角度α，并且如果其计算的角度小于预定义阈值，则肢体对被认为是姿势对称的精神障碍。为了指导我们在模拟临床评价中的算法工作，我们委托了一项对许多人类评级者的调查，以评估婴儿图像中的姿势角度和对称性，以及第3.1节中描述的对称性测量中的成对肢体。要求评定者根据我们的测量方法评估肢体对的角度差异，并在此方法的指导下对每个肢体对的对称性进行主观判断，以减少冗余并获取有关先天对称性评估的信息。我们发现，在实践中，有很高的变化和弱协议之间的评估，从人类评分员，这种缺乏可靠性并没有减轻简单的多数表决，部分原因是这样的投票是容易受到噪音离群值。为了纠正这一点，我们采用概率方法来评估不同的注释器，并给出实际隐藏标签的估计，如[13]中所提出的。当多个注释器提供可能有噪声的标签，并没有绝对的黄金标准，最大后验概率（MAP）估计，提出了联合学习可能真正的底层标签和每个评分员每个评分员的表现是通过计算相对于未知的黄金标准的敏感性和特异性来衡量的在此基础上，采用期望最大化（EM）算法对评分者的评分标准进行评价，并根据新的评分者评分标准对评分者评分标准进行优化。金本位制由多数投票结果初始化。考虑到我们希望信任一些特定的评分员比其他人，先验被施加到不同的评分员的潜在的不同的技能水平的模型。随机初始化的Beta先验作为条件信息1912≥≥≥≥≥表1：与本文中考虑的每个婴儿图像相关的数据类型列表。基础的700个真实婴儿图像来源于合成和真实婴儿姿势（SyRIP）数据集。类型数据源二维身体姿势二维坐标。月17日身体关节包含在SyRIP地面实况中（第4节）或通过2D姿态估计模型从图像中推断（第4.2节）三维身体姿势三维坐标。月14日身体关节SyRIP的弱3D地面实况标签（第模型（第4.2节），或通过3D姿态估计从图像推断。基于姿态的原始角度基于姿势的角度类基于姿势的对称性4对肢体的角度为○3-4肢对4肢对的二元对称4对肢体（上臂、下臂、大腿、小腿）差异，源自2D或3D身体姿势数据（上图），地面实况或预测从[30○，30○或者基于指定的阈值角度从基于姿势的原始角度（以上）推断，或者从人类评分员（第4.1节），或从人类评分员投票或贝叶斯汇总（第3.2节）当计算我们的贝叶斯聚合方法的敏感性，特异性和患病率的概率时 根据调查中收集的数据，有两种不同类型的评级标签：（1）对称或不对称的二元类标签，以及（2）角度类标签[<30 ○，30 ○- 59 ○，60 ○ ]，它们是内在有序的。对于二进制对称标签，我们直接按照上述EM优化程序对于角度类标签，我们以两种不同方式之一来二进制化变量--分为类[30○，30○]和类[60○，60○]--然后应用估计过程两次，每次二进制化一次这就产生了两个二进制类的单独概率估计，从中我们可以从[30○，30○在一些罕见的情况下，当两个预测概率彼此不一致时，我们选择具有最高形式概率的类。4. 人类与机器为了评估人类评级和基于姿势的对称性测量的性能，我们将其应用于公开发布的合成和真实婴儿姿势（SyRIP）数据的真实婴儿图像集[7]，其中包含700个具有指定姿势标签（仰卧，俯卧，坐着和站立）和注释的2D关键点位置的真实图像。本文讨论的数据概述见表14.1. 人体对称性调查为了揭示和模拟人体对姿势对称性的评价机制，我们委托了我们的合作者，中国科学院赵伟芳的调查数据。八个问题：其中四个关于四个肢体对（上臂、下臂、大腿和小腿）的对称性，其余的关于四个肢体对中的每一个之间的预测角度类。调查结束时有五个关于他们的专业、性别、年龄、教育程度和计算机视觉或绘画经验的人口学问题（平均年龄23岁;有5名男性和5名女性参与者）。调查回答的基本快照（绘制了每个评估角度类别的平均评定者对称性评估）见图。九是补充材料。4.2. 婴儿2D和3D姿势估计我们采用了一系列姿态估计模型，如表2所示。其中包括DarkPose[19]，一种在大规模公共人体姿势数据集上训练的2D姿势估计器，以及FiDIP[7]，它改编自DarkPose，在婴儿姿势上工作良好，并在SyRIP数据上训练。我们还使用了SPIN[9] 3D姿态估计模型，该模型在成人3D运动捕捉数据上进行了训练，以及HW-HuP[11]，这是 SPIN的一种修改，旨在根据RGB图像预测婴儿的3D姿态，基于使用深度图的婴儿图像的训练。该深度图数据是表2：顶部：从其导出对称性评估的姿势估计模型或地面实况数据。中间（参见第5.2节）：每个姿势估计模型的最佳阈值角度，用于获得具有最高Cohen与贝叶斯累积对称性评估的一致性的对称性评估底部（见第5.2节）：受试者工作曲线下的面积（图6）使用从每个姿态估计模型获得的原始角度进行贝叶斯聚合对称性评估的逻辑回归。nese国家艺术学院，谁进行了在线实验研究收集了10名评分员对SyRIP真实图像的位姿对称性判断反应，Qualtrics平台评估者面前有700张婴儿图片，分为28个部分，每个部分25张图片，每个部分中的25张图片随机混合。在第10节和第20节之后，有两次强制性的5分钟休息时间。每一张照片都伴随着光学角度ROCAUC4.3）成人姿势估计婴儿姿势估计地面实况源代码2D3DDarkPose旋转FiDIPHW-HuPSyRIP校正HW-HuP2D43.742.039.13D17.827.927.72D0.600.610.623D0.600.680.731913图3：给定个人评估与10个人类评估者评估的平均科恩一致性（排除人类评估者的自我一致性）。在人类评分员中，评分员5和10作为角度评估的离群值突出，评分员5作为对称性评估的离群值突出。正如预期的那样，贝叶斯综合评估显示出较高的平均一致性，但有趣的是，人类投票的评估却没有。在基于姿态的评估中，通过使用HW-HuP模型从3D地面实况或3D预测姿态导出的那些与人类评估最一致，特别是对于角度水平的更由于角度类是有序的，我们采用二次加权科恩3D数据在成人姿势数据集中可用，因此HW-HuP预测不完全可靠。SyRIP数据集带有地面实况2D姿态标签，接下来我们描述如何校正HW-HuP预测以获得弱3D地面实况标签。4.3. 婴儿3D姿势校正为了解决SyRIP数据集中婴儿缺乏可靠的3D姿势标签的问题，我们修改了[10]中介绍的交互式注释工具，以纠正上面介绍的HW-HuP模型预测的3D姿势。由于HW-HuP还估计相机参数，因此我们将其3D姿态关键点预测叠加到原始婴儿图像上的2D平面上我们通过键盘输入交互式地修改3D骨架的全局姿势方向和局部骨骼矢量方向，以使3D骨架和实时更新的投影2D关键点位置尽可能正确。通过这种方式，我们获得了弱地面真实3D姿态标签，受限于人类视觉和相机参数估计的不可避免的从各种2D和3D姿态估计模型或地面实况获得的预测角度差的分布在图1中示出。10、补充材料。5. 分析：计算机视觉的拯救我们开始我们的分析，通过检查人类的对称性评级的缺点，并说明我们的贝叶斯聚合过程如何改善这些问题。然后，我们证明了3D婴儿姿态估计模型预测角度和对称性的贝叶斯综合评估的能力比成人或基于2D姿态的模型更高，增加了我们对贝叶斯综合和3D姿态估计的信心。最后，我们通过使用贝叶斯聚合数据校准基于3D姿态的对称性评估来产生我们的端到端对称性评估我们展示性能这说明了3D婴儿基于姿势的系统相对于2D或成人基于姿势的替代方案所提供的收益，并且还说明了我们的基于姿势的算法评估相对于人类甚至贝叶斯综合评估在定量和定性方面所提供我们完成了我们的分析与3D姿态估计和影响因素的对称性评估两个尾声。5.1. 修正不一致的人类注释每个人类评估者与其他9名人类评估者之间关于他们对SyRIP婴儿数据集中四对肢体和700张真实图像的角度类别和对称性的评估的平均科恩一致性2可以在图2中找到。3.第三章。它证明了角度类评估的平均一致性总体上为“一般”，对称性评估的平均一致性为“轻微”至“一般”。同样，整个人类评级者群体的Krippendorff 除了较低的评估者间一致性之外，人类评估还受到角度类别和特别是对称性的高肢体间评估一致性的困扰，如图1B所示。4.第一章考虑到角度分类的相应臂-腿一致性可忽略不计，对称性评估中的高臂-腿一致性特别可能表明不必要的偏倚最后图5表明，人类的角度类的评级表现出低水平的一致性与人类的对称性评级，暗示个人评级之间的“内部一致性”水平较低。许多这些问题的根本原因是评分员之间的评估差异很大（在图1中的个人评分员回答的9补充[2]科恩它通常被解释为评价者间可靠性的衡量标准。1914≥图4：Cohen在人类肢体、贝叶斯聚集和3D姿态估计之间的一致性，以及基于角度和对称性的3D弱地面实况评估。虽然在实际（不可访问）的地面实况数据中可能存在一定程度的肢体间一致性，但人类对对称性的评估中的高度一致性似乎特别过度，并且可能归因于偏倚。图5：所有婴儿和肢体对中每个评估员的角度和不对称性评估之间的Spearman得分高的评估可被解释为享有高低分数可以由低内部一致性或角度阈值未对准（与基于姿势的3D成人模型一样）引起。材料），以及由此产生的一致性和一致性指标的高方差。这些问题促使我们探索将人类评级聚合成一个更具凝聚力的整体的方法，包括简单的投票方法和第3.2节中描述的概率贝叶斯聚合方法。结果表明，该方法是可行的。3的图4和图结果表明，与平均评分者相比，贝叶斯评分者的肢体间一致性更低，角度不对称性更高，这分别表明贝叶斯评分者具有更低的偏倚水平和更高的内部一致性，同时与平均评分者保持了较高的一致性因此，我们采用贝叶斯综合评估作为人类对对称性评估的弱地面真实表示，具有潜在的不良特性。表3报告了相对于贝叶斯汇总结果的对称性个人评估的性能指标，再次证明了人的可靠性的广泛差异。图6：贝叶斯聚合角度类别（左）和对称性（右）的逻辑回归的受试者工作特征（ROC）曲线，来自所列预测或地面真实来源的原始角度，跨越我们的婴儿图像集中的2800对肢体。基于我们的弱3D地面实况的回归产生最佳结果，而3D婴儿姿势估计模型比其他估计模型或2D地面实况表现得更好。为了简单起见，角度类被合并为两个，[30○，30○]。相应的曲线下面积（AUC）可以见表2。5.2. 基于姿势的对称性评估正如所承诺的那样，我们分析了基于姿态的系统可以跟踪贝叶斯聚合对称性评估的程度，然后校准和评估我们最终的自动对称性评估系统。我们首先考虑从姿势估计获得的原始角度数据，如第3.1节所述，其包括针对所考虑的四对关键肢体（上臂、下臂、大腿和小腿）的四个角度差（以度数为单位）的集合。我们通过使用原始角度、四个关节中的每一个和每个婴儿图像（总共2800个数据点）对它们进行逻辑回归，来衡量与角度类别和对称性的贝叶斯综合评定者评估的一致性。图图6示出了由该回归产生的接受者工作特征（ROC）曲线，该回归以3：1的训练-检验分割进行。对于角度类的回归，为了便于解释，我们将三个真类转换为一个二进制变量来表示角度是否超过30°对称回归中ROC曲线的曲线下面积（AUC）见表2。这些指标证实，来自弱3D地面实况的原始角度可以高度逼真地对角度和对称性的贝叶斯综合评估进行这两组数据都不能被视为完全可靠的地面真理，但由于它们来自不同的人类，表3：相对于贝叶斯聚合，每个人类评估者对对称性评估的性能。评分员编号12345678910灵敏度0.980.970.880.540.990.610.990.640.380.79特异性0.350.380.800.960.030.960.300.890.980.801915图7：科恩在各种基于姿势估计的对称性评估和人类评估之间的一致性，因为用于定义姿势基础评估的阈值的阈值角度不同。与人类评估的一致性要么是与10名评分员中每一位的一致性平均值，要么是与投票或贝叶斯综合评分员的一致性。这些结果表明，最高的能力，协议是由贝叶斯综合评分，一方面，和3D婴儿姿势估计为基础的模型。图8：展示角度阈值对基于姿态的测量结果的影响以及对2D基于姿态的方法的可行性的约束左-右肢体对如果对称则以绿色渲染，如果不对称则以红色渲染，分别根据：（a）贝叶斯聚合的人类对称性评级（即，弱地面实况），（b）2D基于姿态的评估，以及（c）、（d）3D基于姿态的评估。虽然这两个注释者执行的任务相当不同，但这里展示的高水平一致性增加了我们对两者准确性的在姿势估计模型中，3D婴儿特定模型能够实现对人类对称性评估的下一个最佳预测，而来自剩余模型的姿势-用于一般大多数成年人的3D姿势模型，或用于婴儿或成人的2D姿势模型-提供较弱的预测人类评估的能力。我们现在转向校准端到端基于姿态的系统以评估对称性的任务，以用于实际应用或进一步研究3。具体而言，希望选择阈值角度，这将允许我们将原始关节角度转换为每个关节对称性的二元评估，以最大化与贝叶斯聚合的一致性的方式。我们选择用前面使用的相同的科恩一致性分数来指导这种一致性。图7示出了在各种决策角度阈值下从所有六个基于姿势的估计器导出的对称性评估的科恩一致性，与投票和贝叶斯评定器两者相比;它还显示了科恩与十个人类评分员中的每一个的平均一致性。顺便说一句，这些结果不仅再次证实了3D地面实况和婴儿姿势预测方法在跟踪人类对称性评估方面的优越性，而且在另一方面，也证明了3对于某些应用，四个原始角度的输出将足以作为整体身体对称性的多维、连续测量，为最终用户提供针对不同任务或响应于科学理解的进步而重新定义对称性的整体概念的灵活性在最合理的角度阈值下，人类对称性评估的贝叶斯聚集在投票或平均人类评估上的有效性， 从这些科恩曲线中，我们提取了每个基于姿势的模型的阈值角度最大化一致性，如表2所示。然后，这些阈值定义每个模型（或地面实况数据）的相应对称性评估。量化这些最终的评估模型已经在整个文件中报告，但我们在这里提供我们的解释。图3证实，如所预期的，与3D成人姿势估计或2D婴儿姿势估计模型相比，3D婴儿姿势估计评估提供与人类评估者评估的最高平均一致性;我们的模型也接近3D弱地面实况评估所达到的水平。图4示出了与个体或聚合人类评估相比，基于预测或弱地面实况3D姿态的评估相对不受肢体间一致性的影响在缺乏完全可靠的地面实况评估的情况下，这在一定程度上表明，人类评估容易受到来自附近部件的偏差的影响，而我们的自动化方法则不会。最后图图5示出了大多数基于姿态估计的模型在它们的角度类与对称性的评估中享有高的内部一致性，如从机械模型所预期的。5.3. 定性评价我们在图中说明了基于姿态的模型的性能。1和图8.这些图在原始图像之上可视化对称性的贝叶斯聚合评估，以及在其各自预测的姿势骨架之上可视化从2D和3D婴儿姿势模型（分别为FiDIP和HW-HuP）导出的评估，其中绿色指示对称判断，红色指示不对称判断。在图1中，我们看到婴儿姿势的例子，其中基于2D姿势的评估是错误的，但是根据贝叶斯聚合标签，基于3D姿势的评估能够做出正确的判断。我们强调了多个1916CSCSCS-CS3D骨架的视图，以突出3D基于姿势的评估的优势，并建议2D基于姿势的评估所造成根据贝叶斯聚集的逻辑回归结果，所有四个预测因子占40。8%（R2）和54。6%（R2）的因变量方差-CS N可以理解的是，考虑到它仅限于一个单一的视角，可以这么说。图8示出了特殊情况，其中2D透视图实际上并不太受限制，因为婴儿平躺在其背部，所以其四肢很大程度上被限制在平行于图像平面的实际上，在这种情况下，2D和3D基于姿态的对称性评估是一致的，但它们不同于贝叶斯评估，贝叶斯评估可以反映人类的对称性。偏见或仅仅是一个更严格的主观阈值的对称性能够正确地分类83. 2%的案件。从后勤回归分析结果显示，只有肢体部分及肢体部分间的角度对不对称性评估模型有显著贡献。而对于三维预测模型，Logistic回归分析结果表明，所有因素均对模型有显著贡献。这四个因素都解释了45之间。5%（R2）和60。5%（R2）的方差，CS N在人类评估方面。2D或3D基于姿态的评估之间的更多比较显示在因变量和正确分类90. 8%的案件。为了评估预测器的重要性，我们使用去-图11补充材料。R2折痕方法来计算的净辐射率2当删除-5.4. Coda 1：改进3D姿态估计限制最先进的婴儿3D姿态估计器（诸如HW-HuP）的性能的主要因素是“真实”地面真实3D姿态数据的稀缺。我们简要地报告微调HW-HuP与弱3D地面真实标签的SyRIP图像生成本文的效果我们将700个SyRIP图像分成100个图像测试集，与SyRIP的Test100集和600个图像训练集相同，在每个关节位置的平均值下，微调的婴儿HW-HuP模型的结果性能其中一个预言家。下降幅度越大，表明去除的预测因子对解释模型的降低R2的结果见表5。当从模型中剔除角度估计时，贝叶斯模型的R2值下降了-0.342，0.366对应地用于3D预测模型。因此，角度估计是已经发现的所有变量的最重要的预测器，并且其被用于人类评级模型和3D预测模型两者中表5：来自人类评定者和3D婴儿姿势估计评估的贝叶斯聚合对称类的逻辑回归的参数重要性评估。Human Raters 3D Infant Pose Est.误差（MPJPE），如表4中所报告的，是显着的IM-排除功能R2R2R2∆R2证明了在基础婴儿HW-HuP模型上，以及在成人姿势SPIN模型上。表4：在具有我们的弱地面实况3D标签的100个图像SyRIP测试集上，以mm为单位的平均每关节位置误差（MPJPE）的3D姿态估计性能。我们将微调的HW-HuP模型（HW-HuP- FT）与基本HW-HuP模型以及成人训练的SPIN模型进行了比较。模型自旋HW-HuPHW-HuP-FTMPJPE105.897.278.35.5. 尾波2：影响对称性评估的因素最后，我们通过逻辑回归对影响我们工作中考虑的对称性评估的因素进行了补充重要性分析，以结束我们的研究 我们将贝叶斯总体对称性评估作为响应变量，并将以下因素作为协变量因素：所考虑的肢体部分（上臂、下臂、大腿或小腿）、婴儿姿势（包括在SyRIP中）、每个肢体的咬合标签（我们为此进行注释）以及最后的角度变量。我们考虑角度变量的两个单独的来源，一个由来自所有人类评级者的角度类评估组成，另一个从3D婴儿姿势估计获得。我们发现，两个回归模型都具有统计显著性。CS CS CS无（完整模型）0.4080.455肢体部分0.402-0.0060.418-0.037姿势0.4080.0000.448-0.007角度0.066-0.3420.089-0.366闭塞0.4080.0000.4550.0006. 结论我们提出了一种基于计算机视觉的方法，用于从婴儿的图像中评估婴儿的姿势对称性，目的是能够早期检测和及时治疗与婴儿运动和神经发育相关的问题我们发现人类对对称性的评级是不可靠的，并用贝叶斯概率综合评级进行了纠正我们证明了基于姿势估计的自动评估避免了人类评估的一些陷阱，同时保留了预测贝叶斯综合评分的能力，3D婴儿姿势模型的表现强于2D模型或成人姿势模型。7. 确认本 研 究 得 到 了 国 家 科 学 基 金 会 （ NSF-CAREER2143882）的支持作者也要感谢博士。中国艺术研究院赵维芳在资料收集方面的贡献。1917引用[1] 曹哲、托马斯·西蒙、魏世恩和亚瑟·谢赫。利用局部仿射场进行实时多人二维姿态估计。在IEEE计算机视觉和模式识别会议论文集，第7291-7299页[2] Ryan Anthony J de Belen ， Tomasz Bednarz ， ArcotSowmya和Dennis Del Favero。 自闭症谱系障碍研究中的计算机视觉：对2009年至2019年发表的研究进行系统综述。转化精神病学，10（1）：1[3] 吉安卢卡·埃斯波西托和保拉·韦努蒂。婴儿期的对称性：自闭症谱系障碍的运动发育分析。Symmetry，1（2）：215[4] 吉安卢卡·埃斯波西托，保拉·韦努蒂，桑德拉·梅斯特罗，还有菲利普·穆拉托里.早期自闭症谱系障碍的对称性探索：谎言的分析Brain and Development，31（2）：131[5] Jordan Hashemi、Thiago Vallin Spina、Mariano Tepper、AmyEsler、VassiliosMorellas、NikolaosPapanikolopoulos和Guillermo Sapiro。一种用于评估自闭症相关行为标志物的计算机视觉方法。在2012年IEEE 发 展 和 学 习 国 际 会 议 和 表 观 遗 传 机 器 人（ICDL），第1IEEE，2012。[6] Darren R Hocking ， Adel Ardalan ， Hisham M Abu-Rayya，Hassan Farhat，Anna Andoni，Rhoshel Lenroot和Stan Kachnowski。基于虚拟现实的运动干预和低成本运动跟踪方法评估自闭症谱系障碍青少年运动能力的可行性神经工程与康复杂志，19（1）：1[7] Xiaofei Huang，Nihang Fu，Shuangjun Liu，and SarahOs-tadabbas.小数据下婴儿姿态估计的不变表示学习。2021年第16届IEEE自动人脸和手势识别国际会议（FG2021），第1-8页。IEEE，2021。[8] 桑德拉湖卡普兰，科琳库尔特，芭芭拉萨金特。先天性肌性斜颈的物理治疗管理：2018年循证临床实践指南来自 APTA 儿 科 物 理 治 疗 学 院 。 儿 科 物 理 治 疗 ， 30（4）：240-290，Oct. 2018年。[9] Nikos Kolotouros ， Georgios Pavlakos ， Michael JBlack，and Kostas Daniilidis.学习通过循环中的模型拟合重建3d人体姿势和形状。在IEEE/CVF计算机视觉国际会议论文集，第2252-2261页[10] Shichao Li，Lei Ke，Kevin Pratama ，Yu-Wing Tai，Chi-Keung Tang，and Kwang-Ting Cheng.基于进化训练数据的级联深度单目在IEEE/CVF计算机视觉和模式识别会议，2020年6月。[11] 刘双军，黄晓飞，傅尼航，萨拉·奥斯-塔达巴斯。启发式弱监督三维人体姿态估计在新的背景下，没有任何三维姿态地面真相。arXiv预印本arXiv：2105.10996，2021。[12] PauloAVMiranda，AlexandreXFalcapuzzo，andJayaramKUdupa.云模型：他们的建设和就业的自动磁共振分割的大脑。2010年。[13] Vikas C Raykar，Shipeng Yu，Linda H Zhao，GerardoHer- mosillo Valadez，Charles Florin，Luca Bogoni，andLinda Moy.从人群中学习。Journal of Machine LearningResearch，11（4），2010。[14] 芭芭拉萨金特，桑德拉L卡普兰，科琳库尔特，和辛西娅贝克。先天性肌性斜颈：弥合研究和临床实践之间的差距。儿科，144（2），2019年。[15] JA Sarmiento和PC Naval。使用计算机视觉进行自闭症谱系障碍生物标志物的Journal of Image and Graphics，8（2）：47[16] 放大图片创作者：John W. 放大图片作者：Joseph L.凯利和菲利普·泰特尔鲍姆。诊断中的Eshkol-Wachman运动符号：阿斯伯格综合症的早期发现。美国国家科学院院，101（32）：11909[17] Philip Teitelbaum ， Osnat Teitelbaum ， Jennifer Nye ，Joshua Fryman，and Ralph G Maurer.婴儿期的运动分析美国国家科学院院刊，95（23）：13982[18] 我是你的朋友，米格尔·博达洛·洛佩斯，阿卜杜勒·哈迪德。计算机视觉在人脸辅助医学诊断中的应用。IEEE生物医学和健康信息学杂志，22（5）：1497[19] Feng Zhang，Xiatian Zhu，Hanbin Dai，Mao Ye，andCe Zhu. 用于人 体姿态估计的 分布感知坐 标表示在IEEE/CVF计算机视觉和模式识别会议论文集，第7093-7102页