神经网络驱动的多视图3D人体姿态估计

"这篇论文提出了一种名为MetaPose的多视图神经网络方法，用于从2D关键点数据快速估计3D人体姿态，无需3D监督。它解决了在未知校准的多视图环境中，使用可能移动的相机进行人体3D姿态估计的问题。通过结合多个单视图方法的输出并考虑关节位置的不确定性，MetaPose能够在处理遮挡和不确定性时保持高精度，同时减少延迟。训练仅依赖于带有2D关节位置标注的数据，模仿经典束调整策略，但使用神经网络来驱动摄像机校准。这种方法在Human3.6M和Ski-PosePTZ数据集上表现出色，超越了传统的束调整和弱监督单眼3D基线。" 本文关注的是3D人体姿态估计，特别是在多视图环境下，而传统的方法往往需要昂贵的专业运动捕捉设备或精确的相机校准。MetaPose的创新之处在于它能够从多个视角的2D关键点数据中学习，自动估计三维人体姿态和相对相机姿态。这得益于模型的设计，它能够处理不同视图间的遮挡问题，同时考虑关节位置的不确定性，避免因校准不准确导致的错误。 在实际应用中，例如运动捕捉，由于运动员通常在低纹理背景下活动，传统的多相机结构光匹配方法难以进行有效的校准。MetaPose通过使用人体关节信息进行摄像机校准，解决了这一难题。由于在测试时采用同步的多相机设置，算法可以整合来自不同角度的信息，提高了3D姿态估计的准确性。 训练阶段，MetaPose仅依赖于带有2D关节标注的图像，避免了对3D标注数据的依赖，降低了数据收集和标注的成本。在Human3.6M和Ski-PosePTZ这两个具有挑战性的数据集上的实验结果证明了这种方法的有效性，它在精度和实时性能上都超越了先前的方法。 总结来说，MetaPose是一种基于神经网络的多视图3D人体姿态估计方法，它创新地结合了关节位置不确定性处理、相机校准和多视图信息融合，能够在实时场景中提供高质量的3D姿态估计，为无3D标注数据的多视图学习开辟了新的可能性。