IMU与移动相机：野外3D姿态估计的新方法

本文主要探讨了如何利用单一的移动相机和惯性测量单元（IMU）在人体四肢上的集成，实现户外环境下高精度的3D姿态估计。这项研究由TimovonMarcard、Roberto Henschel、Michael J.Black等人合作，他们在Leibniz Universitaet Hannover、MPI for Intelligent Systems和MPI for Informatics的研究机构中进行。 传统的3D姿态估计通常在相对静态的环境中进行，但在户外场景中，如行人活动频繁的城市、楼梯、咖啡馆和公共交通等，面临着诸多挑战，如移动相机的不稳定、航向漂移、复杂背景干扰以及多人遮挡等问题。为此，研究人员提出了一种基于图的优化方法，它将每帧的2D姿态检测与IMU数据关联起来，确保帧内和跨帧的3D到2D一致性。他们通过一个连续优化框架，同时优化统计姿势模型、相机姿态和航向漂移，以提高整体估计的准确性。 实验验证是在TotalCapture数据集上完成的，该数据集提供了与地面实况同步的视频和IMU数据，他们的方法达到了26mm的精度，这对于基于图像的3D姿态估计来说是相当高的，足以用作基准。这项工作的重要性在于，它不仅提升了3D姿态估计的实用性，还推动了户外场景下的人体姿态研究。 研究者们进一步展示了他们的方法在实际应用中的效果，通过创建了一个新的野外3D姿势数据集——3DPW，包含超过51,000帧，这些数据集包含了在多种复杂场景中精确捕捉的3D人体姿势。这些数据集对于研究人类行为、运动分析、虚拟现实和增强现实等领域具有重要意义，所有重建的3D姿态、视频、IMU数据和3D模型都可供学术界使用，以促进相关领域的进一步发展。 关键词集中在人体姿态估计、视频处理、IMU融合、2D到3D转换、人体跟踪以及3D姿态数据集的构建。这个研究为今后的移动设备上的实时3D姿态估计技术开辟了新的可能性，并有望推动人机交互和计算机视觉领域的前沿进展。