单目视觉全身运动捕捉：3D人体动态重建技术

"单目全捕捉技术是一种创新的3D人体运动捕捉方法，它首次实现了从单个视图输入中捕获目标人物的全身3D运动。这种方法由卡内基梅隆大学的研究团队开发，利用无标记的方式，无需在人体上安装反射标记，简化了传统运动捕捉的复杂性。" 在摘要中，研究团队提出了一种名为三维部分方向字段（POFs）的有效表示法，用于编码3D方向，涵盖了身体、面部和手指的运动。POFs在共同的2D图像空间中预测，由全卷积神经网络（CNN）生成，并结合了联合置信度图。他们构建了一个新的3D人体运动数据集，包含40个受试者的多样全身运动，用于训练CNN。利用3D可变形人体模型和姿势、形状的先验知识，从CNN输出中重建全身姿势。 此外，该方法还包括一种基于纹理的跟踪技术，确保运动捕捉结果在时间上的一致性。通过广泛的定量评估，与现有针对身体和手部的特定方法进行对比，并分析了不同摄像机视角和人体姿势变化下的性能。这表明，尽管单目图像中的深度模糊性构成挑战，但该方法能有效地处理复杂的野外视频场景，从而为视觉效果、机器人、运动分析等多个领域提供便捷的3D人体运动数据获取途径。 研究网站提供了更多详情：http://domedb.perception.cs.cmu.edu/mtc 这项工作为单目视图中的3D人体运动捕捉开辟了新的可能性，有望扩大3D运动数据的获取范围，促进相关领域的研究和应用。通过学习和运用人体运动的先验知识，该方法成功地克服了单目图像中难以确定深度的难题，使得从互联网视频中提取大规模3D人体运动数据成为可能。