PKU-MMD：推动连续多模态人体动作理解的大型基准

PKU-MMD是一个针对人体动作识别的重大贡献，它填补了现有3D人类活动数据集的一个关键空白。当前，大多数现有的动作识别数据集专注于对分段视频的动作分类任务，而忽视了连续多模态3D人类动作理解的需求。PKU-MMD作为一个大规模标准基准，特别适应于深度学习驱动的模型，它们通常对数据量有较高的需求。 PKU-MMD包含1076个长时间的视频序列，涵盖了51个动作类别，由66名参与者在三个不同的摄像头视角下完成。整个数据集拥有近20,000个动作实例，总计540万帧，提供了丰富的多模态数据来源，包括RGB（彩色图像）、深度、红外辐射和骨骼数据。这使得研究者能够探索和比较不同模态对于动作理解和检测的效果，这对于理解人类行为的复杂性和多样性至关重要。 为了全面评估方法的有效性，PKU-MMD支持两种场景下的实验，并引入了一种新的评价协议2D-AP（2D Average Precision）。这种协议可能涉及到将3D动作分解为2D空间中的关键帧或动作片段，从而为传统2D视觉方法提供一个公平的对比平台。通过这个大型数据集，研究人员可以深入研究动作检测的精度、鲁棒性和时间维度上的性能，从而推动未来该领域的技术发展。 PKU-MMD不仅是一个规模庞大的数据集，更是一个推动3D人体动作识别领域向前发展的催化剂，为深度学习模型提供了丰富的实践平台，有助于解决实际场景中复杂且连续的人体动作理解和分析问题。对于研究者和开发者来说，利用这个数据集进行研究将极大地促进人工智能在监控、运动分析和人机交互等领域的应用。