实时多人姿态跟踪：关键点驱动的高效方法KeyTrack

本文档标题为"15 Keypoints Is All You Need",发表于计算机视觉与模式识别（CVPR）会议，由Michael Snower、Asim Kadav、Farley Lai和Hans Peter Graf等来自布朗大学和NEC Labs America的研究者共同完成。该研究专注于多个人体姿态跟踪问题，这是一个关键任务，目标是识别视频中独特的人体姿态实例，并在不同帧之间进行准确的时空匹配。 现有的多人体姿态跟踪方法存在两大挑战：首先，它们难以精确地建模姿态之间的时空关系，导致计算效率低下；其次，这些方法通常在线实时计算轨迹，对计算资源的需求较高。为了克服这些问题，研究者提出了名为KeyTrack的高效多人体姿态跟踪算法。KeyTrack的独特之处在于，它完全依赖于关键点信息来追踪人体，无需使用RGB颜色信息或光流数据，从而实现实时性能。 KeyTrack的核心技术包括一个名为Pose Entailment的方法，它的工作流程是：从视频的不同帧中抽取一对姿态估计，然后通过将这些姿态表示进行 tokenization，输入到基于Transformer的网络中。网络的任务是对每一组姿态进行二分类，判断它们是否在时间上相互关联。这种方法显著简化了跟踪过程，仅依赖于关键点的相对位置和运动信息。 此外，研究团队还改进了他们的上采样姿态估计算法，引入了一种新颖的、参数免费的关键点细化技术。这一技术通过对原始关键点进行优化，提高了跟踪精度，减少了错误匹配的可能性，从而进一步提升了整体性能。 这篇论文的主要贡献在于提出了一种创新的多人体姿态跟踪框架，利用关键点信息实现了高效、实时且准确的跟踪，同时展示了如何结合Transformer架构和关键点细化技术来提升姿态识别和匹配的准确性。这对于计算机视觉领域，特别是在实时应用中处理大规模多人场景具有重要意义。