深度学习驱动的人体骨骼关键点检测：Top-Down与Bottom-Up方法详解

本文是一篇关于人体骨骼关键点检测的综述，由SIGAI特邀作者东尼大佬撰写于2018年6月5日。随着深度学习技术的飞速发展，人体骨骼关键点检测在计算机视觉中的重要性日益凸显，它对于描绘人体姿态、预测行为在动作分类、异常行为检测、自动驾驶等多个领域起着基础性作用。 人体骨骼关键点检测，也称为Pose Estimation，主要目标是确定人体中的关键点，如关节和五官，这些关键点信息能够提供人体姿态的精确描述。在计算机视觉的应用中，人体骨骼关键点检测被广泛用于行为识别、人物跟踪、步态识别等领域，尤其是在智能视频监控、病人监护系统、人机交互、虚拟现实、智能家居和智能安防等领域发挥着关键作用。 然而，人体骨骼检测面临诸多挑战，如人体的柔韧性导致的姿态多样性、关键点的可见性受服装、姿势、视角影响、遮挡和环境条件（如光照、雾气）的变化，以及2D和3D空间中视觉差异（如foreshortening）等。这使得该问题在计算机视觉研究中成为一个极具挑战性的课题。 文章中提到的数据集对于评估和推动研究进展至关重要。LSP（Leeds Sports Pose Dataset），早期的数据集包含14个关键点，约2000个样本，已逐渐被淘汰；FLIC（Frames Labeled In Cinema）则有9个关键点和2万个样本，同样过时；MPII（MPII Human Pose Dataset）是单人/多人检测数据集，包含16个关键点和25000个样本；而MSCOCO（Microsoft Common Objects in Context）数据集则针对多人检测，包含17个关键点，样本数量超过30万，是当前研究中更为活跃的数据集。 本文重点介绍了基于深度学习的两种人体骨骼关键点检测方法：自上而下的Top-Down方法和自下而上的Bottom-Up方法。Top-Down方法通常从整体图像开始，首先定位整个人体，然后逐步细化到各个关键点，而Bottom-Up方法则是先寻找局部特征，再组合成完整的人体模型。这两种方法各有优缺点，是当前深度学习在人体骨骼检测领域的研究热点。