没有合适的资源?快使用搜索试试~ 我知道了~
首页Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields ∗中文版
Realtime Multi-Person 2D Pose Estimation using Part Affinity Fie...
需积分: 35 25 下载量 193 浏览量
更新于2023-03-16
评论 2
收藏 1.5MB PDF 举报
Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields 中文版,帮助想研究此论文的朋友节省时间
资源详情
资源评论
资源推荐
1
Adstract
我们提出了一种有效检测图像中多个人的 2D 姿势的方法。 该方法使用非
参数表示(我们称之为部分相似性字段(PAF))来学习将身体部位与图像中的个
体相关联。 该体系结构对全局上下文进行编码,从而实现了一种贪婪的 bottom-
up 的解析步骤,无论图像中的人数如何,都能保持高精度,同时实现实时性能。
该体系结构旨在通过同一序列预测过程的两个分支共同学习部分位置及其关联。
我们的方法首次应用于首席 COCO 2016 关键点挑战,并且在性能和效率方面均
大大超过了 MPII MultiPerson 基准测试的先前成果。
1.Introduction
人体二维姿态估计 - 定位解剖关键点或“部位”的问题 - 主要集中在寻找个
体的身体部位[8,4,3,21,33,13,25,31,6,24]。 推断图像中多个人的姿势,特别是社
会参与的人,提出了一系列独特的挑战。 首先,每个图像可能包含可能出现在
任何位置或比例的未知数量的人。 其次,由于接触,咬合和肢体关节,人与人
之间的相互作用导致复杂的空间干扰,使得关联部分变得困难。 第三,运行时
复杂度随着图像中人数的增加而增加,使实时性能成为一项挑战。
一种常用的方法[23,9,27,12,19]是使用 a person detector 并为每次检测执行
单人姿态估计。 这些 top-down 的方法直接利用现有的单人姿势估计技术
[17,31,18,28,29,7,30,5,6,20],但遭受早期承诺:如果人员探测器失败 - 作为 当
人们靠近时很容易做到 - 无法追求恢复。 此外,这些 top-down 方法的运行时
间与人数成正比:对于每次检测,运行 a single-person pose estimator,并且人
数越多,计算成本越高。相比之下,bottom-up 的方法具有吸引力,因为它们提
供了早期承诺的稳健性,并有可能将运行时复杂度与图像中的人数分开。然而,
bottom-up 的方法并不直接使用来自其他身体部位和其他人的全局情境暗示。在
实践中,以前的 bottom-up 的方法[22,11]并不保留效率的增益,因为最终的解析
需要昂贵的全局推断。例如,Pishchulin 等人的开创性工作。 [22]提出了一种
bottom-up 的方法,共同标记零件检测候选人并将其与个人相关联。然而,在完
全连通的图上求解整数线性规划问题是一个 NP-hard,平均处理时间大约为几小
时。 Insafutdinov 等人。 [11]基于 ResNet [10]和基于 ResNet [10]的更强的部分
检测器以及与图像相关的成对得分,并大大改善了运行时间,但该方法仍然每个
2
图像需要几分钟的时间,对部分提案数量有限制。 [11]中使用的成对表示很难
精确回归,因此需要单独的逻辑回归。
在本文中,我们提出了一种有效的方法,用于多个公共基准的最新准确度的
多人姿态估计。 我们通过 Part Affinity Fields(PAF)提出了第一个自下而上的
关联分数表示法,它是一组二维矢量字段,用于对图像域上肢体的位置和方向进
行编码。 我们证明,同时推断这些检测和关联的自下而上的表示足够好地编码
全局上下文,以允许贪婪的分析以计算成本的一小部分实现高质量结果。 我们
公开发布了完整重现性的代码,为多人 2D 姿态检测提供了第一个实时系统。
图 1.顶部:多人姿势估计。 属于同一人的身体部位被链接。 左下:与连接
右肘和右腕的肢体对应的部分亲和场(PAF)。 颜色编码方向。 右下:放大预测
的 PAF 视图。 在场中的每个像素处,2D 矢量编码肢体的位置和方向。
图 2.总体管道。 我们的方法将整个图像作为双分支 CNN 的输入,以联合预
测(b)中所示的身体部分检测的置信度图,以及(c)中所示的部分关联的部分
亲和性字段。 解析步骤执行一组二分配匹配以关联身体部位候选(d)。 我们最
后将它们组装成图像(e)中所有人的全身姿势。
3
2.Method
图 2 说明了我们方法的整个流程。 该系统将大小为 w×h 的彩色图像(图
2a)作为输入,并生成输出图像中每个人的解剖关键点的 2D 位置(图 2e)。首
先,前馈网络同时预测身体部位位置(图 2b)的一组二维置信度图 S 和部分亲
和度的一组二维矢量场 L,其编码部分之间的关联程度(图 2c)。集合 S =(S
1
,
S
2
,...,S
J
)具有 J 个置信度图,每个部分一个,其中 S
j
∈R
w×h
,j∈{1…Ĵ}。 集合
L =(L
1
,L
2
,...,L
C
)具有 C 个向量场,每个 limb
1
一个,其中 L c∈R
w×h×2
,
c∈{1… C},Lc 中的每个图像位置编码一个 2D 矢量(如图 1 所示)。 最后,通
过贪心推理(图 2d)分析置信度图和亲和度字段,以输出图像中所有人的 2D 关
键点。
图 3.两分支多级 CNN 的架构。 第一个分支中的每个阶段都预测置信度 S
t
,
第二个分支中的每个阶段都预测 PAFs L
t
。在每个阶段之后,将来自两个分支的
预测与图像特征一起连接到下一个阶段
2.1 同时检测和关联
我们的架构,如图 3 所示,同时预测编码部分到部分关联的检测置信度图和
亲和性字段。 网络分为两个分支:以米色显示的顶部分支,预测置信图,以蓝
色显示的底部分支预测亲和性字段。 每个分支都是一个迭代预测体系结构,遵
循 Wei 等人。 [31],它提炼了连续阶段的预测,t∈{1,……. ,T},并在每个单
位进行中间监督。
图像首先由卷积网络分析(由 VGG-19 的前 10 层初始化[26]并进行微调),
生成一组输入到每个分支第一阶段的特征映射 F. 在第一阶段,网络产生一组检
剩余14页未读,继续阅读
呵呵呵困困了
- 粉丝: 0
- 资源: 2
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- ExcelVBA中的Range和Cells用法说明.pdf
- 基于单片机的电梯控制模型设计.doc
- 主成分分析和因子分析.pptx
- 共享笔记服务系统论文.doc
- 基于数据治理体系的数据中台实践分享.pptx
- 变压器的铭牌和额定值.pptx
- 计算机网络课程设计报告--用winsock设计Ping应用程序.doc
- 高电压技术课件:第03章 液体和固体介质的电气特性.pdf
- Oracle商务智能精华介绍.pptx
- 基于单片机的输液滴速控制系统设计文档.doc
- dw考试题 5套.pdf
- 学生档案管理系统详细设计说明书.doc
- 操作系统PPT课件.pptx
- 智慧路边停车管理系统方案.pptx
- 【企业内控系列】企业内部控制之人力资源管理控制(17页).doc
- 温度传感器分类与特点.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0