没有合适的资源?快使用搜索试试~ 我知道了~
首页单目视觉全身运动捕捉:3D人体动态重建技术
单目视觉全身运动捕捉:3D人体动态重建技术
0 下载量 118 浏览量
更新于2024-06-20
收藏 2.4MB PDF 举报
"单目全捕捉技术是一种创新的3D人体运动捕捉方法,它首次实现了从单个视图输入中捕获目标人物的全身3D运动。这种方法由卡内基梅隆大学的研究团队开发,利用无标记的方式,无需在人体上安装反射标记,简化了传统运动捕捉的复杂性。" 在摘要中,研究团队提出了一种名为三维部分方向字段(POFs)的有效表示法,用于编码3D方向,涵盖了身体、面部和手指的运动。POFs在共同的2D图像空间中预测,由全卷积神经网络(CNN)生成,并结合了联合置信度图。他们构建了一个新的3D人体运动数据集,包含40个受试者的多样全身运动,用于训练CNN。利用3D可变形人体模型和姿势、形状的先验知识,从CNN输出中重建全身姿势。 此外,该方法还包括一种基于纹理的跟踪技术,确保运动捕捉结果在时间上的一致性。通过广泛的定量评估,与现有针对身体和手部的特定方法进行对比,并分析了不同摄像机视角和人体姿势变化下的性能。这表明,尽管单目图像中的深度模糊性构成挑战,但该方法能有效地处理复杂的野外视频场景,从而为视觉效果、机器人、运动分析等多个领域提供便捷的3D人体运动数据获取途径。 研究网站提供了更多详情:http://domedb.perception.cs.cmu.edu/mtc 这项工作为单目视图中的3D人体运动捕捉开辟了新的可能性,有望扩大3D运动数据的获取范围,促进相关领域的研究和应用。通过学习和运用人体运动的先验知识,该方法成功地克服了单目图像中难以确定深度的难题,使得从互联网视频中提取大规模3D人体运动数据成为可能。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/88445867/bg3.jpg)
10967
i
=1
i
=1
i
=1
i
=1
我
i
=1
模型拟合
(第
5
节)
美国
有线电
视新闻
零件方向字段L
联合置信度图
S
模型参数
表
输入图像
I
i
可变形人体模型
Input Image
I
i
−
1
图2:我们的方法概述我们的方法由CNN部分,网格拟合部分和网格跟踪部分组成
以获得更好的野外性能。一些工作[41,48,67]建议
使用顺序深度作为对
对于每一帧。给定一个
N
帧视频序列,我们的方法产
生三维人体的参数
CNN训练 中引入了额外的损失函数,
模型,包括身体运动参数{
θ
i
}
N
,面部
[73,18]对预测的骨长度实施约束,
表达式参数{
σ
i
}
N
,以及全局翻译页-
关节角度一些工作[27,70]使用生成副词-
参数
{
t
i
}
N
. 身体运动参数θ包括
sarial网络(GAN)利用人体姿势先验,
数据驱动方式。
单目手部姿势估计:手姿态估计通常被认为是一个
独立的研究领域从身体姿态估计。大多数以前的工作
是 基 于 深 度 图 像 作 为 输 入 [40 ,54 , 49 , 52 , 65 ,
71]。最近已经引入了基于RGB的方法,用于2D关键点
估计[51]和3D姿态估计[74,12,23]。
3D可变形人体模型:3D可变形模型通常用于无标记
身体[6,30,43]和面部运动捕获[8,13],以将重建输
出限制在模型定义的形状和运动空间。尽管输出受到
模型表达能力的限制(例如,一些身体模型不能表示
衣服,一些面部模型不能表示皱纹),它们大大简化
了3D运动捕捉问题。我们可以根据可用的测量结果,
通 过 优 化 成 本 函 数 的 模 型 参 数 来 拟 合 模 型 最 近 ,
Romero等人提出了一种可以表示人体和手的 [47]亚当
模型是由Joo等人引入的。[26]为了实现全身运动捕获
(面部、身体和手),我们采用
手和脚的运动,连同全局旋转,
身体我们的方法还估计了序列中所有帧之间共享的形
状系数
φ
,而
θ
,
σ
和
t
分别为每个帧估计。这里,输出
参数由3D可变形人体模型Adam [26]定义然而,我们的
方法也可以应用于仅捕获总运动的子集(例如,仅使
用SMPL模型的身体运动[30]或仅通过[26]中弗兰肯斯
坦的单独手模型的手运动)。我们将所有参数(
φ
,
θ
,
σ
,
t
)的集合表示为
φ
,并将第
i
帧的结果表示为
φ
i
。
我们的方法分为3个阶段,如图所示。二、在第一
阶段,将每幅图像输入卷积神经网络(CNN),获得
身体部位的联合置信度图和3D方向信息,我们称之在
第二阶段,我们通过在CNN产生的图像测量上拟合可
变形的人体网格模型[26]来估计全身姿势。我们利用
嵌入在人体模型中的先验信息,该阶段独立地产生每
个帧的3D姿态,由以下参数表示:
单目完全捕获。
可变形模型
N
. 在第三阶段,我们-
人体跟踪的光度一致性:纹理的光度一致性已用于
各种先前的工作中,以提高身体跟踪[45]和面部跟踪
[61,62]的鲁棒性。一些工作[16,10]还使用光流来对
齐渲染的3D人体模型。在这项工作中,我们提高了时
间的一致性,我们的输出的照片一致性项,显着减少
抖动。据我们所知,这
3.
方法概述
我们的方法将从单目RGB相机捕获单个人的运动的
图像序列作为输入,并以可变形的3D人体模型的形式
输出目标人的3D全身运动(包括身体,面部,手和脚
的运动)[30,26]
增强跨帧的时间一致性,
减少运动抖动。根据第二阶段的拟合结果,我们定
义了一个代价函数,以保证网格模型纹理域中的光
度一致性这一阶段产生精细的模型参数
{N
+
}
N
。这个
阶段对于获得逼真的身体运动捕捉输出至关重要
4.
预测3D零件方向场
3D部件取向场(POF)对铰接结构的身体部分的3D
取向进行编码(例如,四肢、躯干和手指)。在最近
的文献[31]中使用了相同我们以一组“(父,子)”对1
的形式预定义人类骨架层次结构S一个刚性的身体部分
连接-
[1]
参见附录,了解我们的身体和手骨架定义。
型号参数
+
我
网格跟踪(第
六、
i−
1
型号参数
+
剩余14页未读,继续阅读
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- AirKiss技术详解:无线传递信息与智能家居连接
- Hibernate主键生成策略详解
- 操作系统实验:位示图法管理磁盘空闲空间
- JSON详解:数据交换的主流格式
- Win7安装Ubuntu双系统详细指南
- FPGA内部结构与工作原理探索
- 信用评分模型解析:WOE、IV与ROC
- 使用LVS+Keepalived构建高可用负载均衡集群
- 微信小程序驱动餐饮与服装业创新转型:便捷管理与低成本优势
- 机器学习入门指南:从基础到进阶
- 解决Win7 IIS配置错误500.22与0x80070032
- SQL-DFS:优化HDFS小文件存储的解决方案
- Hadoop、Hbase、Spark环境部署与主机配置详解
- Kisso:加密会话Cookie实现的单点登录SSO
- OpenCV读取与拼接多幅图像教程
- QT实战:轻松生成与解析JSON数据
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)