RigNeRF：可控的3D人像渲染

PDF格式 | 21.18MB | 更新于2025-01-16 | 176 浏览量 | 举报

20364

RigNeRF：完全可控的神经3D肖像

ShahRukhAthar*Stony

Brook大学

sathar@cs.stonybrook.edu

ZexiangXu

Adobe研究部门

zexu@adobe.com

KalyanSunkavalli

Adobe研究部门

sunkaval@adobe.com

EliShechtman

Adobe研究部门

elishe@adobe.com

ZhixinShu

Adobe研究部门

zshu@adobe.com

（a）姿势控制（b）表情控制（c）新视角合成（d）基于视频的新视角合成

图1.

我们的方法RigNeRF使用3DMM引导的可变形神经辐射场实现了对人像的头部姿势和面部表情的完全控制。通过训练一个短肖像视频，RigN

eRF可以以任意的（a）头部姿势和（b）面部表情重新动画主体。它还允许对3D场景的可控视角（c）。自然地，RigNeRF可以用于将驱动视

频序列中的面部动画忠实地转移到3D肖像上（d）。

摘要

体积神经渲染方法，如神经辐射场（NeRFs），已经实现了

逼真的新视角合成。然而，在标准形式下，NeRFs不支持在

场景中编辑对象，如人头。在这项工作中，我们提出了Rig

NeRF，一个超越新视角合成的系统，可以从单个肖像视频

中学习到头部姿势和面部表情的完全控制。我们使用由3D

可变形人脸模型（3DMM）引导的变形场来建模头部姿势

和面部表情的变化。3DMM有效地作为RigNeRF的先验，

学习仅预测与3DMM变形的残差，并允许我们渲染输入序

列中不存在的新（刚性）姿势和（非刚性）表情。仅使用智

能手机拍摄的主体短视频进行训练，我们展示了我们的方法

在肖像场景的自由视角合成方面的有效性，同时明确了头部

姿势和

表情控制。

1.引言

计算机图形学和计算机视觉界一直以来都在研究逼真的人像

编辑。在拍摄后能够控制肖像的某些属性，如3D视角、光照

、头部姿势，甚至面部表情，是非常有价值的。它在增强现

实/虚拟现实应用中具有巨大潜力，其中3D沉浸式体验非常

有价值。然而，这是一项具有挑战性的任务：在自然场景中

建模和渲染逼真的人像，并完全控制3D视角、面部表情和头

部姿势，尽管长期以来一直存在兴趣，并且最近的研究也有

所增加。3D可变形人脸模型（3DMMs）[4]是最早尝试实现

完全可控的3D人像表达的方法之一。

*在Adobe研究部门实习期间完成的工作。

下载后可阅读完整内容，剩余9页未读，立即下载

cpongm

粉丝: 6

RigNeRF：可控的3D人像渲染

《数码摄影入门与进阶》课件：第6章 人像摄影.ppt

Three.js 3D项目（源码+项目说明）（包含冰墩墩、数字城市、3D人像等一些3D趣味演示页面）.zip

Portrait-Mode:网络摄像头的人像模式

计算机视觉 Project2：图像滤波与人像美颜

mirrimGallery:mirrim的3d肖像馆

AI绘画教程：Stable Diffusion中如何控制人像的姿势？

Semantic Human Matting模型：训练完毕的人像抠图技术

fs-person-portrait：打造高质量人像Web组件

PyTorch深度学习模型：***人像识别与跟踪

PS中山装西服工装模板：照片加工与人像精修

最新资源

《数码摄影入门与进阶》课件：第6章人像摄影.ppt