基于多种原始扫描数据的三维人脸建模

三维人脸建模

人脸模型

193 浏览量更新于2025-01-16 收藏 1.94MB PDF 举报

9408

基于多种原始扫描数据的三维人脸建模

密歇根州立大学计算机科学与工程系，

密歇根州东兰辛，邮编48824

{

liufeng6

，

tranluan

，

liuxm

}

@ msu.edu

摘要

传统

的

三维人脸模型使用线性子空间从单个数据库

的有限扫描中学习人脸的潜在从不同的

数据库中构

建大规模人脸模型的主要障碍为了解决这些问题，本

文提出了一个创新的框架，共同学习一个非线性的人

脸模型，从一组不同的原始

三维

扫描数据库，并建立

密集的点到点之间的对应关系扫描。具体来说，通过

将输入扫描视为无组织的点云，我们探索使用

PointNet

架构将点云转换为身份和表情特征表示，解码器网络

从中恢复其

人脸形状。此外，我们提出了一种弱监

督学习方法，不需要对应标签的扫描。我们证明了我

们提出的方法优越的密集对应和表示能力，其贡献的

单图像

三维

人脸重建。

介绍

鲁棒性和表现力的

人脸建模对于计算机视觉问题

是有价值的，

例如

. 三维重建[7，24，41，54]和人脸

识别 [42 ， 43 ， 58] ，以及计算机图形学问题，

例

如，

，角色动画[15，31]。最先进的3D人脸表示大多

采用线性变换[39，59，60]，

例如

，三维可变形模型

（3 DMM）或高阶张量推广[1，13，14，67]，

例如

混

合变形模型。然而，这些线性模型无法捕捉非线性变

形，如高频细节和极端的表达。最近，随着深度学习

的出现，已经有几次尝试使用深度神经网络进行非线

性数据驱动的面部建模[4，32，51，65]。

为了对3D脸部形状进行建模，需要大量的高质量

广泛使用的基于

DMM的BFM

2009

[48]是从仅

200

个

中性表情的受试者缺乏表达可能是一种...

图1：（a）现有方法和（b）我们提出的方法的3D人脸建模

之间的比较。稠密的点到点对应关系是现有三维人脸建模方

法的先决条件。我们提出的基于CNN的方法

直接

从

多个

人脸数据库的原始扫描中学习人脸模型，并在所有扫描之间

建立密集的点对点对应关系尽管扫描的分辨率和表达的多样

性，我们的模型可以表达细节的精细程度

用来自FaceWarehouse [14]或BD-3FE [70]的表达基进行

补偿。经过十多年的发展，几乎所有现有的模型使用

的训练对象都不到300个。如此小的训练集远远不足以

描述人脸的全部变化。直到最近，Booth

等人。

[11，

12]通过对9，663名受试者的中性扫描建立了第一个大

规模人脸模型（LSFM）不幸的是，只有得到的线性

3DMM基地被释放，而不是原来的扫描，我们不能充

分利用这个大数据库，探索不同的三维建模技术。

事实上，有许多公开可用的

人脸数据库，如图所

示1.一、然而，这些数据库通常是

单独

使用的，而不

是联合使用

来创建大规模的人脸模型。主要障碍在于

挑战

9409

估计原始扫描的密集点到点对应关系，这允许这些扫

描被组织在相同的向量空间中，从而实现作为一个整

体的分析。

密集的点对点对应是3D人脸建模[22，26]中最基本

的问题之一，其可以如[22]中所定义的：给定两个3D

人脸S和S

’

，对应应该满足三个视角：

S和S

′

具有相同的顶点数; iii）对应点位于相同的局部

拓扑三角形上下文中。现有的密集对应方法[3，7，

24，47]缺乏准确性，鲁棒性或自动化。此外，他们中

很少有人在

多个

数据库上取得成功。除了数据规模之

外，多个数据库的密集对应的挑战肯定会超过单个数

据库：扫描的质量通常不可避免地被伪影破坏（

例

如：

头发和眉毛）、缺失数据和离群值;面部形态由于

像嘴巴张开和闭合的表情而显著变化;不同的数据库在

分辨率上包含高可变性。

为了解决这些挑战，我们提出了一种新的编码器-解

码器，直接从多个不同的数据库的原始3D扫描学习人

脸模型，以及建立它们之间的密集对应我们的方法提

供：i）基于PointNet的编码器，其学习3D面部的非线

性身份和表情潜在表示;

ii)

对应解码器，其能够为具有各种表达式和分辨率的

扫描建立密集对应; iii）解码器可以插入到现有的基于

图像的编码器中用于

面部重建。具体来说，通过将

原始扫描视为无组织的点云，我们探索了PointNet [50]

的使用，用于将点云转换为身份和表情表示，解码器

从中恢复其3D人脸形状。

然而，由于缺乏

地面实况

密集对应，充分的监督往

往不可用。因此，我们提出了一种弱监督的方法与合

成和真实的3D扫描的混合物。具有拓扑基础事实的合

成数据有助于以监督的方式学习形状对应先验，这允

许我们结合顺序不变的损失函数，

例如。

，倒角距离

[21]，用于真实数据的无监督训练。同时，表面法线

损失保留了原始高频细节。对于正则化，我们使用边

长度损失以促使模板上的三角剖分拓扑和重构的点

云相同。最后，拉普拉斯正则化损失提高了具有极端

表情的嘴部区域的性能。上述策略允许网络从一大组

原始

D扫描数据库中学习，而不需要对对应关系进行

总之，这项工作的贡献包括：

我们提出了一个新的编码器-解码器框架，首次直接

从原始图像中联合学习人脸模型。

表1：来自扫描的3D面部建模的比较。“经验。”是指是否学

会表达潜在的空间，'Corr。是指训练时是否需要密集对应的

扫描。

方法

数据集

Lin./

非

受试者

数量

Exp.

Corr.

BFM [48]

BFM

线性

200

没有

是的

GPMMs [45]

BFM

线性

200

是的

LSFM [11

，

12]

LSFM

线性

九千

六

百

六十

三

没有

是的

[第19话]

LYHM

线性

一千

二

百一十

二

没有

是的

Multil.模型[14]

FWH

线性

150

是的

火焰

[39]

凯撒

D3DFACS

线性

三千

八百

是的

VAE [4]

专有

农林

没有

是的

MeshAE [51]

昏迷

农林

没有

是的

Jiang

等

[32

个

]

FWH

农林

150

是的

提出

7个数据

集

农林

一千

五

百五十

二

是的

没有

扫描多个3D人脸数据库，并在所有扫描之间建立密集

的对应关系。

⑶我们设计了一个弱监督学习方法和几个有效的损

失函数的建议框架

其可以利用来自合成数据的已知对应性并且以

无监督

的

方式放松顶点对应性的倒角距离损失。

我们证明了我们的非线性模型在保留3D扫描的高频

细节方面的优越性，提供了

紧凑的潜在表示，以及单图像三维人脸重建的应用。

相关工作

三维人脸建模。传统的3DMM [7，8]通过PCA从有

限的数据中建模几何变化。 Paysan

等人

[48]构建BFM

2009，这是一个公开可用的中性表情变形模型，它被

扩展到情感面部形状[2]。Gerig

等人。

[24，45]提出了

高斯过程可变形模型（ GPMM ）并发布了新的

BFM2017。面部表情也可以用高阶概括来表示。Vlasic

等人。

[67]使用基于多线性张量的模型来联合表示身

份和表达变化。FaceWarehouse（FWH）[14]是一种流

行的多线性3D人脸模型。最近的FLAME模型[39]还对

头部旋转进行了建模。然而，所有这些工作都采用了

线性空间，这是过度约束，可能无法很好地代表高频

变形。

深度模型已成功用于

面部拟合，其从

图像恢

复3D形状[20，33然而，在这些作品中，线性模型是先

验学习的，并在拟合过程中固定，不像我们的非线性

模型是在训练过程中学习的。

相比之下，应用CNN来学习更强大的

D人脸模型在

很大程度上被忽视了。最近，Tran

等人。

[63，64]学

习回归

3DMM

表示以及基于解码器的模型。SfSNet [57]

从2D图像而不是3D扫描中学习面部的形状，轮廓和照

明分解。Bagautdinov等人[4]通过VAE直接从UV贴图

学习非线性面部几何表示。Ranjan等人[51]第51话：一

个人的幸福

9410

图2：我们的三维人脸建模方法概述。合成数据和真实数据的混合用于训练具有监督（绿色）和非监督（红色）损失的编码器

解码器网络。我们的网络可以用于三维密集对应和三维人脸重建。

al mesh autocoder来学习形状和表达的非线性变化。请

注意，[4，51]使用不超过20个受试者进行训练，并将

3D数据编码为

单个

潜在向量。Jiang等[32]扩展[51]将

3D面部分解为身份和表情部分。与我们的工作不同，

这三种方法在训练中需要密集对应的3D扫描我们在

Tab中总结了比较。1.一、

三维面密集对应。作为一个基本的形状分析任务，

对应关系已经在文献中得到了很好的研究。形状对

应，也

就是。

配准、对准或简单地匹配[66]，找到两

个表面之间映射的粒度变化很大，从语义部分[28，

53]，组[17]到点[38]。在这个范围内，三维人脸的点

到点对应是最具挑战性和最严格的。在原始的

3DMM[7]中，3D面部密集对应是用光流的正则化形式

作为圆柱形图像配准任务来解决的这仅在受试者具有

相似种族和年龄的受限环境中有效。为了克服这一限

制，Patel和Smith [47]使用薄板样条（TPS）[10]扭曲

将扫描配准到模板中。或者，Amberget al. [3]提出了

一种最优步长的非刚性迭代最近点配准算法. Booth

等

人

[11，12]在学习3 DMM时定量比较这三种流行的密集

对应技术。还提出了其他扩展[22，24，25，71]。

许多算法[1，9，27]将密集对应视为

到

模型拟

合问题。例如，在一个示例中，[9]提出了一种用于3D

面部对应的多线性分组模型，以解耦身份和表情变

化。Abre-vayaidee

等人。

[1]提出了一种3D人脸自动编

码器，具有基于CNN的深度图像编码器和多线性模型

作为3D人脸拟合的解码器然而，这些方法需要具有初

始对应关系的3D面部作为输入，并且需要具有初始对

应关系的3D面部作为输入。

在模型所表示的约束空间中考虑响应问题。虽然有见

地和有用的，鸡和蛋的问题仍然没有解决[22]。

总而言之，先前的工作分别解决了3D人脸建模和

人脸密集对应的问题。然而，密集的对应关系是建

模的先决条件。如果对应关系有误差，它们会累积并

传播到三维建模中.因此，这两个问题是高度相关的，

我们的框架首次同时处理它们。

该方法

本节首先介绍了一种具有潜在表示的复合三维人脸

形状模型。然后，我们提出了混合训练数据和我们的

编码器-解码器网络。最后，我们提供了实现细节和面

对重建推理。图2描述了我们的方法的概述

3.1.

问题公式化

在本文中，输出的三维人脸扫描表示为点云。每个

密集对齐

的3D面

S∈

通过连接其n

个

顶点坐标表示

为

= [

，

;

，

;

· · ·

;

，

]

。

（

一）

我们假设三维人脸形状由身份和表情变形部分组成

+∆

Exp

，

（

）

其中

是身份形状，

ΔS

Exp

是表达差异。由于身份和表

达空间是独立的，我们进一步假设这两个部分可以通过

各自的潜在表示f

和

Exp

来描述。

具体地说，如图在图2中，我们使用两个网络来解

码形状分量S

和Δ S

Exp

。

9411

表2：来自相关数据库的训练数据的总结。

数据库

受试

者数

量

#Neu.

样本数

量

失效

日期

样本数

量

[70]第70话

100

一千

两

千

四百

两

千

四

百

[69]第六十九话

101

一千零

一十

606

二千

四

百二十

四

博斯普鲁斯海

峡[56]

105

299

一千

四

百九十

五

两

千

六百

零三

两

千

六

百零三

FRGC [49]

577

三千

三百

零八

六千

六

百一十

六

一千

六百

四十

二

一千

六

百四十

二

德克萨斯州-3D

[30]

116

813

一千

六

百二十

六

336

MICC [5]

103

515

−

BJUT-

D [6]

500

五千

−

真实数据

一千

五百

五十

二

五二

二四

十七

、

二百六

十二

七千

五百

八十

七

九千

四

百零五

合成数据

一千

五百

一千

五百

一万五

九千

对应的潜在表征。形式上，给定a

原始三维面集

{

raw

}

，我们学习编码器

：

i i

raw

→

，

估计身份和表情形状参数

∈

，

Exp

∈

Exp

的

f Exp

，身份形状解码器

：

→

，以及

将形状参数解码为

形状估计

S Φ

的表情形状解码

器

Exp

：

Exp

→

Exp

。

最近在深度学习中对3D人脸形状进行编码的尝试包

括点云、深度图[1]、基于UV图的网格[4]和网格表面

[32，51]。点云是Kinect、iPhone的面部ID和结构光扫

描仪使用的标准和流行的3D面部采集格式。因此，我

们设计了一个深度编码器-解码器框架，直接将无组织

的点集作为输入和输出密集对应的

形状。在提供算

法细节之前，我们首先介绍了用于弱监督学习的真实

和合成训练

3.2.

训练数据

为了学习一个鲁棒的和高度可变的三维人脸模型，

我们构建了七个

公开可用

的三维人脸模型的训练数据

图3：八个三维人脸数据库中的每个数据库中的一个样本. 他

们表现出各种各样的表情和决心。

图4：预处理。

(1)

基于渲染图像的自动3

地标检测。

(2)

在

标志点和预定义模板的引导下，3D扫描进行对齐和裁剪

在去除舌头上的点之后，合成示例包含53，215个对于

合成示例，我们使用与模板相同的拓扑三角剖分来裁

剪它们的面部区域，执行相同的归一化，并将具有地

面真实对应的结果3D面部集表示为

}

，其顶点数也是

。

我

具有各种身份、年龄、种族

表达式和分辨率，列在选项卡中。二、然而，对于这

些真实的扫描，在密集对应上没有相关的地面实况。

最近，发布了一些3D数据库，例如

4DFAB

[16]，Multi-

Dim [40]和UHDB 3D [61，68]。虽然包括它们可能会

增加训练数据的量，但它们不会提供七个数据库之外

的新类型的我们没有使用Bosphorus数据库中的遮挡和

姿态（自遮挡）数据，因为极端遮挡或缺失数据会破

坏

人脸的语义对应一致性。对于

BU4DFE

数据库，

我们手动选择每个受试者一个中性和

个为了保持真

实数据和合成数据之间的平衡，我们使用BFM

2009

合

成了1

，

500个受试者的3D人脸，并使用3DDFA [73]表

达模型为每个受试者生成6个随机表达。图3显示了八

个数据库中每个数据库的一个示例扫描。

预处理和数据扩充如图所示。4.首先从BFM平均形状

中手工裁剪出一个由n=29

，

495个顶点和58

，

366个三

角形组成的三维人脸拓扑模板。然后，我们将模板归一

化为单位球体。原始

剩余15页未读，继续阅读

cpongm

粉丝: 6

基于多种原始扫描数据的三维人脸建模

基于照片的三维人脸建模

一种基于三维人脸数据增强的方法zip

三维人脸建模与应用

基于GPU的三维人脸数据动态线性快速修复.pdf

三维人脸模型构建和显示

Matlab 三维ren lian识别系统 V 4.3.zip

电信设备-头罩升降式人物头像三维模型化信息采集装置.zip

三维人脸识别技术的最新进展与挑战

3D人脸处理：建模、分析与合成

基于弱监督学习的3D人脸重建技术及Python实现

最新资源