高保真三维人脸形变模型的学习与优化

1Tewari等人[39]第三十九届一种高保真非线性三维人脸形变模型美国密歇根州立大学计算机科学与工程系，密歇根州东兰辛，邮编48824{transluan，liufeng6，liuxm}@ msu.edu输入重建反照率形状图1：随着学习目标和网络架构的新增强，我们提出的非线性3D变形模型首次通过直接估计模型潜在表示来回归高保真面部形状（几何形状）和皮肤反射率（皮肤反射率）摘要将3D变形基函数嵌入深度神经网络为具有更好表示能力的模型开辟了巨大潜力。然而，为了忠实地从图像集合中学习这些模型，需要强正则化来克服学习过程中涉及的模糊性这严重阻碍了我们学习高逼真度的人脸模型，而这些人脸模型是以高细节水平表示人脸图像所必需的。为了解决这个问题，本文提出了一种新的方法来学习额外的prox- ies作为侧步强正则化的手段，以及利用，以促进详细的形状/轮廓。为了简化学习，我们还建议使用双通道网络，这是一种精心设计的架构，可以在全局和局部模型之间实现平衡。通过对非线性三维变形模型在学习目标和网络结构上的改进，我们提出了一种比线性模型或先前的非线性模型更能捕捉到更高层次细节的模型.因此，我们的模型通过单独优化潜在表示来实现3D人脸重建的最先进性能项目网址：http://cvlab.cse.msu.edu/1. 介绍计算机视觉和计算机图形学领域对3D人脸重建的长期问题有很大的兴趣，3D人脸重建是从一组或一张照片中创建人脸的详细3D模型这个问题对于许多应用都很重要，包括但不限于人脸识别[1，26，50]，视频编辑[12，41]，化身操纵木偶[8，10，51]或虚拟化妆[13，24]。最近，大量的注意力被吸引到这个问题最简单但最具挑战性的形式上：单目人脸重建从一张2D照片推断3D人脸网格是困难的和不适定的，因为图像形成过程将多个面部组件（形状、面部轮廓）以及环境（照明）混合成每个像素的单一颜色。为了更好地处理模糊性，必须依赖于附加的先验假设，诸如约束面位于受限子空间中，例如，3D可变形模型（3DMM）[6]从一个小型的3D扫描集合中学习。许多最先进的方法，无论是基于学习的[33，34]还是基于优化的面部重建[5，14]，都严重依赖于这种先验。虽然产生了令人印象深刻的结果，这些算法并没有推广到底层模型的限制低维子空间之外因此，重建的3D面部可以1126我们1127无法恢复重要的面部特征，包含不正确的细节或未与输入面部对齐。最近，随着神经网络的蓬勃发展，一些尝试试图使用深度神经网络来取代3个DMM基函数[39，44]。这增加了模型表示能力，并直接从不受约束的2D图像中学习模型，以更好地捕捉野外变化。然而，即使具有更好的表示能力，这些模型仍然依赖于许多约束[39]来规范模型学习。因此，他们的目标涉及全局形状的强正则化与全局形状的强正则化的冲突要求。用于捕获更高级别细节的弱正则化。例如，在一个示例中，为了忠实地分离阴影和阴影，通常假设阴影是分段常数[22，36]，这阻止了学习具有高细节级别的阴影。在这项工作中，除了学习shape和prongdo之外，我们还建议学习额外的shape和prongdo代理，我们可以在其上执行正则化。这也允许我们灵活地将真实形状与强正则化的代理配对以学习详细形状，反之亦然。因此，每个元素都可以高保真地学习，而不会牺牲其他元素另一方面，许多3DMM模型由于参数化而不能表示小细节。许多全局三维人脸参数化方法已经被提出来克服与单图像人脸拟合相关的模糊性，然而，因为它们被设计为一次对整个面部建模，所以使用它们来表示小细节是有挑战性的。同时，基于局部的模型可以比全局方法更具表现力，但代价是不太受约束以真实地表示人脸。我们建议使用双通道网络，以提供更好的平衡之间的全球和本地为基础的模型。从潜在空间，有一个全球性的路径集中在全球的人脸结构的推理和多个局部路径生成不同的语义面部部位的细节。然后，它们的相应特征被融合在一起，用于最终形状和轮廓的连续过程生成该网络还有助于在每个面部部分的局部路径中指定滤波器，这既提高了质量又节省了计算能力。在本文中，我们改进了非线性三维人脸，在学习目标和体系结构方面的phable模型：• 我们通过学习形状和适当的正则化代理来解决冲突的目标问题• 新的配对方案允许学习详细的形状和轮廓，而不会牺牲一个。• 基于全局-本地的网络架构在鲁棒性和灵活性之间提供了更好的平衡。• 我们的模型允许高保真的三维人脸重建，通过单独优化潜在的代表。2. 先前工作线性3DMM。 Blanz和Vetter [6]使用3D扫描的主成分分析（PCA）构建了第一个通用3D人脸模型。自从这项开创性的工作以来，人们在改进3DMM建模机制方面做了大量的工作。Paysan等人[30]用非刚性迭代最近点[2]替换先前的UV空间对齐[6]，以直接对齐3D扫描。Vlasic等人[49]使用多线性模型来描述表情和身份变化对面部几何形状的组合影响。在纹理方面，Boothet al.[7]探索基于特征的纹理模型来表示自然纹理变化。非线性人脸模型 最近，有一个很大的兴趣使用深度神经网络来呈现3DMM。Duonget al的早期工作。[29]使 用 深 度 玻 尔 兹 曼 机 来 呈 现 2D 主 动 外 观 模 型 。Bagautdinov等人[3]使用变分自动编码器（VAE）学习直接从3D扫描中建模面部几何形状。另一方面，Tewariet al. [39]和Tran和Liu [44]试图从2D图像集合中学习3个DMM模型Tewari等人[39]在多层感知中嵌入形状和嵌入基。同时，Tran和Liu [44]通过在UV空间中表示几何形状和皮肤反射率来使用卷积神经网络尽管具有更大的表示能力，这些模型仍然难以恢复输入图像中的小细节，因为它们的学习目标具有很强的规则性。基于全局/局部的面部参数化。尽管全局3D人脸参数化[23，49]可以弥补与单眼人脸跟踪[4，11]相关的复杂性;但它们无法表示小的几何细节，而不会使它们变得非常大和笨重。因此，提出了基于区域或局部的模型来克服这个问题。Blanz和Vetter [6]和Tena等人。[37]学习基于区域的PCA，其中Blanz和Vetter [6]将面部分割成语义子区域（眼睛，鼻子，嘴巴），而Tena等。[37]进一步分割成更小的区域，以增加模型的表现力。 其他方法包括基于区域的融合变形[18]或局部多线性模型[9]。所有这些模型都比全局模型带来了更大的灵活性，但代价是对真实人脸的限制较少我们的方法提供了一个平衡之间的全球和本地模型，通过使用双通道网络架构。Bagautdinov等人[3]尝试通过引入多层隐变量来实现与组合VAE类似的目标，但代价是非常大量的隐变量。剩余学习。剩余学习已被用于许多视觉任务。在超分辨率中，Kimet al. [21]建议学习高分辨率目标和低分辨率输入之间的差异，而不是估计目标本身。在人脸对齐[19]或缺失数据植入任务[46]中，残差学习用于许多级联1128¨F¨L=¨¨W H Crecrec通过学习与真实目标的差异来迭代地改进其估计在这项工作中，我们杠杆年龄的剩余学习的想法，但不同的目的，以克服在学习三维模型的目标冲突。3. 该方法为了完整起见，我们首先简要总结重建损失。 有许多设计选项，重建的损失。直接的选择是在像素空间中比较图像，具有典型的l1或l2损失。为了更好地处理离群值，采用鲁棒的l2，1，其中RGB颜色空间中的距离基于l2，求和基于l1范数以实施稀疏性[41，42]：1Σ¨ ¨传统的线性3DMM，最近提出的非线性3DMM学习方法，包括他们的局限性。然后，我们介绍了我们提出的改进，在这两个学习我rec|V|<$I（q）−I（q）<$2q∈V、（四）目标和网络架构。3.1. Linear3 DMM3D变形模型（3DMM）[6]提供了para-D模型。其中V是由估计的网格覆盖的像素的集合。图像之间的接近度，我和我也可以被...在特征空间中强制（感知损失）：使用两个组件表示面的度量模型1Σ1L=||二、||2.（五）形状（几何形状）和反射率（皮肤反射率）。Blanz等人[6]用PCA描述三维人脸空间3d人脸rec|C| j∈Cjj2JJ J具有Q个顶点的网格S∈R3Q计算为：损失在C上求和，C是网络层的子集S=FS （fS）|ΘS ）=ΘSfS 、（1）。 这里，n_j（I）是处理I时得到的维数为W_j×H_j× C_j的n_j的第j层的激活数.其中FS（fS| ΘS）是fS∈ RlS的函数，由Θ S参数化。在线性模型中，FS只是一个矩阵乘法（为了清楚起见，省略了平均形状面A ∈R3Q的颜色定义在一个模板形状内，描述了Q个相应顶点的R，G，B颜色A也以类似的方式配制：A=FA（fA| ΘA）= ΘAfA。（二）在合成二维人脸图像时，采用弱透视投影法将三维网格投影到图像平面上最终的重建损失是加权平均值，图像和特征之间的重建损失：Lre c（λI，I）=Li（λI，I）+λfLf（λI，I）.（六）稀疏地标对齐。为了帮助实现更好的模型拟合，这反过来又有助于改善模型学习本身，地标对齐损失被用作辅助任务。损失由估计的地标和地面实况地标之间的欧几里得距离定义：模型然后，使用光照模型渲染纹理和2D图像[32]第三十二话¨¨Llan=？S（：，d）1¨2¨（7）3.2. 非线性3DMM最近，Tewariet al. [39]，Tran和Liu [44，45]目前提出使用深度神经网络来呈现3个DMM底座。本质上，映射FS和FA现在被表示为具有参数ΘS、ΘAre的神经网络分别为。Tewari等人[39]直接使用多层感知器作为其网络。同时，Tran和Liu [44]通过在UV空间中表示S和A来利用顶点的空间关系，表示为SUV，AUV。映射F是卷积神经网络（CNN），具有从RUV转换为R3Q的额外采样步骤.使框架端到端可训练，他们还学习模型拟合模块E，这是另一个CNN。除了估计形状之外，编码器E还估计投影矩阵M以及照明系数L.整个网络的目标是重建2其中U∈R2×68是二维特征点位置的人工标签，d存储了三维人脸网格中稀疏二维特征点对应的68个顶点的索引在[44，45]中，界标丢失仅应用于E以防止学习因为损失只影响一小部分与关键点相关的顶点。不同的正则化。为了克服模糊性并忠实地恢复不同的元素（形状，亮度，光照），需要许多正则化。反照率对称性：Lsym （ A ） =<$Auv−flip （ Auv ） <$1 ，（8）其中flip（）是水平图像翻转操作。反照率恒定：- 经由可微分渲染层R的原始输入图像：ΣL（A）=uv机紫外线UV−UVuv′pargminΣL记录（第 一，一），−1129（3）convuv∈NJω（vi， vj）<$A（vi）A（vj）？2. （ 九）E、 D、S、D、A、I.¨ ¨Σ权值ω（vuv，vuv）= exp −α¨c（vuv）−c（vuv）¨，I=R（E（I）、E（I）、F（E（I））、F（E（一））。i j i jM L S S A一有助于在具有相同色度的像素上惩罚更多我1130我我（vj）我¨图2：拟议框架。每个shape或decoder由两个分支组成，用于重建真实元素及其代理。Proxies将形状和形状从强正则化中解放出来，使它们能够学习具有高细节水平的模型。（即， c（x）=I（x）/|I（x）|），其中使用当前估计的投影从输入图像参考颜色。表示像素vuv的一组4像素邻域。形状平滑度：这是一个拉普拉斯正则化，通过将两个形状S，S和两个形状A，A配对 ，我们可以渲染四个不同的输出图像（图1）。2）。它们中的任何一个都可以用于与原始输入图像进行比较我们将重建损失重写为：顶点的位置。¨ ¨∗rec =Lrec （I（S，A），I）Lsmo（S）=Σ¨ 紫外线¨（vuv）−1|Ni|ΣSUV¨紫外线¨.（十）+Lrec（I（S），I）vuv∈Suv<$我vuv∈N<$J2+Lre c（S，A），I）.（十五）总体目标可概括为：配对强正则化代理和弱正则化-L= Lrec（I，I）+LLAN+L注册、（11）组件化是我们方法中的关键点。使用代理允许我们学习高保真的形状，其 中 Lreg=Lsym （ A ） +λconLcon （ A ） +λsmoLsmo（S）。（十二）3.3. 具有代理和剩余代理的非线性3 DMM剩余学习。强正则化已被证明是关键，以确保可扩展性学习模型[39，45]。然而，强正则化也阻止了模型恢复形状或轮廓中的高级细节。因此，这阻碍了我们实现学习高保真3DMM模型的最终目标。在这项工作中，我们建议学习额外的代理形状（S）和proxyxindo（A ），我们可以在其上应用正则化。现在，所有呈现的正则化都将移动到代理：而不牺牲任一组分的质量。这种配对的灵感来自于观察，即Shad- ing技术能够通过以下方式恢复详细的人脸网格：假 设 超 过 正 则 化 的 Rectodo 或 甚 至 使 用 平 均Rectodo[34]。这里，L_re_c（S，A_n ），I）损失促使S重 新 考 虑 更 多 的 细 节 ， 因 为A_n受 分 段 常数L_con（A_n ）对象i_v e约束。Viceversa，Lrec（S，A），I）aims学习更好的瑜伽。为了让这两个损失如所期望的那样工作，代理S和A应该执行得足够好以通过它们自己来近似输入图像。在没有Lrec（εI（Sε，Aε），I）的情况下，Lrec（S，A） ，I）是一个常数的双代理的组合和杂波形状创建表面法线与黑暗的阴影在必要的区域，即，眉毛∗reg =Lsym （A）+λ conLcon（A） +λsmoLL1131Lsmo（S）。（十 三）另一个值得注意的设计选择是，我们故意忽略了损失函数的损失，即使这是-将不存在直接应用于实际形状S和A的正则化，除了弱正则化鼓励每个接近其代理：¨ ¨ ¨ ¨理论上是最重要的目标。 这是为了避免形状S学习一个中间解的情况，该中间解与A、A和反之亦然。闭塞插补。目标函数-因此，我们的模型能够忠实地重建输入信息。L=S+A=S −S+A−A。（十四）res1 1¨ ¨ ¨ ¨1 1年龄然而，我们的经验发现，除了高-1132输入l2， 1图3：拟议的全球-本地网络架构。逼真可见区域，模型倾向于保持不可见区域平滑。原因可能是，除了剩余震级损失将形状和振幅拉得更接近其代理之外，这些区域上没有监督。学习一个更有意义的模型，这对其他应用是有益的，即，面部编辑或面部合成，我们建议在遮挡区域上使用软对称损失[43]：l2， 1+毕业。diff.l2， 1+感知图4：不同损失函数的重建结果。Lres-sym（S）=<$T<$（<$Suv−flip（<$Suv））<$、（十六）z z1其中T是UV空间中每个像素的可见性掩模，基于估计的表面法线方向近似。即使形状本身不是对称的，即， 面部表情不对称;对深度残差S_z（仅使用形状的z维）施加对称性。3.4. 全球局域网体系结构虽然基于全局的模型通常对噪声和失配具有鲁棒性，但它们通常受到过度约束，并且不提供足够的灵活性来将高频变形表示为基于局部的模型。为了两全其美，我们建议使用双通道网络为我们的形状和解码器。在这里，我们将图像合成[15，28]中结合局部和全局模型的成功转移到3D人脸建模。解码器的一般结构如图所示。3.第三章。从潜在向量，有一个全球的路径，重点是推断全球结构和局部路径与四个小的子网络生成不同的面部部分，包括眼睛，鼻子和嘴的细节全局路径由具有五个上采样步骤的分数步幅卷积层构建。同时，局部通路中的每个子网络具有相似的结构，但更浅，只有三个上采样步骤。为每个面部部分使用不同的小型子网络提供了两个好处：i）通过较少的上采样步骤，网络能够更好地表示早期层中的高频细节; ii）每个子网络可以学习特定于部分的过滤器，这比在全局面部上应用更有效。如图3、为了融合两条路径的特征，我们首先将四条局部路径的输出整合成一个特征张量。与其他作品不同的是，我们的3 DMM在UV空间中生成面部轮廓以及3D形状，其中具有不同的偏航角[20，47，48]，没有固定的关键点位置。topology.合并这些局部特征张量可以通过零填充操作有效地完成。最大池融合策略也被用来减少重叠区域上的拼接伪影然后，所得到的特征与具有相同空间分辨率的全局路径的特征简单地连接。连续的卷积层整合来自两个路径的信息，并生成最终的卷积/形状（或其代理）。4. 实验结果我们研究不同方面的框架，在框架设计，模型表示能力，和应用程序的面部分析。训练类似于[45]，其还包括具有监督损失的预训练阶段。采用Basel人脸模型（BFM）[30]该模型在300W-LP数据集[52]上进行训练，该数据集包含122，450张野外人脸图像，姿态范围很广该模型使用Adam优化器进行优化，学习率为0。001。我们设置以下参数：U= 192，V= 224，IS=IA=320。 选择λ值以使损耗达到相似的量级。4.1. 消融研究重建损失函数我们研究了不同重建损失对重建图像质量的影响（图1）。4）.正如预期的那样，使用l2，1损失训练的模型仅导致模糊的重建，类似于其他lp损失。为了使重建更真实，我们尝试其他选项，如梯度差[27]或感知损失[17]。虽然添加梯度差损失在重建中创建了更多细节，但将感知损失与l2，1组合给出了具有高细节和真实性水平的最佳结果。在本文的其余部分，我们将参考4x1133输入端I（S，A）I（S，A） I（S，A）I（S，A）输入线性非线性+GL +GL代理SSAA图5：使用代理和真实形状以及假模进行3 DMM模型的图像重建。我们的形状和轮廓可以忠实地恢复面部的细节注意：对于形状，我们在UV空间中显示阴影无Lres-sym有L res-sym图6：软对称性损失对形状模型的影响。使用这种组合训练的模型。 了解图像配对。图5显示了我们的模型在2D人脸图像上的拟合结果。通过使用代理或者最终的分量（形状或轮廓），我们可以呈现具有不同质量和特性的四个不同的重建图像。由两个代理生成的图像S，A是相当模糊的，但仍然能够捕捉主要的vari-在输入面的作用。通过对环S和代理A进行配对 ，S以捕获高级别的细节，从而使图像更接近输入。类似地，A也被鼓励通过与代理S配对来捕获更多细节。最终的图像WPI（S，A）固有地实现高水平的细节和真实感，即使没有直接优化。残余软对称性损失。研究了残留的软对称性损失对恢复被遮挡人脸区域细节的影响.如图如果没有Lres-sym，学习的模型可能会导致不自然的形状，其中面部的一侧在遮挡区域上过于平滑，而另一侧仍然具有高水平的细节。我们使用Lres-sym学习的模型可以始终如一地创建整个面部的细节，即使是在遮挡区域。4.2. 表示能力我们比较了所提出的非线性3DMM与最常用的线性3DMM Basel Face Model [30]的表示能力。我们还与最近提出的非线性3DMM [44]进行了比较。质感。我们评估我们的模型图7：纹理表示能力的定性比较。我们的模型可以更好地重建在野外的面部纹理。表1：纹理表示能力定量比较（非遮挡面部部分上的平均重建误差）方法重建误差（l2，1）线性[52]0. 1287非线性[45]0. 0427Nonlinear +GL（Ours）0. 0386Nonlinear + GL +Proxy（Ours）0. 0363AFLW 2000 -3D数据集上的野外面部纹理[52]。给定人脸图像，也利用地面实况几何和相机投影，我们可以联合估计其解码纹理可以重建原始图像的光照参数fA和光照参数L为了实现这一点，我们使用SGD对fA和L与初始参数由我们的编码器E估计。对于线性模型，Zhuet al. [52]使用Phong illumi拟合巴塞尔协议的结果国家模式[31]。与图7、非线性模型显著优于Basel Face模型。尽管接近原始图像，Tran和Liu [45]模型重建结果仍然模糊。使用具有相同损失函数的基于全局-局部的网络架构（“+GL”）有助于使图像更接近输入。然而，这些模型仍然受到正则化的限制。通过使用代理技术（“+Proxy”）学习，我们的模型可以学习更真实的人脸，更多的高频细节。这一结论得到了表1中定量比较的1.一、我们报告的平均l2，1重建误差超过每个图像的面部部分。 我们的模型实现了最低的平均重建误差在 四个模 型中 ，0。0363，这 是最近 的非 线性3DMM工作的15%的误差减少[45]。形状同样，我们也比较了模型使用10个 3D面网格1134[45]第45话：我的世界，我的世界NME0.02410. 0146 0. 0139图8：形状表示功效比较。给定一个3D形状，我们优化特征fS以近似原始形状.图10：适合不同肤色、姿势、表情、光照的人脸模型。我们的模型忠实地恢复了这些线索。图9：输入图像与三个模型的重建图像之间的距离。为了更好的可视化，图像根据它们与模型重建的距离进行排序由[30]提供的与我们共享相同三角形拓扑的形状参数，我们可以优化形状参数以通过解码器生成与地面实况扫描匹配的形状。优化目标是基于顶点距离（欧几里德）以及表面法线方向（余弦距离）来定义的，与仅优化前者相比，这在经验上提高了重构网格图8显示了不同重建网格之间的视觉比较我们的重建与面部形状细节非常吻合。为了进行定量比较，我们使用恢复的网格和地面实况网格之间的NME平均每顶点欧几里得距离，通过眼间距离进行归一化。该模型的重建误差明显小于线性模型，也小于Tran和Liu的非线性模型 [45] （ 0. 0139 对 0 的 情 况 。 0146[45] 和 0.0241[30]）。4.3. 身份保护我们探讨了我们提出的3DMM在重建人脸图像时对保存身份的影响。使用DR-GAN [48]，一种预训练的人脸识别网络，我们可以计算输入与不同模型的重建之间的余弦距离。图9显示了这些分数分布的曲线图。在每个水平标记处，输入我们的Tewari17图11：与Tewari等人的3D重建比较。[40]。是表示图像与来自三个模型的其重建之间的距离的三个点图像根据与我们重建的距离进行排序。在大多数情况下（77。2%），我们的重建具有最小的差异，在单位空间的输入。4.4. 3d重建使用我们的模型FS，FA，以及拟合CNN E的模型，我们可以将2D照片分解为不同的组件：3D形状，histodo和照明（图.第10段）。这里我们将我们的3D重建结果与不同的工作线进行比较：线性3DMM拟合[40]，非线性3DMM拟合[39，45]和超过3DMM的方法[16，35]。在CelebA数据集上进行比较[25]。对于线性3DMM模型，Tewari等人的代表性工作MoFA。[38，40]，学习以无监督的方式回归3个即使在野外图像上训练，它仍然限于线性子空间，恢复野外纹理的能力有限。这导致在处理挤压纹理时的表面收缩面部毛发，如[39，44，45]中所讨论的。此外，即使有规则的皮肤纹理，我们TranandLiuLinear3DMM1135输入我们的Tewari18 Tran18a图12：三维重建与Tewari等人的非线性3 DMM方法的比较. [39]或Tran和Liu [45]。我们的模型可以重建更高层次的细节人脸图像。请放大以了解更多详细信息。最佳电子视图输入我们的Tran18b Sela17图13：与Sela等人的3D重建比较。[35]或Tranet al. [43]这超越了潜在的空间表征。仍然模糊，与我们的相比细节较少（图第11段）。与我们提出的模型最相关的工作是Tewari等人[39]，Tran和Liu [45]，其中3个DMM碱基都嵌入在神经网络中这些模型具有更强的表示能力，可以恢复传统3 DMM通常不能恢复的细节，即化妆品面部毛发然而，模型的学习过程中，被附加强正则化，这限制了他们的能力，恢复高频细节的脸。我们提出的模型增强了学习目标和网络架构中的学习过程，以允许更高保真的重建（图1）第12段）。为了提高三维重建质量，许多方法也试图超越3DMM ，如Richardson等人。[34]，Selaet al. [35]或Tranet al. [43]。目前最先进的三维单目人脸重建方法由Sela等。[35]使用精细细节重建步骤帮助重建高保真度的网格。然而，他们的第一个深度图回归步骤是在线性3DMM生成的合成数据上训练的。除了合成纹理与真实纹理之间存在的域间隙外，低维纹理中还存在着更严重的面部毛发缺失问题。因此，该网络的输出往往会忽略这些无法解释的区域，这会导致后续步骤的失败。我们的网络在处理这些野外变异方面更加强大（图1）。第13段）。Tranet al. [43]与我们有着相似的目标，即在3D重建中保持然而，他们使用一个图14：为人脸添加贴纸。贴图会自然地添加到曲面法线或光照之后的面中。过度约束的基础，失去了每个面网格的个人特征。因此，3D形状看起来相似，在不同的主题（图. 第13段）。4.5. 面部编辑随着更精确的三维人脸网格重建，后续任务的质量也得到了提高.在这里，我们展示了我们的模型在面部编辑上的应用：在脸上加上贴纸或纹身。使用估计的形状以及投影矩阵，我们可以将面部纹理展开到UV空间中。由于光照分解，我们还可以从纹理中移除阴影以获得详细的纹理。从这里我们可以直接编辑的贴纸，纹身或化妆的纹身。最后，编辑后的图像可以与其他原始元素一起使用修改后的渲染。图14显示了我们通过将贴纸添加到不同人的脸上来编辑的结果5. 结论针对强正则化和全局建模是实现高保真三维数字多媒体模型的障碍，提出了一种从学习对象和网络结构两方面改进非线性三维数字多媒体模型的新方法。希望通过论文中讨论的见解和发现，这项工作可以成为解锁构建可以捕获面部中高层细节的模型的可能性的一步。通过该方法，只需进行模型拟合即可实现高逼真度的三维人脸重建1136引用[1] Brian Amberg，Reinhard Knothe，and Thomas Vetter.基于变形模型的表情不变三维人脸识别。InFG，2008. 1[2] Brian Amberg，Sami Romdhani，and Thomas Vetter.用于 表 面 配 准 的 最 佳 步 长 非 刚 性 ICP 算 法 。 CVPR ，2007。2[3] Timur Bagautdinov 、 Chenglei Wu 、 Jason Saragih 、Pascal Fua和Yaser Sheikh。使用合成VAE建模面部几何形状在CVPR，2018年。2[4] 迈克尔·J·布莱克和亚瑟·雅库布使用图像运动的局部参数模型跟踪和消除刚性和非刚性面部运动载于ICCV，1995年。2[5] Volker Blanz ， Curzio Basso ， Tomaso Poggio ， andThomas Vetter. 在图像和视频中恢复面部动画在计算机图形学论坛。Wiley Online Library，2003. 1[6] Volker Blanz和Thomas Vetter。用于合成3D面的可变形模型。第26届计算机图形学与交互技术年会集，1999年。一、二、三[7] James Booth 、 Epameinondas Antonakos 、 StylianosPloumpis 、 George Trigeorgis 、 Yannis Panagakis 和Stefanos Zafeiriou 。 3D面 部 变 形模 型 “ 在 野 外” 。 在CVPR，2017年。2[8] Sofien Bouaziz，Yanang Wang，and Mark Pauly.实时面部动画的在线建模。ACM TOG，2013年。1[9] Alan Brunton，Timo Bolkart，and Stefanie Wuhrer.多线性小波：人脸的统计形状空间。2014年，在ECCV。2[10] 陈操、启明侯、昆州。位移动态表情回归实时面部跟踪和动画。ACM TOG，2014年。1[11] 道格拉斯·德卡洛和迪米特里斯·梅塔克萨斯光流场与可变形模型的整合及其在人脸形状与运动估测上的应用在CVPR，1996年。2[12] Pablo Garrido，Levi Valgados，Hamid Sarmadi，IngmarSteiner ， Kiran Varanasi ， Patrick Perez ， and ChristianTheobalt. Vdub：修改演员的面部视频，以便与配音音轨进行合理的视觉对齐。在计算机图形学论坛。WileyOnline Library，2015. 1[13] Pablo Garrido ， Levi Valgaerts ， Chenglei Wu ， andChristian Theobalt.从单目视频重建详细的动态人脸几何。ACM TOG，2013年。1[14] 巴勃罗·加里多，Mi chaelZollh oüfer，丹·卡萨斯，LeviVal-gaerts，KiranVaranasi，帕特里克·佩雷斯和克里斯蒂安·西奥伯特从单目视频重建个性化3D人脸。ACM TOG，2016. 1[15] 黄锐，张舒，李天宇，何冉，等.超越面旋转：全局和局部 感知 甘为 真实 感和 身份保 持正 面视 图合 成。InICCV，2017.5[16] Aaron S Jackson，Adrian Bulat，Vasileios Argyriou，andGeorgios Tzimiropoulos.通过直接体积CNN回归从单个图像进行大姿态3D人脸InICCV，2017. 7[17] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。在ECCV，2016年。5[18] Pushkar Joshi，Wen C Tien，Mathieu Desbrun，and Fr学习控制混合变形为基础的现实主义的fa-cial动画。ACMSiggraph 2006课程，2006年。2[19] Amin Jourabloo和Xiaoming Liu。姿态不变的3D人脸对齐。在ICCV，2015年。2[20] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.为提高质量、稳定性和变异性而进行的干细胞生长。在ICLR，2018年。5[21] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.使用非常 深的 卷积 网络 实现 精确的 图像 超分 辨率 。在CVPR，2016年。2[22] Edwin H Land和John J McCann。亮度和视网膜理论。乔萨，1971年。2[23] Manfred Lau ， Jinxiang Chai ， Ying-Qing Xu ， andHeung- Yeung Shum. Face poser：使用面部先验知识进行3D面部表情的交互式建模。ACM TOG，2009年。2[24] 陈立，周坤，林志颖。通过对固有图像层的基于物理的操作来模拟化妆。CVPR，2015。1[25] Ziwei Liu ， Ping Luo ， Xiaogang Wang ， and XiaoouTang.在野外深度学习人脸属性。 在ICCV，2015年。7[26] Iacopo Masi，Anh Tun Trn，Tal Hassner，Jatuporn ToyLek-sut，andG e'rardMedioni. 我们真的需要收集数百万张面孔来进行有效的人脸识别吗在ECCV，2016年。1[27] Michael Mathieu，Camille Couprie，and Yann LeCun.超越 均 方 误 差 的 深 度 多 尺 度 视 频 预 测 。 arXiv ：1511.05440，2015。5[28] Umar Mohammed ， Simon JD Prince 和 Jan Kautz 。 灭菌：生成新颖的面部图像。ACM TOG，2009年。5[29] Chi Nhan Duong，Khoa Luu，Kha Gia Quach，and TienD Bui.除了主成分：用于人脸建模的深层玻尔兹曼机。CVPR，2015。2[30] Pascal Paysan、Reinhard Knothe、Brian Amberg、SamiRomdhani和Thomas Vetter。一种用于姿态和光照不变人脸识别的三维人脸模型。InAVSS，2009. 二五六七[31] 裴祥峰计算机生成图片的照明。ACM通讯，1975年。6[32] Ravi Ramamoorthi和Pat Hanrahan。一种有效的辐照度环境图表示方法。2001年第28届计算机图形学和交互技术年会论文集。3[33] Elad Richardson Matan Sela和Ron Kimmel从合成数据中学习的三维人脸在3DV，2016年。1[34] Elad Richardson 、 Matan Sela 、 Roy Or-El 和 RonKimmel。从单个图像学习详细的面部重建在CVPR，2017年。一、四、八[35] Matan Sela Elad Richardson和Ron Kimmel使用图像到图像转换的无限制面部几何结构重建InICCV，2017. 七、八1137[36] Zhixin Shu ， Ersin Yumer ， Sunil Hadap ， KalyanSunkavalli，Eli Shechtman，and Dimitris Samaras.具有内在图像解缠的神经人脸编辑。在CVPR，2017年。2[37] 拉斐尔·特纳，费尔南多·德拉托雷，伊恩·马修斯。基于交互区域的线性3D人脸模型。ACM TOG，2011年。2[38] Ayush Tewari 、Michael Zollhoefer 、 Florian Bernard 、Pablo Garrido 、 Hyeongwoo Kim 、 Patrick Perez 和Christian Theobalt。基于无监督模型的人脸自动编码器的高保真单目人脸重建TPAMI，2018年。7[39] AyushTewari ， MichaelZollhofer， PabloGarrido ， FlorianBernard，HyeongwooKim，PatrickPe'rez，andChristianTheobalt.自监督多级人脸模型学习，用于250 Hz以上的单眼重建。在CVPR，2018年。一二三四七八[40] AyushTewari ， MichaelZollhofer ， Hyeongw ooKim ，PabloGarrido，FlorianBernard，PatrickPe'rez和ChristianTheobalt。MoFA：基于模型的深度卷积人脸自动编码器，用于无监督单目重建。InICCV，2017. 7[41] JustusThies ， MichaelZollh oüfer ， MarcStamminger ，Chris-tian Theobalt，and Matthias Nießner.Face2face：实时人脸捕捉和RGB视频重现。在CVPR，2016年。第1、3条[42] JustusThies ， MichaelZollh oüfer ， MarcStamminger ，Chris-tian Theobalt，and Matthias Nießner.FaceVR：虚拟现实中的实时面部重现和眼睛注视控制ACM TOG，2018年。3[43] Anh Tuan Tran，Tal Hassner，Iacopo Masi，Eran Paz，Yuval Nirkin，and Gerard Medioni.极致3D面部反射：看过去的闭塞。在CVPR，2018年。五、八[44] Luan Tran和Xiaoming Liu。非线性3D变形模型。在CVPR，2018年。二三六七[45] Luan Tran和Xiaoming Liu。从野外图像中学习3D人脸变形模型。arX