深度密集-精细-精细网络（DF2 Net）用于细节三维人脸重建

2315DF2网：一种用于细节三维人脸重建的曾晓星1，2彭晓江1于乔<$11中国科学院深圳先进技术研究院SIAT-SenseTime联合实验室计算机视觉与模式识别深圳市重点实验室2中国科学院大学图1：所提出的方法的3D人脸重建结果。重建的几何图形显示在相应的输入图像旁边。摘要由于单人脸图像的病态性和需要恢复的精细三维结构，从单人脸图像重建详细的几何结构是一个具有挑战性的问题。本文提出了一种深度密集-精细-精细网络（DF2 Net）来解决这个具有挑战性的问题。DF2Net将重建过程分解为三个阶段，每个阶段都由精心设计的网络处理，即D-Net，F-Net和Fr-Net。D-Net利用U-net架构将输入图像映射到密集的深度图像。F-Net通过整合深度域和RGB域的特征来细化D-Net的输出，其输出通过具有新颖的多分辨率超柱架构的Fr-Net此外，我们引入了三种类型的数据来训练这些网络，包括3D模型合成数据，2D图像重建数据和精细面部图像。实验结果表明，DF2网络可以有效地重建面部细微的细节，如鱼尾我们的DF2 Net在对真实世界图像和BU- 3DFE数据集进行定性和定量分析时，性能优于或媲美最先进的代码和收集的70K图像深度数据集是公开的1.1. 介绍本文研究了从单幅图像重建高逼真度三维人脸的问题。基于图像的三维人脸重建是计算机视觉中的一个基本而重要的问题，在人脸动画[16，34]，人机交互[1]，医学应用[2，29]等方面具有广泛的应用。这个问题的挑战来自于它的不适定性和要恢复的精细面部细节。从3D面到2D图像的投影取决于其材料属性、照明条件、观看方向和其他因素。给定输入图像，通常存在3D结构的多种选择以生成该图像。此外，面部总是包括细微的结构，如皱纹，眼纹，这是很难准确恢复。针对这个问题的早期方法可以大致分为两类，即基于3D变形模型（3DMM）[4]的方法和基于阴影恢复形状（SF-S）[41]的方法。基于3DMM的方法将纹理化的3D面部表示为低维表示，同等贡献的第一作者（{xx.zeng，xj.peng} @ siat.ac.cn）†通讯作者（yu. siat.ac.cn）1https://github.com/xiaoxingzeng/DF2Net/2316潜在变量和相应的基向量。这些基于IFS的方法利用渲染原理从阴影观察恢复底层形状。虽然基于3DMM的方法是有效的和简单的，他们总是导致过平滑的结果，不能捕捉到丰富的细节的输入图像，部分原因是由于其低维的性质。与基于3DMM的方法相比，基于SFS的方法可以恢复更精细的几何细节，但它需要精确的先验形状信息，并且SFS的迭代优化过程对噪声敏感最近，基于深度卷积神经网络（CNN）的方法在3D面部几何形状的重新加工方面取得了令人印象深刻的进展[11，35，19，44，10]。Roth et.al [27]利用地标驱动的3D变形来产生先前的3D面部，然后用照片测量方法调整它们的几何形状。Sela等人。 [28]通过使用非刚性变换来预测深度图像和对应图以获得3D面部网格，并通过迭代过程进一步细化与以前手工制作的特征作品相比，深度网络可以学习有效的特征来估计从2D图像到3D形状的映射。最近的最先进的方法[25，22，11]以端到端的方式利用了粗到细的CNN框架，其中粗CNN模型主要回归3DMM的低维和平滑表示，而细CNN模型应用了类似阴影的形状细化来捕获精细的面部细节。重建性能主要取决于粗模型和细化模型。然而，从单个图像中捕捉细微的3D结构仍然是一项具有挑战性的任务。在本文中，我们专注于从粗到细的框架工作，旨在推进国家的最先进的三维人脸模型和细化模型。具体地说，我们提出了一种新的粗到细的框架，称为密集-精细-精细网络（DF2网），从一个单一的图像重建一个DF2 Net由三个模块组成，即密集深度网络（D-Net）、精细网络（F-Net）和精细网络（Fr-Net），它们以级联方式执行3D重建。对于粗糙的3D人脸模型，我们的D-Net不是像以前的作品那样回归低维3D表示，而是使用类似于U-net [26]的架构从输入图像中估计粗糙但密集的深度图。我们使用3DMM生成的具有不同姿势/照明条件的人工图像和通过现有重建算法获得的具有3D表面的真实图像来训练D-Net [8，37，35]。我们的粗略模型优于以前的工作，因为我们的粗略估计利用了3DMM和其他最先进的模型，这使得D-Net能够捕获比以前的粗略模块更丰富和更密集的细节令人惊讶的是，通过对训练数据的这种简单改变，D-Net已经获得了与大多数最先进方法相当的性能。对于精化模型，我们提出了一个由F-Net和Fr-Net组成的精细到精细的体系结构。F-Net将D-Net获得的稠密图和原始人脸图像作为输入。F-Net有效地融合了深度图和图像的特征，以进行重建。虽然F-Net比D-Net更准确，但其输出仍然缺乏捕捉细微结构和精细细节（如额头皱纹，鱼尾纹）的能力。为了进一步增强细节，我们引入Fr-网络来估计具有来自不同层和不同域（即，深度和RGB图像）。Fr-Net将原始彩色图像集成到其输入层，并从中间层中提取多分辨率特征。我们设计了多分辨率超列块，以逐渐纠正受最近深度去噪工作启发的不同分辨率下的一些局部深度误差[38]。本文的主要贡献归纳如下，• 我们提出了一种新的密集精细精细架构的高保真三维人脸重建。DF2净decom-将重建分为三个级联阶段，并且我们为每个阶段引入不同的训练策略以及不同的数据集。• 我们精心设计了一个新的FR-网络，有效地集成了来自不同层次和领域的多分辨率超列块的功能。有了FR-网络，我们的DF2网络获得了最先进的定性在现实世界中的表现。• 我们收集了大约70k个高质量的图像深度对来训练3D人脸重建网络。我们将使这个数据集与代码和模型公开后，这篇论文的出版。2. 相关作品从单幅图像重建人脸在计算机视觉和计算机图形学领域得到了广泛的研究。有许多方法试图处理这个问题的内在二义性。本文主要对这一部分的相关方法进行综述.3DMM方法。 3D变形模型（3DMM）[4]是最受欢迎的方法之一，从单个图像重建[33，36]。虽然该方法实现了非常令人印象深刻的3D人脸重建性能，但3DMM具有高计算成本，并且需要手动操作以在初始化期间将平均3D人脸形状与2D人脸图像对准。为了解决这个问题，Blanz等人[3]使用一组稀疏的面部特征标志来初始化3D面部形状。类似地，巴塞尔面部模型（BFM）[23]通过主成分回归（PCR）模型回归2D面部标志来重建3D面部。 虽然3DMM可以提供2317图2：我们提出的网络在从单个图像捕获整个3D面部的情况下，可能不能很好地捕获像褶皱和皱纹的面部细节，因为它们没有被主分量跨越。我们提出的方法使用3DMM合成的图像深度对和几种最先进的重建方法来训练粗密集重建网络。也许最相关的工作是图像到图像转换方法[28]，该方法使用由3DMM合成的图像深度对来估计深度图我们的方法与[28]的不同之处在于：i）我们的合成图像深度对更丰富，这导致更好的粗糙3D人脸模型，ii）我们精心设计了一个精细到精细的细化架构，用于详细重建。基于阴影恢复形状（SFS）的方法。 SFS[41]是一种计算机视觉技术，它利用图像绘制原理，从二维图像的阴影变化中恢复出物体的形状。在给定光照系数和反射率参数的情况下，SFS方法可以通过优化过程来恢复细微的几何细节。然而，SF-S是一个典型的不适定问题，具有众所周知的模糊性，例如凸/凹模糊性[24]。解决面部重建的这种模糊性需要处理面部表面上的先验，即，SFS需要可靠的初始3D形状。例如，Kemelmacher-Shlizerman和Basri [21]使用单个3D参考手动对齐输入面部图像。利用这些先验信息，采用从阴影恢复形状的方法恢复几何形状.面部对称的特点已被各种研究人员用来限制问题[43，42，31]。作为一种有效而简单的低维表示方法，3DMM也被广泛用作初始面部形状[27，10，20，22，32]。在本文中，我们使用D-Net的密集重构作为初始形状，而不是基于3DMM的低维参数化形状。基于深度学习的方法。在卷积神经网络的帮助下，许多基于深度学习的3D人脸重建方法获得了令人满意的结果。基于深度学习的方法可以分为粗糙人脸重建和密集人脸重建。对于粗重建，人脸标志或3DMM参数被视为训练的监督信号。Patrik等人 [14]在2D面部标志和估计的3D标志的平面投影之间应用L2Yang等人[39]提出了用于3DMM形状拟合的加权界标回归方法。Yao等人 [8]将顶点的3D坐标编码为位置图，并使用常规神经网络学习处理2D位置图。密集重建方法预测密集的形状变化，而不是低维参数。Tran等人。 [35]估计了一个粗略的3D人脸形状，它作为一个基础，然后用凹凸贴图表示的细节单独分层这个基础Huynh等人[15]使用基于学习的方法从纹理图中产生中等和精细尺度的合理面部细节。Feng等人[8]使用光场图像训练他们提出的FaceLFnet以重建3D人脸。Richardson等人[25]使用一个由粗到细的网络来学习详细的人脸识别，其中一个CoarseNet被应用于估计3DMM模型的粗略形状，一个FineNet被训练来细化识别。2318基于阴影恢复形状的非监督约束的3D面的尾部。还有许多其他算法使用粗到细架构来学习详细的面部重建[28，22，20，11，27]。我们的方法不同于这些粗到细的作品，精心设计的精细到精细的细化模型，允许高保真的3D人脸重建。3. 方法在本节中，我们首先概述了我们的用于高保真三维人脸重建的Dense-Fine-Finer（DF2 Net）框架，然后介绍了我们的训练数据，最后分别介绍了它的体系结构、组件和训练细节。3.1. DF2 Net概述如图2所示，我们提出的DF2 Net框架由三个子网络组成，即密集深度网络（D-Net），精细网络（F-Net）和精细网络（Fr-Net）。人脸图像首先输入到D-Net进行密集但粗糙的3D重建。然后将D-Net的输出深度图与原始图像一起送入F-Net（一种超列网络）进行细化。F-Net的细化深度图和多尺度人脸图像被联合处理到我们精心设计的Fr-Net中，以估计残差深度图，从而获得更精细的细节再现。我们将在下面的章节中详细介绍我们的训练数据和DF2 Net的每个组件。3.2. 训练数据训练数据在基于深度学习的方法中起着至关重要的作用。对于3D面部重建，将真实面部图像与其地面真实3D形状（通常用深度设备捕获）一起收集是非常困难和耗时的。目前公开的3D人脸数据集仅包含几百个主题，不足以训练具有数百万参数的深度网络。为了解决这个问题，我们构造了三种类型的数据，这些数据是精心设计的，用于DF2网的训练阶段。1)3D模型合成数据集。我们使用3DMM生成不同的3D面部形状，并使用这些形状渲染2D图像，类似于现有方法[28，25]。具体来说，我们随机生成恒等式、表达式[6]和纹理基元素，用于构建3D纹理形状。为了使我们的方法对光照鲁棒，我们在不同的光照条件下渲染2D图像。我们用变形模型生成20K个3D模型，并将每个3D模型以3种不同的姿势投影到图像平面上，从而产生60K个图像深度对。使用3DMM的一个问题是，在真实图像中，它总是缺乏精细结构，如皱纹 为了缓解这个问题，我们引入另一种合成数据：2）二维图像合成数据集。我们从互联网上收集了10K 2D人脸图像，其中5K它们包括光滑的面部（例如年轻人或化妆师的面部），其余的则包含丰富的面部结构（例如，人或老人）。我们通过使用以前的重建方法- s [8]和[35]（每种方法处理5 k图像）获得这些真实人脸图像的3D形状。然后将这些重建的形状投影到正面视图中。我们总共获得了70 K个图像深度训练对，这些图像深度训练对主要用于训练D-Net和F-Net。图像深度对的几个示例如图3所示我们通过实验发现，用上述两个数据集训练的深度网络在重建具有精细结构的面部形状（例如老人的面部）时仍然遇到困难为了解决这个问题，我们进一步构建了第三个数据集，3）具有丰富细节的2D图像数据集。具体来说，我们从CACD数据集中选择了5K这些人脸图像的细节很难通过现有的方法重建我们将它们用于Fr-Net的无监督训练。表1中列出了DF23.3. 密集网络D-Net是一个像素级映射网络，它从输入图像生成目标深度图。我们选择U-Net [26]作为其架构，因为它在许多相关的像素任务中具有令人印象深刻的性能[18，17，28，11]。与 以 前 的 粗 糙 模 型 [25 ， 22 ， 11]相 比 ， 它 回 归 了3DMM的低维表示，我们的D-Net学习直接恢复密集的深度信息。训练我们使用两个损失函数来训练D-Net，其中图像深度对来自3D模型合成数据集和第3.1节中构建的2D图像合成数据集。第一个损失是地面实况和预测深度图之间的像素级L1Lrec=Dgt−Dpre1，（1）其中Dgt是地面实况深度，并且Dpre是预测深度。如[28]所示，L1损失通常会导致局部区域的过度锐化预测。因此，我们还使用深度图的法线上的另一个L1约束，公式如下，Lnor=<$Ngt−N前1，（2）其中Ngt和Npre分别是真实深度和预测深度的法线。对于正常向量的计算，我们考虑周围的4个像素。在训练期间，L_rec的损失权重被默认设置为10，而L_nor的损失权重被设置为0.1。3.4. 精品网络有了大量的训练数据和强大的C-神经网络，我们的D-网络已经提供了3D表面粗糙的形状，如大皱纹和面部部分。然而，在这方面，2319iigt¨¨图3：训练图像及其目标深度图的示例。第一行由3DMM生成，第二行由最先进的（SOA）方法[8，35]生成，第三行选自CACD表1：DF2 Net中不同阶段的训练数据汇总.3D模型综合达-2D重建图像精细面部图像：5K从ta：60K（来自3DMM）数据：10K从 间-CACD [5]网络重构[8]和[35]第三十五届D-netCCF-NetFr-NetCC由于在合成的训练数据中缺乏精细和精确的细节，所以不能重建真实面部的一些精细细节。为了重建精细细节，我们引入了精细重建网络（F-net），并采用了基于IFS的细化方法，该方法被证明是恢复几何结构高频信息的有效方法[25，11]。基于IFS的细化方法的基础是图像形成项，其示出了重建的深度图和输入强度图像之间的连接。图像形成项通常定义如下，Σ9其中I是输入强度图像。Ngt是地面实况深度的法线。训练F-Net将RGB和深度作为输入，并具有超列架构，可以有效地融合来自前向路径上不同卷积层的输出响应。在[12，25]中也采用了类似的架构。详细架构如图2.与[12，25]不同的是，F-Net的输入层和中间层集成了深度和RGB特征，这受到了最近深度去噪工作的启发[38]。通过这种方式，F-Net可以从颜色或图像域和深度域捕获精细结构我们使用SFS细化准则来训练F-Net，Ii（I，N，R）=R ii Hi（N），（3）i=12D图像合成数据集（表1）。给定R和l，我们训练精细重建网络来预测精细深度其中，Ii是反射辐照度，R是我们工作中SfSNet [30]估计的反射映射，Hi（N）是由单位深度法线N获得的球谐函数（SH）的基函数。l是二阶SH系数，其可以通过求解以下最小二乘问题来获得映射条件为法向量。将预测深度图的范数表示为Npre，我们使用以下逐像素着色损失，¨ ¨Léchué¨Σ9¨2sh=<$I（l，Npre，R）−I<$2 .（五）∗¨ ¨L =arg min？R l H（N）−I ¨ ¨i=12、（四）Lsh惩罚渲染图像和原始输入图像之间的强度差，并驱动L2320网络恢复细节。对于训练F-Net，我们使用Lrec和Lsh，权重分别为10和0.1。实验结果表明，我们的F-net可以学习精细的面部细节超过3DMM和其他repricing- tion方法用于数据生成。3.5. 更精细的网络由于合成深度用于训练D-Net和F-Net，因此重建或多或少受到3DMM和其他数据生成方法的影响。为了摆脱这些合成的训练图像-深度对的影响，我们进一步引入了一种新的更精细的反射网络，即。Fr-Net，并用来自CACD数据集[5]的另外5 K 2D人脸图像训练它，这些图像包含复杂的几何形状，并且难以用D-Net和F-Net重建。我们的目标是重建三维人脸表面的Fr-Net的微妙细节。如图2所示，与以前的重建网络相比，Fr-Net具有两个新颖的方面。第一个方面是在输入层和多个中间层对不同大小的原始彩色图像进行多分辨率的超列块集成。除了RBG图像之外，F-Net还将F-Net估计的深度图作为输入。随着CNN特征图分辨率降低到1/4和1/2，我们将类似的块与输入层集成，其中RBG图像根据特征图的大小进行调整通过逐步整合多分辨率图像，我们可以逐渐校正不同分辨率背景下的局部深度误差。类似块在深度去噪中证明是有效的[38]。作为第二个方面，我们添加了从输入深度图到输出深度图的残差连接，这确保了我们的Fr-Net保留了通过这种方式，Fr-Net学习回归位移/残差深度图，这使得训练更容易并提高泛化能力[13]。训练使用收集的5 K图像，我们训练我们的Fr-Net，同时使用重建和SFS损失，类似于F-Net。具体来说，我们分别使用损失权重为1和100的Lrec和Lsh。这里，Lrec和L sh中使用的3.6. 实现细节DF2 Net自然以级联方式实现，可以通过端到端随机梯度下降（SGD）进行训练。由于SFS过程非常耗时，因此我们在GPU设备上实现并运行它。由于D-Net不包括SFS过程，因此我们在3步方案中训练我们的DF2Net。在第一步中，我们用所有上述的70 K图像深度对训练D-Net，批量大小为64。在第二步中，我们修复了D-Net，并使用批量为8的F-Net进行同样，我们修复D-Net和F-Net，[35]第八届中国国际纺织品展览会图4：我们的DF2 Net，PR- Net [8]和ExtremeNet [35]的定性比较。请注意，PRNet [8]和ExtremeNet [35]用于生成我们的一部分训练数据。最佳PDF格式在最后一步中，Fr-Net的batchsize为8。值得注意的是，最后两步中的小批量是由于GPU上的SFS实现。输入图像和输出深度图的大小固定为512×512。对于所有步骤，我们将学习率初始化为0.001，并除以它在第8和第9个时期增加了10，并且我们在第10个时期之后停止训练。我们使用Pytorch工具箱实现深度网络，并在4个NVIDIA Tesla K40c GPU上运行训练。4. 实验在这一部分中，我们首先对DF2 Net的各个模块进行了实验探索，然后从定性和定量两个方面与几种最先进的基于单幅图像的三维人脸重建方法进行了比较4.1. DF2网的探讨由于PRNet [8]和ExtremeNet [35]用于为我们的训练生成真实世界图像的地面真实深度图，因此我们将DF2 Net与这两种方法进行比较，图4显示了定性比较。PRNet使用一个简单的编码器-解码器网络直接回归3D面部结构和密集对齐与3DMM生成的训练数据。如图4所示，它只擅长重建光滑的3D面部表面。作为一种方法，它可以捕捉到一些局部结构与相对2321(a)（b）（c）（d）图5：替代密集-精细-精细架构的定性评估。从左至右：（a）原始图像，（b）堆叠两个F-Net的结果，（c）没有多分辨率超列块的Fr-Net的结果，以及（d）我们默认的DF2 Net的结果。最好在PDF中查看。图像粗[28]D-Net F-Net Fr-Net图6：我们在不同阶段的定性重建结果。最好在PDF中查看。ExtremeNet是一种高速的数据生成方法，因为它可以提供面部细节，并且对遮挡和大姿态等极端条件具有鲁棒性。尽管如此，我们的DF2 Net在重建脸颊皱纹等面部细节方面明显优于ExtremeNet [35]。替代密集-精细-精细架构。在我们的工作中，我们还考虑了另外两种密集-精细-精细架构，即i）堆叠两个F-Net和ii）没有多分辨率超列块的Fr-Net。第一个意味着我们的DF2 Net的默认FR-Net被替换为没有跳过连接的其他F-Net。第二个使用相同的FR-Net架构，没有多分辨率模块。这些替代架构的训练数据与默认DF2Net的训练数据相同。图5示出我们的默认DF2 Net和替代架构。可以得出以下几点意见。首先，虽然这些替代的方法提供了足够的面部细节，但我们默认的DF2 Net重建更精确的细微细节，如前额皱纹和鱼尾第二，第二种替代方案比朴素堆叠方案性能更好，这证明了跳过连接的有效性最后，默认DF2网相对于第二种备选DF 2网的优越性表明，多分辨率超柱块有助于重建细微的面部细节。DF2Net每个阶段的定性结果。 为了进一步研究DF2Net的重建过程，我们在图6中展示了每个阶段的定性结果。如图6所示，重建的3D面包括从D-Net到Fr-Net的增加的细节。令人惊讶的是，D-Net已经获得了与几种最先进的方法相当的详细3D人脸重建[7，11，22，25，28]，参见图7中的结果。虽然F-Net提供了比D-Net更微妙的脸颊细节，但D-Net和F-Net都受到训练数据生成的基础事实的限制。在更精细的重建阶段，由于精心设计的Fr-Net及其训练策略，可以重建更丰富的细节，如额头皱纹和鱼尾纹由于[28]使用相同的U网来估计其粗略模型的密集深度，因此我们还说明了[28]图6中的我们的粗略结果（D-Net的输出）优于[28]，这要归功于来自3DMM和最先进算法的大规模混合训练数据。4.2. 与最新技术水平的比较定性比较。在图7中，我们将DF2文献[7]的结果大多受到3DMM的限制，因为它只重建光滑表面。与这些从粗到细的方法相比[25，11，22，28]，我们的DF2Net捕获了包括牙齿在内的完整形状，并重建了更精细的细节，如胡须和鱼尾定量比较我们对流行的BU-3DFE数据集[40]进行定量分析，该数据集包含与地面真实3D形状对齐的面部图像BU-3DFE数据集包括100名受试者，我们对所有受试者进行评估。我们使用Dlib工具箱来检测地标，68个点，并根据外部点创建二进制掩码以表示评估中的有效像素。在[28]之后，我们应用随机样本一致性（RANSAC）方法[9]将估计的深度标准化为地面实况。我们计算绝对深度误差并评估其平均值、标准差、中位数和平均90%最大误差。我们的方法和其他最先进的算法之间的定量比较在表2中给出如表2所示，我们的方法实现了2322[25]第22话：我的世界图7：我们的DF2 Net和几种最先进的方法之间的定性比较。平均误差标准误差中位数误差90%错误。SFS [21]3.894.142.947.34HPEN [44]3.853.232.937.91[25]第二十五话3.612.992.726.82[28]第二十八话3.512.692.656.59我们3.372.592.536.41表2：BU-3DFE数据集的定量比较结果。深度误差小于其他算法。我们还分析了整个脸的绝对误差分布，如图8所示。5. 结论提出了一种深度稠密-精细-精细网络（DF2 Net）来解决从单幅图像重建高逼真度三维人脸的难题。DF2Net由D-Net、F-Net和Fr-Net三个模块组成。它逐步细化微妙的面部细节，如小鱼尾我们引入了三种类型的数据，并采用不同的训练策略对DF2我们还评估了几个替代选择的密集精细精细的框架，以证明我们的DF2网的效率。DF2 Net在以下方面实现了优于或相当于最先进方法的[21] 2015年中国国际航空航天博览会[编辑]图8：我们的DF2 Net和几种最先进的方法之间的误差热图（以地面实况深度的百分位数为单位）的比较。对真实世界图像和BU-3DFE进行定性和定量分析。谢谢。这项工作得到了国家自然科学基金的部分支持。国家自然科学基金（U1813218 U1613211）、国家重点研发计划（No.2016YFC1400704）、深圳研究计划（ J-CYJ20170818164704758CXB201104220032A ） 、 联 合 国 教 科 文 组 织 国 际 合 作 项 目 （ J-CYJ20170818164704758 CXB 201104220032 A）、国家自然科学基金（U1813218 U1613211）、联合国教科文组织国际合作项目（J-CYJ 20170818164704758 CXB201104220032 A）2323中国科学院香港实验室2324引用[1] Oleg Alexander、Mike Rogers、William Lambeth、Jen-Yuan Chiang 、 Wan-Chun Ma 、 Chuan-Chang Wang 和Paul De- bevec。数字艾米丽项目：实现逼真的数字演员 。 IEEE Computer Graphics and Applications ， 30（4）：20[2] Israel Amirav，Anthony S Luder，Asaf Halamish，DanRaviv ， Ron Kimmel ， Dan Waisman 和 Michael TNewhouse。应用电脑三维人脸分析设计儿童气溶胶口罩 。 Journal of aerosol medicine and pulmonary drugdelivery，27（4）：272[3] Volker Blanz， Albert Mehl， Thomas Vetter，and H-PSei- del. 一种基于稀疏数据的鲁棒三维表面重建的统计方法在诉讼中。2004年第二届三维数据处理、可视化与3DPVT 2004年。第293-300页。IEEE，2004年。[4] Volker Blanz，Thomas Vetter，et al.三维人脸合成的可变形模型。在Siggraph，第99卷，第187-194页[5] Bor-Chun Chen，Chu-Song Chen，and Winston H Hsu.用于年龄不变人脸识别和检索的跨年龄参考编码。在欧洲计算机视觉会议上，第768-783页。Springer，2014.[6] Baptiste Chu，Sami Romdhani，and Liming Chen.对表情和姿态变化鲁棒的3d辅助人脸识别。在IEEE计算机视觉和模式识别会议论文集，第1899-1906页[7] BernhardEgger ， SandroSchoénborn ， AndreasSchnei-der ， Adam Kortylewski ， Andreas Morel-Forster ，Clemens Blumer，and Thomas Vetter.基于遮挡感知的3d形变模型和光照先验的人脸图像分析。InternationalJournal of Computer Vision，126（12）：1269[8] Yao Feng，Fan Wu，Xiaohu Shao，Yafeng Wang，andXi Zhou. 结合位置映射回归网络的三维人脸重建与密集对齐在欧洲计算机视觉会议（ECCV）的会议中，第534[9] Martin A Fischler和Robert C Bolles。随机样本一致性：一个范例模型拟合与应用程序的图像分析和自动制图。Communications of the ACM，24（6）：381[10] Kyle Genova，Forrester Cole，Aaron Maschinot，AaronSar- na，Daniel Vlasic，and William T Freeman.三维变形模型回归的无监督训练。在IEEE计算机视觉和模式识别会议论文集，第8377-8386页，2018年[11] 郭玉东，蔡建飞，姜博一，郑建民，等。基于cnn的真实 感 人 脸 图 像 实 时 稠 密 重 构 。 IEEE transactions onpattern analysis and machine intelligence ， 41 （ 6 ） ：1294[12] Bhara thHariharan，PabloArbela' ez，RossGirshick，andJi-tendra Malik.用于对象分割和细粒度定位的超列。在Proceedings of the IEEE conference on computer visionand pattern recognition，pages 447[13] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.深度剩余网络中的身份映射。在欧洲计算机视觉会议上，第630-645页。施普林格，2016年。[14] Patrik Huber ， Guosheng Hu ， Rafael Tena ， PouriaMortaza- vian ， P Koppen ， William J Christmas ，Matthias Ratsch，and Josef Kittler.多分辨率三维可变形人脸模型及拟合框架。在2016年第11届计算机视觉、成像和计算机图形理论与应用国际联合会议上发表[15] Loc Huynh，Weikai Chen，Shunsuke Saito，Jun Xing，Koki Nagano，Andrew Jones，Paul Debevec，and HaoLi.使用深度神经网络的介观面部几何推断在IEEE计算机视觉和模式识别会议论文集，第8407-8416页[16] Alexandru Eugen Ichim ， Sofien Bouaziz ， and MarkPauly. 从 手 持 视 频 输 入 创 建 动 态 3d 化 身 。 ACMTransactions on Graphics（ToG），34（4）：45，2015.[17] Satoshi Iizuka，Edgar Simo-Serra，and Hiroshi Ishikawa.全局和局部 一致的图像完成。ACM Transactions onGraphics（ToG），36（4）：107，2017。[18] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AE-fros. 使用条件对抗网络的图像到图像翻译在IEEE计算机视觉和模式识别会议论文集，第1125-1134页[19] Aaron S Jackson，Adrian Bulat，Vasileios Argyriou，andGeorgios Tzimiropoulos.通过直接体积cnn回归从单幅图像重建大姿态三维人脸。IEEE International Conferenceon Computer Vision，第1031-1039页，2017年[20] 罗江，张居庸，邓柏林，李浩，刘良.利用单幅图像的几何细节进行三维人脸重建。IEEE Transactions onImage Processing，27（10）：4756[21] Ira Kemelmacher-Shlizerman和Ronen Basri。使用单个参考 面 部 形 状 从 单 个 图 像 进 行 3D 面 部 重 建 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，33（2）：394[22] Yue Li，Liqian Ma，Haoqiang Fan，and Kenny Mitchell.从单幅图像中进行细节保留的三维人脸重建。第15届ACM SIGGRAPH欧洲视觉媒体制作会议论文集，第1页。ACM，2018。[23] Pascal Paysan、Reinhard Knothe、Brian Amberg、SamiRomdhani和Thomas Vetter。一种用于姿态和光照不变人脸识别的三维人脸模型。在2009年第六届IEEE高级视频和基于信号的监控国际会议上，第296-301页。Ieee，2009年。[24] 我是Que'au，JeanMe' lou，FabienCastan，DanielCremer-s，和Jean-Denis Durou。自然光照下由明暗恢复形状的变分方法。计算机视觉和模式识别中的能量最小化方法国际研讨会，第342-357页。Springer，2017.[25] Elad Richardson 、 Matan Sela 、 Roy Or-El 和 RonKimmel。从单个图像学习详细的面部重建。在IEEE计算机视觉和模式识别会议论文集，第1259-1268页2325[26] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234-241页。施普林格，2015年。[27] Joseph Roth，Yiying Tong，and Xiaoming Liu.无约束三维人脸重建。在IEEE计算机视觉和模式识别会议论文集，第2606-2615页[28] Matan Sela Elad Richardson和Ron Kimmel使用图像到图像转换的无限制面部几何结构重建在IEEE计算机视觉国际会议论文集，第1576-1585页[29] 马坦·塞拉，纳达夫·托莱多，亚龙·霍宁，罗恩·金梅尔.定制面部恒定正压（cpap）面罩。arXiv预印本arXiv：1609.07049，2016年。[30] Soumyadip Sengupta ， Angjoo Kanazawa ， Carlos DCastillo，and David W Jacobs.Sfsnet：学习野外人脸的形状、反射率和照度。在CVPR，2018年。[31] Ilan Shimshoni，Yael Moses，and Michael Lindenbaum.三维左右对称曲面的形状重建。International Journal ofComputer Vision，39（2）：97-110，2000。[32] William AP Smith和Edwin R Hancock。基于表面法线方向统计模型的IEEE Transactions on Pattern Analysis andMachine Intelligence，28（12）：1914[33] AyushTewari ， MichaelZollhofer， PabloGarrido ， FlorianBernard，HyeongwooKim，PatrickPe'rez，andChristianTheobalt.250hz以上单目重建的自我监督多层次人脸模型学习。在IEEE计算机视觉和模式识别会议论文集，第2549-2559页，2018年[34] Justus Thies ， Michael Zollhofer ， Marc Stamminger ，Chris- tian Theobalt，and Matthias Nießner. Face2face：实时人脸捕捉和rgb视频重现。在Proceedings of theIEEEConferenceonComputerVisionandPatternRecognition，第2387-2395页[35] Anh Tuan Tran，Tal Hassner，Iacopo Masi，Eran Paz，Yu-valNirkin和Ge'rardGMedioni。极端的三维面重建：通过遮挡看到在CVPR中，第3935[36] Luan Tran和Xiaoming Liu。非线性三维人脸变形模型。在IEEE计算机视觉和模式识别会议论文集，第7346-7355页[37] AnhTuanTran，TalHassner，IacopoMasi和Ge'rardMedioni。使用深度神经网络回归稳健且有区别的3d可变形模型在IEEE计算机视觉和模式识别