1用于面部细节恢复的王雪英1郭玉栋1邓柏林2张居庸1张1中国科学技术大学2卡迪夫大学{WXY17719，gyd2011}@ mail.ustc.edu.cnDengB3@cardiff.ac.ukjuyong@ustc.edu.cn摘要近年来，在深度学习和形状先验知识的帮助下，基于单幅图像的3D人脸重建另一方面，光度立体方法可以恢复可靠的几何细节，但需要密集的输入，并且需要解决复杂的优化问题。在本文中，我们提出了一个轻量级的策略，只需要稀疏的输入，甚至是一个单一的图像，恢复高保真的人脸形状与图像下，近场光。为此，我们构建了一个包含84个不同主题的数据集，在3种不同的灯光下有29种表情。应用数据增强以在身份、照明、表达等方面的多样性方面丰富数据有了这个构造的数据集，我们提出了一种新的神经网络，专门设计用于基于光度立体的三维人脸重建。大量的实验和比较表明，我们的方法可以产生高质量的重建结果与近场光下捕获的一到三个面部图像我们的完整框架可以在https://github.com/Juyong/FacePSNet 上 找到。1. 介绍高质量的3D人脸重建是计算机视觉和图形学中的一个重要问题[38]，与各种应用相关，例如数字演员[3]，人脸识别[5，48]和动画[3，21，40]。一些工作已经致力于在源头解决这个问题，使用多视图信息[15，43]或照明条件[1，2，37]。 虽然其中一些方法能够重建具有低频结构和高频细节（如皱纹和毛孔）的高质量3D人脸模型，硬件环境难以建立，并且底层优化问题不易解决。因此，从单个图像重建三维人脸引起了广泛的关注，许多工作都集中在从“在野外”的*通讯作者年龄[35，17，14，18]。虽然大多数方法都能准确地重建低频面部结构，但很少能恢复面部细节。在本文中，我们将注意力转向光度立体技术[42]，并考虑近场点光源设置由于其便携性。我们的目标是重建高精度的3D人脸模型与稀疏的输入使用光度立体近点照明下。最先进的稀疏光度3D重建方法，如[9，13]可以重建具有精细几何细节的3D面部形状。然而，它们主要是基于传统的优化方法与高计算成本。近年来，基于深度学习的光度立体[22，12]取得了很大进展，可以估计准确的法线。然而，这些现有的方法不能直接应用于解决我们的问题。首先，它们主要关注具有密集输入的一般对象，使得它们不适合我们具有稀疏输入的3D人脸重建问题。其次，它们假设平行定向光，这在实践中很难实现，特别是对于室内照明条件。为了快速而好地解决稀疏光度立体问题，我们必须解决以下挑战。首先，在没有平行照明假设的情况下，校准近场点光源的照明方向要复杂得多，并且需要解决非线性优化问题。此外，少于三幅输入图像的重建问题是不适定的，因此需要重建对象的先验知识在本文中，我们结合基于深度学习的稀疏光度立体和面部先验信息来重建高精度的3D人脸模型。目前，没有公开可用的在近点照明条件下捕获的面部图像及其对应的3D几何形状的数据集。因此，我们构建了这样一个数据集用于网络训练。我们使用的是由三个近点光源和一个固定摄像机组成的系统捕获的真实人脸图像。基于该系统，我们开发了一种优化方法来恢复3D几何形状以及校准灯光位置和估计法线。使用我们重建的3D人脸模型和公开的高质量3D人脸数据集，我们通过合成大量的人脸图像来增强我们的数据集，740741(a)捕获系统(b)达斯塔谢茨(c)结果相机点光源图1.提出了一种基于卷积神经网络的光度立体场景下的人脸重建方法。(a)（b）：我们用于网络训练的数据集由具有不同表情的照片组成，这些照片使用由三个近点光源和一个固定相机组成的系统捕获。（c）：我们提出的方法即使在单个图像输入的情况下也可以恢复细节（左）。对于由智能手机捕获的图像，在我们的训练数据集中看不到的位置处使用手持灯，我们的方法在这种随意的设置中也能很好地（右）。响应3D形状。利用真实数据和合成数据，我们设计了一个两级卷积神经网络来从稀疏输入图像中估计高精度的法线映射。在第一阶段中恢复由参数化3D面部模型[6]和姿态参数表示的粗略形状将第一阶段得到的人脸图像和法线图送入第二阶段网络，以估计更准确的法线图。最后，高品质的三维人脸模型是通过一个快速的表面从正常的优化恢复。图1显示了我们方法的流水线。综合实验表明，我们的网络可以产生更准确的法线地图相比，国家的最先进的pho- tometric立体方法。我们的轻量级方法也可以恢复精细的面部细节比最先进的基于单个图像的面部重建方法。2. 相关工作光度学立体。光度立体（PS）方法[42]从在不同照明条件下捕获的一组图像中估计表面法线自[42]的半成品工作以来，已经提出了不同的方法来以这种方式恢复表面[44，20]。许多这样的方法假设具有无限光源位置的定向光另一方面，一些工作集中在近点光源下的重建，使用通常复杂且耗时的优化方法[46，28，32]。为了在近点光源的实际应用中实现效率，我们仅采用基于优化的方法来构造训练数据集，然后训练用于3D人脸重建的轻量级光度立体的中性模型。与我们的训练数据构建步骤最相关的工作是[9]，它提出了一个迭代管道来重建高质量的3D人脸模型。基于深度学习的光度立体。随着卷积神经网络的发展，已经提出了各种基于深度学习的方法来解决pho问题。立体声问题。他们中的大多数可以根据他们的输入分为两类第一种类型需要图像以及相应的校准照明条件。Santo等人[34]提出了一种可微的多层深度光度立体网络（DPSN）来学习从像素的测量到相应表面法线的映射。Chen等人[12]提出了一种完全连接的卷积网络，可以从任意数量的图像中预测静态对象的法线Taniai等人提出了一种基于物理的无监督神经网络。[39]同时输出表面法线贴图和合成图像。Ikehata [22]提出了一个观察图来描述像素级照明信息，并使用观察图估计表面法线作为端到端卷积网络的输入。此外，Zhenget al. [47] Liet al. [26]解决了基于观测图的稀疏摄影测量立体问题。这种类型的工作假设照明方向作为先验，不能处理未知的照明方向.第二种类型直接估计照明条件和法线映射alto- gether从输入图像。在[12]中引入了一个名为UPS-FCN的网络来校准灯光和预测表面法线。后来，Chenet al. [11]提出了一种称为SDPS-Net的两阶段深度学习架构来处理这个未校准的问题。这两种类型的方法都集中在解决定向光下的光度立体问题，这在实践中很难实现，并且大多数这些方法在稀疏输入的情况下都不能很好地执行。本文研究了近场点光源下的稀疏无标定光度立体问题。基于单幅图像的三维人脸重建。基于单幅图像的三维人脸重建技术近年来取得了很大的该任务的关键是建立从二维像素到三维点的对应图。 杰克逊 等人[23]提出用卷积神经网络从单个人脸图像直接回归3D网格的体积表示。Feng等人[16]设计一个7422D表示称为UV位置图，用于记录完整人脸的3D位置。Deng等[14]直接回归了一组基于3DMM的参数[6，7，31]。条件使用光度立体。给定一个点光源在位置Pj∈R3，照度βj∈R，点i的成像公式可以表示为[46]：这些工作都可以从单幅图像重建三维人脸模型，但不能恢复几何细节。最近，.I（ V， N，ρ），ρNΣ·βj（Pj−Vi）、 （1）这个问题已经通过由粗到细的重建得到解决结构战略。Sela等人[36]第一次建立了一个粗糙的伊伊i i3Pj−Vi模型基于深度图和密集对应图，然后在几何细化过程中恢复细节。Richardson等人[33]开发了一个端到端的CNN框架，由一个CoarseNet和一个FineNet组成，用于重建详细的人脸模型。Jiang等[24]设计了一种基于双线性人脸模型和阴影恢复形状（SfS）方法的三阶段方法Li等[27]使用SfS以及一个先验掩码和一个深度图像梯度约束来恢复面部细节Tran等人[41]提出了一种凹凸贴图来描述面部细节，并使用洞填充方法来处理遮挡。Chen等人[10]基于代理估计和位移图恢复高质量的人脸模型。对于来自漫画的3D面部重建-其中Vi，Ni∈ R3是点的位置和法线，Iij，ρi∈R3分别是RGB颜色空间中的亮度和色度。根据拍摄到的图像，近点光源的光度立体问题是恢复物体上一点的照明位置和照度、顶点位置、法线和法线。参数化面模型。3DMM [6]是一种广泛使用的人脸几何和人脸识别的参数化模型 我们使用3DMM来建立一个粗糙的人脸模型，以进一步优化。通常，参数模型将面部几何形状G∈R3nv和面部几何形状A∈R3nv表示为：G=G+Bidαid+Bexpαexp，（2）True images，Wuet al.[45]提出了一种内在的变形用于从正常3D面部形状外推的表示大多数现有的作品都将人脸近似为A= A+ B 反照率α-双棘龙、（3）一个朗伯曲面，模拟环境光其中nv是人脸模型的顶点数;G∈R3nv 且A∈R3nv 分别是平均形状和使用球谐函数（SH）基函数，不适合近点照明条件，αid∈R100，αexp ∈R79和α反照率R100是一个大面积的阴影。基于我们构建的数据集，我们还设计了一个网络，可以从近点照明条件下捕获的单个图像重建具有丰富细节3. 数据集构建在本文中，我们提出了一种轻量级的方法来重建，结构高质量的三维人脸模型，从未校准的稀疏光度立体图像。由于没有公开可用的数据集，包含近点照明的人脸图像及其相应的3D人脸形状，我们自己构建了这样一个数据集。给定在不同光源下捕获的面部图像，我们希望求解面部模型的法线和法线，使得在校准光下得到的图像的强度与从输入图像观察到的强度一致。由于阴影的存在，这个问题可能是病态的，只有三个输入图像因此，我们利用一个参数化的三维人脸模型作为先验知识，并提出了一个优化的方法来估计准确的法线映射。在本节中，我们首先介绍了一些相关的基础知识，然后介绍了我们如何构建基于真实图像的数据集和合成数据集。3.1. 预赛成像公式。 我们将人脸近似为 一个朗伯曲面，并模拟近点照明响应指定个体的系数参数;Bid∈R3nv×100，Bexp∈R3nv×79和Bxido∈R3nv×100是利用主成分分析从三维人脸模型中提取的主轴。我们使用Basel FaceModel （ BFM ） [31] 来 处 理 Bid 和 Bexpido ， 使 用FaceWarehouse [8]来处理Bexp。相机型号。我们使用标准的透视投影将三维人脸模型投影到图像平面上，可以表示为qi=（RVi+t），（4）其中qi∈R2是顶点Vi在像平面上的位置，R∈R3×3是由欧拉角俯仰、偏航和滚转构成的旋转矩阵，t∈R3是平移向量，θ：R3→R2是透视投影。3.2. 真实数据集的构造我们的真实数据集来自使用由三个近点光源（前，左，右）和一个固定相机组成的系统捕获的光度人脸该数据集包含84名受试者，涵盖不同的种族，性别和年龄，每个受试者在29个不同的表情下捕获所有图像均以1600×1200。类似于[9]，我们设计了一种基于优化的方法来重建具有丰富细节的3D人脸模型，743在不同的近点照明位置和照明下捕获的一组图像。The method in [9] uses the face shape prior for lightingcalibration, then estimates the744¨¨f我¨¨i iiCoarse ModelNormal Estimation照明校准顶点恢复图3.真实数据集构造的算法流水线。更新正常。在光度立体优化过程中，我们首先优化三角形法线，然后从更新的法线恢复顶点位置。图2.（a）我们构造的真实数据集的一些结果从左到右：输入图像，估计法线和重建的脸正常更新。由于参数化模型恢复的三维人脸网格只包含低频信号，丢失了丰富的几何细节。因此，我们细化每个三角形的法线的光度立体的基础上。更新的通过以下方式优化正常N和Nddoρ模型(b)使用[9]中的方法更新法线，该方法在处理阴影后选择至少三个可靠的灯光来更新法线由于法线区域较大，该方法只能更新部分法线只有三个输入图像。因此，它不适合minρ，NΣ Σ¨Iiji∈Fvj ∈Li¨2-Iij（Vf，Nf，ρf）<$¨ ¨2我们的处境¨¨2¨ˆ¨¨f1 Σf¨+µ1<$−N <$F +µ2i−i∈Fv<$|Ωi| j∈i普吉¨2法线并恢复图像平面中的深度Different-（不同）从现有的光度立体方法，总是需要三个以上的图像，我们只有三个图像作为输入，可能存在欠确定的部分造成的阴影（图。第2段（b）分段）。为了缓解这个问题，我们利用参数模型来帮助恢复法线。从¨ ¨S.T. <$i<$2= 1（i= 1，. . . 、|Fv|）的情况。（六）这里，第一项惩罚来自输入图像的观察到的强度Iij与用等式（1）评估的强度结果Iij之间的偏差。（1）使用更新的《反歧视条例》ρf和每个三角形质心Vf处的更新法线Nf，恢复粗糙的形状和更新法线，我们可以恢复i i i3D人脸形状与细节如图所示。第2段（a）分段。我们的算法流水线如图所示。3 .第三章。为了为后续优化提供良好的初始3D人脸形状，我们首先使用[24]中基于优化的逆渲染方法生成具有三个图像输入与[24]中只有一个输入图像的问题设置不同，我们有三个面部图像，它们具有相同的形状，表情和面部参数，但具有不同的光照条件。在恢复了粗糙的人脸模型后，我们对光照进行了标定位置P∈R3×n和照度β∈Rn的标定方法。自从朗伯表面模型在阴影下的区域中无效，我们使用简单的过滤器来确定3D人脸网格的每个三角形的可用光源Li，其中Fv表示初始点上可见三角形的集合，人脸模型Iij通过将质心Vf并执行双线性插值最接近的像素。 第二项惩罚更新后的法线N∈R3×|Fv|在可见三角形和相应的法线N∈R3×| Fv|在最初的面部模型上。最后一项正则化光滑性的更新后的三角形i，其中三角形i表示三角形i的单环邻域中的可见三角形的集合。我们求解方程（6）通过交替极小化。具体来说，我们在固定ρ的情况下优化N，然后在固定N的情况下优化ρ。重复该过程直到一致。VertexRec over y.在更新三角形法线N∈ N后，我们将人脸形状优化为高度场Z ∈ Rm，Li=、、、J|Nf·（Pj− Vf）> 0，j = 1，. -是的- 是的，n（五）匹配更新法线的图像平面，其中m为由所述投影覆盖的像素的数量我我粗面模型我们首先通过以下方式将N转换为pix el法线：其中Pj∈R3是第j个光源的位置，并且Nf，Vf∈R3是第i个三角形的法线和形心标准的透视投影。然后我们通过以下方式计算Z¨ ¨2¨ ¨（一）（b）第（1）款Σ2745我我min <$N−N0<$+w<$Z−Z0<$2我们只使用Li中的可用光源用于每个三角形，ZüF12+w2Z2. （ 七）746图4.我们的数据增强方法的过程。(a)我们通过从3DMM [6]随机生成形状和表达参数来生成不同的几何形状，并转移在我们的真实数据集中获得的数据。(b)我们使用非刚性ICP [4]将Light Stage [29]中的人脸模型与平均形状拟合，并在我们的真实数据集中使用Rectodos来生成训练数据。这里Z0∈Rm是从粗糙人脸模型获得的初始高度场 表示高度场的拉普拉斯算子，并且等式中的第三项。（7）高度场的光滑性正则化。N0，Nn∈R3×m分别从三角形法线Nn和高度场Z中收集像素法线具体地说，为了得到法线，对于来自高度场的像素p，我们首先通过反转标准透视投影将像素投影回其3D位置Vp则Np计算为：N=e2×e1+e3×e2+e4×e3+e1×e4，p e2×e1+e3×e2+e4×e3+e1×e4其中e1、e2、e3、e4表示从Vp到p的四个相邻像素的3D位置该非线性最小二乘问题采用高斯-牛顿算法求解。3.3. 合成数据集的构建为了提高数据集的覆盖率，我们进一步构建了一个合成数据集。我们使用从Light Stage [29]获得的面部表情和3D面部模型，这是一个公开的数据集，包含23个人，15种不同的表情及其相应的高分辨率3D模型，地面真相然后，我们在三个随机点光位置和照明下渲染合成图像，这些点光位置和照明使用等式从我们的真实数据集校准。（一）.数据扩充。为了适应进一步网络训练的需要，我们主要从以下两个方面进行数据扩充。一方面另一方面，我们使用的参数模型中介绍了二。3.1通过随机生成参数{αid，αexp，αω do}来表示不同的人脸几何结构和轮廓。我们将从我们的真实数据集获得的模型转换为具有随机生成的形状参数的形状模型因为我们最初的粗略模型是基于相同的拓扑结构。另一方面，为了在我们的合成数据集上将准确的参数模型作为网络训练的基础事实，我们使用非刚性ICP [4]将中性参数模型注册到从Light Stage获得的3D人脸模型，并找到这两种模型之间的最接近点作为它们的对应关系。根据这种对应关系，我们进一步在我们的真实数据集上转移了数据在生成这些模型之后，我们为每个模型绘制三张图像，并在我们的真实数据集中校准点光源该过程如图所示。4.第一章4. 用于3D面的深度光度学立体基于优化的方法中描述的节。3.2可以从在不同点照明条件下捕获的多个面部图像中恢复高质量的面部几何形状，但是由于几何形状和光照的模糊性，该过程是耗时的，并且需要至少三个图像作为输入。为了缓解这些问题，我们提出了一种基于CNN的方法，从不同近点照明条件下捕获的任意数量的人脸图像中学习高质量的人脸细节。类似于SEC中的程序。3.2中，我们使用两级网络分别对用3DMM表示的粗糙人脸模型和高质量的法线图进行回归凭借CNN的强大功能和我们构造良好的数据集，我们的方法即使使用单个图像也可以有效地恢复高质量的面部几何形状，这对于基于优化的光度立体方法和其他不利用面部先验的深度光度立体方法使用更多的输入图像可以获得更好的结果。网络结构如图所示五、4.1. 代理估计网络在第一阶段，我们直接从单个图像学习3DMM参数和姿态参数，以获得粗糙的面部模型作为第二阶段的代理，ResNet-18 [19].回 归参 数集 由χ={αid，αexp，pitch，yaw，roll，t}表示。为了训练代理估计网络，我们使用真实数据和合成数据以及第2节中所述的地面真实参数。3 .第三章。为了丰富数据，我们还使用第2节中描述的数据增强策略合成了5000张图像。三点三（一）.（b）.3D模型生成图像合成非刚性ICP7472i i2我图5.我们的两阶段网络的架构，包括（a）代理估计网络和（b）正常估计网络。这两个模块之间的连接是一个渲染层，它生成一个粗略的法线映射与估计的代理参数。我们使用两个损失项来评估密集的面部几何形状和稀疏的面部特征的对齐第一项计算恢复的几何形状和地面真实几何形状之间的距离，如下所示：以及使用从我们的代理估计网络获得的参数渲染的法线图，并且输出是包含高质量面部细节的细化法线图网络架构类似于PS-FCN [12]，其由共享权重特征提取器、聚合层、E地理（χ）=G−Ggt 第2章（8）和正常回归模块。一个显著的区别是PS-FCN需要照明信息作为输入，而其中G是用Eq.（2）和Ggt是地面真实几何。 面部标志传达了人脸的结构信息，我们设计了我们的正常估计网络需要代理几何形状作为输入以利用面部先验。正常估计网络的损失函数为：第二项，用于测量投影的3D地标有多接近顶点对应于图像中的相应地标：E正常=1|M|Σ（1−nTni），（11）E（χ）=1LAN|L|Σi∈Lq−i∈M其中，M是由粗略面部模型覆盖的面部区域中的所有像素的集合，其中，L是界标的集合，qi是输入图像中的检测到的界标位置，并且Vi是3D网格中的对应顶点位置。最后的损失函数是两个损失项的组合：其中，wlan是调谐权重。4.2. 正态估计网络由于3DMM有限的表示能力，在第一阶段恢复的几何形状缺乏面部为了恢复具有最终细节的面部几何形状，我们通过利用来自面部图像的外观信息和来自在第一阶段获得的代理模型的几何信息来学习精确的法线映射具体来说，我们的正常估计网络的输入是几张人脸图像像素i处的真值法线。利用估计的精确法线图，我们然后使用第2节中解释的顶点恢复方法获得高质量的人脸模型3.2.5. 实验5.1. 实现细节为了评估所提出的方法，我们从捕获的数据集中选择77个主题，从Light Stage数据集中选择18个主题来训练我们的网络，并使用其他子网络进行测试，得到95个主题，2503个样本用于训练，12个主题（7个来自我们构建的数据集，5个来自Light Stage数据集），278个样本用于测试。我们在PyTorch [30]中实现了我们的方法，并使用Adam solver [ 25 ]优化了网络我们首先训练代理估计网络200epochs与一批代理参数特征ConvMax-poolingConcat德孔夫（b）正常估计网络共享权重（a）代用估计网络ResNet-18748三幅图像输入单幅图像输入90°输入GT0°w/o代理w/o增强我们的w/o代理w/o增强我们的图6.消融研究，比较所提出的方法与两种方法，分别排除代理估计模块和数据增强。对于每种方法，我们显示了估计的法线映射和相应的角度误差映射。我们使用最左边的图像作为单个图像输入。表1.不同输入下测试集的平均角度误差（单位：度）S1、S2、S3分别表示最左、右上角和右下角图像。S1 S2 S3 S1 S2 S3 S3 S1S1 S2 S3 10.641 10.635 10.705 8.245 8.476 8.3286.498表2.消融研究测试装置上的平均角度误差（度）。尺寸50然后，我们针对任意数量的输入图像，以6的批量大小训练100个epoch的正常估计网络具体来说，我们在训练过程中随机选择一个，两个或三个图像作为每个小批次的输入它训练代理估计网络在单个RTX 2080 Ti GPU上训练正常估计网络需要12小时在我们的测试集上，输入显示在选项卡中。1.一、可以看出，用更多的输入图像实现了更好的结果。5.2. 消融研究为了验证我们的架构的设计，我们比较所提出的方法与替代策略，排除一些组件。首先，我们证明了代理估计网络的必要性，通过进行实验，排除代理估计模块，并估计正常的地图，只有人脸图像作为输入的正常估计网络。其次，我们展示了数据增强用于训练代理估计网络的有效性，另一个实验是在没有来自数据增强的5000个合成图像的情况下训练代理估计网络两个实验的测试集比较结果见表1。2和图六、我们可以看到，排除每个组件将导致三个图像输入和单个图像输入的性能下降。5.3. 比较比较与深学习型光度立体我们进一步将我们的网络与解决未校准的光度立体问题的UPS- FCN [12]和SDPS-Net [11这两种方法估计法线一般物体在不同的方向性灯光，而我们专注于人脸在不同的点照明条件下。我们从测试集中取三幅具有不同未校准光照条件的图像作为输入，并根据输出与地面真实法线贴图之间的角度来比较我们将结果显示在表中。图3和图7。可以从表中观察到。3，所有方法在Light State测试数据上表现更好，可能是由于真实捕获数据中的噪声。另一方面，由于近点光照假设和人脸先验信息，我们的方法在定性和定量上都优于其他两种方法。#输入无代理无增强我们114.84312.3429.87539.4998.6946.154表3.测试集上的平均角度误差（以度为单位）UPS-FCNSDPS-Net我们实数集45.70833.1546.579[29]第二十九话31.25415.5925.007749输入GTUPS-FCNSDPS-Net我们图8. Pix2vertex [36]，DFDN [10]，Extreme3D [41]和我们的方法之间的定性比较。其他方法使用顶行的左侧图像作为输入，而我们的方法使用右侧图像作为输入。我们的方法可以重建更准确的人脸模型，如皱纹和眼睛的细节。图7. UPS-FCN [12]，SDPS-Net [11]和我们的网络的估计法线映射及其相应的误差映射。0毫米10毫米与从单个图像重建3D人脸的比较。为 了 评估我们重建的3D人脸模型的质量，我们将我们基于深度学习的重建方法与一些最先进的细节保留重建方法进行了比较。现有的方法大多集中于从“野外”图像重建，输入GTExtreme3DDFDN我们因为有大面积的阴影。为了公平比较，我们只取一个光度立体图像作为网络的输入，取一个在正常光线下捕获的图像作为比较方法的输入。结果显示在图。结果表明，该方法能较好地恢复皱纹、眼睛等面部细节对于定量评估，我们计算每个重建模型的几何误差，首先应用具有七个自由度的变换（六个用于刚性变换，一个用于缩放）将其与地面实况模型对齐，然后计算其到地面实况模型的点对点距离。Extreme3D[41]，DFDN [10]和我们的方法在测试集上的平均几何误差为1。77，1。54，0。86分别与图中所示的四个例子9 .第九条。可以看出，我们的方法显着优于其他方法，由于我们的精确模拟近点照明条件。6. 结论我们提出了一种轻量级的光度立体算法，结合深度学习方法和人脸形状，图9. Ex-treme 3D [41]、DFDN [10]和我们的重建结果和几何误差图。其他方法使用第一列中的左侧图像作为输入，而我们的方法使用右侧图像作为输入。重建包含精细细节的3D人脸模型。我们的两阶段神经网络估计一个粗略的面部形状与结构和法线图的细节，其次是一个优化方法来恢复最终的面部几何尝试。对于网络训练，我们构建了一个跨种族，性别和年龄的真实数据集，并应用数据扩充来丰富数据集。大量的实验表明，我们的方法优于最先进的基于深度学习的光度立体方法和来自单个图像的3D鸣谢本工作得到国家自然科学基金（No.61672481）及青年创新促进会CAS（No. 2018495）。.我们Extreme3D DFDN Pix2Vertex输入750引用[1] https://www.di4d.com/网站。1[2] https://www.eisko.com/网站。1[3] Oleg Alexander，M.罗杰斯，W。Lambeth，Jen-YuanChiang，Wan-Chun Ma，Chuan-Chang Wang，and PaulE.德贝维克数字艾米丽项目：实现逼真的数字演员。IEEE Computer Graphics and Applications，30（4）：201[4] Brian Amberg，Sami Romdhani，and Thomas Vetter.用于表面配准的最佳步长非刚性icp算法。在IEEE计算机视觉和模式识别会议（CVPR）中，第1-8页。IEEE，2007年。5[5] Volker Blanz和Thomas Vetter。基于三维形变模型拟合的 人 脸 识 别 IEEE Transactions on Pattern Analysis andMachine Intelligence，25（9）：1063-1074，2003。1[6] Volker Blanz，Thomas Vetter，et al.三维人脸合成的可变形模型。在Siggraph，第99卷，第187-194页，1999中。二三五[7] James Booth、Anastasios Roussos、Stefanos Zafeiriou、Allan Ponniah和David Dunaway。从10，000张面孔中学习的3D变形模型在IEEE计算机视觉和模式识别会议（CVPR）中，第55433[8] 曹 晨 、 翁 彦 林 、 周 顺 、 童 一 英 、 周 坤 。Facewarehouse：用于视觉计算的三维面部表情数据库 。 IEEE Transactions on Visualization and ComputerGraphics，20（3）：413-425，2013. 3[9] Xuan Cao ， Zhang Chen ， Anpei Chen ， Xin Chen ，Shiying Li，and Jingyi Yu.可变形模型指导下的稀疏光度3d 人 脸 重 建 。 在 IEEE计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），第4635-4644页，2018年。一、二、三、四[10] Anpei Chen，Zhang Chen，Guli Zhang，Jingyi Zhang，Kenny Mitchell，and Jingyi Yu.照片般逼真的面部细节合成- sis从单一的图像。IEEEInternational Conference onComputer Vision（ICCV）三、八[11] Guanying Chen ， Kai Han ， Boxin Shi ， YasuyukiMatsushita，and Kwan-Yee K Wong.自校准深度光度立体 网 络 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），第8739二七八[12] Guanying Chen，Kai Han，and Kwan-Yee K Wong. Ps-fcn：一个灵活的光度立体学习框架。在欧洲计算机视觉会议（ECCV），第3-18页，2018年。一二六七八[13] 张晨、虞姬、周明远、康星兵、俞静怡。使用未校准近点光的彩色光度立体的三维人脸重建。在IEEE国际计算机视觉会议（ICCV），2019年。1[14] Yu Deng，Jiaolong Yang，Sicheng Xu，Dong Chen，Yunde Jia，and Xin Tong.通过弱监督学习实现精确的3D人脸重建：从单个图像到图像集。在IEEE计算机视觉和模式识别会议（CVPR）研讨会上，2019年。第1、3条[15] Pengfei Dou和Ioannis A Kakadiaris。基于深度递归神经网络的多视角三维人脸重建。图像和视觉计算，80：80-91，2018。1[16] Yao Feng，Fan Wu，Xiaohu Shao，Yafeng Wang，andXi Zhou. 结合位置映射回归网络的三维人脸重建与密集对齐在欧洲计算机视觉会议（ECCV），第534-551页，2018年。2[17] Baris Gecer ， Stylianos Ploumpis ， Irene Kotsia ， andStefanos Zafeiriou. Ganfit：用于高保真3D人脸重建的生成对抗网络拟合。在IEEE计算机视觉和模式识别会议（CVPR），第1155-1164页1[18] Yudong Guo，Juyong Zhang，Jianfei Cai，Boyi Jiang，and Jianmin Zheng.基于cnn的实时稠密人脸重建与反渲染 真 实 感 人 脸 图 像 。 IEEE Transactions on PatternAnalysis and Machine Intelligence ， 41 （ 6 ） ： 1294-1307，2019。1[19] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议（CVPR），第770-778页，2016年。5[20] Ste f fenHerbort和ChristianWohler. 基于图像的三维表面重建方法介绍及摄影测量立体方法综述3D Research，2（3）：4，2011. 2[21] Alexandru Eugen Ichim，Sofien Bouaziz，and Mark Pauly.从手持视频输入创建动态3d化身ACM Transactions onGraphics（ToG），34（4）：45，2015. 1[22] 池畑聪Cnn-ps：用于一般非凸曲面的基于Cnn的光度立体。在欧洲计算机视觉会议（ECCV），第3-18页，2018年。一、二[23] Aaron S Jackson，Adrian Bulat，Vasileios Argyriou，andGeorgios Tzimiropoulos.通过直接体积cnn回归从单幅图像重建大姿态三维人脸。在IEEE国际计算机视觉会议（ICCV），第1031-1039页2[24] 罗江，张居庸，邓柏林，李浩，刘良.利用单幅图像的几 何细 节 进行 三 维人 脸 重建 。IEEE Transactions onImage Processing，27（10）：4756-4770，2018。三、四[25] Diederick P Kingma和Jimmy Ba。 亚当：一种方法用于随机优化。国际学习代表大会（ICLR），2015年。6[26] Junxuan Li ， Antonio Robles-Kelly ， Shaodi You ， andYasuyuki Matsushita.学习缩小光度立体。在IEEE计算机视觉和模式识别会议（CVPR），第7568-7576页，2019年。2[27] Yue Li，Liqian Ma，Haoqiang Fan，and Kenny Mitchell.从单幅图像中重建细节保留的三维人脸。第15届ACMSIGGRAPH欧洲视觉媒体制作会议集，第1页。ACM，2018。3[28] Chao Liu ， Srinivasa G Narasimhan ， and Artur WDubrawski.使用圆形放置的点光源的近光光度立体。IEEEInternationalConferenceonComputationalPhotography（ICCP），第1-10页。IEEE，2018年。 2[29] Wan-Chun Ma ， Tim Hawkins ， Pieter Peers ， Charles-Felix Chabert，Malte Weiss，and Paul Debevec.从偏振球面梯度照明快速获取镜面反射和漫反射法线贴图在欧洲图形会议上渲染-751技术，第183-194页。欧洲制图协会，2007年。五、七[30] Adam Paszke、Sam Gross、Soumith Chintala、GregoryChanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。PyTorch中的自动微分在NIPS Autodiff研讨会，2017年。6[31] Pascal Paysan，Reinhard Knothe，Brian Amberg，SamiRomd-hani，and Thomas Vetter.一种用于姿态和光照不变人脸识别的三维人脸模型。在第六届IEEE高级视频和基于信号的监视国际会议上，第296-301页。IEEE，2009年。3[32] YvainQue'au，BastienDurix，TaoWu，DanielCremers，Franc.Lauze，andJean-DenisDurou. 基于led的照片度量立体：建模、标定和数值求解。Journalof Mathematical Imaging and Vision，60（3）：3132[33] Elad Richardson 、 Matan Sela 、 Roy Or-El 和 RonKimmel。从单个图像学习详细的面部重建在IEEE计算机视觉和模式识别会议（CVPR）中，第1259-1268页，2017年。3[34] Hiroaki Santo ， Masaki Samejima ， Yusuke Sugano ，Boxin Shi，and Yasuyuki Matsushita.深光度立体网络。在IEEE国际计算机视觉会议，第501-509页2[35] Soubhik Sanyal ， Timo Bolkart ， Haiwen Feng ， andMichael J Black.学习在没有3d监督的情况下从图像中回归3d面部形状和表情。在IEEE计算机视觉和模式识别会议（CVPR），第7763-7772页1[36] Matan Sela Elad Richa
我的内容管理
展开
