野外图像下基于图卷积网络的高逼真度三维人脸重建

5891基于图卷积网络的野外图像高逼真度三维人脸重建Jiangke Lin，YiYuan，网易福喜人工智能实验室杭州，中国{linjiangke，yuanyi}@corp.netease.comTianjia Shao，Kun Zhou浙江大学CAD CG国家重点实验室杭州网址：tianjiashao@gmail.com，kunzhou@acm.org项目输入图像人脸形状和粗纹理图像的精细纹理图1：从左到右：输入图像、重建的面部形状和粗糙纹理、精细细节纹理以及投影到输入图像的3D面部。摘要基于3D变形模型（3DMM）的方法在从单视图图像恢复3D人脸形状方面取得了很大的成功。然而，通过这样的方法恢复的面部纹理缺乏如在输入图像中表现出的保真度最近的工作证明了高质量的面部纹理恢复与生成网络训练从一个大规模的数据库的高分辨率UV地图的面部纹理，这是很难准备和不公开。本文介绍了一种在不需要获取大规模人脸纹理数据库的情况下，从野外单视图图像中重建具有高保真纹理的三维人脸形状的方法。其主要思想是从输入图像中细化由基于3DMM的方法生成的具有表面细节的初始纹理。为此，我们建议使用图卷积网络来重建网格顶点的详细颜色，而不是重建*通讯作者UV贴图。实验表明，我们的方法可以生成高质量的结果，并优于国家的最先进的方法在定性和定量比较。1. 介绍从单幅图像重建人脸的三维形状和纹理是计算机视觉和图形学中的一个重要问题。Blanz和Vetter [3]的开创性工作展示了3D可变形模型（3DMM）的强大功能，3DMM是一种基于数百张扫描人脸构建的面部形状和纹理的统计模型。3DMM及其变体[4，6，14，18，23]使恢复正面成为可能从一个单一的图像[11，13，31，36]的社会形状和社会责任。然而，从3DMM系数恢复的纹理的保真度仍然不够高。这主要是因为从3DMM计算的纹理不能捕捉到输入图像的人脸细节，特别是对于CNN +3DMM5892在野外的图片为了解决这个问题，最近已经有一些工作[10，12]试图从2D图像重建高质量的纹理。例如，Denget al.[10]学习生成模型以完成面部UV图中的自遮挡区域Gecer等人[12]首先利用GAN在UV空间中训练面部纹理生成器，然后使用非线性优化来找到最佳的潜在参数。虽然他们可以实现高保真度的纹理，但他们的方法需要一个大规模的高分辨率UV贴图数据库，这是不可公开的。此外，捕获这样的数据库是相当费力的，这对于普通用户是不可行的。在本文中，我们寻求重建三维人脸形状高保真纹理从一个单一的图像，而不需要捕获一个大规模的人脸纹理数据库。为了实现这一目标，我们做了一个关键的观察，虽然缺乏细节，3DMM纹理模型可以提供一个2. 相关工作2.1. 可变形的3D人脸模型Blanz和Vetter [3]在20年前介绍了第一个3D变形人脸模型。从那时起，3DMM出现了多种变体[4，6，14，18，23]。这些模型产生低维表示的面部身份，表情和纹理从多个人脸扫描使用PCA。3DMM最广泛使用的公开变体之一是巴塞尔人脸模型（BFM）[26]。该方法首先采用最佳步长非刚性ICP算法将模板网格配准到被扫描的人脸上，然后采用PCA降维方法构建模型。我们将在实验中使用该模型作为我们的3DMM模型。在3DMM中，给定恒等系数ci、表情系数ce和纹理系数ct，面部形状S和纹理T可以表示为：为整个面部网格提供全局合理的颜色。我们可以通过引入面部去纹理来进一步完善这个初始纹理S=S平均值+CiI基础+CeE基础T=T均值+ctT基线（一）从图像到面网格的拖尾。为此，我们建议重建网格顶点 的 详 细 颜 色 ， 特 别 是 ， 我 们 利 用 图 卷 积 网 络（GCN）[9，20，27]来解码图像特征并将详细的RGB值传播到面部网格的顶点。我们的重建框架以粗到细的方式工作，基于3DMM模型和图卷积网络的组合。训练卷积神经网络（CNN）以从2D图像回归3DMM系数（形状/表情/纹理）和渲染参数（姿势/照明）。利用3DMM模型，可以利用仿射模型计算人脸形状和初始粗纹理。在关键阶段，我们利用预先训练的CNN从图像中提取人脸特征，并将其馈送到图卷积网络，以生成网格顶点的详细我们的框架采用了一个可扩展的渲染层[13]来实现自我监督训练，并进一步改进了GAN损失的结果[16]。综上所述，本文做出了以下贡献-选择：• 我们提出了一个从粗到细的框架，用于从单个图像重建具有高保真度纹理的3D人脸，而不需要捕获大规模高分辨率的面部纹理数据。• 据我们所知，我们是第一个使用图卷积网络来生成高保真度的面纹理，它能够从图像中为网格顶点生成详细的颜色。• 我们将我们的结果与最先进的方法进行比较，并且我们的方法在定性和定量比较中均优于其他方法。其中Smean和Tmean分别为人脸形状和纹理的平均值，I基、E基和T基分别为识别、表情和纹理的PCA基我们使用来自BFM [26]的Smean，Tmean，Ibase和Tbase，以及从FaceWarehouse [6]构建的Ebase2.2. 拟合可变形人脸模型从单个图像进行3D人脸重建的经典方法是迭代地将模板模型拟合到输入的2D图像。然而，这种方法是敏感的照明，表情和姿态的2D人脸图像。已经进行了一些改进[2，22，30]以提高拟合稳定性和准确性，但它们基于深度学习的方法直接从图像中回归为了获得用于监督学习的成对2D-3D数据，Richardsonet al.[28，29]通过从可变形的面部模型中随机采样来生成合成数据，但是当处理复杂的光照、遮挡和其他野外条件时，这种方法可能不能很好地执行。Tran等人[35]不直接生成合成数据。相反，他们使用迭代优化来创建地面实况，以适应大量的面部图像。尽管如此，在不受控制的环境中仍然存在脆弱的问题。最近，微分渲染器[13，34]已经引入。它根据人脸形状、纹理、光照和其他相关参数将3D人脸网格渲染成2D图像，并将渲染图像与输入图像进行比较利用这种固定的、可区分的渲染层，可以在不需要训练对的情况下实现无监督或弱监督训练我们也遵循这一战略。特别是，我们5893图2：我们的方法的整体粗到细框架黄色块在其他块之前进行预训练，灰色块不可训练，蓝色块可训练。回归器从输入图像I回归3DMM系数、面部姿态和照明参数，其中3DMM系数将用于计算面部形状S（坐标，例如，x，y，z）和粗纹理T（α， βr，g，b）通过PCA模型。FaceNet用于从I.然后将粗纹理和人脸嵌入分别送入GCN Refiner和GCN Decoder的输出这两个GCN沿着通道轴连接（捐赠为“T”）并馈送到组合网络，组合网络产生精细纹理T′。鉴别器试图通过对抗训练来改善纹理细化模块的输出采用Genova等人的可微分渲染器。[13]，称为2.3. 可变形人脸模型的纹理最近基于深度学习的方法旨在通过回归3DMM纹理系数来从单个图像重建面部纹理。例如，Denget al.[11]提出了一种同时预测3DMM形状和纹理系数的方法，该方法在训练过程中采用照明和渲染模型，并进行图像级和感知级损失，导致比其他方法更好的结果。然而，他们生成的纹理仍然固有地受到3DMM纹理模型的限制。在我们的方法中，我们部署他们的计划来训练一个3DMM系数有效的回归模型，得到一个全局合理的人脸纹理。然后，我们利用图卷积网络，用图像细节来细化纹理。2.4. 图卷积网络为了在非欧几里德结构化数据中实现卷积运算，Brunaet al. [5]利用图的拉普拉斯算子和傅立叶基对CNN在图上进行了第一次扩展。然而，它是计算昂贵的 ， 忽 略 了 本 地 功 能 。 Defferrard 等 人 [9] 提 出 了ChebyNet，它用截断的Cehbyshev多项式逼近光谱滤波器，避免了傅立叶基的计算CoMA [27]引入了网格下采样和网格上采样层，它构建了一个自动编码器来学习3D人脸网格的潜在嵌入。受CoMA [27]的启发，我们的方法从2D图像中学习表示详细面部颜色的潜在向量，然后对其进行解码，以使用图卷积网络为面部网格顶点生成详细颜色纹理细化模块FaceNetGCN解码器面部嵌入系数我PCA模型粗纹理T精细纹理T回归器姿态灯形状S渲染器形状S渲染器RR'鉴别器GCN细化剂联合网5894ΣΣ˜˜3. 方法我们提出了一种由粗到精的三维人脸重建方法如图2、我们的框架由三个模块组成。特征提取模块包括用于回归3DMM系数、面部姿势和照明参数的回归器，以及用于提取图像特征以用于后续细节细化和身份保留的FaceNet [32]。 纹理细化模块由三个图卷积网络组成：GCN解码器，用于解码从FaceNet提取的特征并产生网格顶点的详细颜色; GCN细化器，用于细化从回归器产生的顶点颜色;以及组合器，用于组合两种颜色以产生最终顶点颜色。鉴别器试图通过对抗训练来改善纹理细化模块的输出。3.1. 3DMM系数回归我们算法的第一步是用CNN从输入图像中回归3DMM 系 数 和 渲 染 参 数 我 们 采 用 [11] 中 最 先 进 的3DMM系数回归器进行这项任务。 给定2D图像I，其回归一个257维向量（ci，ce，ct，p，l）∈R257，其中ci∈R80，ce∈R64，ct∈R80分别表示3DMM的形状系数、表情系数和纹理系数。p∈R6是人脸姿态，l∈R27是光照参数。 通过预测系数，脸变了-纹理1.一、此外，我们利用预先训练的FaceNet [32]从人脸图像中提取特征向量。提取的特征有两个目的。首先，它可以被视为一个IM-投影到输入图像上。由于投影的人脸图像不是最终结果，我们进一步用估计的光照照射人脸网格并渲染它以获得最终图像R，将其与输入图像进行比较以计算损失。照明和渲染的一个例子如图所示。3.第三章。图3：从左到右：输入图像、仅具有纹理的渲染图像和具有被照亮的纹理的渲染图像。3.3.纹理细化模块我们的纹理细化模块由三个图卷积网络组成，即Decoder，Refiner和combine net。与使用UV贴图作为面部纹理表示的其他工作[10，12]不同，我们直接操纵面部网格上顶点的RGB值我们部署了一个由一组顶点组成的面纹理网格三角形表示为M=（V，A），其中V ∈Rn ×3存储顶点颜色，A ∈ {0，1}n×n是表示三角形的邻接矩阵。在邻接矩阵A中，如果顶点i和j连通，则Aij= 1，否则Aij= 0。 对于归一化，拉普拉斯算子年龄特征嵌入我们的解码器生成详细的矩阵计算为L=I-D12AD12、我在哪里中描述的网格顶点的颜色秒3.3.第二，它可以用来衡量身份保持损失中的身份距离。3.4.3.2.可微渲染为了训练我们的网络，我们进行了一个自我监督的方法与微分渲染层。也就是说，我们将人脸网格渲染为具有预测参数的2D图像，并基于渲染图像和输入图像之间的差异计算损失。我们采用了[13]中的可微分渲染层，该层引入了基于延迟着色模型的通用可微分光栅化器。光栅化器用三角形ID和像素的重心坐标计算屏幕空间缓冲区网格中的颜色和法线将在像素处进行插值。在训练期间，顶点法线被计算为周围三角形法线的平均值。具体地说，通过从回归器中生成的形状S、纹理T和姿态，我们可以计算出人脸的最大值。单位矩阵，D是对角矩阵，表示V中每个顶点的度为Dii=jAij。X和X之间的谱图卷积算子 *y被定义为傅立叶空间中的Hadamard乘积：x <$y =U（（UTx）<$（UTy）），其中U是Laplacian矩阵的特征向量.为了解决U的非稀疏性导致的计算量大的问题，[9]提出了一种快速谱卷积方法，该方法构造网格，使用递归切比雪夫多项式[9，17]用核gθ进行滤波K−1gθ（L）=θkTk（L），（2）k=0其中L= 2L/λmax−I是缩放拉普拉斯矩阵，λmax是拉普拉斯矩阵的最大特征值，θ ∈ R K是切比雪夫系数向量，Tk∈ R n×n是k阶切比雪夫多项式。 Tk递归计算为Tk（x）= 2xTk−1（x）− Tk−2（x），初始T0=1且T1=x。对于每一层，−−5895Σ光谱卷积可以定义为：Finyj=gθi=1i、j（L）xi∈Rn，（3）其 中 x∈Rn×Fin是 具 有 Fin 特 征 的 输 入 ， yj 表 示y∈Rn×Fout的第j个特征，它具有Fout特征。对于每个谱卷积层，有Fin×Fout可训练参数。我们的解码器将特征向量从FaceNet并为每个顶点生成RGB值解码器的架构是建立在残差网络的思想，它由四个频谱残差块。频谱上采样层被放置在每两个频谱残差块之间。每个频谱残差块包含两个Chebyshev卷积层和一个捷径层。每个Chebyshev卷积层使用K= 6个Chebyshev多项式，并且后面跟随有偏的图4：第一行是输入图像，第二行是用于计算损失的面部区域。面部、眉毛、眼睛、鼻子和嘴巴的区域来计算损失。一些示例如图所示。4.第一章逐像素损失定义为：ReLU层[15]。细化器从3DMM细化顶点颜色MprojM面||2||2使用频谱卷积层的模型它还包含Lpix（x，x）=项目简介M面、（四）类似于解码器的频谱残差块。然而，仅一个下采样层和一个上采样层被分别部署在网络的底部和顶部。为了产生具有细节的最终顶点颜色，组合网络沿着通道轴连接解码器和细化器的输出，并将它们馈送到图形卷积层，然后是tanh激活层。我们还采用与Sec中相同的可微分渲染器来自我监督纹理细化模块的训练。3.2.具体来说，我们将3D人脸网格渲染到具有照明的R'，为了使最终的纹理具有更高的逼真度，我们进一步采用了对抗训练策略。由于我们不使用真实的3D人脸数据，因此将鉴别器部署在输入的2D图像和来自重建的渲染图像其中x是输入图像，x'是具有光照的渲染图像，并且M_proj表示面部网格可以被投影到其上的区域3.4.2身份保护损失使用像素级损失可以生成总体上良好的结果。然而，重建的3D人脸可能看起来不为了解决这个问题，我们定义了一个损失函数在人脸特征的水平，这是所谓的身份保持损失。损失要求输入图像和渲染图像之间的特征我们将身份保持损失定义为余弦距离：结构化3D面网格。我们的鉴别器包含6个con-核大小为3的卷积层，每个层都是如下所示：Lid（x，x′）=1−||F（x）||·||F（x′）||、（五）下面是一个最大池层。在训练过程中，我们遵循Wasserstein GAN中描述的带有梯度惩罚的过程[16]。3.4. 损失3.4.1逐像素损失一个简单的目标是最小化输入图像和渲染图像之间的然而，由于输入面部图像可能具有遮挡（例如，自遮挡，眼镜和面具），我们只计算特定人脸区域Mface之间的欧氏距离。人脸区域是由Halen数据集[21]上的[33]预先训练的人脸分割网络获取的，我们使用其中x是输入图像，x′是渲染图像，F（·）是F aceNet的特征提取函数。是内积。3.4.3顶点损失当训练细化模块时，由于面部上的遮挡区域，图卷积网络可能无法正确地从图像中学习纹理RGB值因此，我们在细化模块训练的早期阶段，基于回归器预测的纹理构造顶点损失为了从人脸图像中获取细节信息，我们还检索了5896我通过将面顶点投影到2D图像来生成顶点颜色Tp，然后将它们与3DMM纹理RGB值一起馈送到Refiner考虑到这两点，我们的顶点损失可以定义为：1Σ我5. 实验结果在这一节中，我们展示了我们的结果，提出的框架，并比较重建的三维人脸与以前的作品。我们还上传了一个视频旋转的3D脸到YouTube上，以显示我们的结果在大姿势。Lvert（x，x′）=N i=1 ||第二条第六款||2,(6)5.1. 定性比较其中N是顶点的数量 xi是由回归器生成的插值值T或检索到的顶点颜色Tp，x′是来自细化模块的细化插值T ′或照明T′，表示为T′。3.4.4对抗性损失对于对抗训练，我们采用改进的Wasserstein GAN [16]的范例，其对抗损失定义为：图5显示了我们的结果与最新方法的比较[8，11，12，13]。第一行显示输入图像，第二行显示我们的结果。其余行展示了深度面部细节网络[8]、深度3D面部重建[11]、GANFIT [12]和Genova等人的方法的结果。[13]它引入了可微分渲染器。值得一提的是，在[8，12]中，他们使用了自己捕获的数据，这些数据是不可公开的。具体而言，Chenetal.[8]从122张照片中捕获了366张高质量的3D扫描照片Ladv=Ex′PR′[D（x′）]−ExPI[D（x）]+2（七）不同的主题，和Gecer等人。[12]训练了一个渐进的GAN来模拟UV表示λExPx[（||x||2-1）]，10，000个高分辨率纹理，但我们只使用野外2D人脸图像数据集。其中，x是来自细化的纹理的渲染图像，并且x是输入图像。 x′是沿着从输入图像分布PI和渲染图像分布PR′采样的点之间的直线均匀采样的随机样本。4.实现细节在训练之前，每个人脸图像都已经按照[7]的方法对齐。 然后我们利用网络从[33]在Halen数据集[21]上进行面部分割的预训练，为每个面部图像生成面部区域掩码我们使用的人脸图像数据集是CelebA [24]，3D可变形人脸模型是Basel Face Model [26]。回归网络采用[11]中的回归网络，其预测3DMM系数、姿态和照明参数，并且通过3DMM模型生成人脸形状和粗糙纹理。我们将输入图像大小设置为224×224，顶点数设置为35，709，与[11]相同。在得到人脸形状和粗糙纹理后，下一步是训练纹理细化模块和识别器。训练损失定义为：[8]的方法使用UNets来产生用于面部细节合成的位移图，并且网络是半监督训练的，利用标记的3D面部。然而，他们的工作大多集中在局部人脸形状细节，重建的三维人脸的整体形状不如局部。对于大规模的UV贴图数据集，[12]可以生成高保真度的纹理，但结果在灯光和整体颜色方面缺乏多样性，因为预测的灯光和颜色不是那么准确。Genova等人[13]引入了端到端的无监督训练程序，以学习回归3DMM系数。Deng等[11]利用3DMM系数同时预测光照和人脸姿态，在复杂光照条件下产生更好的效果。尽管如此，我们的结果有更详细的信息，因为他们是由一个3DMM模型，这是不能够处理在野外的情况很好。5.2. 定量比较为了定量评估我们重建的3D人脸，我们L=σ1（Lpix（I，R′）+σ2Lid（I，R′）+σ3Ladv）（八）在2D图像上使用度量，因为我们没有3D地面实况数据。度量是在+σ4（Lvert（T，T′）+Lvert（Tp，T′）），其中σ2= 0。2和σ3= 0。001在训练中被固定。对于σ1和σ4，我们以“预热”方式开始训练纹理细化模块首先，我们设置σ1= 0和σ4= 1。经过一个阶段的预热后，σ1逐渐增加到1，σ4相应地减少到0输入图像和来自面部网格的投影图像，具体地，当面部网格被投影到2D图像时，仅面部区域被投影，6显示一个例子。首先，我们使用L1距离，峰值信噪比（PSNR）和结构相似性指数（SSIM），这是衡量结果的像素级。 然后我们评估结果通过计算余弦相似度，在推理过程中，我们的网络可以处理大约50个im-与NVIDIA 1080Ti GPU并行的每秒老化†https://youtu.be/ZGdkfhsd HwN5897盖切尔al.et.LaetnheC.Laet吴埃D.Laet图5：我们的结果与其他方法的比较。第一行是输入图像，我们的结果显示在第二行，其余行分别是由[8，11，12，13]获得的重建3D人脸。特征向量，由两个最先进的预训练人脸识别网络LightCNN [37] 和 evoLVe [38] 提 取 。 我 们 不 使 用FaceNet，因为它出现在我们的训练管道中，使其不适合作为评估指标。由于大多数3D人脸重建方法关注的是人脸的形状，而不是纹理，因此很难找到足够的度量来与其他方法进行比较。此外，我们还比较了MICC数据集[1]上相同和不同身份的VGG-Face [25]特征向量相似性分布之间的推土机距离。定量比较见表1。1.一、我们的结果在多个评估指标中优于其他人。较低的L1距离和较高的PSNR和SSIM表明我们重建的三维人脸纹理在像素级上更接近输入图像。两个最先进的人脸识别网络都认为我们的结果和输入图像更有可能是同一个人。就MICC数据集而言，[13]中使用的面部网格包含耳朵和颈部区域，而我们的则没有。我们跟着他们的程序，只使用渲染图像（图中的第三个图像）。图6展示了用于计算相似性得分的示例）上述因素可能导致我们的方法得分较低。图6：从左到右：输入图像、人脸区域掩模、重建的3D人脸网格和投影图像进行定量比较。5.3. 消融研究图7展示了我们的方法的消融研究，其中我们的完整模型呈现出比其变体更详细和逼真的纹理。选项卡.图2为定量方法。粗糙纹理由回归器生成，我们输入5898输入图像粗糙的纹理不含LADV不带L垂直不带Lvert完整模型FC CNN表1：定量比较。* ：作为参考，我们还列出了[10]的PSNR和SSIM，但应该注意的是，它们的度量是在UV映射上计算的，因为它们已经构建了一个包含21，384个真实UV映射的数据集用于训练，而我们不使用这些数据。3DMM模型，它能够产生一个基本的形状和纹理一般，但是，细节，如雀斑或眼睛是不忠实地预测。从Lpix和Lid开始，网络不再局限于3DMM模型，并预测更高保真的面部皮肤和眼睛。在对抗训练的帮助下，结果变得不那么模糊，更真实。最后，我们通过添加Lvert来构建完整的模型，预测包含更多的细节，并且看起来与输入图像非常相似我们还在未包裹的UV空间上用全连接层或卷积层替换了GCN，并且性能并不比GCN好，如图所示。7和Tab。2.我们得出了与[39]类似的结论，即在UV空间上使用FC或CNN会导致网络中的大量参数，并且不会利用3D面部结构的空间信息。Lpix损失LidL adv LVert PSNR SSIM LightCNN进化CC26.5828.570.8260.8630.7240.8280.6410.738CCC29.30 0.8720.8400.755CCCC29.69 0.8940.9000.848全连接25.88 0.8200.6290.544卷积27.54 0.8480.7980.696表2：射频消融研究，越高越好。为了改善结果，我们还在更高分辨率的图像数据集CelebA-HQ [19]上训练和测试了我们提出的网络。更高的分辨率有助于减少类似棋盘的伪影并产生更好的结果。比较如图所示。8.图7：对我们提出的方法的不同损失的消融研究，完整模型导致比其他模型更好的结果。图8：与更高分辨率图像的比较。从左至右：输入图像，由224 × 224和512 × 512分辨率产生的结果。6. 结论本文提出了一种新的三维人脸重建方法，该方法从单视图图像中生成具有高保真纹理的人脸形状。据我们所知，我们是第一个使用图卷积网络从单个图像生成高保真人脸纹理的人。与其他方法相比，该方法不需要获取高分辨率的人脸纹理数据集，只需一个3DMM模型就可以生成逼真的人脸纹理。在未来，我们将尝试最大限度地减少棋盘状伪影，并使用图卷积网络生成更详细的面部形状和表达式。致谢我们感谢匿名评论者的宝贵意见。本课题得到了国家重点研发&计划（2018YFB1004300）、NSF China（No. 61772462号61572429号U1736217）和100浙江大学人才计划[第十一届][13]我们[10]*CelebAL1距离↓0.052/0.034/PSNR↑26.58/29.6922.9磅26.5磅SSIM↑0.826/0.8940.8870.898LightCNN↑0.724/0.900/evoLVe↑0.641/0.848/MICCVGG-Face↓相同0.090.09零点零八/5899引用[1] Andrew D.Bagdanov ， Alberto Del Bimbo ， and IacopoMasi.佛罗伦萨2D/3D混合人脸数据集。在2011年ACM人类手势和行为理解联合研讨会的会议记录中，J-HGBUACM。[2] Volker Blanz和Thomas Vetter。基于三维形变模型拟合的 人 脸 识 别 IEEE Transactions on pattern analysis andmachine intelligence，25（9）：1063[3] Volker Blanz，Thomas Vetter，et al.三维人脸合成的可变形模型。在Siggraph，第99卷，第187-194页[4] James Booth 、 Anastasios Roussos 、 Allan Ponniah 、David Dunaway和Stefanos Zafeiriou。大规模三维变形模型。国际计算机视觉杂志，126（2- 4）：233[5] Joan Bruna ， Wojciech Zaremba ， Arthur Szlam ， andYann Le- Cun.图上的谱网络和局部连通网络。arXiv预印本arXiv：1312.6203，2013。[6] 曹 晨 、 翁 彦 林 、 周 顺 、 童 一 英 、 周 坤 。Facewarehouse：用于视觉计算的三维面部表情数据库 。 IEEE Transactions on Visualization and ComputerGraphics，20（3）：413[7] 陈冬，刚华，方文，孙建用于高效人脸检测的监督Transformer网络欧洲计算机视觉会议，第122-138页施普林格，2016年。[8] Zhang Chen，Guli Zhang，Kenny Mitchell，Jingyi Yu，et al.从单张图像合成照片般真实的面部细节。arXiv预印本arXiv：1903.10873，2019。[9] MichaeülDefferrard，XavierBresson，andPierreVandergheynst.具有快速局部谱滤波的图上卷积神经网络。神经信息处理系统的进展，第3844-3852页，2016年[10] Jiankang Deng，Shiyang Cheng，Niannan Xue，YuxiangZhou，and Stefanos Zafeiriou. UV-gan：对抗面部uv图完成用于姿势不变人脸识别。在IEEE计算机视觉和模式识别会议上，第7093-7102页，2018年[11] Yu Deng，Jiaolong Yang，Sicheng Xu，Dong Chen，Yunde Jia，and Xin Tong.通过弱监督学习实现精确的3D人脸重建：从单个图像到图像集。在IEEE计算机视觉和模式识别工作坊，2019年。[12] Baris Gecer ， Stylianos Ploumpis ， Irene Kotsia ， andStefanos Zafeiriou.Ganfit：用于高保真3D人脸重建的生成对抗网络拟合。在IEEE计算机视觉和模式识别会议集，第1155-1164页[13] Kyle Genova、Forrester Cole、Aaron Maschinot、AaronSarna、Daniel Vlasic和William T Freeman。三维可变形模型回归的无监督训练。在IEEE计算机视觉和模式识别会议的论文集，第8377-8386页[14] ThomasGerig ， AndreasMorel-Forster ， ClemensBlumer，BernhardEgger，MarcelLuthi，SandroSchönborn ，andThomas Vetter.可变形人脸模型-一个开放的框架。2018年第13届IEEE自动人脸手势识别国际会议（FG2018），第75IEEE，2018年。[15] 泽维尔·格洛罗特安托万·博德斯和约舒亚·本吉奥。深度稀疏整流神经网络。第十四届人工智能和统计国际会议，第315-323页，2011年[16] Ishaan Gulrajani 、 Faruk Ahmed 、 Martin Arjovsky 、Vincent Dumoulin和Aaron C Courville。改进的瓦瑟斯坦甘斯训练。神经信息处理系统的进展，第5767-5777页，2017年[17] 哈蒙德，皮埃尔·范·安斯特，还有雷米·格里邦瓦尔。基于谱图论的图上的小波。应用和计算谐波分析，30（2）：129[18] Patrik Huber ， Guosheng Hu ， Rafael Tena ， PouriaMortaza- vian ， P Koppen ， William J Christmas ，Matthias Ratsch，and Josef Kittler.多分辨率三维可变形人脸模型及拟合框架。在2016年第11届计算机视觉、成像和计算机图形理论与应用国际联合会议上发表[19] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.为提高质量、稳定性和变异性而进行的干细胞生长。arXiv预印本arXiv：1710.10196，2017。[20] Thomas N Kipf和Max Welling使用图卷积网络的半监督分类。arXiv预印本arXiv：1609.02907，2016。[21] Vuong Le ， Jonathan Brandt ， Zhe Lin ， LubomirBourdev，and Thomas S Huang.交互式面部特征定位。欧洲计算机视觉会议，第679-692页。Springer，2012.[22] Martin D Levine和Yingfeng Chris Yu。基于单个2d训练图像的人脸识别3d人脸重建方法研究进展。PatternRecognition Letters，30（10）：908[23] Tianye Li，Timo Bolkart，Michael J Black，Hao Li，and Javier Romero.从4d扫描中学习面部形状和表情的模型ACM Transactions on Graphics（TOG），36（6）：194，2017。[24] Ziwei Liu ， Ping Luo ， Xiaogang Wang ， and XiaoouTang.在野外深度学习人脸属性。在IEEE计算机视觉国际会议论文集，第3730-3738页[25] Omkar M Parkhi ， Andrea Vedaldi ， and AndrewZisserman.深度人脸识别。2015年。[26] Pascal Paysan、Reinhard Knothe、Brian Amberg、SamiRomdhani和Thomas Vetter。一种用于姿态和光照不变人脸识别的三维人脸模型。在2009年第六届IEEE高级视频和基于信号的监控国际会议上，第296-301页。Ieee，2009年。[27] Anurag Ranjan ， Timo Bolkart ， Soubhik Sanyal ， andMichael J Black.使用卷积网格自动编码器生成3d人脸。在欧洲计算机视觉会议论文中，第704-720页[28] Elad Richardson Matan Sela和Ron Kimmel通过从合成数据学习的3D人脸重建在2016年第四届3D视觉国际会议（3DV）上，第460- 469469. IEEE，2016.5900[29] Elad Richardson 、 Matan Sela 、 Roy Or-El 和 RonKimmel。从单个图像学习详细的面部重建。在IEEE计算机视觉和模式识别会议论文集，第1259-1268页[30] Sami Romdhani和Thomas Vetter利用像素强度、边缘、镜面高光、纹理约束和先验估计三维形状和纹理。在2005年IEEE计算机协会计算机视觉和模式识别会议IEEE，2005年。[31] Soubhik Sanyal ， Timo Bolkart ， Haiwen Feng ， andMichael J Black.学习在没有3d监督的情况下从图像在IEEE计算机视觉和模式识别会议论文集，第7763-7772页[32] FlorianSchroffDmitryKalenichenkoJamesPhilbinFacenet：用于人脸识别和聚类的统一嵌入在IEEE计算机视觉和模式识别会议论文集，第815-823页[33] Tianyang Shi，Yi Yuan，Changjie Fan，Zhengxia Zou，Zhenwei Shi，and Yong Liu.面向参数翻译的游戏角色自动创建。arXiv预印本arXiv：1909.01064，2019。[34] Ayush Tewari 、Michael Zollhofer、Hyeongwoo Kim、Pablo Garrido、Florian Bernard、Patrick Perez和ChristianTheobalt。Mofa：基于模型的深度卷积人脸自动编码器，用于无监督单目重建。在IEEE计算机视觉国际会议论文集，第1274-1283页[35] AnhTuanTran，TalHassner，IacopoMasi和Ge'rardMedioni。使用深度神经网络回归稳健且有区别的3d可变形模型在IEEE计算机视觉和模式识别会议论文集，第5163-5172页，2017年[36] Fanzi Wu，Linchao Bao，Yajing Chen，Yonggen Ling，Yibing Song ， Songnan Li ， King Ngi Ngan ， and WeiLiu.Mvf-net：多视角3d人脸变形模型回归。在IEEE计算机视觉和模式识别会议论文集中，第959-968页，2019年[37] 向武、何冉、孙哲南、谭铁牛。一种用于带噪声标签的深 度 人 脸 表 示 的 浅 IEEE Trans-actions on InformationForensics and Security，13（11）：2884[38] Jian Zhao，Jianshu Li，Xiaogang Tu，Fang Zhao，YuanXin，Junliang Xing，Hengzhu Liu，Shuicheng Yan，andJiashi Feng.基于无约束集合的多原型网络人脸识别。在IJCAI，2019年。[39] Yuxiang Zhou ， Jiankang Deng ， Irene Kotsia ， andStefanos Zafeiriou.超过2500fps的密集3d人脸解码：联合纹理&形状卷积网格解码器。在IEEE计算机视觉和模式识别会议论文集，第1097-1106页