基于单幅图像的真实感人脸细节合成

9429基于单幅图像的真实感人脸细节合成陈安培1张晨1张谷莉1肯尼·米切尔2俞静怡11上海科技大学2爱丁堡龙比亚大学{chenap，chenzhang，zhanggl，yujingyi}@ shanghaitech.edu.cnK. Mitchell napier.ac.uk图1.从左至右：输入人脸图像;由我们的框架产生的代理3D人脸，纹理和位移图;具有应用于代理3D面部的估计位移图的详细面部几何形状;并重新绘制面部图像。摘要我们提出了一个单一的图像三维人脸合成技术，可以处理具有挑战性的面部表情，同时恢复精细的几何细节。我们的技术采用express- sion分析的代理人脸几何生成和combines监督和无监督学习的面部细节合成。在代理生成方面，我们进行情感预测，以确定一个新的表达知情代理。在细节合成方面，我们提出了一种基于条件生成对抗网络（CGAN）的深度面部细节网络（DFDN），该网络采用了几何和外观损失函数。对于几何学，我们从122个不同的主题中捕获了366个高质量的3D扫描，包括3种面部表情。对于应用程序，我们使用额外的163K在野外的人脸图像，并应用基于图像的渲染，以适应光照变化。综合实验表明，我们的框架可以产生高质量的三维人脸与现实主义的细节下具有挑战性的面部表情。1. 介绍生成具有精细几何细节的高质量人脸一直是计算机视觉的核心研究领域，graphics-遗漏广西快乐皱纹等几何结构细节是年龄和面部表情的重要指标，对于生成逼真的虚拟人至关重要[2]。迄今为止，成功的解决方案依赖于复杂且通常昂贵的捕获系统，例如基于立体的摄像头圆顶[20]或基于光度测量的LightStage [32，13]。虽然这种解决方案已经变得越来越受欢迎和负担得起的低成本相机和灯的可用性，他们仍然是笨重的，因此不支持便携式扫描。此外，它们易受低纹理区域（诸如裸露皮肤）的影响。我们的目标是从单个图像中生成具有精细几何细节的高质量3D面部，其质量可与圆顶系统和LightStage生成的面部质量相媲美。现有的单图像解决方案首先从模板构建3D代理面，然后通过变形几何形状和添加细节来细化代理这些代理可以通过混合基面几何从3D可变形模型（3DMM）[11，10，42，51，17]中导出。更复杂的技术在3D人脸字典上采用稀疏编码，以进一步提高鲁棒性和质量[41，11，10，42，51，17，23，43，8]。然而，这些方法会产生伪像，例如过度平滑和不正确的表达，其中使用相对少量的参数来近似9430真实人脸高维空间。阴影恢复形状[28]，光度立体[13]和深度学习[52，39，15]已用于生成缺失的细节。然而，现有方法在不可见的情感表达和照明下获得正确形状方面具有限制，因此提供不充分或不准确的几何细节，如图1所示。7在本文中，我们提出了一种新的基于学习的技术，从一个单一的人脸图像产生准确的几何细节。我们的方法考虑到情感，表达和外观。对于代理生成，我们采用了由形状、表情和表面反射率（反射率）组成的巴塞尔人脸模型（BFM）[18]然而，3D表达式在投影到2D图像上后表现出很强的模糊性：表示非常不同的情感表达的一对3D网格可以在图像上具有相似的2D界标。因此，我们首先设计了一种基于学习的方法来进行情感预测，然后使用结果来确定一个表达知情代理。对于几何细节合成，我们设计了一个基于条件生成对 抗 网 络 （ CGAN ） 的 深 度 真 实 细 节 网 络（DFDN），将图像块映射到详细的位移映射。我们的DFDN有两个组成部分：一个中等规模的几何模块，学习PCA共同，系数（在我们的情况下为64）和精细尺度几何模块，该模块利用广告细节来细化基于PCA的结果。为了训练，我们从122个不同的受试者中捕获了总共366个高质量的3D扫描，包括三种面部表情（一种中性表情和两种极端表情）。我们使用ICT-3DRFE[47]中的340个高分辨率网格来增强训练数据损失函数是根据估计和地面实况之间的几何差异来定义的然而，我们观察到这些训练数据仍然不足以覆盖广泛的照明条件。因此，我们引入了一个额外的无监督学习过程（具有在野外捕获的额外163K图像），其中对于每个图像，我们使用我们的情感驱动的形状估计器获得其代理几何形状，然后使用球谐函数（SH）近似相应的我们使用DFDN来获得几何形状的估计，但是由于我们没有地面真实几何形状，因此我们使用估计的光照和环境照明重新渲染这些结果，并根据图像差异计算损失函数。最后，我们交替的监督和无监督的学习过程中，几何和图像，分别。我们已经发布了代码、预训练模型和结果1。2. 相关工作用于产生高质量3D面部几何形状的现有方法依赖于重建或合成。1https://github.com/apchenstu/Facial_Details_Synthesis.git重建技术。多视图立体（MVS）3D面部重建系统采用立体[33]或运动恢复结构[56]。稀疏的摄像机组产生大规模的几何[20]，而更密集且因此更昂贵的设置[2]提供更精确的测量。在任一情况下，重建质量在很大程度上取决于特征匹配结果，因为它们充当主导最终形状的锚点。对于具有很少纹理的区域，例如裸露的皮肤，由于缺乏特征，重建往往例如，由面部表情引起的皱纹特别难以重建：即使它们引起阴影变化，它们的几何形状也太小而不能使用立体来捕获，尤其是当照相机基线小时。最近，Graham et al.[20]使用24个入门级DSLR摄影测量相机和6个环形闪光灯独立捕获面部镜面反射反应，然后结合色度形状和镜面反射形状进行高质量重建。在面部重建中采用的另一类多镜头技术PS基于从固定视点分析不同照明下的图像强度变化。PS不是直接重建3D几何结构，而是打算首先恢复正常图，然后恢复3D网格，例如，通过正常积分。PS中的常见伪影是由违反正交假设的透视投影引起的最终重建中的低频失真[35，48]。对光源和相机进行精确校准虽然能够缓解问题，但却很麻烦。最新的技术[36，57，16]通过使用MVS结果作为校准的代理，将PS与MVS相Aliaga等人[3]通过使用多个数字投影仪作为光源和虚拟相机来模拟MVS设置。我们建议读者参考[1]，以了解PS变体的全面综述。基于综合的方法。高质量移动相机的可用性和对便携式3D扫描的需求促进了从单个图像生成高质量3D面部的重大进展。Blanz和Vetter [6]的开创性工作预先捕获了人脸模型的数据库给定一个输入图像，它会找到基本模型的最佳组合来拟合输入。他们的技术也可以处理表达式[37，18]下的几何变形，如果数据库包括表达式，例如，由RGBD相机拍摄[12]。更广泛的面部数据库最近已公开[58，24，55，30，7]，重点是处理复杂的表情[30，7]。最近，Li等人 [30]通过超过33，000次3D扫描捕获下颌、颈部和眼球的姿势和关节，这些扫描有助于提高单图像/视频面部重建/跟踪的性能[41，11，10，46，60，42，51，17，23，43，8]。9431图2.我们的加工管道。上图：用于（a）情感驱动的代理生成和（b）面部细节合成的训练阶段。底部：输入图像的测试阶段。然而，目前的数据库仍然缺乏中高频的几何细节，如皱纹和毛孔，这些细节是真实3D人脸的缩影。基于阴影的补偿可以改善视觉外观[17，27]，但仍然远远落后于照片的质量重建。我们的方法是最新努力的一部分，使用学习来恢复3D代理和合成精细的几何细节，从一个单一的图像。对于代理生成，真实[53]或合成渲染[39，15]的人脸图像用作训练数据集，然后使用卷积神经Zhu等人 [59]在剖面图中使用合成图像以实现大姿态的精确代理对准。Chang等人 [14]绕过界标检测，以更好地回归表达参数。Tewari等人。 [50]采用基于自动编码器的自监督方法，其中新颖的解码器描绘图像形成过程。Kim等人[29]结合合成数据和真实数据的优点，共同学习参数化人脸模型及其相应参数的回归器。然而，这些方法没有利用情感信息，不能完全恢复表情特征。对于详细合成，Sela et al.[44]使用合成图像进行训练，但直接恢复深度和对应图，而不是模型参数。 Richardson等人。 [40]应用监督学习首先恢复模型参数，然后采用从阴影恢复形状（SfS）来恢复精细细节。Li等人。 [31]将SfS与反照率先验掩模和深度图像梯度约束相结合，以更好地保留面部细节。Guo等人。 [21]采用两阶段网络来重建不同尺度的面部几何。 Tran等人[54]代表细节如凹凸贴图和进一步处理洞填充的遮挡。基于学习的技术也可以产生体积表示[26]或正常字段[45]。然而，很少有方法可以生成非常精细的几何细节。Caoet.al [9]捕获18个高质量扫描，并采用主成分分析（PCA）模型将皱纹模拟为位移图。Huynh等人 [25]使用LightStage [19]的高精度3D扫描虽然有效，但他们的技术假设与LightStage类似的环境照明3. 表达式感知代理生成我们的第一步是获得一个代理3D人脸与准确的面部表情。我们采用巴塞尔面部模型（BFM）[18]，它由三个部分组成：形状Msha，表达Mexp和表达Malb。形状Msha和表达式Mexp确定顶点位置，而每个顶点Malb编码每个顶点M alb：Msha（α）=a sha+Esha·α（1）Mexp（β）=aexp+Eexp·β（2）Malb（γ）=aalb+Ealb·γ（3）其中asha，aexp，aalb∈R3n表示相应PCA空间的均值Esha∈R3n×199，Eexp∈R3n×100包含形状和表情的基向量，Ealb∈R3n×199包含表情的基向量.α、β、γ对应于PCA模型的参数渲染In-The-Wild网格培训语义特征提取器字典DFDS网络（一）（b）第（1）款代理估算（c）第（1）款纹理高度图测试培训94323.1. 代理估计给定一幅二维图像，我们首先提取二维人脸特征点L∈R2m，然后利用提取的结果计算PCA参数α，β来估计代理形状。具体来说，我们着手寻找使地标上的重投影误差最小化的参数：ΣE=wk<$Lk−P（lk（α，β））<$2+λs<$α<$2（4）K其中，Ik（α，β）对应于第k个面部顶点界标，并且P（·）是将3D顶点映射到2D图像坐标的相机投影算子wk控制每个面部界标的权重，而λs对形状参数施加为了解决Eq。4，我们使用[24]中的迭代线性方法。具体地，相机投影算子P（·）被参数化为仿射相机矩阵。对于表达式参数β，与[24]不同，我们将其固定为第3.2节中计算的先验参数βprior。在每一轮迭代中，我们首先固定α并使用黄金标准算法[22]求解P（·）。然后我们固定P（·）并求解α。为了引导这个迭代方案，我们将α初始化为0。3.2. 将表达作为先验代理估计中最具挑战性的部分是表达。3D表情在被投影到2D图像上之后表现出显著的模糊性，例如，不同的表情在投影之后可以具有相似的2D面部标志图3示出了这种模糊性的示例：两个面部的标志点非常接近，而它们的表情参数和形状却有很大的不同，特别是在鼻唇沟周围。因此，很难直接定义或训练从图像到3D表达的映射。在我们的实验中，我们还观察到基于重投影的损失函数很容易陷入反映这种模糊性的局部最小值。我们建议使用面部语义信息来缩小代理参数求解空间，通过将问题转换为条件分布。我们的高级语义特征包括情感特征和基于物理的外观特征（例如，FACS）。为了获得情感特征，我们重用AffectNet数据集[34]来训练情感特征预测器Emotion-Net。该数据集包含11个离散的情感类别和约450K的注释图像。我们利用“序列全CNN”[4]架构来训练我们的情感特征预测器，并使用倒数第二层的输出f∈R128作为表征人类情感的特征向量更多细节可以在我们发布的代码中找到。接下来，我们在区间[-3，3]中随机生成正态分布的表情参数β，并渲染90 K具有不同面部表情的图像。我们把图像输入210-1-21 234567 8-3左权图像地标网格图3.表达式投影歧义。上图：两个模型的前八个三维3D表情参数的可视化。下图：渲染的2D面部图像，它们的地标彼此层叠，以及它们对应的网格。训练好的情感特征网络，得到总共90K个情感特征向量。我们还使用[5]来估计图像上的90K外观特征向量将这些情感特征向量与它们相应的外观特征向量连接起来，我们获得了90K图像中每一个的语义特征向量。然后，我们制定了一个字典：sem→exp，记录从语义特征sem到表达式参数exp的映射。一旦我们获得训练的模型和表达式字典，我们就可以预测表达式参数βprior作为代理估计的先验。给定一个新的图像I，我们首先将其馈送到搜索网络和外观特征预测器，得到其语义特征向量。然后，我们在字典中找到其最接近的语义特征向量，并将相应的表达式参数用于β先验：βprior= λ（arg minλ-Net（I）−λsemλ2）（5）拉塞姆4. 深度面部细节合成利用三维代理面，通过估计位移映射并应用于代理网格来合成几何这里的关键观察是，对于皱纹等面部细节，几何形状和外观之间存在很强的相关性。4.1. 网络架构图4显示了我们的深度面部细节网络（DFDN），具有 两 个 主 要 的 级 联 模 块 。 部 分 细 节 推 理 模 块（PDIM）将2D图像块作为输入，并使用基于PCA的技术生成3D面部几何细节（第4.2节）。这样的方案大大减少了9433PDIM PDRM图4.用于面部细节合成的网络架构。PDIM用于中频细节（皱纹）合成，PDRM用于高频细节（毛孔）合成。参数空间，并且对于训练和推理过程都是稳定的。然而，PCA为基础的近似失去了高频功能，精细的细节合成的关键。因此，我们引入部分细节细化模块（PDRM）来进一步细化高频细节。我们明确地将面部推断过程分解为线性近似和非线性细化的原因在于，面部细节包括诸如皱纹的规则图案和诸如毛孔和斑点的特征。通过使用两步方案，我们将这些先验编码到我们的网络中。在PDIM模块中，我们使用UNet-8结构级联用4个全连接层来学习从纹理映射到位移映射的PCA表示的映射4个全连接层的大小分别为2048、1024、512、64。除了最后一个全连接层，每个线性层后面都是ReLU激活层。在随后的PDRM模块中，我们使用UNet-6，即6层卷积和反卷积，每层使用4×4内核，2为步幅大小，1为填充大小。除此之外，除了最后一个卷积层之外，我们采用LeakReLU激活层，然后使用tanh激活。为了训练PDIM和PDRM模块，我们将超级基于条件生成对抗网络（CGAN）的有监督和无监督训练技术，旨在处理面部纹理、光照、姿势和表情的变化。具体地说，我们收集了706个高精度3D人脸和超过163K的未标记的人脸图像，通过最小化生成器目标G和最大化“愚弄”CIDD的对数概率来学习从观察图像x和随机噪声向量z到目标位移图ymin max（LcGAN（G，D）+λLL1（G）），（6）上述监督学习方案的主要缺点是，在固定设置（受控照明、表情等）下捕获的训练数据 不足以模拟表现出由环境照明和表情引起的强烈变化的真实面部图像。因此，我们设计了半监督生成器G，利用标记的3D面部扫描用于监督损失L扫描以及基于图像的建模和渲染用于无监督重建损失L重建，如下：LL1（G）=L扫描（x，z，y）+ηL重建（x），（8）其中x是输入图像，z是随机噪声向量，y是地面实况位移图。η控制重建损失的贡献，我们将其固定为0。5在我们的案例中在下面的小节中，我们将讨论如何构建几何形状的监督损失L扫描和外观的无监督损失L重建4.2. 几何损失几何体损失将估计的置换贴图与地面实况进行比较。要做到这一点，我们需要捕捉地面真实面部几何与精细的细节。面部扫描捕获。为了获取训练数据集，我们实现了一个类似于[13]并进一步增强具有多视图立体的光度立体：前者可以产生高质量的局部细节，但会受到全局变形的影响，而后者在低频几何上表现出良好的性能，并且可以有效地校正变形。我们的拍摄系统包含5个佳能760D数码单反相机和9个偏振闪光灯。我们每次扫描共捕获23张图像，从5个不同的角度均匀照明点和9对垂直偏振照明图像G D(only从中央的观点来看）。完全收购我们在所有实验中设置λ=100，LcGAN（G，D）=Ex，y[log D（x，y）]+整个过程只持续两秒钟。对于网格重建，我们首先在5ims上应用多视图重建，Ex，z[log（1−D（x，G（x，z）））].（七）年龄与均匀照明。然后我们提取出从剩余的图像对中去除较大的/漫射的分量，9434使用光度立体分别计算漫反射/镜面反射法线贴图。多视图立体结果用作光度立体中的法向积分[38]的深度先验z0：∫∫min（u，v）∈I[（z（u，v）−[p（u，v），q（u，v）]）2+µ（z（u，v）−z0（u，v））2]dudv，（九）其中，u，v表示图像坐标，p，q分别表示对Δu z和Δvz的逼近，z0是深度先验。µ控制先前深度z0的贡献。为了生成包含和不包含细节的几何对，我们将权重参数µ分别设置为1e−5和1e−3然后，我们获得每个几何对的地面真实位移图。基于PCA的位移图。 在我们的训练方案中，我们选择不直接将完整的人脸图像作为输入输入输入到网络中：这样的训练很容易导致过拟合，因为我们没有足够的具有精细细节的3D人脸模型。相反，我们观察到，尽管在不同的脸上大规模的变化，局部纹理细节呈现出很强的相似性，即使面对出现极大的不同。因此，我们采用[9，13]中的思想，通过使用256×256分辨率的纹理/位移补丁来训练网络，以增强我们的网络泛化能力我们使用PCA对位移进行建模，其中每个补丁是64个基础补丁的线性组合。我们的几何损失定义为：ΣL 扫 描（x，z，y）=||PCA（PDIM（x，z））− y||1个以上||PDRM（PCA（PDIM（x，z）−y||1、（十）其中，PCA（·）使用输入PCA系数来线性组合基片。通过使用几何损失，我们将PCA空间中的损失与每像素损失相结合，以恢复更精细的细节。对于补丁采样，我们将每个面部图像展开为图5.从左至右：从输入图像，我们估计代理网格，法线，光照/阴影，和光照度来重新渲染图像。DFDN），然后使用此信息来计算照明和反射率。最后，我们使用所有这些估计重新渲染图像，并在训练期间计算输入图像的重建损失为了获得添加了几何细节的每像素法线，我们提出了一种使用代理网格的位置映射P代理的纹理空间操作（如图所示）。2，第一行的中间）和来自DFDN的输出位移图G（u，v）：P细（u，v）=P代理（u，v）+G（u，v）·N代理（u，v）（11）N细=F（P细）（12）其中N代理、N精细表示代理和精细比例几何的法线映射，并且P精细是详细网格的位置映射。N代理、P代理由传统的光栅化渲染流水线预渲染。F（·）是关于位置差的归一化叉积运算符：基于语义人脸分割的2048×2048分辨率纹理图和区域样本训练块为F（P罚款convh（Pfine）×convv（Pfine））=的||·||c o n v v（P i n e||convv(Pfine||（十三）在采样方案中，我们迭代地降低训练集的加权高斯核的位移图梯度，同时在推理过程中以50%的重叠度均匀采样补丁。4.3. 外观损失回想一下，少量标记的面部几何形状不足以覆盖广泛的照明条件和表面反射率。因此，我们进一步采用基于渲染的无监督学习方法：我们得到了，我们通过纹理空间中附近的水平和垂直3个像素来计算位置差，从而产生卷积核[-0。五，零，零。[5]和[-0。五，零，零。[5]分别对convh、convvv进行计算为了重建外观损失，我们假设一个Lambertian皮肤反射模型，并表示使用球谐函数（SH）来估计环境照明S和亮度I的全局照明。在这个模型下，我们可以计算外观损失Lrecon为：获取163K野外图像，估计其代理（使用第3.2节中的方法）和几何细节（使用Irecon=IdoS（Nfine）L重建= ||I输入− I重建||1（十四）9435没有事先我们3DDFA ExpNet没有事先我们3DDFA ExpNet图6.我们的情绪驱动的代理估计与最新技术水平（3DDFA [59]和ExpNet [14]）.为了反向传播Lrecon以更新位移G（u，v），我们从稀疏代理顶点估计了代理映射I和环境光照S有关详细算法，请参阅我们补充材料的第1节。为了训练，我们使用来自情感数据集AffectNet的高分辨率面部图像[34]，其中包含从互联网收集的超过100万张面部图像。在我们的实验中，我们还使用HSV颜色空间而不是RGB来适应环境光照变化，并采用两步训练方法，即，仅反向传播前10个时期的PDIM丢失我们发现损失的减少比从所有损失开始要快得多。此外，我们为每个面部区域训练250个epoch综上所述，我们的表情估计和细节合成网络借用了残差学习的思想，将最终目标分解为几个小任务，这有利于训练并提高了我们任务的性能。5. 实验结果为了验证我们的算法的鲁棒性，我们已经在超过20，000张图像上测试了我们的情感驱动代理生成和面部细节合成方法（其中许多结果见补充材料）。表达式生成。我们将来自AffectNet数据集的所有图像降采样为48×48（降采样仅用于代理生成，而不是用于细节合成），并使用动量为0.9的Adam优化框架我们总共训练了20个epoch，并将学习率设置为0的情况。001。我们训练的测试网络达到了52.2%的测试准确率。回想一下，面部情绪分类是一个挑战-机器人任务甚至人类注释者只能达到60.7%的准确率。由于我们的目标集中于产生更真实的3D面部模型，我们发现这种精度足以产生合理的表情先验。图6显示了我们的代理生成结果的一些样本（没有详细的合成）。与国家相比3D表情预测的最新解决方案[59，14]，我们发现所有方法都能够在眼睛和嘴巴形状方面产生合理的结果。然而，来自3DDFA [59]和ExpNet [14]的结果与脸颊、鼻唇沟和眼袋下等区域的输入图像的相似性较低，而我们的结果显示出明显更好的相似性，并描绘了个人特定的特征。这是因为这些区域没有被面部标志覆盖单独使用界标属于第3.2节中提到的模糊性，并且不能忠实地重建这些区域上的表达。我们基于情感的表情预测器利用图像中的全局信息，能够更准确地捕捉表情，特别是下巴和眼袋。面部细节合成。我们总共对10K个补丁进行了监督训练，对12K个补丁进行了无监督训练。我们总共训练了250个epoch，并将学习率从0统一降低到0。0001到0从第100个epoch开始。注意，我们对前15个时期使用监督几何损失，然后对其余时期在监督几何损失和非监督外观损失之间交替。我们的面部细节合成旨在尽可能真实地再现图像的细节大多数现有的细节合成方法仅依赖于照明和反射模型[31，54]。这些方法的主要缺点在于，它们的合成细节类似于一般对象表面，而不考虑皮肤我们的皱纹更接近真实的皮肤表面，而其他三种方法更像是用刀在表面切割我们将这种改进归因于将光照模型与来自真实面部数据集和皱纹PCA模板的人脸统计数据相结合。我们的方法在处理来自眉毛和胡须的表面噪声同时保留皮肤细节（图2的第2行和第6行）方面也具有更好的性能。（七）.94361.2我们的设备0.80.070.4USCLightStage纹理我们的预测错误0MAE（mm）：八点四八4.378.414.422015105参考Pix2vertexFPDExtreme3D我们00.121.6照片Pix2vertex FPD Extreme3D Ours图7.使用Pix2vertex [44]，FPD [31]，Extreme3D [54]和我们的合成网格的特写视图。定量评价。我们还对代理网格和位移图进行了定量比较。总的来说，我们观察到我们的方法在强烈的表情上产生了更低的误差，特别是在形状变形强烈的鼻子和眉毛附近图8示出了代理+位移和仅位移误差的一些示例结果。最后，我们的输出位移图很容易与现有的渲染管道集成，并可以产生高保真的结果，如图所示。1.一、6. 结论和未来工作我们提出了一种单图像三维人脸合成技术，可以处理具有挑战性的面部表情，同时保留精细的几何结构。我们的技术结合了情感，表情，外表-图8.定量比较。顶行：图1的定量误差图（代理+位移）。7使用不同的方法。我们的方法在中到大规模几何（代理）上实现了相当的性能，但在前额和鼻唇沟等细节上产生的误差要低得多下面两行：我们的捕获系统和USC LightStage [32]的样本上仅位移的误差图。以及用于产生高保真度代理几何图形和精细几何细节的照明。具体来说，我们已经进行了情感预测，以获得一个表达知情代理，我们已经证明，我们的方法可以处理广泛的表达。对于细节合成，我们的深度面部细节网络（DFDN）采用几何和外观损失函数，并在我们的系统和野外图像捕获的真实数据上进行训练。综合实验表明，我们的技术可以产生，从一个单一的图像，超高质量的三维人脸与各种表情和光照条件下的精细几何细节。虽然我们的解决方案能够处理各种照明条件，但它尚未考虑由遮挡引起的影响（例如，头发或眼镜）、可能导致不正确的位移估计的硬阴影。对于阴影，可以直接使用代理来首先获得环境光遮挡图，然后校正图像。阴影检测本身可以直接集成到我们基于学习的框架中，并使用新的训练数据集我们的技术的另一个局限性是它不能处理低分辨率图像：我们的几何细节预测方案严重依赖于可靠的像素外观分布。我们计划研究的两种特定类型的解决方案是进行（基于学习的）面部图像超分辨率，其已经将照明和几何细节考虑为我们的输入，以及设计包括可变形几何细节的新型代理面部模型。（毫米）9437引用[1] Jens Ackermann和Michael Goesele。照相测量立体技术综 述 .FoundationsandTrendsRinComputerGraphicsandVision，9（3-4）：149[2] Oleg Alexander、Mike Rogers、William Lambeth、Jen-Yuan Chiang 、 Wan-Chun Ma 、 Chuan-Chang Wang 和Paul De- bevec。数字艾米丽项目：实现逼真的数字演员 。 IEEE Computer Graphics and Applications ， 30（4）：20[3] Daniel G Aliaga 和 Yi Xu 。 三 维 物 体 摄 影 测 量 IEEETransactionsonPatternAnalysisandMachineIntelligence，32（4）：747[4] 十月一日，阿里亚加，马蒂亚斯V奥尔登和格罗-托罗，和保罗Pl oéger。用于情感和性别分类的实时卷积神经网络。arXiv预印本arXiv：1710.07557，2017。[5] 塔达斯·巴尔特鲁斯·艾提斯、马尔瓦·马哈茂德和彼得·罗宾逊。用于自动动作单元检测的跨数据集学习和特定于个人的标准化在2015年第11届IEEE国际会议和自动面部和手势识别（FG）研讨会上，第6卷，第1-6页。IEEE，2015年。[6] Volker Blanz和Thomas Vetter。三维人脸合成的可变形模型。第26届计算机图形和交互技术年会集，第187-194页。ACM出版社/Addison-Wesley出版公司一九九九年。[7] James Booth 、 Anastasios Roussos 、 Allan Ponniah 、David Dunaway和Stefanos Zafeiriou。大规模三维变形模型。国际计算机视觉杂志，126（2- 4）：233[8] JamesBooth ， AnastasiosRupesos ， EvangelosVerveras，EpameinondasAntonakos，StylianosPloumpis，Yannis Panagakis，and Stefanos Zafeiriou.图像和视频中的野外人脸的3D重建。 IEEE Transactionson Pattern Analysis and Machine Intelligence ， 40（11）：2638[9] 陈操，德里克布拉德利，周坤，塔博比勒。实时高保真面 部 表 现 捕 捉 。 ACM Transactions on Graphics（ToG），34（4）：46，2015.[10] 陈操、启明侯、昆州。位移动态表情回归实时面部跟踪和动画。ACM图形交易（TOG），33（4）：43，2014。[11] 曹晨，翁彦林，林志颖，周坤。用于实时面部动画的3d形状回归ACM Trans-actions on Graphics（TOG），32（4）：41，2013.[12] 曹 晨 、 翁 彦 林 、 周 顺 、 童 一 英 、 周 坤 。Facewarehouse：用于视觉计算的三维面部表情数据库 。 IEEE Transactions on Visualization and ComputerGraphics，20（3）：413[13] Xuan Cao ， Zhang Chen ， Anpei Chen ， Xin Chen ，Shiying Li，and Jingyi Yu.变形模型指导下的稀疏光度三维人脸重建。在CVPR，2018年。[14] Feng-Ju Chang，Anh Tuan Tran，Tal Hassner，IacopoMasi，Ram Nevatia，and Gerard Medioni. Expnet：无地标，深层次的三维面部表情在自动人脸手势识别（FG2018），2018年第13届IEEE国际会议上，第122-129页。IEEE，2018年。[15] 窦鹏飞，Shishir K. Shah和Ioannis A.卡卡迪亚里斯基于深度神经网络的端到端三维人脸重建。2017年IEEE计算机视觉和模式识别会议，第1503-1512页[16] Carlos Hernandez Esteban ， George Vogiatzis ， andRoberto Cipolla.多视图光度学立体。IEEE Transactionson Pattern Analysis and Machine Intelligence，30（3）：548[17] PabloGarri do，Mi chaelZollho¨ fer，DanCasas，Le viVal-gaerts，KiranVaranasi，帕特里克·佩雷斯和克里斯蒂安·西奥伯特从单目视讯重建个人化三维人脸模型。ACM Transactions on Graphics （TOG），35（3）：28，2016.[18] ThomasGerig ， AndreasMorel-Forster ， ClemensBlumer，BernhardEgger，MarcelLuthi，SandroSchönborn ，andThomas Vetter.可变形人脸模型-一个开放的框架。在自动人脸手势识别（FG 2018），2018年第13届IEEE国际会议上，第75IEEE，2018年。[19] AbhijeetGhosh，GrahamFyffe，BoromTunwattanapong ， Jay Busch ， Xueming Yu ， and PaulDebevec.使用偏振球面梯度照明的多视图人脸捕获。ACMTransactions on Graphics（TOG），第30卷，第129页。ACM，2011年。[20] Paul Graham，Graham Fyffe，Borom Tonwattanapong，Ab- hijeet Ghosh，and Paul Debevec.几乎即时捕捉高分辨率面部几何形状和反射率。在ACM SIGGRAPH 2015会谈中，第32页。ACM，2015.[21] Yudong Guo，Juyong Zhang，Jianfei Cai，Boyi Jiang，and Jianmin Zheng.基于cnn的实时稠密人脸重建与反渲染 真 实 感 人 脸 图 像 。 IEEE Transactions on PatternAnalysis and Machine Intelligence，2018。[22] Richard Hartley和Andrew Zisserman。计算机视觉中的多视几何学。剑桥大学出版社，2003年。[23] Guosheng Hu ， Fei Yan ， Josef Kittler ， WilliamChristmas ， Chi Ho Chan ， Zhenhua Feng ， and PatrikHuber. 高 效 的 3d 形 变 人 脸 模 型 拟 合 。 PatternRecognition，67：366[24] Patrik Huber ， Guosheng Hu ， Rafael Tena ， PouriaMortaza- vian ， P Koppen ， William J Christmas ，Matthias Ratsch，and Josef Kittler.多分辨率三维可变形人脸模型及拟合框架。在2016年第11届计算机视觉、成像和计算机图形理论与应用国际联合会议上发表[25] Loc Huynh，Weikai Chen，Shunsuke Saito，Jun Xing，Koki Nagano，Andrew Jones，Paul Debevec，and HaoLi.使用深度神经网络的介观面部几何推断在IEEE计算机视觉和模式识别会议论文集，第8407-8416页[26] 亚伦·S杰克逊、阿德里安·布拉特、瓦西里奥斯·阿吉里乌和乔治奥斯·齐米罗普洛斯。通过直接体积cnn回归从单个图像进行大姿态3d人脸重建9438锡永2017年IEEE国际计算机视觉会议（ICCV），第1031-1039页[27] 罗江，张居庸，邓柏林，李浩，刘良.利用单幅图像的几何细节进行三维人脸重建。IEEE Transactions onImage Processing，27（10）：4756[28] Ira Kemelmacher-Shlizerman和Ronen Basri。使用单个参考 面 部 形 状 从 单 个 图 像 进 行 3D 面 部 重 建 。 IEEEtransactionsonpatternanalysisandmachineintelligence，33（2）：394[29] Hyeong wooKim ， Micha elZoll hoferr， AyushTewari ，Just usThies，Christian Richardt和Christian Theobalt。逆面网：深度单眼逆面渲染。在IEEE计算机视觉和模式识别会议论文集，第4625-4634页，2018年[30] Tianye Li，Timo Bolkart，Michael J Black，Hao Li，and Javier Romero.从4d扫描中学习面部形状和表情的模型ACM Transactions on Graphics（TOG），36（6）：194，2017。[31] Yue Li，Liqian Ma，Haoqiang Fan，and Kenny Mitchell.从单幅图像中重建细节保留的三维人脸。第15届ACMSIGGRAPH欧洲视觉媒体制作会议。ACM，2018。[32] Wan-Chun Ma ， Tim Hawkins ， Pieter Peers ， Charles-Felix Chabert，Malte Weiss，and Paul Debevec.从偏振球面梯度照明中快速获取镜面反射和漫反射法线贴图。在关于渲染技术的第18届欧洲图形会议的会议录中，第183194.欧洲制图协会，2007年。[33] 吉里·马塔斯，昂德雷杰·查姆，马丁·厄本，还有汤姆·马的帕·杰德拉.鲁棒的宽基线立体声从最大稳定的外tremal地区。图像和视觉计算，22（10）：761[34] Ali Mollahosseini ， Behzad Hasani ， and Mohammad HMa- h