基于物理的深度学习人脸模型及其应用

3410基于物理的人脸属性李瑞龙1、2、卡尔·布拉丁1、赵亚杰1、钦梅·奇纳拉1、欧文·英格拉哈姆1、向鹏达1、2、任兴磊1、普拉萨德1、毕品·基肖尔1、邢俊1、李昊1、2、31南加州大学创意技术学院2南加州大学3PinscreenIdNet身份潜伏ExpNetExpressionlatentTexNet几何图谱最终地图（b）（c）（d）我们介绍了一个全面的框架，用于从高度约束的面部扫描数据中学习基于物理的面部模型。我们基于深度学习的3D变形人脸建模方法抓住了近4000个高分辨率人脸扫描的保真度，包括表情和身份分离（a）。模型（b）结合了大量基于解剖学和物理学的面部属性，以生成无限数量的数字化面部（c）。我们的模型在孔隙级几何分辨率（d）下生成面。摘要基于4000个高分辨率面部扫描的组合数据集，我们引入了一个非线性变形的人脸模型，能够产生各种各样的面部几何形状的孔隙级分辨率，再加上材料属性用于基于物理的渲染。我们的目标是最大限度地提高参与者的面部身份的多样性我们的基于深度学习的生成模型学习将几何和几何相关联，这确保了生成资产的分析正确性。我们展示了我们的生成模型的潜在用途，新的身份生成，模型拟合，插值，动画，高保真数据可视化，低到高分辨率的数据域传输。我们希望这个生成模型的发布将鼓励所有图形，视觉和数据专业人员之间的进一步合作，同时展示每个人完整生物计量学轮廓的累积价值联合第一作者1. 介绍人类的图形虚拟表示是计算机视觉和图形领域许多努力的中心，其应用范围从文化媒体（如视频游戏、电影和电信）到医疗、生物计量建模和取证[6]。为虚拟角色的面部模型设计、建模和获取高保真数据是昂贵的，并且需要专用扫描设备和熟练的艺术家和工程师团队[17，5，37]。由于VFX工作室的限制性和限制性数据政策，以及缺乏考虑个人数据贡献的主权和激励的共享平台单一、统一的模型将使生成资产的使用更加民主化，缩短生产周期，提高质量和一致性，同时激励许多市场和研究领域的创新应用3D可变形人脸模型（3DMM）[7，12，41，6]中的面部扫描数据集的统一促进了以紧凑形式表示面部扫描数据的可接受属性，保留了源的统计属性身份（一）表达3411×−而不暴露原始数据集中任何单个数据点的特征。以前的方法，包括传统方法[7，12，27，34，16，9]或深度学习[42，38]来表示3D人脸形状;缺乏高分辨率（亚毫米，<1毫米）的几何细节，使用有限的面部解剖表示，或放弃现代视觉效果（VFX）生产流水线所需的基于物理的材料属性。由于合成分析问题中的模糊性和局部最小值，基于物理的材料本征函数已被证明难以通过无约束图像数据的优化进行估计，而高度约束的数据捕获仍然是昂贵的，但昂贵[6]。虽然变化发生由于不同的应用程序，大多数在VFX中使用的面部representations采用至少4096 - 4096（4K）像素分辨率的纹理贴图集。 其中内容至少 set合并了漫反射、镜面反射强度和位移（或曲面法线）。我们的目标是建立一个基于物理的，高分辨率的生成人脸模型，开始桥接这些平行的，但在某些方面发散，可视化领域;协调视觉和图形研究人员的努力。构建这样的模型需要高分辨率的面部几何形状，材料捕获和多个资产的自动注册所述数据的处理传统上需要大量的手动工作，因此扩展这样的数据库是不平凡的。为了使模型重量轻，需要将这些数据压缩成紧凑的形式，以实现基于新输入的受控重构。传统的方法，如PCA [7]和双线性模型[12]，它们受到内存大小，计算能力和平滑的限制，因为因此，线性度−不适用于高分辨率数据。通过利用最先进的基于物理的面部扫描[17，25]，在Light Stage设置中，除了4K位移之外，我们还可以获取漫射的反射和镜面反射强度所有扫描都使用自动化管道进行注册，该管道考虑姿势，几何形状，尝试，解剖形态测量学，以及每个受试者26种表达的密集对应。共享的2D UV参数化数据格式[15，43，38]能够训练非线性3DMM，而头部、眼睛和牙齿使用线性PCA模型表示。因此，我们提出了一种混合的方法，使广泛的头部几何形状集，以及避免在面部变形的线性假设。我们的模型完全解开身份的表达式，并提供使用一对低维特征向量的操作。为了生成耦合的几何体和双曲体，我们设计了一个联合鉴别器来确保一致性，同时设计了两个单独的鉴别器来保持各自的质量。推理和放大之前提到的皮肤本质能够恢复4K分辨率纹理图。我们的主要贡献是：第一个发布的高分辨率（4K）基于物理的人脸模型资产数据库的升级级联生成人脸模型，能够控制身份和表情，以及在低维特征空间中建模的基于物理的表面材料第一个为全3D实时和离线渲染应用程序构建的可变形面部模型，具有比以前看到的更多的2. 相关工作面部捕捉系统物理对象扫描设备跨越了广泛的类别;从单个RGB相机[14，39]到主动[3，17]和被动[4]光立体捕获设置，以及基于飞行时间或立体重投影的深度传感器。多视图立体摄影测量（MVS）[4]是最容易获得的3D人脸捕捉方法。然而，由于其优于其他方法的许多优点（捕获速度、基于物理的材料捕获、分辨率），偏振球面梯度照明扫描[17]仍然是高分辨率面部扫描的最新技术。介观几何重建使用MVS先验自举，利用全向照明，并使用称为光度立体的过程逐步最终化[17]。该算法提升了皮肤等电介质材料的物理反射特性;特别是镜面和次表面光反射的可分离性质[29]。这使得能够准确估计漫射散射和光谱强度以及孔隙级详细几何形状。3D可变形人脸模型Blanz和Vetter [7]首次发表的关于可变形人脸模型的工作将人脸表示为密集的表面几何形状和纹理，并将这两种变化建模为从大约200个受试者扫描中学习的独立PCA模型。允许直观的控制;将诸如面部的性别和丰满度的属性映射到PCA参数空间的分量。该模型被称为巴塞尔人脸模型[33]，被发布用于研究社区，后来扩展为从大约10，000次扫描中学习的更多样化的线性人脸模型[9，8]。为了结合面部表情，Vlasicet al. [45]提出了一个多线性模型来联合估计身份，视位和表达的变化，Caoetal.[12] 建 立 了 一 个 全 面 的 双 线 性 模 型 （ 身 份 和 表达），涵盖了从RGBD数据中学习的150名受试者的20种不同表达。这两种模型都采用了基于张量的方法，前提是面部表情可以使用少量离散的···3412（一）（b）第（1）款（c）第（1）款（d）其他事项（e）LSTG4k× 4k8k× 8k3 .第三章。9M3 .第三章。5M4k× 4kN/A79992620图1：捕获系统和相机设置。左：灯光舞台捕捉系统。右：相机布局。姿势，对应于不同的主题。最近，Liet al. [27]发布了FLAME模型，它包含了姿势相关的校正融合变形，以及从大量4D扫描中学习到的额外的全局身份和表情融合变形。为了实现对面部变形的自适应、高级、语义控制，已经提出了各种基于局部的面部模型Neumann等人[32]提取稀疏和空间局部化的变形模式，Brunton等人。[10]使用大量的局部化多线性小波模式。作为解剖学上精确的局部面部变形的框架，Ekman的面部动作编码系统[13]被广泛采用。它将面部运动分解为基本动作单元，这些动作单元归因于所有面部肌肉的全方位运动。可变形人脸模型已广泛用于人脸拟合[7]、表情操作[12]、实时跟踪[41]等应用，以及Apple的ARKit等产品然而，它们的使用情况通常受到源数据的分辨率和线性模型的限制的限制，导致在中高频地理细节中的平滑（例如，皱纹和毛孔）。此外，据我们所知，所有现有的变形人脸模型，生成纹理和几何形状分开，没有考虑它们之间的相关性。考虑到年龄、性别和种族在人类生活范围内表现出的具体和多样的方式，忽视这种表现将导致人为现象;例如，将受非洲影响的拉丁舞与受亚洲影响的几何图形配对。基于图像的细节推断为了提高现有3DMM的质量，已经提出了许多工作来从图像数据中推断精细级别的细节。皮肤细节可以使用数据驱动的纹理合成[20]或统计皮肤细节模型[18]来合成。Cao等人[11]使用概率图来局部回归中等规模的几何细节，其中回归量是从捕获的高分辨率几何和外观的补丁对中训练的。Saito等人[35]提出了一种使用基于深度神经网络的特征相关性分析的纹理推断技术基于GAN的Image-to-Image框架[22]已被证明是高质量细节合成的强大工具，例如3413表1：数据集的分辨率和范围。（一）.反照率分辨率。（b）.几何分辨率。（c）。镜面反射强度分辨率。(d)受试者数量（f）。每个主题的表达式数量作为粗[44]，中等[36]甚至中观[21]尺度的面部几何形状直接从图像推断。除了几何学，Yamaguchiet al. [47]提出了一种基于单个图像输入来推断面部反射图（漫反射、镜面反射强度以及中频和高频位移）的直观方法最近，Naganoet al. [31]提出了一个框架，用于从单个肖像图像合成图像空间和UV纹理空间中的任意表达式。虽然这些方法可以从给定的图像合成面部几何形状或/和纹理3. 数据库3.1. 数据捕获和处理数据采集我们的Light Stage扫描系统采用光度立体[17]结合使用偏振促进[25]的单色重建，以实现几何重建和反射图中的孔隙水平准确性。摄像头（图）1）设计用于通过使用Ximea机器视觉相机进行快速数据库规模的采集，该相机能够实现比单反相机更快的流式传输和更宽的景深[25]。 25个摄像头的总设置const-sists八个12 MP单色摄像头，八个12 MP彩色摄像头，和九个4 MP单色摄像头。1200万像素单色摄像头可进行孔隙级几何、反射和镜面反射重建，而额外的摄像头可辅助进行立体基础网格优先重建。为了在多个受试者中捕获一致的数据，并最大限度地提高表达能力，我们设计了一个FACS集[13]，将40个动作单元组合成26个表达的浓缩集。总共有79名受试者，34名女性和45名男性，年龄从18岁到67岁不等，进行了26次表情扫描为了增加多样性，我们将数据集与99个Triplegangers [2]全头部扫描相结合;每个扫描有20个表情。两个数据集的分辨率和范围见表1。图2显示了源数据的年龄和种族（多项选择）分布。3414×806040200152535455565756040200亚洲印度黑色白色西班牙中部1毫米LightStageTriplegangers年龄间隔（岁）LightStageTriplegangers东部族裔(a) 年龄分布(b) 种族分布4K 256x256 0mm图2：数据集中年龄（a）和种族（b）的分布。（e）(c)（f）第（1）款（g）（h）图4：基础网格几何分辨率的比较。左：以4K分辨率重建的基础几何体。中：以256×256分辨率重建的基础几何。右：误差图，显示Hausdorff距离在范围（0mm，1mm）内，平均误差为0。068毫米。（一）(d)展开在虚拟空间中，我们需要一个位图，（一）大于或等于1的解2×m2=155×155，ac-（b）第（1）款线性非线性（DNN）非线性（Laplacian）图3：我们的通用人脸模型由受不同类型变形约束的多个几何形状组成。除了面部（a）、头部和颈部（b）之外，我们的模型还表示牙齿（c）、牙龈（d）、眼球（e）、眼睛混合（f）、泪液（g）、眼睛咬合（h）和睫毛（i）。纹理贴图通过位移（l）提供高分辨率（4K）反射度（j）、镜面反射度（k）和几何体加工管道。从多视点图像出发，利用MVS重建中性扫描基网格然后在我们的拓扑结构中的线性PCA模型（见图1）。3）基于两个现有模型（Basel [33]和FaceWarehouse [12]）的组合和外推来拟合网格。接下来，应用拉普拉斯变形来使面部区域变形以进一步最小化表面到表面误差。不准确拟合的情况下，手动建模和拟合，以保持拟合精度的眼球，口窝和头骨形状。所得到的中性扫描集被立即添加到PCA基础上，用于配准新的扫描。我们使用通用混合变形和非刚性ICP拟合表达式 [26]。此外，为了保持纹理空间和表面对应性，从中性到表情扫描的图像空间光流从13个不同的虚拟相机视图添加，作为面部表面的最终拉普拉斯变形中的附加密集约束3.2. 培训数据准备数据格式。整套通用模型包括的混合几何和纹理地图（反射，镜面强度和位移）编码在4K分辨率，如图所示。3.第三章。为了使联合学习的几何形状之间的相关性和几何图形，3D顶点位置光栅化的三通道HDR位图的256 - 256像素的分辨率。面部区域（图中的粉红色）3）用于学习我们的非线性生成模型中的几何分布，由m=11892个顶点组成，如果均匀分布，（j）（k）（l）3415±∼根据奈奎斯特反应定理如图4、所提出的分辨率足以恢复中频细节。这种相对低分辨率的基本几何表示使得能够极大地简化训练数据负载。由于受试者的数量限制为178人，因此我们采用两种策略来增加身份训练的数据：1）对于每个源种族，我们使用[ 49 ]在数据集中随机抽取相同种族和性别的目标种族，以将目标种族的肤色转移到源种族（这些样本仅限于相同种族的数据点），然后进行图像增强[19]以提高整体质量并去除伪影。2）。对于每个中性几何体，我们使用FaceWarehouse expression组件添加一个非常小的表达式偏移量，该组件具有小的随机权重（<0。5std）放松“中性”的约束。为了增强表达式，我们添加随机表达式偏移量以生成完全受控的表达式。4. 生成模型我们的系统的概述在图1中示出五、给定一个采样的潜在代码Zid N（μid，σid），我们的身份网络生成一个一致的中性表达式的几何和非几何对。我们训练一个表达式网络来生成可以添加到neu- tral几何的表达式偏移。 我们使用随机混合变形权重ZexpN（µexp，σexp）作为表达式网络目标语义表达的操纵。我们将反射和几何贴图放大到1K，并将它们馈送到传输网络[46]中以合成相应的1K镜面和位移贴图。最后，对除中频几何图之外的所有图进行放大到4K使用超分辨率[24]，因为我们观察到，256×256像素足以表示3416expL身份网络~（、）的内容身份潜伏256x256256x256超分辨率纹理1K 4K1K表达网络~（、）的内容表达潜伏期256x256表达式偏移推理表达式几何1K推断地图超分辨率上采样映射装配和渲染合并资产的渲染图像图5：生成流水线概述用于身份和表情的潜在向量用作用于生成最终面部模型的输入真/假？exp=∥个生成的几何来图6：身份生成网络。真/假？真/假？身份生成器地面实况偏移图7：表达式生成网络。 一般的表达-Gid 产 生 在 训 练 期 间 由 鉴 别 器 、 D_0_do 、 D_joint 和D_geometry针对地面实况（GT）数据进行检查的D_0_do和几何。基础几何结构（第3.2节）。每个组件的详细信息在第4.1、4.2和4.3节中详述。4.1. 身份网络我们的身份网络的目标是模拟几何和生物学之间的交叉相关性，以生成一致的，多样的和生物学上准确的身份。该网络建立在Style-GAN架构上[23]，可以生成高质量，风格可控的样本图像。为了实现一致性，我们设计了3个鉴别器，如图所示6，包括用于多个（D多个）和几何形状（D几何形状）的单独鉴别器，以确保所生成的图的质量和清晰度，以及用于学习它们的相关分布的附加联合鉴别器（D联合）。D接头的公式如下：torGexp生成偏移，并根据地面实况偏移量， 回归量Rexp产生′潜在码Zexp的估计，使得L1损失Lexp可以是模型化这也使得表达式的学习独立于同一性。与Identity网络类似，express网络采用Style-GAN作为基础结构。为了允许对表情的直观控制，我们使用混合形状权重作为网络输入，该混合形状权重对应于25个正交面部激活单元的强度。我们引入了一个预训练的表情回归网络Rexp来预测生成图像的表情权重，并强制此预测与输入潜在代码Zexp相似。然后，我们迫使生成器在预训练的表达式回归网络的视角下理解输入的潜在代码Zexp因此，潜在代码Zexp的每个维度将控制在原始融合变形集中定义我们的损失这里介绍的是：adv=最小值最大值GidD关节Ex测井数据（x）测井D接头（A）+(1)′Ezpz（z）Σlog（1−DΣjoint（G id（z）））。Lexp=Zexp−Zexp（2）其中p数据 （x）和pz（z）表示实数这一损失，exp，将在训练期间反向传播，加强每个混合单元的正交性。 我们迷你-分别在A的域中的成对的几何变量x和噪声变量z。考虑以下损失来训练网络：经验4.2. 表达网络为了简化对各种不同表达式的学习，我们使用矢量偏移映射来表示它们GT德雷多G生成的重复IDDGT联合~（、）的方式观测系统GTGexpRexp~（、）的方式生成的偏移′Dexp真/假？L3417L2AdvL=Ll2 +β1Ladv+β2Lexp（3）其中Lexp是偏移映射的L2重建损失，Lexp是重建损失。3418×4.3. 推理和超分辨率与[47]类似;在获得反射和几何图（256 256）后，我们使用它们来推断1K分辨率的镜面反射和位移图。与[47]相比，我们只使用Nodo作为输入，我们引入几何映射来形成更强的约束。对于位移，我们采用了[47，21]的方法，将位移分解为单独的高频和低频分量，使问题更易处理。 在将两个输入馈送到推理网络[46]之前，我们使用类似于[24]的超分辨率网络将样本上采样到1K。使用双线性插值对几何图进行超采样。使用相同的超分辨率网络结构，地图从1K进一步升级到4K。我们的方法可以被视为两步级联上采样策略（256到1K，和1K到4K）。这使得训练速度更快，并在最终结果中实现更高的分辨率。图8：生成的子图之间的非线性恒等插值年龄（上）和性别（下）从左到右插值。钳口打开[标准从空档]5. 实现细节我们的框架是使用Pytorch实现的，我们所有的我们遵 循 Style-GAN [23] 的 基 本 训 练 时 间 表 ， 并 对Expression网络进行了一些修改，例如绕过渐进式训练策略，因为表达式偏移仅在相对高分辨率的地图上可区分。我们还删除了噪声注入层，由于输入的潜在代码Zexp，使生成的结果完全控制。回归模型（图1中的Rexp块7）具有与所述DIS-A相同的结构电话：+86-021 - 8888888传真：+86-021 -88888888-5.01.07.0criminatorDexp，除了最后一层中的通道数量，因为它在训练期间用作一个参数。回归模块最初使用由中性表情和FaceWarehouse表情组件生成的合成单元表情数据进行训练，然后对扫描的表情数据进行微调。在训练期间，Rexp是固定的，而不更新参数。Expression网络在256x256像素的图像上以128的恒定批量大小训练 40 小 时 。 身 份 识 别 网 络 的 训 练 方 法 是 在 8x8 到256x256像素的图像尺寸上逐渐将批量大小从1024减少到128，持续80小时。6. 实验和评价6.1. 结果图10，我们展示了使用Arnold渲染的生成模型的质量。我们的生成模型的直接输出提供了在Maya、虚幻引擎或Unity 3D等软件中进行基于物理的渲染所需的所有资源。我们还展示了每个生成组件的效果。图9：使用生成式前处理的压力网络两个示例形状的组合显示在网格中，其中与通用中性模型的标准偏差的数量定义了表情形状的范围。6.2. 定性评价我们在图中显示了恒等插值。8.隐空间中的插值既反映了几何性又反映了空间性。与线性混合相反，我们的插值生成属于自然统计分布的子块。图9，我们展示了我们的非线性表达模型的生成和插值。我们为每个轴选择两个正交的混合变形，并逐渐改变输入权重。矢量空间的光滑插值将导致模型空间的光滑插值。我们在图中显示了训练集中生成的模型的最近邻居。11个国家。这些是基于几何学中的逐点欧几里得距离发现的。通过比较反照率来证明我们生成新模型的能力，这些模型不仅仅是训练集的再现。右眼眨眼[从中性开始标准]3419(a)（b）（c）（d）（e）（f）图10：生成的随机样本的渲染图像列（a），（b）和（c）显示了在新的基于图像的HDRI照明下渲染的图像[48]。列（c）、（d）和（e）显示了具有反射、镜面反射强度和位移的几何体，每次添加一个。图11：训练集中生成的模型的最近邻。顶行：从生成的模型中提取。底行：训练集中的几何最近邻。生成方法IS↑FID↓独立2.2223.61联合2.2621.72基本事实2.35-表2：对我们的身份生成的评估。IS和FID都是在使用独立/联合生成的插值和几何渲染的图像上计算的6.3. 定量评价我们在表2中通过在三个类别的渲染图像上计算Frechet起始距离（FID）和起始分数（IS）来评估我们的身份网络的联合生成的有效性：随机配对的几何和几何，使用我们的模型生成的配对的几何和几何，以及地面真值对。基于这些结果，我们得出结论，我们的模型生成了更合理的面孔，类似于使用地面真实数据对的面孔，而不是随机配对。我们还通过拟合[ 1 ]中的48张面孔来评估我们的身份网络 平均Haus-dorff距离为2. 8mm，证明了该模型此外，为了评估我们的表达网络与FaceWarehouse[12]的线性表达模型相比的非线性度，我们首先使用FaceWarehouse拟合所有Light Stage扫描，并获得每次扫描的25个然后，我们通过将权重馈送到我们的表达式 网 络 来 恢 复 相 同 的 表 达 式 。 我 们 用 均 方 误 差（MSE）评估FaceWarehouse3420百分之四十百分之三十百分之二十百分之十0%的百分比152535455565 75百分之四十百分之三十百分之二十百分之十0%的百分比152535455565 75女性男性年龄间隔（岁）女性男性年龄间隔（岁）(a) （b）生成的数据图12：训练数据（a）与随机生成样本（b）的年龄分布。5毫米巴塞尔FaceWarehouseFLAME我们的地面实况0毫米图13：Basel [7]、Face-wareHouse [12]和FLAME [27]的3D扫描拟合比较。使用每个拟合模型和地面实况扫描之间的Hausdorff距离计算我们模型的重建平均而言，我们的方法的MSE是1。2毫米，而FaceWarehouse的是2。4毫米。这表明，对于表达式拟合，我们的非线性模型在数值上优于相同维数的线性模型。为了证明我们的生成身份模型12个。生成的分布与源代码非常一致。6.4. 应用为了测试我们的身份模型的参数空间的范围由于我们的模型需要2D参数化几何输入，我们首先使用我们的线性模型使用地标对齐扫描，然后在表面的拉普拉斯变形后将其参数化到UV空间。我们将我们的拟合结果与图中广泛使用的（线性）变形人脸模型进行了十三岁这种评估并不能证明注册无约束数据的能力我们的模型的另一个应用是通过使用MSE损失和RISK损失两者进行拟合来将低质量扫描转移到我们的模型的域中。图14，我们展示了低分辨率扫描的数据增强的示例。图14：低质量数据域传输。顶行：具有低分辨率几何体和低分辨率几何体的模型。底行：使用我们的模型增强结果。7. 结论和限制结论我们介绍了第一次公开使用的高保真人脸数据库，基于物理的mare- rial属性，在生成式人脸建模。我们的模型可以以可控的方式生成新颖的主题和表达。我们已经表明，我们的生成模型执行良好的应用程序，如网格注册和低分辨率数据增强。我们希望这项工作将ben-efit许多分析合成的研究工作，通过提供更高质量的人脸图像渲染。局限性和未来的工作在我们的模型中，表达和身份分别建模，而不考虑它们的相关性。因此，重建的表情偏移将不包括个体表情的中频几何结构我们未来的工作将包括这种相关性的建模。由于我们的表达式生成模型需要神经网络推理和3D几何形状的重新采样，因此它目前不像blendshape建模那样用户友好。其重新定位预先录制的动画序列的能力将不得不进一步测试我们的身份模型的一个问题出现在需要拟合2D图像的应用程序中，这需要一个额外的可区分的渲染组件。一个潜在的问题是将照明与形状结合起来，因为复杂的材料模型使问题变得不那么容易处理。一种可能的解决方案可以是基于图像的重新照明方法[40，30]，该方法应用神经网络将渲染过程转换为图像操作问题。该模型将不断更新新的特征，如可变的眼睛纹理和头发，以及解剖学上更相关的组成部分，如头骨，下巴和颈部关节，通过合作努力组合数据源。为了鼓励民主化和广泛使用的情况下，我们将探讨加密技术，如美联储的学习，同态加密，和零知识边缘证明，提高受试者的匿名性的影响。3421引用[1] 3D扫描店铺：男性和女性3D头部模型48X捆网 址 ： //www.3dscanstore.com/3d-head-models/female-retopologised-3d-head-models/male-female-3d-head-models-48xbundle.在线;访问：2019-11-22. 7[2] 三人帮。https://triplegangers.com/网站。联机;访问：2019-11-22. 3[3] 奥列格·亚历山大，麦克·罗杰斯，威廉·兰贝斯，马特·齐昂，还有保罗·德贝维克.数字艾米丽项目：照片-真实的面部建模和动画。在ACM SIGGRAPH课程，2009年。2[4] 放大图片作者：Paul A.Beardsley，Bob Sumner，andMarkus H.恶心高质量的面部几何形状的单镜头捕捉。ACMTransactions on Graphics（TOG），2010年。2[5] 放大图片创作者：Thabo Beeler，Fabian Hahn，DerekBradley，Bernd Bickel，Paul A.放大图片作者：RobertW.萨姆纳和马库斯·格鲁夫。高品质的被动面部性能捕捉使用锚帧。ACMTransactions on Graphics（TOG），2011年。1[6] Ayush Tewari Stefanie Wuhrer Michael Zollhoefer ThaboBeeler Florian Bernard Timo Bolkart Adam KortylewskiSami Romdhani Christian Theobalt Volker Blanz ThomasVetter Bernhard Egger，William A. P. 史密斯三维可变形人脸模型的过去、现在和未来。arXiv预印本arXiv：1909.01815，2019。一、二[7] Volker Blanz和Thomas Vetter。三维人脸合成的可变形模 型 在 ACM Transactions on Graphics （ TOG ） ，SIGGRAPH一二三八[8] James Booth 、 Anastasios Roussos 、 Allan Ponniah 、David Dunaway和Stefanos Zafeiriou。大规模三维变形模型。国际计算机视觉杂志，126：2332[9] James Booth、Anastasios Roussos、Stefanos Zafeiriou、Allan Ponniah和David Dunaway。从10，000张面孔中学习的3D变形模型在IEEE计算机视觉和模式识别会议（CVPR）中，第5543-5552页2[10] Alan Brunton，Timo Bolkart，and Stefanie Wuhrer.多线性小波：人脸的统计形状空间。在欧洲计算机视觉会议（ECCV）的会议记录中，2014年。3[11] 陈操，德里克布拉德利，周坤，塔博比勒。实时高保真面 部 表 现 捕 捉 。 ACM Transactions on Graphics（TOG），34（4），2015年7月。3[12] 陈 操 、 翁 彦 霖 、 周 顺 、 童 一 英 、 周 坤 。Facewarehouse：用于视觉计算的三维面部表情数据库 。 IEEE Transactions on Visualization and ComputerGraphics，2014。一二三四七八[13] Paul Ekman和Wallace V.弗里森面部动作编码系统：一种测量面部运动的技术。心理咨询出版社，1978年。3[14] Pablo Garrido, Levi Valgaert, Chenglei Wu, and ChristianTheobalt.重建详细的动态面几何体-试试单眼视频ACM Transactions on Graphics（TOG），32（6），Nov. 2013. 2[15] Baris Gecer ， Alexander Lattas ， Stylianos Ploumpis ，Jiankang Deng ， Athanasios Papaioannou ， StylianosMoschoglou，and Stefanos Zafeiriou.利用主干-分支生成对抗网络合成耦合三维人脸模型。arXiv预印本arXiv：1909.02215，2019。2[16] ThomasGerig ， AndreasMorel-Forster ， ClemensBlumer，BernhardEgger，MarcelLuthi，SandroSchönborn ，andThomas Vetter.可变形人脸模型-一 个 开 放 的 框 架 。 IEEEInternational Conference onAutomatic Face Gesture Recognition （ FG 2018 ） 。IEEE，2018年。2[17] AbhijeetGhosh、GrahamFyffe、BoromTunwattanapong、Jay Busch、Xueming Yu和Paul E.德贝维克使用偏振球面梯度照明的多视图人脸捕获ACMTransactions on Graphics（TOG），30：129，2011。一、二、三[18] Aleksey Golovinskiy ， Wojciech Matusik ， HanspeterPfister，Szymon Rusinkiewicz，and Thomas A.放克豪瑟一 个 用 于 合 成 面 部 几 何 细 节 的 统 计 模 型 ACMTransactions on Graphics（TOG），25：1025-1034，2006。3[19] Yoav HaCohen、Eli Shechtman、Dan B Goldman和DaniLischinski。非刚性稠密对应与图像增强的应用。ACM图形交易，30（4）：70，2011。4[20] Antonio Haro，Irfan A. Essa和Brian K.冈特实时真实感物理绘制精细尺度人体皮肤结构。在渲染技术，2001年。3[21] Loc Huynh，Weikai Chen，Shunsuke Saito，Jun Xing，Koki Nagano ， Andrew Jones ， Paul E.Debevec 和 HaoLi。使用深度神经网络的介观面部几何推断计算机视觉与模式识别会议（CVPR），2018年。三、六[22] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei A.埃夫罗斯使用条件对抗网络的图像到图像翻译。2017年IEEE计算机视觉和模式识别会议（CVPR），第59673[23] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成器架构，用于生成对抗网络。在IEEE计算机视觉和模式识别会议论文集，第4401-4410页五、六[24] Chri s tianLedig ， LucasTheis ， FerencHus za'r ， Jo seCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew Aitken，Alykhan Tejani，Johannes Totz，ZehanWang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第4681-4690页四、六[25] Chloe LeGendre，Kalle Bladin，Bipin Kishore，XingleiRen，Xueming Yu，and Paul Debevec.高效的多光谱fa-cial捕捉与单色相机。InColor and Imaging Conference，volume 2018，pages 187-202，2018. 二、三[26] 作者：Robert W.萨姆纳和马克·保利深度扫描的非刚性配准的全局对应优化在Proceedings of the Symposium onGeometry Processing，SGP'08，第1421-1430页，Aire-3422la-Ville，Switzerland，Switzerland，2008中。欧洲制图协会。43423[27] Tianye Li，Timo Bolkart，Michael J Black，Hao Li，and Javier Romero.从4d扫描中学习面部形状和表情的模型ACM Transactions on Graphics（TOG），36（6）：194，2017。二、三、八[28] Zachary C Lipton和Subarna Tripathi。从生成对抗网络中精确恢复潜在向量。arXiv预印本arXiv：1702.04782，2017。8[29] Wan-ChunMa ， TimHa wkins ， PieterPeers ， Cha rles-Fe'lixChabert，Malte Weiss，and Paul E.德贝维克从偏振球面梯度照明快速获取镜面和漫反射法线贴图。在渲染技术，2007年。2[30] Abhimitra Meka 、 Christian Haene 、 Rohit Pandey 、Michael Zollhoefer 、 Sean Fanello 、 Graham Fyffe 、Adarsh Kowdle 、 Xueming Yu 、 Jay Busch 、 JasonDourgarian 、 Peter Denny 、 Sofien Bouaziz 、 PeterLincoln 、 Matt Whalen 、 Geoff Harvey 、 JonathanTaylor 、 Shahram Izadi 、 Andrea Tagliasacchi 、 PaulDebevec、Christian Theobalt、Julien Valentin和ChristophRhemann。深反射场-高质量的面部反射场推断颜色梯度照明。第38卷，2019年7月。8[31] Koki Nagano，Jaewoo Seo，Jun Xing，Lingyu Wei，Zimo Li ， Shunsuke Saito ， Aviral Agarwal ， JensFursund，and Hao Li. pagan：使用动态纹理的实时化身 。 ACM Transactions on Graphics （ TOG ） ， 37 ：258：13[32] Thomas Neumann，Kiran Varanasi，Stephan Wenger，MarkusWacker ， MarcusA.Magnor 和 ChristianTheobalt。稀疏的局部变形分量。ACM Transactions onGraphics（TOG），32：179：1-179：10，2013。3[33] Pascal Paysan、Reinhard Knothe、Brian Amberg、SamiRomdhani和Thomas Vetter。一种用于姿态和光照不变人脸识别的三维人脸模型IEEE高级视频和信号监控国际会议，第2