基于表情的合成面褶皱的网格张力驱动

3515网格张力驱动的基于表情的合成面褶皱奇拉格拉曼代尔夫特理工大学chiragraman.com查理·休伊特微软chewitt.me埃罗尔·伍德微软errollw.com塔达斯·巴尔特鲁斯·萨伊蒂斯微软tabaltru@microsoft.com摘要合成真实人脸的最新进展表明，合成训练数据可以取代各种与人脸相关的计算机视觉任务的真实数据。一个问题是：现实主义有多重要追求光矿主义是否过分？在这项工作中，我们展示了另一种情况。我们通过引入动态皮肤皱纹来响应面部表情来提高合成面部的真实感，并观察到下游计算机视觉任务的显着性能改善用于产生这种皱纹的先前方法要么需要禁止的艺术家努力来跨身份和表情缩放，要么不能以足够的保真度重建高频皮肤细节我们的主要贡献是一种方法，可以在大量不同的数字人类中产生逼真的皱纹。具体地说，我们正式的网格张力的概念，并使用它来聚合可能的皱纹从高品质的表情扫描到纹理映射和位移纹理图。在合成时，我们使用这些贴图来产生皱纹，即使是在源扫描中没有表示的表情。此外，为了提供在压缩表达式导致的变形下模型性能的更细致入微的指标，我们引入了300W眨眼评估子集和闭眼和眨眼的Pexels数据集1. 介绍合成数据通常用于各种计算机视觉任务，包括对象识别[2手跟踪[12，13]和全身分析[14-16]。然而，对人类头部建模的复杂性在很大程度上排除了用于面部相关机器学习的全脸合成的生成。虽然现实的数字人类已经为电影和视频游戏创建，但它们通常需要每个角色的大量艺术家努力[17，18]。因此，在文献中，面部训练数据的合成伴随着简化，或者关注面部的部分，例如眼睛区域[19，20]或戴上面具[21这导致了一个域图1：一组不同的合成标识和表达式的最终渲染。对于每一个身份，我们说明renders使用的基本方法的木材等。[1]（左），以及我们用于生成基于表达式的扭曲效果的附加技术（右）。对于相同的表达式参数，我们的方法在不同的身份（中间和底部行）产生不同的搜索效果。差距-真实和合成面部数据之间的分布差异，这使得泛化具有挑战性。弥合这一领域差距的有效方法主要是利用领域自适应来优化合成图像[25]或领域对抗训练，其中鼓励模型忽略领域差异[26]。因此，生成真实的面部数据被认为是如此具有挑战性，以至于假设合成数据不能完全取代野外任务的真实数据[25]。3516-为了直接解决这一挑战，Wood et al.[1]试图通过生成具有前所未有的真实感的合成面孔来最大限度地减少源头上的域差距。他们的方法在程序上将参数化的3D人脸模型与全面的高质量艺术家创建的资产库相结合，包括纹理，头发和服装。在这样做的过程中，该方法克服了视觉效果（VFX）行业用于合成真实人类的技术中的关键瓶颈程序采样可以在不需要人工干预的情况下随机创建和渲染新颖的3D人脸。在合成数据上训练的机器学习系统用于地标定位和面部解析，在不使用单个真实图像的情况下实现了与最先进技术相当的性能。然而，Wood等人提出的方法的一个局限性。[1]是缺乏动态的、表情依赖性的皱纹。该方法仅使用中性表情扫描生成纹理，对于由表情变化引起的底层面部网格的所有变形，中性表情扫描保持静态。在这项工作中，我们提出了一个简单而有效的方法，将表达为基础的皱纹。我们的中心思想是从高分辨率扫描他们的姿势曝光捕捉复杂的身份识别效果。我们将所有这些可能的皱纹存储到我们称为皱纹贴图的位移和位移纹理中。在合成时，对于超出源扫描中所表示的任何任意表情，我们使用面部网格中的张力的概念在中性和皱纹纹理之间进行混合，以获得动态皱纹效果。图1将我们的方法的结果与用于面部合成的当前最先进（SOTA）方法进行了我们还在补充材料中包括一个动画序列早期VFX方法首次使用术语皱纹贴图来指代用于模拟动画皱纹的艺术家定义的凹凸或法线贴图然而，这些方法具有三个缺点。首先，凹凸贴图和法线贴图仅模拟底层几何变化;与诸如界标定位的面部相关任务相关的轮廓和阴影保持不受影响。其次，这些方法不影响反射或漫射纹理。最后，最关键的缺点是规模。这些方法需要为每个字符的每个混合变形手动定义皱纹贴图和蒙版。相反，我们的自动网格张力驱动方法自然地与身份和表情的数量成比例，同时将来自扫描的纹理和位移纹理的真实皱纹合并。此外，我们还处理没有表情扫描的身份，最相似的中性纹理的皱纹。为了推进面部相关任务的合成物的开发，我们做出了以下具体贡献：• 一个动态的，基于表情的皱纹系统，随着身份和表情的增加而轻松扩展。• 一个实证的定性和定量改进的SOTA合成系统的人脸关键点定位和表面正常估计的演示• 用于眼部区域中的关键点定位的新评估数据和度量，其中皱纹与学习任务特别相关。2. 背景：合成面孔我们建立在伍德等人的工作。[1]用于为下游机器学习任务合成人脸图像。他们的方法涉及从一个基于生成3D融合形状的面部模型中进行采样，该模型是从511个具有中性表情的个体的3D扫描中学习的。然后，用来自大量头发、衣服和配件资产的样本来装扮采样的面部。对于每个合成的脸，作者使用了三种在所有表情中保持固定的纹理：一张皮肤颜色的彩色地图;一个粗略位移图，用于对不被顶点级身份模型的稀疏性捕获的扫描几何形状进行编码;以及一个中等位移图，用于近似通过高通滤波纹理构造的皮肤-毛孔级细节。与此相反，我们自动计算一个额外的集的皱纹和位移皱纹纹理从表情扫描，以支持动态皱纹效果。3. 相关工作皱纹贴图。Oat [27]提出使用一对凹凸贴图来渲染虚拟角色上的动画皱纹。这些凹凸贴图（称为褶皱贴图）存储展开（或拉伸）和压缩（或紧缩）表达式的曲面法线，通常从艺术家雕刻的高分辨率网格中获得基础法线贴图存储精细的表面细节，例如毛孔。为了实现独立控制的皱纹，面部被分成多个区域。每个区域由存储在纹理贴图中的艺术家定义的遮罩指定。然后，在范围[ 1，1]中的动画标量皱纹权重在每个遮罩区域的两个皱纹贴图之间插值：在该范围的任一端，皱纹图之一处于其完全影响，权重0对应于对基本法线图没有影响。后来Duque Reis等人独立提出了类似的方法[31]这是一个单一的皱纹地图。Jimenez等人[29]扩展了Oat [27]提出的方案，允许使用任何数量的皱纹贴图，权重在[0，1]范围内定义每个贴图的影响。随后的改进，使技术适合实时或性能驱动的设置涉及动态生成的区域掩模[30]或者说，是一种“重中之重”。这两种方法都依赖于使用附着到骨骼的蒙皮网格。 Dutreve等人[30]提出了通过使用3517几何扩大中性压缩反照率位移张力映射结果图2：方法概述。 最先进的人脸合成方法[1]仅使用中性表情扫描来生成身份识别的替代和位移纹理（中间一行，也见图1）。相比之下，我们自动计算扩展和压缩的纹理图，以在面部和颈部区域中跨身份的可用姿势-表情扫描来聚合扭曲效果。在合成时，对于给定的一组任意表达式参数，我们计算相应面网格中每个顶点处的局部张力：我们用绿色表示膨胀，用红色表示压缩。该网格张力用作在中性、扩展和压缩纹理贴图之间动态混合的权重，以在该顶点处合成扭曲效果。请注意，我们的方法可以因此产生皱纹的表情，甚至超出那些在源扫描表示。骨骼影响权重来自一组艺术家定义的参考姿势。Oat[28]提出通过比较蒙皮前后每个网格三角形的面积来生成动态扭曲权重虽然文献中的术语皱纹贴图已被交替用于指代凹凸贴图或法线贴图，但在本工作中，我们使用该术语来统称用于合成皱纹的纹理：对应于扩展和压缩纹理的纹理和位移贴图。基于模拟的方法。当关节控制很重要时，使用皱纹贴图是最常用的方法，但也提出了几种替代技术来模拟3D表面上的皱纹。这些方法大致可分为皱纹的物理模拟和几何模拟。早期基于物理模拟的方法采用生物力学观点，将皮肤视为弹性膜，并使用线性塑性模型对变形进行建模[33]。Boissieux等人[34]通过将皮肤建模为包括不同材料层的体积物质并使用有限元方法计算变形来扩展弹性膜透视图。在后续工作中也采用有限元建模来模拟前臂皮肤老化[35]和皮肤老化[36]。Wang et al. [37] and Venkataraman et al.[38]提出的基于能源的办法。这里，通过最小化指示表面上的控制曲线的挠曲性质的能量函数来为亲-为了在动态网格（如模拟布料）上减少褶皱，Müller和Chentanez[39]建议将更高分辨率的褶皱网格附加到粗糙的基础网格上，并使用静态求解器确定褶皱网格顶点的偏差[40]。基于几何模拟的方法通常涉及使用一些几何图元来表达褶皱。Bando等人[41]使用三次贝塞尔曲线表示皱纹，从沿着用户指定方向字段的一系列起始点生成皱纹。其他提出的技术涉及在平面曲线上使用长度保持约束，以及艺术家在动画网格上需要拼接的位置放置特征[42，43]。Ilie等人[44]采用了Her-mite样条插值以及修改后的瑞利分布函数来模拟面部动画中的面部活动随后的方法从图像中自动提取皱纹曲线[45，46]。最后，Gui et al.[47]使用肌肉模型和几何皱纹形状函数来模拟3D面部皱纹。机器学习方法。最近，几种用于表情和纹理合成以及面部表现捕捉的方法已经解决了皱纹的合成。 作为他们表演捕捉系统的一部分， 等人[48]训练回归器，用于将局部图像应用映射到皱纹位移，以增强实时跟踪的粗糙Zeng等人[24]和Richard- son等人。[22]提出了基于卷积网络的细化架构，以从单个图像重建详细的面部几何结构。Nagano等人[49] A35182{}k k·图3：网格张力。我们举例说明我们的计算网格张力的各种变形的一个简单的圆筒。膨胀用绿色表示，压缩用红色表示。黑色阴影对应于零张力。条件生成对抗网络架构，用于合成基于图像的动态3D化身。给定一张中性脸输入图像，他们的系统可以从不同的视角生成新颖的照片真实表情，包括皱纹等可变细节。更直接地，Deng et al.[50]提出了一种变分自动编码器架构，用于在各种粗尺度3D面部上合成合理的细尺度皱纹。4. 合成基于表达式的皱纹图4：数据-高分辨率3D扫描。对于每个身份，我们说明：原始中性扫描（左上），手动清洁中性扫描以去除传感器噪声和毛发（右上），以及两个原始表情扫描（底部）。将补片张力表示为平均变化的函数作为变形的结果，连接到顶点的边的长度考虑未变形的网格X=（V，E），具有顶点序列V和边序列E，其经历变形以产生网格X=（V，E）。我们只考虑使得X和X具有相同拓扑的变形。对于顶点v i V，令（e1，. ..，e K）表示连接到v i的K条边的序列，其中（e1，. ..，e K）表示X中连接到v i的相应边。然后，我们将vi处的网格张力定义为：图2展示了我们方法的概述不成熟的想法是皱纹可以通过叠加tvi1：= 1-K kX2[K]（1）第一次见面kekk在中性表情的纹理上。我们正式定义了网格张力的概念，并使用它来自动聚合身份的所有表情扫描中的数据驱动方式的扭曲效果我们将这些可能的皱纹对应于面部的膨胀和压缩变形存储在单独的褶皱和位移纹理中，在这项工作中，我们将其统称为皱纹图请注意，置换贴图会修改底层几何体，而凹凸贴图或法线贴图只是模拟几何体的变化。在合成时，我们从生成的面部模型[1]中采样面部网格，并从可用扫描中随机选择一组与身份对应的中性和皱纹纹理。然后，我们计算在面对网格的张力，以驱动中性和皱纹贴图之间的混合，以获得动态的扭曲效果。与以前的基于学习的纹理化方法[22-4.1. 网格张力我们形式化网格张力，以捕获在三维多边形网格的每个顶点处的变形所导致的压缩或膨胀的量。更具体地说，我们其中[K] = 1，. ..，K，且。 表示边长。请注意，我们从1中减去tv i，因此t vi的正值表示压缩，负值表示膨胀，值0表示没有变化。在实践中，为了更好的手动控制，我们引入了pa-强度系数s用于衡量张力，偏置系数b用于人为地支持膨胀或压缩，计算vi处的加权张力为t0vi =stvi+b. 此外，我们允许通过网格人工传播膨胀和压缩效应。对于每个效果，我们引入一个参数，表示形态膨胀（正值）或侵蚀（负值）操作的迭代次数。每个效果的传播首先在网格上独立执行，然后将结果张力值添加到最终具有膨胀和压缩的顶点。图3显示了一个简单的圆柱形网格的这些影响。有关张力参数影响的其他说明，请参见附录A。Code as a Blender [51] add-on可在https：//github.com/chiragraman/mesh-tension4.2. 数据和预处理我们从一组高质量的商业可用的208个人的3D扫描开始。所有208个身份都包含带有中性表情的扫描，而52个身份包含额外的3519粗面膜精面膜清洁基底图5：清洁原始纹理。我们在surprise表情中演示了如何清理pendo（上图）和displacement（下图）纹理我们自动去除头部、颈部和脸颊周围原始纹理中的头发和传感器噪声伪影，同时保留所需的扭曲效果。鼻子、前额和嘴部区域的皱纹（与对于相同的表达式，分别具有中性位移和没有位移的基本网格）。扫描摆姿势的表情中性扫描被手动清理以去除噪声和毛发伪影，并与由扩展反照率CoompresssWood等人[1]，得到7，667个顶点的网格，7414个多边形。图4显示了扫描。自动清除表达式扫描。手动清理扫描是一个劳动密集型过程。为了自动化从表情扫描中掩蔽噪声和毛发伪影的过程，我们利用原始和手动清理的中性扫描之间的差异。具体地，我们employ一个两阶段的掩蔽过程中所示的图5。首先，我们应用一个身份不可知的粗掩模过滤大多数文物以外的关键掩模和颈部地区的表达为基础的伪装发生。接下来，为了捕获艺术家在清理每个中性扫描时所做的手动更改，我们采用了基于高斯混合模型的背景减除技术[52]。将干净的中性纹理作为背景，原始纹理作为前景，我们为每个身份获得了噪声和头发伪影的我们应用这个精细的掩模来清除每个身份的相应表达式扫描的纹理。4.3. 数据驱动的褶皱贴图张力加权褶皱贴图。图6说明了我们从面部扫描生成皱纹图的方法。我们的基本思想是利用每个顶点的张力作为跨表达式的清洁纹理的线性组合中的权重，其中零张力对应于图6：从扫描生成褶皱贴图。我们用三个原始表情扫描（顶部）来说明皱纹图的计算。我们计算对应于扫描的张力图（中间），用绿色表示膨胀，用红色表示压缩。最后，使用归一化的张力作为权重来线性组合表达式双曲纹纹理（底部），以获得扩展和压缩的双曲纹皱纹图。应用类似的过程来获得位移褶皱图。中性纹理。（图6描绘了原始纹理，以便更容易与扫描进行视觉对应我们首先拟合生成的脸模型从伍德等人。[1]到原始扫描，并从所得网格计算张力图。然后使用softmax函数对各个扩展和压缩映射进行归一化。最后，我们使用归一化张力作为权重线性组合表情纹理，以获得扩展和压缩的皱纹图。相同的过程被应用于获得褶皱和位移褶皱贴图。缺少表达式扫描的身份。我们如何计算皱纹地图的身份没有提出表达扫描？我们采用了一种简单的嫁接方法。对于一个没有皱纹地图的目标身份，我们找到了具有皱纹地图的源身份，它具有最大的相似性。3520⇥-图7：嫁接皱纹。对于具有缺失的表情扫描的身份（目标），我们从具有表情扫描的那些身份中找到具有最相似的神经网络图的身份（源）。然后，我们将源表1：300 W时的标志定位。 我们使用两眼间距离标准化平均误差。越低越好。方法共同挑战性私人NMENME法国10%接受真实数据实验室[53]二、98五、190的情况。83AWING [54]二、724.第一章520的情况。33ODN [55]3 .第三章。56六、67-3FabRec [56]3 .第三章。36五、740的情况。17[第57话]二、76五、16-在合成数据无皱纹[1]3 .第三章。114.第一章840的情况。33我们的（皱纹）3 .第三章。104.第一章830的情况。17ilar中性色映射，通过像素颜色的均方误差来测量对于源恒等式，我们将扭曲效应计算为中性和扭曲映射之间的差异然后，我们将此差异添加到目标身份的中性纹理中，以获得目标皱纹图。我们在图7中展示了压缩的Rendo映射的移植过程，在图8中展示了移植皱纹的最终示例。5. 实验和结果我们在两个面部分析任务上定量和定性地评估我们提出的网格张力驱动皱纹：界标检测（第5.1节）和正常估计（第5.2节）。我们比较了增加网格张力，现有的SOTA方法的全脸合成，并com-championing训练模型的性能对SOTA方法在这些任务的领域所产生图8：一些带有嫁接皱纹的身份的最终渲染。我们通过将皱纹从具有表情扫描的身份中移植来计算这些身份的皱纹图（参见图7）。我们为每个身份说明了两种表达方式，没有（左）和有皱纹（右）。5.1. 地标定位实验细节。我们使用基于直接回归的面部标志检测[58]和现成的ResNet 101 [59]。我们使用256 256像素的RGB图像作为输入，预测703密集的面部标志。此外，我们还采用标签转换[1]来处理我们的703个预测密集地标与我们的评估数据集中标记为地面实况的68个稀疏地标之间的系统性不一致性（仅针对表1进行）。作为训练数据集，我们渲染了100k个合成图像，由20k个身份组成，每个身份有5个帧（不同的视点，表情和环境）。我们还从面部网格中生成了703个密集的2D地标的地面实况注释，以伴随每个图像。我们使用PyTorch Lightning训练我们的模型300个epoch，从1e 3的学习率开始，每100个epoch减半。评估数据集和数据库。 我们使用300 W数据集[60]（具有常见，挑战性和私有子集），并采用标准归一化平均误差（NME）和故障率（FR 10%）误差度量[60]。虽然300 W数据集提供了对3521表2：标志定位-眼睛。我们报告了Pexels的睁眼误差，以及300W和眨眼子集的眼睑点到眼误差。在所有情况下，由边界框对角线规范化。越低越好。方法Pexels300W300 W-眨眼接受真实数据AWING [54]1.060.620的情况。693FabRec [56]3.600.811.32在合成数据无皱纹[1]0的情况。970的情况。510的情况。86我们的（皱纹）0的情况。860的情况。480的情况。74在界标检测性能方面，它对于检测脸部特定部分或特定表情期间的改善不够敏感。我们从300W中识别出一个包含眨眼和压缩面部表情（300W眨眼）的30张图像的小子集，以提供在这种变形下更细致入微的性能我们通过从每个预测的眼睑地标到在地面实况中定义眼睑的相应标志的点到线距离来报告眼睑地标的误差。该度量使我们能够更好地理解眼睛区域误差，并在训练和评估模型中使用不同的地标定义（例如，从我们的703地标模型或从98地标模型[54]）。300 W闪烁图像列表见附录E我们还介绍了一个Pexels数据集，其中包含318张完全闭上眼睛的图像（由于眨眼，挤压或压缩面部）和105张只有一只眼睛闭上的图像（眨眼）。 这使我们能够在其他数据集中罕见的条件下评估模型性能。为了收集数据，我们使用了一个库存摄影网站1，使用搜索词wink/blink/compress/scrunched和类似的图像搜索。我们只选择半正面图像，没有或有限的眼睛遮挡，以最好地评估该区域的性能。所选图像的URL可参见附录F。知道哪些图像包含完全闭合的眼睛或仅闭合的一只眼睛，使我们能够在没有显式地标注释的情况下测量眼睑精度。我们定义眼睛张开误差为在闭眼情况下双眼的平均眼睛孔径和在眨眼情况下闭眼的眼睛孔径。有关上述两个指标的说明，请参见附录B。基线。我们与最近的SOTA方法进行了比较，这些方法是在真实人脸图像上训练的。对于随后对300 W-闪烁和Pexels的细致分析，我们考虑Wang等人的方法。[54]以及Browatzki和Wallraven [56]，因为它们在300W上的性能最好。结果从表1中我们可以看到，我们提出的网格-1https://www.pexels.com/在真实数据上训练在合成数据[54]第一届中国国际纺织品展览会[56]图9：Pexels上界标定位的定性结果。 在合成人脸上训练我们的基于表情的皱纹对于定位面部压缩区域中的关键点至关重要。表3：标志定位消融。我们报告了Pexels的睁眼误差，以及300 W和眨眼子集的眼睑点到眼睑的误差。越低越好。数据集基础位移仅反照率仅满300W0的情况。510的情况。510的情况。500的情况。48300 W-眨眼0的情况。860的情况。760的情况。800的情况。74Pexels0的情况。970的情况。860的情况。890的情况。86张力驱动的褶皱为界标定位提供了边际改进然而，当我们在表2中查看300W、300W眨眼和Pexels上的特定眼部区域结果时，我们看到眼部区域的改善要大得多，并且我们的仅合成训练方法优于基于真实数据的模型。另见图9和附录C。消融术进一步分析了平移和位移分量在界标检测中的重要性.从图10和表3中，我们可以看出，在提高性能方面，位移比位移起着更重要的作用，但通过两者的结合可以获得最佳结果。3522⇥-基础位移仅反照率仅反照率分布[63]第62话：我的世界图10：基于表达式的褶皱组件。我们通过两个组件添加皱纹：位移和位移。在这里，我们将每一个孤立地展示出来。位移对于实现皱纹的真实照明至关重要。特别注意前额（放大）和颈部区域。输入图像无皱纹[1]第一章我们的（皱纹）[1] 顶部插图/底部图12：与SOTA的定性比较。我们的合成数据U-Net产生的预测与SOTA相当，同时噪音更小，对照明更鲁棒在图12中，我们获得了与最近用于人脸表面法线预测的其他方法相当的结果[62，63]。进一步比较见附录D。6. 结论我们已经提出了一种方法，用于将基于动态表情的皱纹引入到合成人脸中，该方法在地标定位和表面法线估计的下游任务上产生改进的性能，特别是对于表情变形最大的人脸区域。我们在面网格中使用张力是我们的方法与恒等式和表达式自动缩放的关键，这一直是过去算法图11：像素点上的定性曲面法线预测。在有皱纹的合成人脸上训练的模型可以恢复更多的高频细节。5.2. 曲面法线预测表面法线可用于从2D图像推断关于表面的3D信息，并且已用于几个以人为中心的视觉任务，例如服装[61]和面部形状[62]重建和重新照明[63]。我们使用ResNet 18 [59]编码器训练U-Net [64]来预测面部的相机空间表面法线。作为输入，我们使用256来自50 k数据集的256 px RGB图像合成图像。该网络训练了200个epoch使用学习率为1e 3的余弦相似性损失。作为合成数据管道的一部分渲染的相机空间表面法线图像用作地面实况。真实图像上的结果如图11所示;在用我们的方法合成的图像上训练的网络重新覆盖了面部上更多的高频细节。如图所示这些艺术家的努力令人望而却步。此外，我们的数据驱动的方法还可以从扫描中捕获真实的皱纹，而通过增强具有动态皱纹的合成面部的真实感，我们为合成数据提供了一个明确的案例：我们的方法为下游任务的模型产生改进的性能。此外，与在野外收集有代表性的数据集相比，合成具有跨种族和性别的不同面孔的数据所涉及的工作量要因此，使用这种合成数据开发的下游现实生活系统不太可能遭受这些敏感变量的不公平偏见。致谢Chirag 感 谢 ： Tom Cashman 、 Stephan Garbin 和Panagiotis Giannakopoulos进行了富有洞察力的讨论;Sebastian Dziadzio帮助拟合面部模型;莎拉·罗伯茨是一个绝对可靠的障碍清除者。3523引用[1] Erroll Wood，Tadas Baltrus Pastaitis，Charlie Hewitt，SebastianDziadzio ， MatthewJohnson ， VirginiaEstellers，Thomas J.现金男和杰米·肖顿 Fake It Till YouMake It：仅使用合成数据进行野外人脸分析。arXiv：2109.15102 [cs]，2021年10月。[2] Yue Yao ， Liang Zheng ， Xiaodong Yang ， MilindNaphade，and Tom Gedeon.使用属性下降模拟内容一致的车辆数据集。arXiv：1912.08855 [cs]，2020年7月。[3] Tomas Hodan ， Vibhav Vineet ， Ran Gal ， EmanuelShalev，Jon Hanzelka，Treb Connell，Pedro Urbina，Sudipta N.Sinha和Brian Guenter。用于物体实例检测的真实感图像合成在arXiv：1902.03334 [Cs]，第66[4] Weichao Qiu ， Fangwei Zhong ， Yi Zhang ， SiyuanQiao，Zi-hao Xiao，Tae Soo Kim，and Yizhou Wang.UnrealCV：计算机视觉的虚拟世界。在第25届ACM国际多媒体会议论文集，MM计算机协会。ISBN 978-1-4503- 4906-2。doi：10.1145/3123266.3129396。[5] Artem Rozantsev，Vincent Lepetit和Pascal Fua。关于训练目标检测器的合成图像渲染。计算机视觉和图像理解，137：24-ISSN10773142。doi：10.1016/j.cviu.2014.12。006.[6] Amlan Kar ， Aayush Prakash ， Ming-Yu Liu ， EricCameracci，Justin Yuan，Matt Rusiniak，David Acuna，Antonio Torralba，and Sanja Fidler.Meta-Sim：学习生成合成数据集。arXiv：1904.11621 [cs]，2019年4月。[7] Adrien Gaidon ， Qiao Wang ， Yohann Cabon ， andEleonora Vig.虚拟世界作为多目标跟踪分析的代理。arXiv：1605.06457 [cs，stat]，May 2016.[8] 斯 蒂 芬 河 Richter ， Vibhav Vineet ， Stefan Roth ， andVladlen Koltun.玩数据：《Ground Truth from ComputerGames》arXiv：1608.02192 [cs]，2016年8月。[9] German Ros、Laura Sellart、Joanna Materzynska、DavidVazquez和Antonio M.洛佩兹SYNTHIA数据集：用于城市场景语义分割的大型合成图像集在2016年IEEE计算机视觉和模式识别会议（CVPR），第3234- 3243页，美国内华达州拉斯维加斯，2016年6月。美国电气与电子 工 程 师 协 会 。 ISBN 978-1- 4673-8851-1 。 doi ：10.1109/CVPR.2016.352。[10] Erroll Wood ， Tadas Baltrusaitis ， Xucong Zhang ，Yusuke Sugano，Peter Robinson，and Andreas Bulling.用于眼形配准和注视估计的眼睛绘制。arXiv：1505.05916[cs]，May 2015.[11] 莱赫·斯博斯基和尼尔·道奇森。为眼动仪评估绘制合成地面InProceedings of眼动追踪研究和应用研讨会，第219-222页，佛罗里达州安全港，2014年3月。ACM。ISBN 978-1-4503-2751-0。doi：10.1145/2578153.2578188。[12] Franziska Mueller 、 Florian Bernard 、 Oleksandr Sotny-chenko、Dushyant Mehta、Srinath Sridhar、Dan Casas和Christian Theobalt。GANerated Hands可从单目RGB进行实时3D手部跟踪。arXiv：1712.01057 [cs]，2017年12月。[13] Tomas Simon，Hanbyul Joo，Iain Matthews，and YaserSheikh. 单帧图像中的手部关键点检测正在使用Multiview Bootstrapping。arXiv：1704.07809 [cs]，2017年4月。[14] 作 者 ： Gu¨ lVarol ， J a vierRomero ， X a vierMartin ，NaureenMah-mood，Michael J. Black，Ivan Laptev，andCordelia Schmid.向人造人学习2017年IEEE计算机视觉和 模 式 识 别 会 议 （ CVPR ） ， 第 4627-4635 页 doi ：10.1109/CVPR.2017.492。[15] Jamie Shotton ， Andrew Fitzgibbon ，Mat Cook， TobySharp，Mark Finocchio，Richard Moore，Alex Kipman和Andrew Blake。从单个深度图像中实时识别部分人体姿势。见CVPR 2011，第1297-1304页，2011年6月。doi：10.1109/CVPR.2011.5995316。[16] Huzhong Ning ， Wei Xu ， Yihong Gong ， and ThomasHuang.用于3D人体姿态估计的视觉词的区分性学习。在2008年IEEE计算机视觉和模式识别会议上，第1-8页，安克雷奇，美国，2008年6月。美国电气与电子工程 师 协 会 。 ISBN 978-1-4244-2242-5 。 doi ： 10.1109/CVPR.2008.4587534。[17] 达伦·亨德勒，卢西奥·莫泽，里沙布·巴图瓦尔，大卫·科拉尔，菲尔·克莱默，罗恩·米勒，里基·克劳兹代尔和道格·罗布尔。复仇者联盟：捕捉thanos在ACMSIGGRAPH 2018会谈中，第1ACM。ISBN 978-1-4503-5820-0。doi：10.1145/3214745.3214766。[18] Karis，Brian，Antoniades，Tameem，Caulkin，Steve，and Mas- tilovic，Vladimir.数字人类：穿越UE4中的恐怖谷。游戏开发者大会，2016年。[19] 埃罗尔·伍德、塔达斯·巴尔特鲁斯·艾提斯、路易斯-菲利普·莫伦西、彼得·罗宾逊和安德烈亚斯·布林。从一百万张合成图像中学习基于外观的凝视估计器。在第九届眼动追踪研究应用，第131-138页ACM。ISBN 978-1-4503-4125-7。doi：10.1145/2857491.2857492。[20] Yusuke Sugano，Yasuyuki Matsushita，and Yoichi Sato.基于外观的3D凝视估计的合成学习。2014年IEEE计算机视觉和模式识别会议，第1821美国电气与电子工程师协会。ISBN978-1-4799-5118-5。doi：10.1109/CVPR.2014.235。3524[21] Matan Sela Elad Richardson和Ron Kimmel基于图像平移的无约束人脸几何重建。arXiv：1703.10131 [cs]，2017年3月。[22] Elad Richardson 、 Matan Sela 、 Roy Or-El 和 RonKimmel 。从 单个图像 学习详细 的人脸 重建arXiv：1611.05053 [cs]，2017年4月。[23] Elad Richardson Matan Sela和Ron Kimmel 基于合成数据学习的三维人脸重建。arXiv：1609.04387 [cs]，2016年9月。[24] Xiaoxing Zeng ， Xiaojiang Peng ， and Yu Qiao.DF2Net：用于详细3D人脸重建的密集-精细-精细网络。2019年IEEE/CVF计算机视觉国际会议（ICCV），第2315-2324页，韩国首尔（南），2019年10月。美国电气与电子工程师协会。ISBN 978-1-72814-803-8。doi：10.1109/ICCV.2019.00240。[25] Ashish Shrivastava、Tomas Pfister、Oncel Tuzel、JoshSusskind、Wenda Wang和Russ Webb。通过对抗训练从模拟和无监督图像中学习。arXiv：1612.07828 [cs]，2017年7月。[26] Yaroslav Ganin 、 Evgeniya Ustinova 、 Hana Ajakan 、PascalGermain、HugoLarochelle、FrancçoisLa violette、Mario Marchand和Victor Lempitsky。神经网络的领域对抗训练。arXiv：1505.07818 [cs，stat]，May 2016.[27] 克里斯托弗·奥特动画皱纹贴图。在ACM SIG-GRAPH2007 Courses，SIGGRAPH计算机协会。ISBN 978-1-4503-1823-5。doi：10.1145/1281500。1281667.[28] 克里斯托弗·奥特实时皱纹，2007年。[29] 何 塞 · 希 门 尼 斯 Echevarria ， Christopher Oat 和 DiegoGutierrez。实用和现实的面部皱纹模拟。在WolfgangEngel，编辑，GPU Pro 2，章节实用和现实面部皱纹动画。AK Pe- ters Ltd.，2011年。[30] Ludovic Dutreve，Alexandre Meyer，and Saida Bouakaz.动画蒙皮网格的实时动态面部皱纹在ISVC斯普林格。doi：10.1007/978-3-642-10520-3[31] 克劳修斯·杜克·雷斯、G·雷斯、何塞·德·马蒂诺和哈伦·巴塔格罗。皱纹的实时模拟。2008年2月[32] Microsoft DirectX 10 SDK团队。Sparse Morph TargetsSample，2007.[33] Yin Wu，Prem Kalra，and Nadia Magnenat Thalmann.基于物理的皱纹模拟皮肤渲染。在W. Hansmann，W. T. Hewitt，W. Purgathleman，DanielThal- mann ， and Pandel van de Panne ， editors ，Computer Animation and Simulation施普林格维也纳，维也 纳 ， 1997 年 。 ISBN 978-3-211-83048-2 978-3-7091-6874-5。doi：10.1007/978-3-7091-6874-5 5.[34] 劳伦斯·布瓦西厄，格尔戈·基斯，纳迪亚·玛格纳特·塔尔曼，还有普莱姆·卡拉.用Cosmetics Insight模拟皮肤老化和In W. Hansmann，W. Purgath，F. Sillion，NadiaMagnenat-Thalmann ， Daniel Thalmann ， and BrunoArnaldi ， editors ， Computer Animation and Simulation2000，pages 15-27.施普林格维也纳，维也纳，2000年。ISBN 978-3-211-83549-4 978-3-7091-6344-3。doi：10.1007/978-3-7091-6344-3 2.[35] Cormac Flynn和B. A. O.麦科马克前臂皮肤移植的有限元建模。皮肤研究与技术，14，2008。[36] Cormac Flynn和Brendan A. O.麦科马克用多