无监督的一次性3D面部纹理完成方法

7628一次性纹理完成Baris Gecer，Jiankang Deng，Stefanos Zafeiriou伦敦帝国理工学院，华为CBG{b.gecer，j.deng16，s.zafeiriou}@ imperial.ac.uk{baris.gecer，jiankangdeng，stefanos.zafeiriou1}@huawei.com图1：我们的方法完成的面部正面化和UV纹理。第一行是输入，第二行是正面化结果，第三行是完成的UV纹理。所提出的方法可以产生照片级真实感和身份保持完整的UV纹理，即使在极端的姿态。摘要近几年来，非线性生成模型在合成高质量的真实感人脸图像方面取得了巨大的成功。许多最近的3D面部纹理重建和来自单个图像的姿态操纵方法仍然依赖于大型且干净的面部数据集来训练图像到图像的生成对抗网络（GAN）。然而，这样一个大规模的高分辨率三维纹理数据集的收集仍然是非常昂贵的，难以保持年龄/种族的平衡。此外，基于回归的方法遭受到在野外条件下的泛化，并且不能微调到目标图像。在这项工作中，我们提出了一种无监督的方法，一次性的3D面部纹理完成，不需要大规模的纹理数据集，而是利用存储在2D人脸生成器的知识。该方法首先对输入图像进行三维旋转，然后根据可见部分在二维人脸生成器中重建旋转后的图像，从而填充不可见区域。最后，我们缝合将完成的纹理导入生成器。定性和定量实验表明，完成的UV纹理和正面化图像质量高，与原始身份相似，可用于训练纹理GAN模型进行3DMM拟合，提高姿态不变人脸识别率。11. 介绍3D面部纹理完成的问题（如图2所示）通常是指在面部表面（通常称为UV空间）的“规范”、无变形参数化中从单个图像[11]一个非常类似的问题是从单个图像产生任意的面部旋转[51，5]。上述两个问题在人脸分析的许多不同领域都有重要的应用，例如姿态不变人脸识别[11，5]，以及3D变形模型（3DMM）算法[6，19]的开发和创建完整的头部在UV图像中不同角度下最明显的纹理飞机进一步地，我们通过项目-1项目页面：https://github.com/barisgecer/OSTeC7629[32]第三十二话这就是为什么3D面部纹理完成以及生成面部旋转在机器学习和计算机视觉的交叉领域非常流行，为每个时代的机器学习进步提供了重要的应用领域（从鲁棒组件分析[38]到现代深度学习[11，51]）。预测UV空间的纹理坐标中丢失的颜色或从单个图像预测新视图的问题已经成为许多机器学习算法的应用领域，这些算法从简单的最近邻插值（即，图2c），使用线性统计先验的回归技术（例如，鲁棒主成分分析[7]）到现代深度学习回归技术，例如使用条件生成对抗网络（GAN）的图像到图像转换模型[27]。该问题已被建模为完全监督，即。回归模型是用成对的缺失和完整的3D面部纹理[11]训练的，或者最近使用自监督方法和图像渲染[51]。然而，据我们所知，完全监督或自我监督的所有当前方法都属于回归技术家族。与上述相反，我们在本文中采取了完全不同的工作路线：我们建议重新考虑3D表面纹理预测和旋转生成作为优化问题，并将我们的方法设计为一次性纹理完成方法。基于回归的方法（如[51]）的一个关键问题是，它们可能会失去同一性，因为它们学习的函数非常通用。相反，我们的方法优化了许多其他功能，身份相关功能。我们的方法在3D纹理复杂性和正面化方面都产生了令人惊叹的视觉效果（对于某些结果，请查看图1）。我们的方法的另一个副产品是从野外图像中学习的3D纹理模型，正如我们所展示的那样，可以用于训练最先进的3D人脸识别算法，如GANFit [19]（它是用在良好控制的条件下捕获的大约10K 3D人脸训练的，这些条件不会向公众发布）。简而言之，本文的贡献如下：• 我们重新设计的问题，三维面部纹理完成作为一个一次性的优化为基础的方法。我们提出了一种精心设计的新方法，成本函数适合于任务。• 我们利用2D人脸生成器的强大功能，通过在3D中旋转来恢复2D人脸中不可见的部分因此，不需要进行3D数据采集。• 我们在定性和定量实验中证明了所提出的方法的有效性此外，我们将该方法应用于许多在野外的图像或-为了训练3D面部纹理我们用它来训练最先进的3D面部重建算法。2. 相关工作面部生成，操纵旋转：在短短几年内，GAN生成面部的质量有了令人难以置信的提高[28，29，30]。最近提出的StyleGANv2 [30]通过消除先前结果中出现的伪影，显示了高达1024×1024的高质量2D人脸生成。许多后续工作[41，43，3，2，22，36]可以成功地投影真实图像在其潜在空间上进行语义操作。这表明可以利用StyleGAN生成器作为2D面部纹理先验。在这项研究中，我们利用这一发现，ING图像修复恢复看不见的部分的二维人脸。其中一个常用的操作面部属性是姿态，特别是正面视图，其在人脸识别和归一化中的应用不幸的是，上述潜在空间操作方法要么难以从潜在参数中解开其他属性，要么难以将野外图像投影到该空间。即使可以通 过 投 影 到 StyleGAN [3 ， 2] 的 扩 展 潜 在 空 间（R18×512）来实现出色的重建，这种强制执行也耗尽了其语义意义，因此，对于正面化来说变得不起作用。事实上，可以将猫图像投影到通过这些方法在人脸上训练的大量的工作通过图像到图像的转换GAN来解决这个问题[45，49，26，25，46，37]。这些方法中的许多方法在监督设置中利用成对数据集，这不能很好地推广到野外设置。最近的一项工作[51]提出了一种自监督训练方法，该方法通过3D旋转来扰动图像以自动生成训练对。然而，这些基于回归的方法遭受泛化并且落后于可以针对任何目标图像进行微调的基于优化的方法。3D纹理完成：建模和在3D中也已经广泛地研究了面部的合成[4，15，17，16，18，40，19]。然而，这些模型的几代人远没有达到照片般的真实感。因此，已经有一些工作提出将2D图像的部分可见外观完成为3D外观图[34，11]。最近的一个[11]训练了一个由一组受控数据集监督的图像到图像翻译网络，未能为野外环境生成高质量的图像。虽然所提出的方法解决了纹理完成的问题，但它带来了一个新的视角，将纹 理 完 成 作 为 一 个 基 于 优 化 的 修 复 问 题 ， 由 2DStyleGAN和3D几何先验加强7630(a) 输入图像（I0）(b) 三维重建（S′）(c) 插值UV贴图（T0）(d) Adifferentview（一）在输入图像中可用的纹理，我们逐步完成在UV空间的纹理。给定一组2D顶点坐标、纹理UV映射T∈Rw×h×3和纹理坐标，可以通过使用表示为R：（Rn×2，Rw×h×3，Rn×2）→Rw′ × h′×3。图2：3DMM拟合和纹理完成最近邻插值.从（d）中可以看出，插值方法对于不同的相机视图产生伪影。无监督3D人脸模型：有一些研究直接从2D图像中构建3D人脸模型，例如[44]从野外图像中学习非线性模型，[42]从视频中学习完整模型作为这种方法的副产品，我们试图建立一个纹理模型，从一组完整的纹理UV-地图的二维im-m2。年龄，并将其与GANFit [19]模型进行比较，该模型由10，000个高质量3D纹理训练3. 无监督UV完成我们的工作的关键见解是利用2D人脸生成器网络和3D几何形状在一个渐进的一次性优化过程中的纹理完成和frontalization。基本上，我们的方法在3D中旋转输入图像，并通过在2D人脸生成器中重建旋转图像来填充不可见区域，基于可见部分。该2D重建通过在生成器的潜在空间中的优化来执行。最后，从这些代获得的纹理逐步收集，以建立一个连贯的纹理UV图。在本节中，我们解释我们的方法的细节。3.1. 3DMM拟合输入纹理获取对于一个给定的2D人脸图像I0，我们的方法依赖于一个粗略的估计，其密集的地标的3D recruitc- tion方法。因此，我们首先安装一个现成的3DMM算法估计其几何形状2S∈Rn×3和摄像机参数c=[f，rx，ry，rz，tx，ty，tz]。用针孔摄像机模型定义一个 二维 投影 运算 ，函 数P （ S ， c ） ：Rn×3 ，R7→Rn×2，将几何体投影到二维像平面上，即密集界标，S′=P（S，c）。传统上，高质量的3D纹理信息可以存储在UV贴图中，UV贴图将3D纹理数据分配到2D平面中，并对所有纹理进行通用的逐像素对齐在存储纹理信息的UV图像平面中，几何体的每个顶点都有一个纹理坐标tcoord∈Rn×2在我们的方法中，从2请注意，没有来自3DMM拟合算法的纹理重建被传递到下一阶段。为了从输入图像（I0）中获取纹理的可见部分，我们通过将顶点坐标与纹理坐标以及纹理UV贴图与输入图像交换来执行类似的渲染（即，图像到UV渲染）。换句话说，来自3DMM拟合的密集界标（S′）替换纹理坐标，其中纹理实际上是原始图像（I0）。因此，我们将输入图像展开到UV空间，将拓扑的实际t坐标作为要渲染的顶点坐标。因此，渲染由以下执行：T0=R′（tcoord，I0，S′）（1）其中图像到UV渲染（R′）与UV到图像渲染（R）基本上是相同的操作，然而，我们对它们进行不同的标注以避免混淆。这项工作的一个明显动机可以从图2中的操作说明中看出。在从输入图像中获取可见纹理之后，我们可以在几何图形的不可见和窄角度部分看到巨大的伪影。因此，我们解释了如何通过在输入图像的可见纹理上缓慢构建来3.2. 网格的重渲染为了填充从原始图像中获取的纹理中不太明显的部分，我们将拟合后的网格按一定的角度旋转和渲染我们采取纹理的几何形状，如第2节所述。3.1并使用一组预定义的相机参数对其进行渲染。这些新视图的透视图被定义为以接近垂直的视图保持面部每个部分的最佳可见性给定ci（i >0）作为第i个新的相机参数，我们将几何投影到图像平面，并通过以下3：S′i=P（S，ci）（2）Ii=R（S′i，Ti−1，tcoord）（3）3.2.1建立能见度指数每一个新的视角在清晰度和可见性方面都控制着纹理图的某一部分，即。仰视图最适合下巴下方，侧视图最适合脸颊。3术语Ti-1指的是前一次迭代的渐进纹理。这在SEC中解释。3.47631V[，]S我它对styleGAN模型进行条件投影，为不可见部分生成高质量和一致的面。(a)输入视图(b)输入视图（c）底部（d）左下角（e）右下（f）左（g）右（h）能见度指示3.3.1掩蔽为了分离可见区域和不可见区域，对于每个新视图，从可见性分数（Vi）生成二进制掩码。我们凭经验发现，两个掩模的相交给出最佳结果：1）原始相机的可见性分数高于阈值（V0> t1）的区域，以及2）原始相机视角的可见性分数高于目标相机4的区域，如下所述：图3：可见度分数是衡量最佳的相机角度相对于面部表面的UV地图。(a)V0。不同视图的输入图像（b-g）Vi（h）能见度指数MUV我.Σ（V0> t1）（2V0>Vi） 的（6）i>j（Vi）：用于纹理获取的最佳角度的指数。该可见性分数可以根据每个三角形的法线与其指向相机的矢量之间的角度来定义。也就是说，后天的纹理其中，表示通过以下方式进行的进度ive掩码增强：所有先前处理的相机的主要区域观点，这是在SEC解释。三点四如上所述的掩模将给出UV空间中的掩模，其然后通过当前相机参数ci（即，类似于Eq。（3）：将具有更高的分辨率和更少的伪影，M=R（S′，MUV，t）（7）两个矢量之间的夹角，即，对于面向摄像机的三角形。对于每个视角（ci），我们提取可见性UV映射Vi，范围在（-1，1）之间我我我3.3.2面生成coord其中1表示顶点周围的三角形平均朝向相机，-1表示朝向相反方向。这个过程可以用ap来表示，将摄像机C1放置到几何体S上，并在相对于摄像机的顶点坐标和顶点法线之间取点积。什i=diag（i·N（i）T）（4）||[S′，h]||2所提出的方法需要一个高质量的生成器，可以从任意的噪声向量合成人脸图像因此，我们借用最先进的GAN网络之一：StyleGANv2 [30]来完成这项任务。StyleGAN或StyleGANv2生成器特别适用于此任务，因为它们由一个映射网络组成，操 纵 能 力 和 更 好 的 投 射 能 力 。 映 射 网 络 （ GM ：R1×512→R18×512）输入噪声向量我其中h∈Rn×1表示使S′齐次的一个向量N表示顶点法线的计算一些可见性分数UV贴图可以在图3为不同的相机设置。图3h示出了所有可见性分数的支配图，我们称之为可见性索引，并将其用于拼接从不同视图的优化生成的纹理图根据预-z∈R1×512，并生成一个扩展的潜参数W∈R18×512。生成器网络可以将这些扩展的潜在参数输入到它的不同层，即：e. G：R18×512→Rh′×w′×3。在这项工作中，我们只根据W进行优化，我们称之为潜在参数-eters并忽略映射网络。在优化的向前传递过程中，我们生成由生成器网络G（W）生成的图像G，并提取我我根据上述方程，可见性指数的二进制掩码可以公式化为：\Vi=（Vi>Vj）（5）i/=j3.3. 按投影这项工作的主要假设是，我们可以利用由2D图像训练的生成器网络作为修复的先验感知模型。由于我们在第二章中从原始图像中提取了一部分纹理3.1我们现在可以使用我们下面解释的能量项的一组特征正如SEC所解释的那样。3.3.4，通过更新潜在参数W，反向传播损失以找到好的代。3.3.3能量函数光度损失：显然，最简单的监督形式之一是光度损失，它鼓励图像可见部分的低级别相似性虽然4其他相机被限制为2倍，以放大原始图像的纹理=7632Σ我我IG图4：方法概述所提出的方法迭代优化纹理UV映射不同的重新渲染图像与他们的面具。在每次优化结束时，生成的图像用于通过密集地标获取部分UV图像。最后，将完成的UV图像馈送到下一次迭代以进行渐进式纹理构建。光度损失的更简单形式可以被定义为两个图像之间的逐像素平均绝对差，我们实证地发现对数余弦损失提供更平滑的会聚。对数余弦损失可以定义如下：地标损失：所有先前的目标被部分覆盖面部的可见性掩模分割。因此，不可见的部分变得完全松弛，这导致与渲染的密集地标（S′）不对齐的世代为此，我们建议尽量减少地标的距离，L=1pw′×h′ ×3w′×h′×3日志.cosh.ΣΣMi（ Ii− Gi）我Ii和Gi之间的距离。当我们旋转3D网格时，拓扑，渲染图像的稀疏地标位置其中，k表示逐元素乘法。（八）可以很容易地从具有预定义土地的网格中获得标记指数（l∈N68，l n），即（S′（l））。为了在优化5期间提取所生成的图像（Gi）的界标，我们采用可微分界标esti。[1 4]定义为K：Rw′×h′×3→R68×2。和识别损失：由于光度损失仅涉及由于低水平的相似性，收敛在[19，10，20，17]之后，我们利用来自预训练的人脸识别网络的身份特征[12]，以便捕获与原始人脸的良好身份相似性损失表示为：1Llan=68Σ68||第二章（十一）||2(11)′ ′最终形象。给定一个网络F：Rh×w×c→R512，我们计算标识要素之间的余弦距离生成的图像和输入图像的关系如下：3.3.4投影通过回归训练：在[3]之后，我们训练了一个编码器CNN网络E：Rh′×w′×3→R18×512。述盖F（I0）·F（Gi））=1−||F（0）||2|| F（ （ 一））||2（九）domstyleGAN生成图像（G（GM（z）），z <$N（ 0 ， I ） ） 来 预 测 它 们 的 潜 在 参 数 （ W=GM（z））。我们通过该网络的回归来初始化W，感知损失：根据之前的研究[19，3]，我们利用高级相似性特征（称为感知损失）来正则化收敛。我们根据经验选择VGG-16网络的第9层，该网络被预训练为ImageNet分类器，如下所示：图像，即，W=E（Ii）.用这种回归初始化隐参数不仅可以加速收敛，而且可以帮助优化器避免局部极小值。优化：给定渲染图像Ii，其相应的掩模Mi和密集地标S'，我们的目标是找到- 是的 ..阿吉吉Lper=日志cosh MiVGG（Ii）−VGG（Gi）（十）5为了使梯度从界标丢失中流动，界标需要用可微连接计算。据我们所知，这是第一次尝试这种基于点的监督的二维图像。7633我通过预训练的StyleGANv2生成器G来重建Ii的最佳潜在参数（Wi）。为此，我们首先对齐Ii，Mi，而S′到StyleGANv2的对齐模板。而且，我们通过ADAM optimizer [31]使用上面定义的损失函数的加权和来执行梯度下降优化：minLtotal（Wi）=λpLp+λidLid+λperLper+λlanLlanWi（十二）在收敛之后，我们通过Gi=G（Wi）合成具有新视图ci的人脸图像。最后，我们可以以与Sec中的输入纹 理 获 取 相 同 的 方 式 获 取 部 分 纹 理 3.1Ti=R′（tcoord，Gi，S′i）.3.4. 渐进式纹理构建以实现一致性为了生成全局一致的纹理贴图，我们迭代地为每个相机视图运行优化，以逐步改进纹理UV贴图。在每次迭代之后，我们将所生成的UV图（Ti）混合到由该特定相机设置ci支配的像素（Vi）处的当前UV图中。Ti=Vi<$Ti+（1−Vi）<$Ti−1（13）混合：纹理UV贴图通过Alpha混合拼接，以实现不同UV贴图之间的平滑切换。此外，它们是在可见度指数V0和Vi6的相交处通过高斯统计进行RGB归一化的。面部正面化：最后，使用完整的UV图T，我们通过正面相机再次渲染它，并执行最终优化，如等式2所示12以生成输入图像的正面4. 实验我们在Tensorflow框架[1]中实现了所提出的方法，并且大约需要5分钟来完成UV-完成和前端化输入图像。不幸的是，一些预处理步骤是CPU密集型的，因此还有进一步提高效率的空间。我们使用GANFit [19]的几何拟合管道作为预处理步骤。除了损失函数的预训练网络之外，该方法本身不需要任何额外的训练数据。在下文中，我们说明了我们的方法的一些定性和定量的结果。4.1. 无监督纹理模型：UTEM许多3D纹理重建方法依赖于大规模高质量的3D外观数据，这是昂贵的[6]正常情况下，这两个指数并不重叠，但是我们构建Vi时并不妨碍找出真正的支配区域。而V0来自于前一个指数，在这个指数中，它的优势是2图5：我们的额叶化与其他人的比较：旋转渲染[51]，FNM [37]，CAPG-GAN [25]，FF-GAN [49]，HF-PIM [8]，HPEN [52]，LFW-3D [24]收集，难以保持多样性（例如，种族、年龄），而且由于许可证问题，往往保持私人身份。另一方面，大规模高质量的2D人脸数据集广泛适用于所有人[33，28作为我们方法的副产品，我们通过完成来自CelebA-HQ [33]的1,500张图像的纹理UV映射来构建3D纹理模型（如图7a所示），而不需要任何3D数据收集。 完成后，我们将GAN [28]训练为基于GAN的纹理模型，并执行类似于[19]的3DMM拟合。我们将此模型称为UTEM，并在图中显示了一些生成的样本。7b. 通过原始GAN-Fit [19]和具有UTEM纹理模型的3DMM拟合结果可以在图8的最后两行中看到。重建的纹理显示出与GANFit纹理相似的身份恢复和质量，并且它将可用于所有人。4.2. 定性结果我们在一些图像上运行我们的算法，与最近的最先进的方法进行比较，如7634方法度量0◦±30◦±60◦±90◦CE [35]PSNRSSIM23.030.920121.930.892020.270.888119.630.7179UV-GAN [11]PSNRSSIM23.360.924122.250.897120.530.891919.830.7250我们PSNRSSIM23.950.928222.540.901821.040.897920.440.7462(a) 输入(b) E（I0）（c）+Lp（d）+Llan（e）+Lper（f）+Lid图6：附加消融研究。“+”是指与左侧列相比增加了该损失项。(f)是指本文中使用的所有损失术语，即，我们的了(a) 来自OSTeC的训练样本（我们的）(b) 从无监督纹理模型生成的样本（我们的）图7：我们从2D图像中完成的纹理构建纹理模型，并训练类似于GANFit [19]方法的GAN来进行高质量的纹理建模。图8、图5和图1。图8示出了与UV-GAN [11]和GANFit[19]相比更好的质量和语义上有意义的UV图图8和图5中的正面化结果在同一性-相似性、伪影和分辨率方面看起来优于其他先前的方法4.3. 定量结果UV纹理完成。对于UV纹理完成的定量评估，我们采用[11]发布的UVDB（Multi-PIE [21]）数据集。在[11]之后，我们跳过了前200个受试者，因为没有培训，并对剩余的137个受试者进行测试。我们采用两个指标，即 峰 值 信 噪 比 （ PSNR ） 和 结 构 相 似 性 指 数（SSIM），这是预测的UV纹理和地面真理之间计算在Tab。1，所提出的方法显示出比UV-GAN [11]和CE[35]更高的优先级，特别是对于轮廓面。姿态不变的人脸匹配。我们评估了我们在野外姿态不变人脸识别方面的工作的正面化性能。我们选择广泛使用的数据集表1：在视图变化下MultiPIE数据集[21]上UV纹理完成的定量评估方法额-额正面轮廓人类96.24 ±0.6794.57 ±1.10DR-GAN [45]97.84 ±0.7993.41 ±1.17DR-GAN+[46]98.36 ±0.7593.89 ±1.39[第50话]99.44±0.3693.10 ±1.01HF-PIM [9]-94.71 ±0.83UVGAN [11]98.83 ±0.2793.09 ±1.72+轮廓2正面-93.55 ±1.67+Frontal2Profile-93.72 ±1.59+组2组-94.05 ±1.73CASIA-R18-ArcFace99.34 ±0.4993.69 ±1.33+轮廓2正面-94.87 ±0.96+Frontal2Profile-95.68 ±0.91+组2组-95.92 ±0.87MS1M-R18-ArcFace99.68±0.2996.14 ±1.06+轮廓2正面-97.06 ±0.74+Frontal2Profile-97.43 ±0.61+组2组-97.85 ±0.57表2：CFP数据集上的验证准确度（%）比较[39]。CFP [39] ， 专 注 于 极 端 姿 态 人 脸 验 证 。 我 们 使 用ArcFace 损 失 [13] 在 CASIA-WebFace [48] 和 MS 1 M[23，12]的改进版本上训练ResNet- 18网络[51 注意，我们的嵌入网络小于HF-PIM [9]使用的LightCNN-29[47]和UV-GAN [11]使用的ResNet-27如Tab.所示。2、从侧面人脸合成正面人脸，准确率提高1. 18%和0。在CASIA和MS1M上训练的ArcFace模型分别为92%。由于面部正面化是一个非常具有挑战性的问题，我们还根据[ 11 ]从正面面部合成侧面面部，这导致了更好的结果，95。68%的CASIA模型和97。43%为MS1M型号。此外，我们使用15μ m的视图插值来为每个测试面生成一组图像然后，我们使用生成的集合中心进行验证。 精度进一步提高到95. 92%的CASIA模型和97。85%的MS1M模型，都超过了最近的最先进的方法（例如，[11][12][13][14][15][16][17][18]][19][19][19]4.4. 消融研究我们进行了一项消融研究，以探索图1中每个损失项的六、研究表明7635图8：与其他最先进的方法（UV-GAN [11]，Rotate Render [51]和GANFit [19]）相比的定性结果。（从上到下）第一块显示输入图像，第二块显示UV完成，第三块显示正面化，第四块显示纹理完成/重建结果。编码器E以良好的初始化开始。Lp有助于匹配一些低级特征。Llan将生成的图像与输入的几何图形对齐.颈部周围的背景泄漏 Lper匹配中级特征，最后Lper显示精确身份恢复的最大贡献。5. 结论在本文中，我们提出了一种基于优化的一次性3D纹理完成和前端化方法，利用预训练的2D图像生成网络。我们的方法可以产生视觉上显着的，准确的和身份相似的完整的纹理图和额化的脸。实验结果表明，该方法在准确率和极端姿态下的人脸匹配方面优于其他方法。感谢：Stefanos Zafeiriou 的工作得到了EPSRC FellowshipDEFORM的资助：人体可变形模型的大规模形状分析（EP/S010203/1）。7636引用[1] Mart 'ın Abadi，Ashish Agarwal，Paul Barham，EugeneBrevdo，Zhifeng Chen，Craig Citro，Greg S. Corrado，Andy Davis ， Jeffrey Dean ， Matthieu Devin ， SanjayGhemawat ， Ian Goodfellow ， Andrew Harp ， GeoffreyIrving ， MichaelIsard ， YangqingJia ， RafalJozefowicz，Lukasz Kaiser，ManjunathKudlur，JoshLevenber g，DanishMane' ，RajatMong a， Sherry Moore，Derek Murray ， Chris Olah ， Mike Schuster ， JonatheShlens ， Benoit Steiner ， Ilya Sutskever ， Kunal Tal-war ， PaulTucker ， VincentVanhoucke ， VijayVasudevan， Fer-nandaVie'gas，OriolVinyals，PeteWarden ， MartinWatten-berg， Martin Wicke ， YuanYu，and Xiaoqiang Zheng.张量流：异构系统上的大规模机器学习。2015. 6[2] Rameen Abdal，Yipeng Qin，and Peter Wonka. Im-age2StyleGAN ++：如何编辑嵌入的图像？arXiv，2019年。2[3] Rameen Abdal，Yipeng Qin，and Peter Wonka. Im-age2StyleGAN：如何将图像嵌入StyleGAN潜在空间？2019IEEE/CVF计算机视觉国际会议（ICCV），第4431-4440页，2019年。第二、五条[4] 沃尔克·布兰斯和托马斯·维特。用于合成3D面的可变形模型。在Proceedings of the 26 th Annual Conference onComputerGraphicsandInteractiveTechniques ，SIGGRAPH 1999，第187-194页中。ACM Press/Addison-Wesley Publishing Co. 1999. 2[5] 沃尔克·布兰斯和托马斯·维特。基于三维形变模型拟合的人脸识别TPAMI，25（9）：1063-1074，2003. 1[6] James Booth ， Epameinondas Antonakos ， StylianosPloumpis ， George Trigeorgis ， Yannis Panagakis ， andStefanos Zafeiriou. 3D 面 部 变 形 模 型 “ 在 野 外 ” 。 在Proceedings-30 th IEEE Conference on Computer Visionand Pattern Recognition，CVPR2017，2017年1月，第5464-5473页1[7] EmmanuelJCan d`s，XiaodongLi，YiMa，andJohnWright.稳 健 主 成 分 分 析 Journal of the ACM （ JACM ） ， 58（3）：1-37，2011. 2[8] Jie Cao ， Yibo Hu ， Hongwen Zhang ， Ran He ， andZhenan Sun.学习一个高保真的姿态不变模型用于高分辨率的人脸正面化。在NeurIPS，2018年。6[9] Jie Cao ， Yibo Hu ， Hongwen Zhang ， Ran He ， andZhenan Sun. 在野生环境中，面部额状化的逼真度IJCV，2019年。7[10] Forrester Cole、David Belanger、Dilip Krishnan、AaronSarna、Inbar Mosseri和William T.弗里曼从人脸识别特征 合 成 标 准 化 人 脸 。 在 Proceedings-30 th IEEEConference on Computer Vision and Pattern Recognition，CVPR2017，2017年1月第3386-3395页中。5[11] Jiankang Deng，Shiyang Cheng，Niannan Xue，YuxiangZhou，and Stefanos Zafeiriou. UV-GAN：对抗性fac- cialUV map completion for pose-invariant face recognition。IEEE计算机协会计算机视觉和模式识别会议论文集，第7093- 7102页，2018年。一、二、七、八7637[12] Jiankang Deng，Jia Guo，Niannan Xue，and StefanosZafeiriou. ArcFace：用于深度人脸识别的附加角度边缘损 失 。 Proceedings of the IEEE Computer SocietyConferenceonComputerVisionandPatternRecognition，2019-June：4685-4694，2019. 五、七[13] Jiankang Deng，Jia Guo，Niannan Xue，and StefanosZafeiriou. Arcface：用于深度人脸识别的附加角度边缘损失。在CVPR，2019年。7[14] Jiankang Deng，Yuxiang Zhou，Shiyang Cheng，andStefanos Zaferiou.级联多视图沙漏模型，用于强大的3D人 脸 对 齐 。 在 Proceedings - 13th IEEE InternationalConferenceonAutomaticFaceandGestureRecognition，FG 2018中，第399-403页。IEEE，2018年。5[15] 放大图片作者：William A. P. Smith，Ayush Tewari，Ste- fanie Wuhrer，Michael Zollhoefer，Thabo Beeler，Florian Bernard ，Timo Bolkart， Adam Kortylewski ，Sami Romdhani ， Christian Theobalt ， Volker Blanz ，and Thomas Vetter.3D变形人脸模型-过去，现在和未来。ACM Transactions on Graphics，39（5）：157：1-157：38，2020年6月。2[16] 斯蒂芬·J·加宾马雷克·科瓦尔斯基马修·约翰逊和杰米·肖顿。 高分辨率零镜头合成人脸图像的自适应。arXiv：2006.15031 [cs]，2020年6月。2[17] Baris Gecer，Binod Bhattarai，Josef Kittler，and Tae-Kyun Kim.半监督对抗学习从3D Mor- phable模型生成新身份的真实感人脸图像。在欧洲计算机视觉会议，第 11215 卷 ， 第 230-248 页 Springer InternationalPublishing，2018. 第二、五条[18] Baris Gecer ， Alexander Lattas ， Stylianos Ploumpis ，Jiankang Deng ， Athanasios Papaioannou ， StylianosMoschoglou，and Stefanos Zafeiriou.通过干-支生成对抗网络合成耦合的3D人脸模型。欧洲计算机视觉会议（ECCV），2020年。2[19] Baris Gecer ， Stylianos Ploumpis ， Irene Kotsia ， andSte- fanos Zafeiriou. GANFIT：用于高保真3D人脸重建的生成对抗网络拟合。在2019年IEEE/CVF计算机视觉和模式识别会议（CVPR）上，第1155-1164页美国加利福尼亚州，2019年6月。美国电气与电子工程师协会。一、二、三、五、六、七、八[20] Kyle Genova、Forrester Cole、Aaron Maschinot、AaronSarna、Daniel Vlasic和William T.弗里曼3D变形模型回归的无监督训练在IEEE计算机协会计算机视觉和模式识别会议论文集，第8377-8386页5[21] Ralph Gross ， Iain Matthews ， Jeffrey Cohn ， TakeoKanade，and Simon Baker.多派图像和视觉计算。7[22] Jinjin Gu，Yujun Shen，and Bolei Zhou.使用多码GAN先验的图像处理。arXiv：1912.07116 [cs]，2020年3月。2[23] Yandong Guo，Lei Zhang，Yuxiao Hu，Xiaodong He，and Jianfeng Gao. Ms-celeb-1 m：大规模人脸识别的数据集和基准。在ECCV，2016年。7[24] Tal Hassner，Shai Harel，Eran Paz和Roee Enbar。无约束图像中有效的人脸正面化IEEE计算机学会计算机会议论文集7638视 觉 和模 式 识 别 ， 卷07-12-June-2015 ， 第4295-4304页，2015年。6[25] 胡一波，吴翔，冰玉，何冉，孙振安。姿势引导的真实感面部旋转。在IEEE计算机协会计算机视觉和模式识别会议论文集，第8398-8406页，2018年。第二、六条[26] 黄锐，张舒，李天宇，何冉。超越面部旋转：全局和局部感知，用于照片真实性和身份保持的正面视图合成。在IEEE计算机视觉国际会议的Proceedings中，第2439-2448页，2017年。2[27] Phillip Isola，Jun Yan Zhu，Tinghui Zhou，and Alexei A.埃弗罗斯使用条件对抗网络进行图像到图像的翻译论文集-第30届IEEE计算机视觉和模式识别会议，CVPR2017，2017-2017年1月：5967-5976。2[28] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.GAN的渐进式增长，以提高质量、稳定性和变异性。在第六届学习表征国际会议上，ICLR 2018 -会议跟踪程序，2018。第二、六条[29] Tero Karras Samuli Laine和Timo Aila一种用于生成对抗网络的基于风格的生成器体系结构。IEEE计算机协会计算机视觉和模式识别，2019年6月：43962[30] 泰罗·卡拉斯、萨穆利·莱恩、米卡·艾塔拉、詹娜·赫尔斯滕、亚科·莱赫蒂宁和蒂莫·艾拉。StyleGAN图像质量分析与改进arXiv：1912.04958 [cs，e