无完整人脸纹理学习高保真人脸纹理补全

13990无完整人脸纹理学习高保真人脸纹理补全Jongyoo Kim，Jiaolong Yang，XinTong Microsoft Research Asia{jongk，jiaoyan，xtong} @ microsoft.com(a)输入（b）推断纹理（c）（b）的放大（d）渲染图像（e）（d）的图1：单图像面部纹理完成结果的示例。我们的神经网络以无监督的方式训练，没有任何完整的面部纹理，可以生成具有自然皮肤细节和面部毛发的高保真结果摘要对于面部纹理完成，以前的方法通常使用由多视图成像系统或3D扫描仪捕获的一些完整纹理进行监督学习。本文研究了一个新的具有挑战性的问题--在我们简单地利用不同主题的大型人脸图像语料库（例如，例如，在一个实施例中，FFHQ）来以无监督方式训练纹理完成模型。为了实现这一目标，我们提出了DSD-GAN，这是一种基于深度神经网络的新方法，它在UV映射空间和图像空间中应用了两个鉴别器。这两个鉴别器以互补的方式工作以学习面部结构和纹理细节两者我们表明，它们的组合是必不可少的，以获得高保真度的结果。尽管该网络从未看到任何完整的面部外观，但它能够从单个图像中生成引人注目的完整纹理。1. 介绍人脸分析和数字化是计算机视觉和图形学中最热门的话题之一我们拍摄的大多数脸部照片都不能代表脸部的全貌，因为脸部本身或其他物体的遮挡。事实上，自遮挡对于野外的面部图像是普遍存在的，如图1B中的示例所示。1，导致不可见的纹理内容。人脸纹理修复的任务是推断不可见的人脸内容并恢复完整的人脸外观。它具有各种各样的应用，从3D化身创建[14，20]，3D变形模型构建[2，31]和面部图像操作[13，36]到高级视觉任务，如面部识别[13，6]。这项工作致力于使用深度神经网络对单个人脸图像进行纹理1然而，在这方面， 学习 脸 纹理 完成 不1在[6]之后，我们使用纹理来指代图像上的面部外观，而不是隐藏或内在图像。13991由于收集标记的训练数据的困难，这是直接的。对于单个图像，通过手动标记或绘制来获得完整纹理不是可行的选择。使用多视图图像来获得高分辨率和高质量的纹理也不是一项简单的任务，这需要复杂的面部图像捕获和处理流水线。以前的工作通常使用放置在受控环境中的一些特殊设备用于训练数据捕获，例如多视图DSLR捕获系统或3D扫描系统[4，37，6，20]。这些作品中的大多数数据集都不是公开的。请注意，它们中的大多数捕获人脸反照率，这与本文中考虑的纹理不同，但人脸扫描，配准和拼接的要求是相似的。为了摆脱标记数据收集的努力，我们建议使用在无约束设置中捕获的大量高分辨率人脸照片来训练人脸纹理完成模型。虽然这将消除对完整纹理采集的需要，但它对学习任务提出了新的挑战，因为对于每个输入面部图像，为此，我们提出了一种新的生成对抗学习方法，称为双空间判别器生成对抗网络（DSD-GAN），以无监督的方式学习面部纹理完成。为了充分利用部分可见的人脸外观，我们在UV纹理空间和图像空间中应用了两种不同设计的我们的关键观察是，前者更适合学习纹理细节，而后者对学习面部结构更重要。在UV纹理空间中，纹理分析器将小的局部补丁作为输入，以专注于详细的纹理图案。真实和虚假补丁获得一个图像根据其可见性。由于鉴别器集中在局部块，它可能陷入局部最小值和忽略全局纹理一致性。因此，我们使局部判别器以面片坐标为条件，并训练它回归这些坐标。另一方面，我们采用可微分网格渲染器[10]将生成的UV纹理转换到图像空间中，并将完整图像作为输入应用识别器。这里的目标是捕获一般面部结构、核心语义成分和由不同照明条件引起的整体颜色梯度原始面部照片被用作真实样本，其自然地提供可靠的训练信号。为了使鉴别器更多地关注缺失区域并避免在缺失区域很小时混淆它，我们应用空间变化标签以进行更有效的训练。我们表明，我们的双空间鉴别器是非常有效的无监督学习任务和训练的生成器可以产生高保真的人脸纹理完成的结果。2. 相关工作深度图像完成。在过去的几年中，使用深度神经网络的图像完成已经被积极研究。Pathak等人提出了一种上下文编码器架构，该架构采用对抗性和像素级反射损失[29]。为了有效地扩大感受野，Iizuka等。[15]部署了一个扩张卷积以实现图像的完整性。后来，为了处 理 不 规 则 的 孔 形 状 ， Liu 等 人 提 出 了 部 分 卷 积（PCONV）。[25]其中掩模用于仅考虑有效像素，并且有效区域通过网络逐渐增长。另一方面，许多方法采用局部和全局鉴别器来增强图像质量[15，41，6]。局部鉴别器应用于一些固定区域，如面部中心[6]或具有生成内容的区域[15，41]。与这些方法相比，我们的鉴别器被设计在两个不同的空间学习纹理完成没有任何完整的纹理。3D面几何体和纹理。面UV纹理与人脸的3D几何体密切相关。3D Mor- phable Model（3DMM）[2，30]已经是用于3D面部重建的最流行的工具之一。该模型一般基于一组真实捕获的数据来建立，然后应用PCA来形成参数模型。许多作品采用的分析合成的方法进行三维重建。最近，深度神经网络被用于使用合成数据进行训练的3D人脸重建[8，12，32]或以弱监督的方式训练[7，10，34]。参数化面部纹理模型也在过去被提出[3，9]。Booth等[3]使用稳健的主成分分析来从不完整的“野外”纹理构建模型这种方法在纹理模型的构造过程中隐含了纹理的完整性，但丢失了细节。在[9]中，提出了一种基于GAN的纹理模型，其中使用了10，000个高分辨率完整的UV数据然而，对于纹理推断，生成的结果仅限于其参数模型空间。相反，我们的方法生成一个完整的纹理，同时保留可见的像素和细节的输入。Lin等[24]提出了使用参数模型基于重构的纹理他们的模型只关注可见部分，不处理自遮挡纹理的自然性。与我们的方法类似，已经提出了一些基于3D几何结构的纹理完成方法[33，37，6]。Saito等人[33]提出了一种DNN从局部图像中提取特征，并使用多尺度细节分析。虽然它可以产生合理的结果，它需要大量的计算资源。Yamaguchi等人[37]将GAN用于反照率预测、面部纹理补充和面部纹理的超分辨率。Deng等人[6]提出了一种基于GAN的UV纹理完成方法，13992图2：拟议框架概述。训练图像空间鉴别器以学习粗略结构，而纹理空间鉴别器学习详细纹理。桥接鉴别器然而，这两种方法都严重依赖于高质量和高分辨率的训练数据。另一方面，SG-NN提出了一种用于没有完整数据的3D结构的自监督完成模型[5]。然而，虽然SG-NN利用由输入图像纹理输入图像纹理施加人工掩模，DSD-GAN使用鉴别器学习部分纹理信息的3. 方法我们有两个主要目标：（1）学习人脸纹理的完成没有完整的纹理数据和（2）生成高分辨率和高质量的纹理。为了实现这两个目标，我们精心设计了我们的框架，以充分利用训练数据中的可见像素。框架的概述在图1中展示。二、生成器从不完整的输入纹理及其可见性遮罩推断完整纹理。然后，纹理被馈送到两个鉴别器中，这两个鉴别器在两个不同的空间中工作：UV图谱纹理空间和渲染图像空间。由于在纹理空间中没有完整的地面实况在图像空间的情况下，原始图像本身被视为真实数据，而渲染图像是作为鉴别器的输入的假数据。详细过程在以下章节中描述。3.1. 数据准备在这项工作中，我们利用大量的面部图像集的纹理完成训练任务。我们使用两个人脸图像数据集：Flickr-Faces-HQ （ FFHQ ） [18] 和 CelebA-HQ [17] 。FFHQ由70 K高分辨率人脸图像组成，CelebA-HQ约有30 K。图3：生成的训练数据集中的样本。为了获得UV纹理并生成我们的训练数据，我们开发了一个自动化管道，它包括三个步骤：（1）基于DNN的3D人脸重建，（2）基于优化的细化，以及（3）数据清理。对于第一步，我们采用来自[7]的现成算法来获得初始3D重建结果。为了进一步提高对准精度，我们然后应用具有类似于[7]的损失使用恢复的3D几何形状，可以提取面部纹理和可见性图最后，我们优化纹理以移除坏的样本：我们首先通过使用简单的形态学操作来简化可见性掩模边界，然后使用面部解析信息[ 23 ]来去除引入纹理空间中的背景（非面部）像素。如果纹理中有太多的背景像素，我们简单地丢弃它。从我们的流水线生成的一些示例纹理在图中呈现。3.第三章。在我们的实验中，UV纹理数据和图像空间数据的分辨率分别为512×512和448×448。3.2. 发生器受[35]的启发，我们的生成器由下采样、残差块和上采样层组成。在每个残差块之间，我们添加扩张卷积[39]以扩大感受野，我们发现这很重要13993⊙×××2×··Σ|尤其是对于高分辨率图像。对于生成器的输入，我们首先将纹理与高斯随机噪声图像连接起来，其中噪声仅出现在纹理图的孔区域中，然后我们水平翻转数据并将其与原始数据连接起来，以施加弱对称一致性，如以前的研究[6，37]中所使用的。我们将输入纹理表示为Tinc，将可见性遮罩表示为Mtex，并且将推断的纹理表示为Tpred。 对于Mtex，有效区域和孔区域分别用1和0指示。生成器的输出用于计算有效像素的自重构损失，如下所示：图4：局部贴片选择的图示。蓝色方块是真实的补丁，绿色方块是假补丁。回归器如AC-GAN [22，27]。坐标回归损失计算为Lrec=Σ1 M′（Tinc-Tpred） ⊙Mt′ex|(1)1Lcoord=K（Reg（C）−posC）（三）（i，j）tex（i，j）其中Reg（C）指示由Reg（C）预测的坐标。其中Mt′ex是Mtex的倒数，是Hadamard乘积。 详细的网络体系结构在附录中进行了说明。 材料3.3. 鉴别器纹理空间鉴别器。从推断的面部纹理Tpred，我们提取局部补丁来表示真实和虚假的标签。为了使选择过程更简单和更快，我们首先定义具有步幅c和裁剪尺寸宽度c的步幅的离散候选位置。然后，使用每个可见性掩模，我们计算每个裁剪区域中有效像素的数量与总像素的数量之比，并将其分为三类：孔补片（比率<0.65）、有效补丁（比率>0. （9）其余的。其中，仅孔补片Chol和有效补片Cval用于训练。基于实验选择最佳裁切尺寸，宽度c。如果宽度c太小，则模型不太可能捕获重要的纹理图案，而大的裁剪导致更少的可能的轮廓 。 在 实 验 中 ， 我 们 设 置 stridec=widthI/32 和widthc=stridec2。为了计算对抗损失，我们部署了一个最小二乘GAN[26]，如下所示Lloc=E[（DT（Cval）−1）]−E[DT（Chol）2]（2）其中，posC是C的归一化坐标，K是面片的总数。对于坐标归一化，值被重新缩放到[0，1]之间的范围。图像空间鉴别器。为了学习全局结构信息，我们考虑在图像空间中定义的另一个鉴别器。与纹理空间数据不同，图像空间中的自然人脸图像本身是完美的，也就是说，它们可以被视为对抗学习的真实数据此外，图像空间数据对对齐精度不太敏感，并且易于收集大量的人脸图像。使用可微分网格渲染器[10]，我们将推断的纹理Tpred渲染为多个面部图像Ipred。在这个阶段中，选择适当的面部姿势来渲染是重要的。我们随机选择新的姿势，但要确保它们与原始面部姿势足够远。对于真实数据，我们简单地将面部边界掩模应用于原始图像，我们用Iraw表示。我们的图像空间鉴别器将整个图像作为输入，并输出14 - 14个假/真标签预测。每个输出点的感受野大小为286 - 286，其足够大以捕获面部结构信息。对于这14个预测，我们提出了空间变化的标签，用于对抗性学习，以处理高度不平衡的真实和虚假像素。通常，在渲染图像Ipred中，孔像素的数量与C值Chol，z整个面部区域。其余像素来自原始图像其中DT（）指示纹理空间鉴别器，并且z是输入的随机噪声。面纹理具有典型的结构，纹理模式与位置之间存在很强的关系。例如，胡须仅存在于嘴和下巴周围，而脸颊通常具有均匀的纹理。因此，我们将补丁的位置信息合并到它们的纹理信息中以生成语义上正确的细节。具体来说，我们通过回归原始完整纹理中的输入补丁的坐标来训练条件鉴别器。我们在鉴别器中卷积层的末尾添加一个子分支作为有效的面纹理。如果我们天真地将这些有效的像素作为假数据处理，它可能会混淆识别器。因此，与PatchGAN判别器[16]不同，其中一个图像中的整个补丁具有统一的标签，我们的标签是空间变化的。使用渲染的可见性掩模Mimg=DR（Mtex，p）来生成单独的标签，其中DR（）是可微分网格渲染器，并且p是新姿态。我们调整Mimg的大小，以形成具有与图像空间鉴别器的输出相同大小的标签图，并以0.9的阈值对其进行二值化。 更多细节可以在supply中找到。 材料我们的图像空间鉴别器的损失函数可以2139942·输入纹理(1) 不含img。DSC c.r.(2) 不含img。DSC(3) 不含纺织品DSC(4) 完整的DSD-GAN图5：不同模块的完成结果比较。（最佳放大）(a) FFHQ（b）CelebA-HQ（c）图6：（a）和⑹是FFHQ和CelebA-HQ的偏航角分布;以及（c）是可见度图的平均值（越暗意味着可见像素的数量越少）。写成图7：姿势不变性检验。更多的视觉效果可以在Suppl.材料区域，如图所示。6（c）.从有效/孔补丁池中进行朴素随机补丁采样将导致不平衡。Limg=E[（DI（Igt）−1）]−E[（DI（Ipred）-Iimg）2]（4）训练数据。 为了避免这个问题，我们首先统一我gt我pred，z以及独立地对行索引进行采样，然后均匀地Ipred=DR（Tpred，p）（5）其中Dl（）是图像空间鉴别符，并且Iimg是空间变化标记。3.4. 克服数据偏差FFHQ和CelebA-HQ高度偏向于正面，如图所示。第6条（a）和（b）款。为了减轻偏差问题，我们在数据采样中应用了几种解决方法。采样要渲染的姿势。如果我们选择的姿势与原始姿势相差太远，那么大多数Ipred会变成侧面脸，而大多数Iraw会变成近正面。这可以使鉴别器对姿态而不是纹理质量敏感。因此，新姿势从具有FFHQ和CelebA-HQ的估计平均值和协方差的正态分布中随机采样。为了保证渲染的面包括孔像素，重复采样直到新的偏航满足两个条件：（1）与原产品相差>20μm(2)根据前面的角度。这导致轻微更广泛的分布，然后真正的，但该模型较少遭受的偏见问题。我们将在修订版中添加详细信息。局部采样。由于偏置姿态分布，UV空间中有效/孔洞面片沿垂直方向的分布高度偏置到上/下-50°0°50°原 始 完整纹理13995−对列索引进行采样。这样，沿着垂直方向的训练路径分布将变得均匀。4. 实验实作详细数据。我们的方法使用Tensorflow [1]实现。我们使用Adam优化器[19]和学习率1e4来训练所有模型。我们使用四个GPU进行训练，其中每个GPU的批量大小为4。更多细节可以在supp中找到。 材料4.1. 消融研究每个模块的效果。为了验证每个模块的有效性，我们用不同的子模块进行实验我们比较了四种不同的设置：（1）仅具有纹理空间鉴别器而没有坐标回归的DSD-GAN，（2）仅具有纹理空间鉴别器的DSD-GAN，（3）仅具有图像空间鉴别器的DSD-GAN，以及（1）全DSD-GAN。每个结果如图所示五、对于模型（1）、（2）和（3），自重构损失用于具有小权重的训练。参见图5，模型（2）适用于具有自然纹理的近正面。然而，对于大姿势，出现显著的伪影，特别是当核心面部组件的大部分缺失时。推断的纹理具有13996↑↑- -SSIM知觉相似性-60◦-30◦0◦30◦60◦Avg.-60◦-30◦0◦30◦60◦Avg.DeepFillv20.59740.69880.76960.68390.57590.66510.57830.69430.72320.66880.54450.6418PICNet0.63320.72640.77110.71680.62300.69410.60540.74820.75440.73200.57240.6825RFRNet0.62370.71200.77470.70340.61290.68530.57380.70640.72450.68920.55460.6497Base-MPIE0.65210.71530.74500.71080.64200.69300.67870.75750.77990.74830.64850.7226基本BFM0.71150.75610.77690.75610.71640.74340.71700.78720.79340.77880.71800.7589不含img。DSC等&C.R.0.67310.67800.66770.68230.67800.67580.63730.60780.59540.66030.64450.6290不含img。DSC等0.68200.68810.68840.69130.69410.68880.62500.67120.66630.68220.68700.6663不含纺织品DSC等0.73230.77320.78730.76350.73470.75820.72770.79220.79870.78050.74190.7682DSD-GAN0.75310.77550.78760.77360.75220.76840.75000.79140.79850.78390.75940.7767表1：在FaceScape数据集上的不同输入姿势下的SSIM（）和感知相似性（）的比较。（红色和蓝色表示最佳和次佳模型。）DeepFillv2PICNetRFRNetBase-MPIE基本BFM不含img。dsc等 &C.R. 不含img。dsc等不含纺织品dsc等DSD-GAN24.386140.386344.924830.354617.212156.422343.05609.96783.3124表2：FaceScape数据集上FID评分（↓）的比较（红色和蓝色表示最佳和次佳模型。）高频细节，但它们与有效区域不一致对于另外排除坐标回归的模型（4），整体面部结构被塌陷。另一方面，图像空间鉴别器（模型（3））可以很好地捕获整体结构，但是与模型（4）相比，纹理细节较差。我们可以观察到奇怪的条纹图案在推断的区域和一个更明显的接缝时，放大。比较图5中的（3）和（4），显而易见的是，结合坐标有助于纹理空间鉴别器间接地学习结构信息。我们的完整模型利用了每个模块，可以生成高保真度的纹理，如（b）所示。对于定量评估，我们使用FaceScape数据集[38]，其中包含938人的完整面部纹理。对于每个纹理，我们应用了5个不同的蒙版，输入偏航旋转为[60◦，30◦，0◦，30◦，60◦]，然后在它们上输入完整的面部纹理。每个推断的纹理被再次渲染到图像空间以用于评估，其中除了输入的一个之外，具有所有我们计算SSIM [43]和这些生成的面部图像与地面实况之间的感知相似性，其中感知相似性被计算为来自VGG面[28]的嵌入特征的 余 弦 相 似 性 。 我 们 进 一 步 计 算 Fre´chet 起 始 距 离（FID）来评估生成的人脸的质量。表1和表2再次显示了不同模块的有效性删除其中任何一个都将导致性能显著下降。输入姿势的不变性。在图7中，第一列中的图像示出了地面实况全纹理，并且其他图像是由DSD-GAN推断的图像，其中三个不同的可见度掩模对应于不同的姿态。可以观察到，DSD-GAN可以处理从正面姿势到大姿势角的各种姿势，产生自然和感知稳定的结果。表1中的数值结果还示出了DSD-GAN与其他相比更稳定的性能4.2. 方法比较在本节中，我们评估我们的DSD- GAN的性能，并将其与其他方法进行比较。我们考虑三组方法进行比较：• 全面监督的基线。我们用可访问的完整人脸纹理数据集训练两个基线模型：由[6]构建的多PIE人脸纹理作为其（部分）训练数据，以及来自[30]的BFM纹理。我们将在没有任何完整数据的情况下训练的模型与这两个基线进行比较。• 最先进的方法。我们将DSD-GAN与包括UV-GAN[6]和Yamaguchi等人的两种面纹理完成方法的现有 技 术 进 行 比 较 。 [37] 和 最 先 进 的 纹 理 模 型GANFIT [9]。注意，所有三种方法都利用完整的面部纹理进行学习。不幸的是，它们都没有提供训练模型或完整的训练数据集，这使得比较非常困难。因此，我们在他们论文中的相关图像样本上运行我们的方法，并与他们的结果进行视觉比较。• 图像修复算法。为了检查DSD-GAN相对于现有图像修复方法的优势，我们进一步比较了三种深度修复模型：DeepFill v2 [40]，PICNet [42]和RFR-Net [21]，都是在CelebA-HQ的面部图像上训练的。与我们不同的是，这些方法是在图像空间中使用完全监督进行训练的。4.2.1与完全监督基线的为了获得强基线，我们仔细地增强了面部纹理数据并设计了训练方案。Multi-PIE数据集包含从Multi-PIE数据库构建的337个受试者的2，387个完整面部纹理[11]。对于BFM纹理，我们随机从13997∼(a) 输入（b）输入纹理（c）Base-MPIE（e）DSD-GAN图8：两种监督基线方法的纹理完成结果比较。（最佳放大）BFM模型，并通过改变肤色来增强它们，从而产生6，500个用于训练的样本。对于两者，我们应用了具有随机形状的可见性遮罩，并在线采样姿势进行训练。通过使用球面谐波（SH）照明[7]，将随机照明应用于BFM纹理。这两个基线模型包括一个生成器和鉴别器在纹理空间与架构相同的DSD-GAN。为了训练他们，L1地面实况重建损失和对抗损失与适当调整的权重相结合我们将这两个训练模型分别称为图8比较了不同方法对FFHQ测试数据的定性结果。从顶行到底行，面部姿势的偏航角逐渐增加。基线模型为近前面生成合理的结果。但是，它们显然缺乏高频细节，特别是在大姿势下。我们的DSD-GAN为近正面和大姿势产生了最好的质量，并产生了丰富的高频细节。表1和表2比较了FaceScape数据集上的定量结果。可以看出，我们的结果在所有指标下比基线显著更准确。4.2.2与最先进型号的与UV-GAN的比较[6]。UV-GAN以监督的方式使用77K完整的面部纹理进行训练，分辨率高达256×256。相反，我们的方法学习推断512×512纹理没有任何完整的tex-是的。图9（左）使用来自UV-GAN纸的图像比较了两种方法可以看出，这两种方法都产生了不错的结果，UV-GAN处理的纹理面积比我们的大。然而，我们完成的纹理包含更丰富的细节。重新渲染的面部图像看起来更真实并且更好地保留原始输入图像的外观。对于大姿势的面部，似乎UV-GAN丢弃了输入面部中可见的原始纹理细节（眉毛、凝视等）。 并再生整个内容物，如图3中的第三个样品所示。9（左）。与Yamaguchiet al. [37 ]第37段。Yamaguchi等人的方法。学习使用329个生产级全3D面部扫描来推断完整的紫外线扫描。图9（右）将我们的结果与他们的结果进行了比较。由于[37]生成了反照率纹理，因此我们忽略了比较中的阴影差异如图所示，我们的纹理贴图覆盖了更大的正面区域。通过仔细观察，[37]的结果可能在可见和自遮挡部分（用绿色箭头标记）之间的边界上包含一些接缝伪影，而我们的结果看起来更自然。与GANFIT比较[9]。GANFIT是一种最先进的面部反照率纹理统计参数模型，可用于高保真3D人脸重建。它使用来自[4]的10K完整和高质量的反照率UV图进行训练。在图10中，我们将我们的结果与GANFIT进行了比较。同样，我们应该忽略这里的阴影差异，以便进行公平的比较。可以看出，GANFIT的结果质量很高，总体上看起来很自然。13998输入：输入：(a)DSD-GAN(b)UV-GAN [5](c)DSD-GANYamaguchi等人 [36个]图9：与UV-GAN [6]和Yamaguchi等人的比较。[37 ]第37段。[6]和[37]的结果来自他们的论文，在补充材料中可以找到完整的比较。绿色箭头表示接缝瑕疵。（最佳放大）输入酒店[8]DSD-GAN图10：与GANFIT [9]的比较的结果[9] 在他们的论文中，可以找到一个完整的比较。 材料(a) 输入(b)DeepFill v2（c）PICNet（d）RFRNet（e）DSD-GAN图11：在纹理空间（顶部）和图像（底部）空间中的修复结果。我们在图像空间的结果是通过将图像展开到纹理空间完成，然后重新渲染回图像空间。然而，这可能不是保留输入的我们的方法一直很有效所有这些图像样本。由于空间限制，更多的可视化结果包括与Lin等人的另一种方法的比较。”[24]这是一个比喻。 材料4.2.3与图像修复模型的在图11中，我们比较了三种图像修复算法：[2019 - 02- 19]对于这些方法，我们使用作者发布的模型，这些模型都是使用CelebA-HQ的人脸图像进行训练的。我们测试他们在UV纹理空间和图像空间。由于它们不是用纹理空间数据训练的，因此预期它们可以在UV纹理上生成显著的伪影。它们在图像空间中的修复结果也受到给定大孔的明显伪影的影响我们还使用FaceScape数据集定量评估了它们在图像空间中的修复性能，表1和表2显示它们的结果不如我们的准确。5. 结论我们提出了一个人脸纹理完成框架，不需要任何完整的人脸纹理，其中双空间鉴别器以互补的方式工作我们的学习网络可以生成高保真的完整纹理，在彻底的实验中所示DSD-GAN可以应用于各种视觉任务。如[7]所示，生成具有很大不同姿势的合成数据是支持面部视觉任务训练的关键应用。改进的纹理质量将导致真实数据和合成数据之间的域间隙减小。此外，DSD-GAN可以用于与简单的反照率推断模型（例如，反射率模型）的组合的自由视图重新照明。G. img2img翻译）。此外，高保真UV面部纹理适用于用于虚拟现实的逼真面部化身生成。13999引用[1] Mart´ın Abadi，Ashish Agarwal，Paul Barham，EugeneBrevdo，and Zhifeng Chen et al. TensorFlow：异构分布式系统上的大规模机器学习2015. 5[2] Volker Blanz和Thomas Vetter。一种用于合成三维人脸的可变形模型。在ACM Siggraph，SIGGRAPH’99，第187-194页，New York，NY，USA，1999中。出版社：ACM Press/Addison-Wesley Publishing Co.一、二[3] James Booth 、 Epameinondas Antonakos 、 StylianosPloumpis 、 George Trigeorgis 、 Yannis Panagakis 和Stefanos Zafeiriou。3D面部变形模型“在野外”。在IEEE计算机视觉和模式识别会议上，第48-57页2[4] 詹姆斯·布斯，阿纳斯塔西奥斯·鲁索斯，斯特凡诺斯·扎费里乌，阿兰·波尼亚和大卫·达纳韦。从10，000张面孔中学习的3D可变形模型在IEEE计算机视觉和模式识别会议上，第5543-5552页，2016年。二、七[5] Angela Dai，Christian Diller，and Matthias Nießner. SG-NN：用于RGB-D扫描的自监督场景完成的稀疏生成神经网络在IEEE计算机视觉和模式识别会议上，2020。3[6] Jiankang Deng，Shiyang Cheng，Niannan Xue，YuxiangZhou，and Stefanos Zafeiriou. UV-GAN：用于姿势不变人脸识别的对抗性面部UV映射完成。在IEEE计算机视觉和模式识别会议上，第7093-7102页一、二、四、六、七、八[7] Yu Deng，Jiaolong Yang，Sicheng Xu，Dong Chen，Yunde Jia，and Xin Tong.弱监督学习的精确3D人脸重建：从单个图像到图像集。在IEEE计算机视觉和模式识别研讨会会议上，第0-0页，3月。2019. 二三七八[8] Yao Feng，Fan Wu，Xiaohu Shao，Yafeng Wang，andXi Zhou.基于位置映射回归网络的三维人脸重建和稠密对齐。在欧洲计算机视觉会议上，2018年3月。2[9] Baris Gecer ， Stylianos Ploumpis ， Irene Kotsia ， andStefanos Zafeiriou.GANFIT：用于高保真3D人脸重建的生成对抗网络在IEEE计算机视觉和模式识别会议上，2019年2月。二、六、七、八[10] Kyle Genova，Forrester Cole，Aaron Maschinot，AaronSarna，Daniel Vlasic和William T.弗里曼。3D变形模型回归的无监督训练在IEEE计算机视觉和模式识别会议上，第8377-8386页二、四[11] Ralph Gross 、 Iain Matthews 、 Jeffrey Cohn 、 TakeoKanade 和 Simon Baker 。 多 派 Image and visioncomputing，28（5）：807-813，2010. 6[12] Yudong Guo，Juyong Zhang，Jianfei Cai，Boyi Jiang，and Jianmin Zheng.基于CNN的实时密集人脸重建与反渲染 照 片 级 真 实 感 人 脸 图 像 。 IEEE Transactions onPattern Analysis and Machine Intelligence ， 41 ： 1294-1307，2018。2[13] Tal Hassner、Shai Harel、Eran Paz和Roee Enbar。无约束图像中的有效人脸正面化。在IEEE Con中计算机视觉和模式识别，第4295-4304页，2015年。1[14] Alexandru Eugen Ichim ， Sofien Bouaziz ， and MarkPauly.从手持视频输入创建动态3D头像。ACM Transactions on Graphics，34（4）：1-14，2015. 1[15] Satoshi Iizuka，Edgar Simo-Serra，and Hiroshi Ishikawa.全局和局部 一致的图像完成。ACM Transactions onGraphics，36（4）：107，2017年7月。2[16] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei A.埃夫罗斯使用条件对抗网络的图像到图像翻译。在IEEE计算机视觉和模式识别会议上，第1125-1134页，2017年。4[17] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.GANs的渐进式增长，以提高质量，稳定性和变化。在2018年国际学习代表会议上。3[18] Tero Karras Samuli Laine和Timo Aila 一种基于风格的生成对抗网络生成器架构。在IEEE计算机视觉和模式识别会议上，第4401-4410页3[19] Diederik P. Kingma和Jimmy Ba。亚当：一种随机优化方法。在2015年国际学习代表会议上。5[20] Alexandros Lattas、Stylianos Moschoglou、Baris Gecer、Stylianos Ploumpis 、 Vasileios Triantafyllou 、 AbhijeetGhosh和Stefanos Zafeiriou。AvatarMe：真实可渲染的3D面部重建。在IEEE计算机视觉和模式识别会议上，第760-769页，2020年。一、二[21] Jingyuan Li，Ning Wang，Lefei Zhang，Bo Du，andDacheng Tao.图像修复中的递归特征推理。在IEEE计算机视觉国际会议上，第7760-7768页，2020年。六、八[22] Chieh Hubert Lin，Chia-Che Chang，Yu-Sheng Chen，Da- Cheng Juan ， Wei Wei ， and Hwann-Tzong Chen.COCO-GAN：通过条件协调按部件生成.在IEEE计算机视觉国际会议上，2019年3月。4[23] 林金鹏、杨浩、陈东、曾明、方文、陆远。使用RoITanh-Warping进行面部解析。在IEEE计算机视觉和模式识别会议上，2019年6月。3[24] 林江珂、袁毅、邵天佳、周坤。使用图卷积网络从野生图像进行高保真3D人脸重建在IEEE计算机视觉和模式识别会议上，2020年3月。二、八[25] Liu Guilin ， Fitsum A. 凯 文 · 瑞 达 Shih ， Ting-ChunWang，Andrew Tao，and Bryan Catanzaro.基于部分卷积的不规则孔洞在欧洲计算机视觉会议上，第85-100页2[26] 毛旭东，李庆，谢浩然，Raymond Y. K. Lau，ZhenWang，and Stephen Paul Smolley.最小二乘生成对抗网络。在IEEE计算机视觉国际会议上，2017年4月。4[27] Augustus Odena，Christopher Olah，and Jonathon Shlens.基于辅助分类器的14000GAN 在机器学习上，2017年7月。4[28] 奥 姆 卡 湾 Parkhi ， Andrea Vedaldi ， and AndrewZisserman.深度人脸识别谢祥华、马克·W. Jones和GaryK.L. Tam，编辑，British Machine Vision Conference，第41.1-41.12页BMVA Press，Sept. 2015. 6[29] Deepak Pathak 、 Philipp Krahenbuhl 、 Jeff Donahue 、Trevor Darrell和Alexei A Efros。上下文编码器：通过图像修复进行特征学习。在IEEE计算机视觉和模式识别会议上，第2536-2544页，2016年。2[30] P. 佩桑河诺特湾Amberg，S.Romdhani和T.兽医。一种用于姿态和光照不变人脸识别的三维人脸模型。在IEEE International Conference on Advanced Video andSignal Based Surveillance，第296- 301页，Sept. 2009.二、六[31] Stylianos Ploumpis ， Haoyang Wang ， Nick Pears ，WilliamA. P. Smith和Stefanos Zafeiriou。组合3D可变形模型：一个大规模的面部和头部模型。在IEEE计算机视觉和模式识别会议上，2019年。1[32] E.理查森M. Sela和R.基梅尔基于合成数据学习的三维人脸重建。在International Conference on 3D Vision，第460-469页，Oct. 2016. 2[33] Shunsuke Saito ， Lingyu Wei ， Liwen Hu ， KokiNagano，and Hao Li.使用深度神经网络的真实感面部纹理推断。在IEEE计算机视觉和模式识别会议上，2016年12月。2[34] 放 大 图 片 作 者 ： Soumyadip Sengupta ， AngjooKanazawa ， Carlos D. 卡 斯 蒂 略 和 大 卫 · 雅 各 布 斯SfSNet：在野外学习人脸的形状、反射率和照度。在IEEE计算机视觉和模式识别会议上，第629