基于3D变形模型和生成对抗网络的人脸去遮挡方法

1基于3D变形模型和生成对抗网络的人脸去遮挡袁晓薇和朴仁圭{xiaoweichn@qq.compik@inha.ac.kr}部Inha University，Incheon 22212，Korea摘要近几十年来，三维形变模型（3DMM）被广泛应用于基于图像的真实感三维人脸重建。然而，人脸图像往往会受到眼镜、面具、手等非人脸物体的严重遮挡。这样的物体阻碍了地标和阴影信息的正确捕获。因此，重建的3D人脸模型是很难重用。提出了一种基于3DMM逆算法和生成对抗网络的去遮挡人脸图像恢复方法。我们利用3DMM之前提出的对抗性网络，并结合全局和局部对抗性卷积神经网络来学习人脸去遮挡模型。3DMM不仅作为几何先验，而且还为局部判别器提供了人脸区域实验结果证实了该算法在去除各种头部姿态和光照条件下具有挑战性的遮挡类型时的有效性和鲁棒性此外，所提出的方法重建正确的三维人脸模型与去遮挡的纹理。1. 介绍从单幅图像重建三维人脸是人脸识别、人脸动画等计算机视觉和图形学应用中的关键技术。自从Blanz和Vetter [1]提出3D形变人脸模型（3DMM）以来，基于3DMM的人脸几何重建方法一直是最流行的方法进一步的发展涉及使用从阴影（SfS）技术来增强面部几何结构上的细节（例如皱纹）[14，22，13]。这些技术假设输入图像没有遮挡，或者至多是由于头部姿势变化而自遮挡。然而，在野外的实际情况下，我们遇到了新的挑战，其中现有的算法变得不适用，由于眼镜，面具，手，和其他严重的闭塞。为了解决人脸识别中的这个问题，一些方法提出了自动人脸去遮挡的解决方案，(a)（b）（c）（d）图1：通过应用所提出的方法的面部去遮挡结果。（a）（b）真实图像。（c）（d）合成图像。（上图）输入有遮挡的图像。（下）去遮挡结果。提高识别性能[4，21，27，31，18]。然而，几乎所有现有的方法都在高度约束的条件下工作，例如具有预定义头部姿势的低分辨率灰度图像。因此，这些方法在图像分辨率和图像多样性方面不能执行真实感3D人脸重建。Tran [26]最近的工作解决了从遮挡图像中重建详细面部的挑战然而，该方法不是进行去遮挡，而是通过搜索参考数据集来重建被遮挡区域上的凹凸贴图，从而专注于几何重建。相比之下，我们所提出的方法直接删除面部图像上的遮挡，从而允许在重建的3D模型上进行纹理映射。在本文中，我们解决的问题，人脸去遮挡严重遮挡的实际图像，同时专注于三维人脸重建的应用。 所提出的方法旨在直接去除遮挡，从而使其能够合成3D人脸模型的纹理。面部去遮挡的示例在图1中示出。从实际人脸图像中观察到各种遮挡和头部姿势因此，通过纯数据驱动的方式自动去除面部遮挡是一个挑战。1006210063ing任务。为了解决这个问题，我们提出了一种新的3DMM条件深度卷积神经网络来学习自动去除遮挡。据我们所知，这是第一个试图利用3DMM进行面部去遮挡的潜在用途的面部去遮挡网络与以前的工作类似[5，17，29]，我们采用了最近的生成对抗网络（GAN）[10]，该网络已被广泛用于训练具有强大生成自然和高质量图像能力的图像合成模型。在所提出的方法中，全局和局部鉴别器与生成模型相结合，以实现高质量的图像合成。在训练过程中，3DMM不仅作为先验知识，而且还为局部训练提供人脸区域。为了使具有各种遮挡的训练图像多样化，我们从300 W- 3D和AFLW 2000-3D合成了一个大规模数据集[32]。本文的主要贡献可归纳如下：• 我们提出了一种新的深度人脸去遮挡框架，该框架应用了3DMM和GAN的逆向使用，由一个生成器和两个鉴别器组成。• 所提出的人脸去遮挡模型可以处理具有挑战性的条件下的人脸图像，例如。，具有非平凡头部姿势和照明的变化.• 我们建立了一个大规模的合成人脸与遮挡数据集。所有遮挡都是参照面部标志在语义上放置在面部上的。• 所提出的人脸去遮挡方法不仅提高了3D人脸重建的性能，而且还允许通过修改3DMM系数。2. 相关作品图像完成图像完成或图像修补旨在恢复图像上具有视觉上合理内容的掩蔽或缺失区域。最近，生成模型已被广泛用于图像完成，结果合理可接受[11，5，17，25，30]。这些方法训练自动编码器通过使用重建损失和对抗损失的组合来预测缺失区域。尽管图像完成技术能够在面部去遮挡任务中恢复高质量的视觉模式，但遮挡区域需要手动掩蔽或使用附加的对象检测算法来分割遮挡物。相比之下，该模型不需要对遮挡区域进行任何预处理，可以自动去除遮挡。人脸去遮挡和正面化传统的人脸去遮挡算法的发展，以增加人脸识别算法的性能。 Wright et等人[27]提出应用稀疏表示来编码人脸，并证明了提取的特征对遮挡的鲁棒性。Cheng 等人 [4]介绍了双通道SSDA（DC-SSDA），通过利用两个通道激活之间的差异来检测噪声。最近，Zhao [31]提出了一种基于深度学习的方法，使用LSTM自动编码器在几个连续过程中恢复部分遮挡的面部。然而，这些方法只能在约束条件下去除遮挡。低分辨率灰度图像和数据集中的所有人脸必须首先进行裁剪和对齐。因此，这些方法不能进行人脸识别以外的实际应用相比之下因此，我们将输入到具有放大分辨率（256×256）和各种头部姿势的RGB图像。此外，Yinet al.提出了一种称为FF-GAN [ 29 ]的深度3DMM条件面部正面化方法该方法利用3DMM系数作为弱先验，减少了极端剖面图正面化过程中的伪影。Bern- hard等人 [6]提出了一种遮挡感知的面部建模方法，其中他们将3DMM作为外观先验纳入RANSAC类算法中。在该方法中，输入图像被分割成人脸和非人脸区域，并且仅使用人脸区域来估计光照然而，如果遮挡，例如，手的颜色与脸的颜色相似最近的人脸对齐技术显示了遮挡人脸图像的鲁棒性[2，28]。因此，该技术可用于拟合3DMM并产生具有一些细节的3D人脸模型。虽然他们的目标是稳健地找到头部姿势，但去遮挡不在他们的工作范围内。 Tran等人 [26]首次通过使用参考数据集中的类似补丁填充凹凸贴图的损坏区域，解决了尽管该方法可以生成面部细节的完整表示，但未重建去遮挡的面部图像[26]。使用GAN GAN的人脸合成[10]在生成器和搜索器上利用Gecer等人利用潜在的3DMM参数来合成面部图像[8]和面部纹理[9]。然而，以前没有研究使用GAN对具有挑战性的面部进行去遮挡。10064图2：拟议的网络结构。它由一个带有两个鉴别器的发生器组成。生成器将合成图像和遮挡图像作为输入。两个鉴别器有助于生成更自然的结果。在测试过程中只需要发电机。3. 概述和背景3.1. 拟定方法在本文中，我们将3DMM和GAN结合在同一个框架中来解决人脸去遮挡问题。受[29]的启发，我们建议在我们的面部去遮挡模型中使用3DMM作为我们的几何正则化。在我们的工作中，3DMM是一个强先验，没有它算法将完全失败也就是说，3DMM用于提供对被遮挡区域的外观的约束，其中生成器输出被显式地用于合成去遮挡图像。我们首先将3DMM拟合到被遮挡的图像，并合成2D人脸图像。然后，我们把合成的和遮挡的脸作为输入的生成器，合成无遮挡图像。与此同时，一个全球性的歧视-Sid∈R3n×80，Sexp∈R3n×29是代表恒等式和表达式基础的主成分. α∈R80和β∈R29是从给定图像估计的特定于使用的系数。在我们的实现中，组件来自Basel Face Model（BFW）[1]，而表达式来自FaceWarehouse数据库[3]。合成取决于3DMM系数α、β、刚性平移R、t和相机投影矩阵λ。为了重建3D人脸模型，我们使用姿势归一化方法[ 15 ]将相应的2D人脸标志与双线性人脸模型上的3D标志对齐。然后通过使用以下公式联合估计定义为Θ的所有3DMM参数arg min =（RV+t）−U2+ρ1α2+ρ2β2，一个本地的搜索引擎试图区分θ图像作为真实图像或生成图像。 关于3DMM阿卡德Esclemp（二）不仅作为几何先验，而且还为局部重构提供了人脸区域。在3DMM的指导下，即使在具有挑战性的面部上，生成器也可以有效地去除遮挡。图2说明了我们提出的框架组成的3DMM条件发生器和两个鉴别器。3.2. 3D形变模型3DMM是用于表示和合成面部几何形状和纹理的最常用的统计方法。在我们的工作中，我们使用具有53K顶点和106K三角形的多线性3DMM来表示3D人脸形状[33]。每个面几何体可以参数化如下：M（α，β）=S<$id+α·Sid+β·Sexp，（1）3DMM假设每个面都有一个相似的结构，分布在平均恒等式S<$id∈R3n周围。其中，U表示2D面部标志，V表示由3DMM系数α、β确定的人脸模型上的对应顶点。ρ1和ρ2是正则化项的正权重，以强制参数在统计上保持接近均值。其中，Ekid和Ekexp分别是形状和表达基础的标准偏差. 我们采用了一种遮挡鲁棒的人脸对齐方法[2]来推断68个人脸标志。所有参数都通过Levenberg-Margaret算法共同基于拟合结果，生成如图3所示的合成。通过使用Z缓冲来计算像素和三角形之间的对应关系最后，3DMM是无遮挡的，并且可以合成面部的外观和姿态4. 基于GAN的我们的模型的主要框架是一个GAN，它由一个生成器G，一个全局的GAND g和一个局部的GAN D g10065图3：遮挡的面部图像（左）和3DMM合成（右）。坎德湖生成器将遮挡图像和3DMM合成作为输入以生成无遮挡图像。此外，两个鉴别器Dg和Dl试图确定生成器输出是否是真实面部图像。3DMM不仅用作先验，而且还为局部重构提供指示面部区域的掩模此外，平滑项用于正则化G以生成具有较少伪影的图像。4.1. 生成器模块生成器G作为自动编码器-解码器工作，以去除面部遮挡并构造受损区域。被遮挡图像I与合成Is相连接，首先通过编码器映射到隐藏特征，编码器不仅捕获已知区域的变化，而且捕获被遮挡区域的粗略几何信息。然后，将特征向量馈送到解码器中以生成无遮挡图像。我们的编码器和解码器使用卷积-BatchNorm-Relu形式的模块，我们遵循[ 12 ]中设计的跳过收集允许将来自下采样路径的粗略几何信息与上采样路径中的高频特征组合，以最终生成具有良好视觉质量的无遮挡图像。尽管3DMM可以合成人脸的外观和姿势，但生成的图像看起来不真实，并且往往会丢失所有的人脸细节。为了迫使生成器输出照片级逼真的图像，我们采用逐像素的L1重构损失，通过使用以下等式来惩罚来自地面实况的输出：Lgen=|G（I，Is）−Ig|其中Ig是地面实况，I是被遮挡图像，并且这是3DMM的合成。由于实际的人脸图像具有各种头部姿势，因此我们避免使用Yin [29]工作中的对称性损失尽管生成器能够重建具有语义内容的遮挡区域，但不一致的情况发生，特别是当遮挡具有复杂模式时。因此，我们使用全变分正则化来减少重建区域上对生成的图像进行梯度L2对于每个坐标单独执行正则化，然后进行组合。总变差正则化通常用于使用以下等式的图像噪声去除：Ltv=|xG（I，Is）|2个以上|yG（I，Is）|第二（四）条然而，该术语倾向于平滑高频细节。因此，我们将一个小的权重乘以Ltv，以避免过度平滑。我们的生成器可以去除遮挡并生成逼真的内容。然而，在被遮挡区域中恢复表达式是一个不适定问题。从遮挡区域估计的表达系数可以是任意的。我们的发电机依赖于3DMM的几何信息。因此，我们可以通过简单地调整3DMM系数来编辑面部属性。因此，人脸去遮挡和人脸属性被集成到一个框架中。无遮挡图像的生成器输出在几何上与3DMM的合成一致，并且展示了3DMM在正则化生成过程中的坚实效果。4.2. 鉴别器模块重建损失倾向于平均所有细节，从而使合成的内容看起来模糊。此外，生成器只对被遮挡区域进行优化，无法学习像素之间的关系，导致生成的内容不连续。近年来，由发生器和判别器组成的GAN在图像合成中得到了广泛应用。在这项工作中，生成器合成了一个无遮挡的人脸图像，而人脸识别器确定生成的人脸是否是真实的。对生成器和递归函数的最小-最大优化迫使模型合成具有更好视觉质量的图像。我们的模型包括一个本地模型l和一个全局模型g。后者用于确定整个图像的忠实性，以强制生成的区域与周围环境保持一致。考虑到我们的目标是在图像上重建人脸几何和纹理合成，我们只依赖于人脸区域。因此，我们加强了局部最优化在脸部区域。用于局部判别器的掩模M是来自3DMM的投影轮廓，指示面部区域。 与全球平均水平相比，10066GGS局部模块增强了面部区域中的细节，具有良好定义的边界和较少的噪声。通过将局部模块与全局模块相结合，不仅保证了生成的人脸区域与其周围区域的统计一致性，而且使恢复后的人脸区域具有较高的信息量。为了训练这两个鉴别器，以下目标被最小化：LDg =−EIg∈RlogDg（I）-EIs∈Klog（1−Dg（G（I，Is），（五）图4：我们用于训练的合成数据集的样本。遮挡是基于面部和面部的语义定位的LDl =−EIg∈RlogDl（M（I））-EIs∈Klog（1−Dl（M<$G（I，Is），（六）标记.其中，k表示逐元素乘法，R和K分别是真实图像集和生成图像集我们的两个鉴别器具有相似的网络结构，由七个卷积层组成。在最后一层之后，卷积被映射到一维输出，然后是sigmoid函数。鉴别器的输出确定输入的概率是真实的还是生成的。此外，G试图通过最小化以下损失来欺骗两个鉴别器将生成的图像识别为真实的：AFLW 2, 000 -3D该数据集由AFLW中的前2，000张图像 组 成 [16] 。 与 300 W-3D 类 似 ， 为 每 个 图 像 提 供3DMM参数和68个标志。CelebA [19]这个数据集由202，599张名人图像组成，每张图像都经过裁剪，并根据两只眼睛的位置大致对齐。我们在这个数据集中选择被遮挡的脸进行测试。我们在300 W-3D和AFLW 2000 -3D中的无遮挡人脸上合成了由六个常见物体引起的遮挡LadvlLadvg=−EIs∈Klog（Dl（M <$G（I，Is）=−EIs∈Klog（Dg（G（I，I）（七）这些物品包括面具，眼镜，太阳镜，杯子，围巾和手我们将这些遮挡层放在面部的特定位置，并参考面部和-4.3. 目标函数总而言之，我们提出的3DMM条件GAN的最终损失表示为上述损失的加权和：L=λ1Lgen+λ2Ltv+λ3Ladvg+标记. 图4示出了遮挡面生成的示例使用这种方法。所有遮挡都在语义上位于面部，以增强数据集的真实性。然后，利用300 W-3D和AFLW2000 -3D提供的3DMM系数和摄像机姿态，对我们λ4 Ladvl +λ5LDl +λ6LDg（八）合成具有总共134，233个遮挡图像数据集。数据集中的所有面都被调整为256×256，权重λ1、λ2、λ3、λ4、λ5和λ6用于平衡dif。条款。5. 实验结果5.1. 数据集需要遮挡图像、3DMM合成和相应的无遮挡图像来训练我们的面部去遮挡模型。由于难以收集足够的遮挡人脸图像及其相应的无遮挡图像，我们在我们的合成大小的数据集上训练我们的模型。下面介绍用于训练和测试的数据集300 W-3D该数据集由7，700个300-W [23]样本组成，每个样本具有拟合的3DMM参数和68个面部标志。所有300-W的图像都是真实的照片，涵盖了姿势，照明，背景和图像质量的变化。头部姿势从60度到60度不等。我们选择132，233用于训练的图像和用于测试的2，000个图像。随机在数据扩充中使用裁剪和水平翻转除了使用合成的图像，我们测试我们的模型在真实图像，其中包括从上述三个数据集的遮挡图像。5.2. 实现细节我们使用批量大小为5的网络进行训练，并使用Adam优化器。我们不是联合训练所有模块，而是逐步添加它们。 在第一阶段，我们以0的学习率训练生成器和全局学习器。0002为100个时期。在第二阶段中，我们添加局部正则化并删除总变分正则化，以微调网络，学习率为0。00005，再训练10个epoch。在训练过程中，我们将λ1、λ2、λ3、λ4、λ5、λ6的值分别设置为10、10−5在测试阶段，只需要生成模块。的10067（一）（b）第（1）款（c）第（1）款图5：合成数据集上的面部去遮挡结果。(a)有遮挡的图像。(b)去遮挡结果。(c)Ground Truth（地面实况）（一）（b）第（1）款图6：真实数据集上的面部去遮挡结果。(a)有遮挡的图像。(b)去遮挡结果。整个训练过程在单个GeForce GTX 1080Ti GPU上大约需要4d在测试阶段，一个256×256的彩色图像可以在一秒钟内处理。5.3. Face De咬合定性结果图5和图6显示了合成图像和真实图像上的面部去遮挡结果。请注意，测试数据集中的身份与训练数据集中的身份是分开的。如图5（b）和图6（a）所示，测试图像在任意位置具有各种类型的实验结果表明，该方法能够有效地去除遮挡，即使在大部分人脸区域被遮挡的情况下，也能为合成数据和真实数据生成真实感的去遮挡图像。如图6中的最后两个示例所示，所提出的方法模型不仅去除了与我们的训练数据集中类似的遮挡，而且去除了我们的数据集中不存在的遮挡（在训练数据集中没有麦克风遮挡）。实验结果表明，所提出的基于3DMM的人脸去遮挡模型能够有效地消除人脸遮挡，咬合类型PSNRSSIM下表面27.32280.9615上表面34.00240.9860左/右半边脸28.77850.9659四分之三的脸22.16800.8967表1：不同类型咬合的定量评价。在包括各种头部姿势和照明的挑战性条件下去除不同类型的遮挡。当面部存在一种以上类型的遮挡时，以及遮挡位于3DMM参数空间的合成范围之外时，会发生故障，例如：手放在额头上。定量结果为了定量地测量去遮挡性能，两个流行的度量，即、PSNR和SSIM，对同步算法的去遮挡结果进行评估10068（a）（b）（c）（d）（e）（f）(a)（b）（c）（d）图7：与最先进的面部修复算法的比较结果[30]。(a)有遮挡的输入图像。(b)遮盖遮挡区域。(c)使用修复算法获得去遮挡结果。(d)去遮挡的结果与所提出的算法。数据集，并列于表1中。当超过一半的脸被遮挡时，我们的模型的性能略有下降，这是预期的，因为大的遮挡尺寸表示像素值的该模型还显示出更好的去遮挡性能上的脸比下的脸，因为遮挡下的脸区域有复杂的模式，如不同的围巾和杯子。比较所提出的人脸去遮挡模型的目标是去除人脸图像上的遮挡并恢复丢失的区域。 作为前一个冰毒的目标- ODS [27，4，31]是完全不同的（低分辨率灰度图像的人脸识别相反，我们将我们的方法与最近的最先进的面部修复方法[30]进行比较，因为最近的面部修复方法在去除遮挡和重建去遮挡面部区域方面显示出潜在的应用。由于Yu [30]提出的方法仅在CelebA数据集上进行训练，因此我们对该数据集的遮挡图像进行了实验。首先，遮挡区域被掩盖与提供的模式和修复算法被应用于重建被掩盖的区域。如图7所示，修复算法在人脸图像上不能有效地工作。人脸修补通常用于对齐良好的数据集上，从而无法在困难的情况下生成语义内容，例如姿势的人脸和复杂的背景。该方法无需对遮挡区域进行图8：不同设置下的比较结果。(a)被遮挡的面部图像。(b)没有3DMM合成。(c)只有发电机。（d）与全球共同努力。（e）具有全局和局部鉴别器。(f)地面真相同时显示出明显更好的结果。消融研究为了验证3DMM合成的效果，我们用类似的超参数但不同的设置训练其他变体，并比较性能。我们依次去除3DMM、全局搜索和局部判别。如果没有3DMM，网络会产生噪声输出或无法生成信息结果。结果是合理的，因为仅具有像素级重构损失的生成器太弱而无法从具有挑战性的人脸数据集中学习人脸几何的表示。需要注意的是，在人脸去遮挡过程中，我们必须在处理姿态变化的同时找到并恢复被遮挡的区域，这是一个严重的不适定问题。通过使用3DMM作为先验，可以减轻不适定性，并且可以适当地对具有各种头部姿态的图像执行在没有鉴别器的情况下，该模型可以生成具有语义内容的图像，但恢复区域上仍然只有全局判别器，结果看起来清晰而连贯，但缺乏眼睛的细节。通过结合全局和局部判别器，面部去遮挡结果看起来在视觉上真实。目视比较结果总结见图8。5.4. 3D人脸重建由于我们的动机是为了三维人脸重建的人脸去遮挡，我们进行了实验，以研究我们的人脸去遮挡模型对三维人脸重建的效果。在我们的实验中，粗糙的三维人脸模型和详细的人脸几何重建与去遮挡的人脸图像。为此，首先进行传统的基于地标的3DMM拟合，并采用阴影恢复形状（SfS）方法来增强粗糙面部模型上的细节[14，22，13]。基于面部上存在朗伯反射的假设，10069（a）（b）（c）（d）（e）图10：编辑面属性的结果。(a)被遮挡的面部图像。（b）（d）具有不同表达系数的3DMM合成。（c）由（b）引导的生成面（e）由（d）引导的生成面。(a)（b）（c）（d）（e）图9：从遮挡图像和去遮挡图像进行详细面部重建的比较结果(a)被遮挡的面部图像。(b)用（a）重建人脸。(c)去遮挡图像。(d)使用（c）的面部重建结果。(e)具有去遮挡纹理映射的3D人脸模型。面部图像的形成可以表示如下：I（x，y）=ρ（x，y）→lY（→n（x，y）），（9）其中Y（→n（x，y））是二阶球谐函数[7]，→l表示光系数ρ（x，y），→n（x，y）是在pixel（x，y）处的正交和法向量，分别根据Kemelmacher [14]的工作，我们估计了照明→l，θρ（x，y）和法向矢量→n（x，y）依次。然后，估计的法向量→n（x，y）被集成以恢复详细的面部几何形状。图9示出了使用具有遮挡和去遮挡的面部图像的详细3D面部重建的比较结果。结果表明，遮挡会导致面部几何结构上的显著噪声。请注意，几何图形没有完全损坏，因为形状仍然由3DMM控制。与此相反，通过使用所提出的方法去除遮挡，人脸几何形状和纹理三维人脸模型都被正确地重建。5.5. 面属性操纵该方法可应用于人脸编辑和人脸识别等后续研究中，证明性能。在这个进一步的实验中，我们展示了所提出的模型在人脸属性编辑中的应用。由于所提出的生成模型恢复由3DMM合成引导的被遮挡的脸，它允许通过简单地将3DMM系数调整到任何期望的系数来编辑脸因此，所提出的模型在人脸编辑中具有潜在的应用，以生成新颖的肖像，如图10所示。给定相同的遮挡图像，我们可以通过改变3DMM表达系数来修改所生成的面部的属性，如图10（b）和（d）所示6. 结论在本文中，我们提出了一个3DMM条件下的GAN框架，以消除人脸遮挡和恢复被遮挡的区域。据我们所知，这项研究是第一个探索使用3DMM在具有挑战性的数据集上进行面部去遮挡实验结果表明，本文提出的人脸去遮挡模型可以有效地去除合成图像和真实图像上的人脸遮挡该方法不仅消除了遮挡，而且重建出了正确的三维人脸模型，没有遮挡纹理。此外，我们的方法允许通过简单地修改3DMM系数来编辑面部属性确认这项工作得到了韩国国家研究基金会（NRF）的支持 ， 该 基 金 由 韩 国 政 府 （ MSIT ） 资 助 NRF-2019R1A2C1006706）。10070引用[1] Volker Blanz和Thomas Vetter。用于合成3D面的可变形模 型 。 在 Proc. of the 26th Annual Conference onComputer Graphics and Interactive Techniques ， pages187-194，1999中。第1、3条[2] Adrian Bulat和Georgios Tzimiropoulos我们离解决2D和3D人脸对齐问题还有多远？(and 230，000个3D面部标志 的 数 据 集 ） 。 IEEEInternational Conference onComputer Vision，2017。二、三[3] 曹 晨 、 翁 彦 林 、 周 顺 、 童 一 英 、 周 坤 。FaceWarehouse：用于视觉计算的3D面部表情数据库。IEEE Trans. on Visualization and Computer Graphics，20（3）：413-425，2014。3[4] 程乐乐，王进军，宫一宏，侯七七。用于遮挡人脸识别的 RO-BUST 深 度 自 动 编 码 器 。 ACM InternationalConference on Multimedia，第1099-1102页，2015年。一、二、七[5] Jiankang Deng，Shiyang Cheng，Niannan Xue，YuxiangZhou，and Stefanos Zafeiriou. UV-GAN：用于姿态不变人脸识别的对抗性fac- cial uv map完成。IEEE计算机视觉和模式识别会议，2018。2[6] BernhardEgger ， SandroSchoénborn ， AndreasSchnei-der ， Adam Kortylewski ， Andreas Morel-Forster ，Clemens Blumer，and Thomas Vetter.用于人脸图像分析的遮挡感知3DInternational Journal of Computer Vision，126（12）：1269- 1287，2018。2[7] Darya Frolova，Denis Simakov，and Ronen Basri.朗伯天体在远近光照明下象的球谐近似精度在Proc. EuropeanConference Computer Vision，第574-587页，2004中。8[8] Baris Gecer ，Binod Bhattarai， Josef Kittler， and Tae-Kyun Kim.半监督对抗学习从3D变形模型生成新身份的真实感人脸图像。在Proc.欧洲会议计算机视觉，第230-248页，2018年10月。2[9] Baris Gecer ， Stylianos Ploumpis ， Irene Kotsia ， andStefanos Zafeiriou.Ganfit：用于高保真3D人脸重建的生成对抗网络拟合。在Proc. IEEE计算机视觉和模式识别会议上，第1155-1164页2[10] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。在Proc. Advancesin Neural Information Processing Systems，第2672-2680页。2014. 2[11] Satoshi Iizuka，Edgar Simo-Serra，and Hiroshi Ishikawa.全 局 和 局 部 一 致 的 图 像 完 成 。 ACM Trans. onGraphics. ，36（4）：107：1-107：14，2017. 2[12] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros. 使用条件对抗网络进行图像到图像翻译 在procIEEE计算机视觉与模式识别会议，2017年。4[13] Luo Jiang，Juyong Zhang，Baolin Deng，Hao Li，andLigang Liu. 基于正弦曲线的三维人脸重建角图像IEEE Trans. on Image Processing，27（10）：47561、7[14] Ira Kemelmacher-Shlizerman和Ronen Basri。使用单个参考面部形状从单个图像重建3D面部。IEEE Trans. onPattern Analysis and Machine Intelligence，33（2 ）：394-405，2011。一、七、八[15] 作者声明：John M.塞茨在野外进行面部重建。在Proc.International Conference on Computer Vision ， 第 1746-1753页，2011年。3[16] 放大图片作者：PeterM. Roth和HorstBischof。野生动物的面部标志：用于面部标志定位的大规模真实世界数据库。在proc IEEE计算机视觉研讨会国际会议，第2144-2151页，2011年。5[17] Yijun Li，Sifei Liu，Jimei Yang，and Ming-Hsuan Yang.创新型面部修复。 在proc IEEE计算机视觉与模式识别会议，2017年。2[18] Liu Guilin ， Fitsum A. 凯 文 · 瑞 达 Shih ， Ting-ChunWang，Andrew Tao，and Bryan Catanzaro.基于部分卷积的不规则孔洞图像修复。在Proc.欧洲会议计算机视觉，第89-105页，2018年。1[19] Ziwei Liu ， Ping Luo ， Xiaogang Wang ， and XiaoouTang. 在 野 外 深 度 学 习 人 脸 属 性 。 IEEEInternationalConference on Computer Vision，2015。5[20] Jo r geJ. 更多。Levenbe rg-Marquardt算法：实现和理论。在数值分析中，第105- 116页，1978年。3[21] 朴贞善，吴佑华，安尚哲，李承焕。基于递归误差补偿的人脸图像眼镜去除。IEEE Trans. on Pattern Analysisand Machine Intelligence，27：805-811，2005。1[22] Elad Richardson 、 Matan Sela 、 Roy Or-El 和 RonKimmel。从单个图像学习详细的面部重建。IEEE计算机视觉和模式识别会议，2017年。1、7[23] Christos Sagonas 、 Georgios Tzimiropoulos 、 StefanosZafeiriou和Maja Pantic。一种半自动的人脸标志标注方法。IEEE计算机视觉和模式识别研讨会，2013年。5[24] 沈伟和刘如杰。学习人脸属性操作的残差图像。IEEE计算机视觉和模式识别会议，2017年。2[25] 宋林森，曹杰，宋林晓，胡一波，何冉。几何感知的面部完成和编辑。CoRR，abs/1809.02967，2018。2[26] Anh T. Tran ，Tal Hassner，Iacopo Masi，Eran Paz，Yuval Nirkin和Ge'rardMedioni。极端的3Dfacerebraction-tion：看到通过闭塞。IEEE计算机视觉和模式识别会议，2018。一、二[27] 作者：John Wright，Allen Y.杨，Arvind Ganesh，S.尚卡·萨斯特里，还有伊玛.通过稀疏表示的鲁棒人脸识别 。 IEEE Trans. on Pattern Analysis and MachineInteligence，31（2），2009. 一、二、七[28] 熊雪涵和费尔南多·德拉托雷。有监督下降方法及其在人脸对齐中的应用在Proc.IEEE计算机视觉和模式识别会议上，2013年。210071[29] Xiang Yu，Xiang Yu，Kihyuk Sohn，Xiaoming Liu，and Man-mohan Chandraker.向野外大摆脸的正面化。 在procIEEEInternationalConferenceonComputerVision，2017。二、三、四[30] Jiahui Yu，Zhe Lin，Jimei Yang，Xiaohui Shen，XinLu，and Thomas S.煌具有上下文注意的生成式图像修复 在proc IEEE计算机视觉与模式识别会议，2018年。二、七[31] 方召、冯嘉实、赵建、杨文翰、燕水城。鲁棒的lstm自动编码器，用于在野外进行面部去遮挡。IEEE Trans.on Image Processing，27（2）：778-790，2018. 一、二、七[32] Xiangyu Zhu，Zhen Lei，Xiaoming Liu，Hailin Shi，and Stan Z.李跨大姿势的面部对齐：3D解决方案。IEEE计算机视觉和模式识别会议，2016年。2[33] Xiangyu Zhu ， Zhen Lei ， Junjie Yan ， Dong Yi ， andStan Z.李用于野外人脸识别的高保真姿势和表情归一化 。 在 Proc. IEEE Conference on Computer Vision andPattern Recognition，第7873