复制粘贴生成对抗网络：恢复低分辨率人脸并补偿照明

7355复制和粘贴GAN：从阴影缩略图的脸幻觉杨章1，2，3，Iv或W。曾3，罗亚伟4，胡昌辉1，2，5，卢晓波1，2，辛玉3，61东南大学自动化学院2东南大学复杂工程系统测控教育部重点实验室3澳大利亚悉尼科技大学人工智能中心4华中科技大学计算机科学与技术学院5南京邮电大学自动化学院6澳大利亚国立大学澳大利亚机器人视觉中心摘要现有的基于卷积神经网络（CNN）的人脸超分辨率方法在正常光照条件下对低分辨率（LR）人脸具有令人印象深刻的性能然而，当LR面部在低或不均匀的照明条件下被捕获时，它们的本文提出了一种复制粘贴生成对抗网络（CPGAN）来恢复真实的高分辨率（HR）人脸图像，同时补偿低和非均匀照明。为此，我们在CPGAN中开发了两个关键组件：内部和外部复制和粘贴网络（CPnets）。具体来说，我们的内部CP网络利用输入图像中的面部信息来增强面部细节;而我们的外部CPnet利用外部HR面孔进行照明补偿。因此，一个新的照明补偿损失，从而有效地捕获照明从外部此外，我们的方法以从粗到细的方式交替地偏移照明和上采样面部细节，从而减轻LR输入和外部HR输入之间的对应模糊性。大量的实验表明，我们的方法体现了真实的HR人脸图像在均匀照明条件下，并优于国家的最先进的方法定性和定量。1. 介绍人脸是一种重要的信息资源，它承载着身份和情感信息通讯作者（xblu2013@126.com）.这项工作是杨章（zhangyang201703@126.com）在悉尼科技大学做访问生时完成的图1：CPGAN的动机。引入内部和外部CPnet来模拟克隆图章工具。内部CPnet复制良好的细节，将其粘贴到阴影区域。外部CPnet在上采样过程中使用来自UI-HR人脸数据集的外部引导人脸进一步修饰人脸，以补偿最终HR人脸中的不均匀照明。日常活动的变化为了获取这样的信息，通常期望高分辨率和高质量的面部图像。由于摄像机和人之间的空间距离和照明条件，捕获的人脸可能很小或处于较差的照明条件下，从而阻碍了人类感知和计算机分析（图2（a））。最近，已经提出了许多面部超分辨率技术[32，然而，阴影缩略图中的面部细节在低/非均匀照明条件的情况下变得模糊，这导致由于强度不一致而导致幻觉失败。例如，如图2（d）所示，由最先进的面部超分辨率方法[33]生成的超分辨率结果在语义上和每7356与地面实况（GT）在视觉上不一致，产生模糊的面部细节和不平滑的外观。同时，提出了各种方法来处理人脸上的光照变化。最先进的面部反向照明方法[6，39]通常通过面部标志将面部区域拟合到3D可变形模型[29]，然后渲染照明。然而，这些方法不适合于面部缩略图，因为在这样的低分辨率图像中不能准确地检测面部地标这将增加学习LR和HR面之间的映射的难度。图像到图像转换方法，如[12，40，22]，可以是在不检测面部标志的情况下在面部之间转换照明风格的替代方案。由于照明条件的多样性，平移方法[40]无法学习用于面部照明补偿的一致性映射，从而使输出中的面部结构失真（图2（e））。如图2（f）和图2（g）所示，应用面部超幻觉然后照明归一化或照明归一化然后超幻觉产生具有严重伪影的结果。为了解决这个问题，我们的工作旨在在非均匀低照度（NI-LR脸）下对LR输入产生幻觉，同时在统一的框架中实现均匀照度（UI-HR脸）下的HR为了实现这一目标，我们提出了一个复制和粘贴生成对抗网络（CPGAN）。CPGAN被设计为探索内部和外部图像信息以归一化照明，并增强输入NI-LR人脸的面部细节。我们首先设计了一个内部复制和粘贴网络（内部CPnet），通过在输入LR面部中搜索相似的面部特征来近似抵消非均匀照明特征并增强面部细节，以用于后续的上采样过程。我们的外部CPnet被开发为从HR面部模板复制照明，然后将照明信息传递到输入。这样，我们的网络就学会了如何补偿输入的光照.为了降低光照传输的难度，我们交替地上采样并以由粗到细的方式传输光照。此外，采用空间此外，提出了一种照明补偿损失来捕获正常照明模式并将正常照明传输到输入。如图2（h），上采样的HR面部不仅是真实的，而且还将GT与正常照明重新融合。我们的工作贡献如下：• 我们提出了第一个框架，称为CPGAN，以端到端的方式一起解决面部幻觉和照明补偿，通过传统的人脸幻觉损失和新的照明补偿损失来优化• 我们引入了一个内部CPnet来增强表面细节和粗略地规范化照明，有助于随后的上采样和照明补偿。• 我们提出了一个外部CPnet的照明补偿，通过学习照明从外部HR的脸。以这种方式，我们能够明确地学习照明，而不需要具有相同照明条件的数据集。• 提出了一种新的数据增强方法--随机自适应实例归一化（RaIN），以生成足够的NI-LR和UI-HR人脸图像对.实验结果表明，该方法实现了具有照片级真实感的UI-HR人脸图像。2. 相关工作2.1. 面部超分辨率人脸超分辨率方法旨在建立输入LR和输出HR人脸图像之间的现有的工作可以分为三个主流：基于整体的技术，基于部分的方法和基于深度学习的模型。基于整体技术的基本原理是用参数化模型表示人脸。代表性模型通过采用线性映射[27]，全局外观[17]，子空间学习技术[15]进行人脸幻觉。然后，提出了基于部分的方法来提取人脸区域，然后对它们进行上采样。引入SIFT流[26]和面部地标[28]来定位输入LR图像的面部组件。深度学习是大型数据集的一种使能技术，并已被广泛应用于人脸幻觉。Huang等人. [10]将小波系数预测引入深度卷积网络，以超分辨具有多个放大因子的LR输入Zhu等[41]开发级联双网络，分别对输入LR面的低频和高频部分进行超分辨率处理。最近的几种方法探索面部先验知识，例如面部属性[31]，解析图[5]和组件热图[30]，以获得高级幻觉结果。然而，现有的方法大多集中在半透明微小的人脸图像与正常照明。7357(a)输入(b)HR引导（c）GT（d）[33]（e）[40](f)[40] + [34] (g)[34] + [23](h)我们图2：最先进的方法和我们提出的CPGAN的人脸幻觉和照明归一化结果。(a)输入NI-LR图像（16× 16像素）;（b）引导UI-HR图像（128× 128像素）。(c)UI-HR图像（128× 128像素，在训练中不可用）。(d)一种流行的面部幻觉方法TDAE的结果[33];（e）通过在双三次上采样之后应用[40]对（a）的光照归一化结果;（f）（e）上的面部幻觉结果通过[34];（g）通过[34] 和[23] 对（a）的面部超分辨率和照明归一化结果;（h）CPGAN 的结果（128×128像素）。最重要的是，我们的CPGAN在生成真实的UI-HR人脸图像时实现了照片般逼真的视觉效果。因此，在非均匀照明的情况下，它们通常产生严重的模糊输出。2.2. 照明补偿提出了人脸光照补偿方法，以补偿人脸光照的不均匀性，重建正常光照条件下的人脸图像。用于照明补偿的最新数据驱动方法基于照明锥[2]或朗伯反射理论[1]。这些方法学习面部外观的非纠缠表示，并基于建模的照明参数来模拟各种照明条件。例如，Zhouet al.[39]提出了一种光照回归网络来模拟人脸图像的各种光照场景。Shu等人[24]提出了一个GAN框架，将人脸图像分解为物理内在成分、几何结构、光照基和光照基。Zhu等[40]提出了一种周期一致性网络，用于将内容图像渲染为具有不同风格的图像。以这种方式，样式图像的照明条件可以被转移到内容图像。然而，这些方法只能补偿非均匀照明，而不能很好地保留准确的面部细节，特别是当输入的面部图像受损或低分辨率时。由于上述限制，简单的级联面部幻觉和照明补偿方法不能获得高质量的UI-HR面部。3. 幻觉与为了减少由非均匀光照引起的从NI-LR到UI-HR的映射的模糊性，我们提出了一个CPGAN框架，该框架以NI-LR人脸作为输入，以具有正常光照的外部HR人脸作为指导来产生UI-HR人脸。在CP-GAN中，我们开发了复制和粘贴网络（CPnet），“copy”通过一个约束，使生成的UI-HR人脸位于真实人脸图像的流形上。整个管道如图所示。3.第三章。3.1. CPGAN概述CPGAN 由 以 下 部 分 组 成 ： 内 部 CPnet 、 外 部CPnet、空间Transformer网络（STNs）[13]、解卷积层、堆叠沙漏模块[21]和卷积网络。不像以前的作品[5，30]，其仅将LR图像作为输入，然后用面部先验知识对其进行超分辨，我们不仅将输入的面部信息，而且还将外部引导的UI-HR面部用于幻觉。采用编码器模块提取引导UI-HR图像的特征。请注意，我们的引导面与NI-LR输入的GT不同。如图3.首先将输入的NI-LR图像通过内部CPnet，以增强面部细节，并通过利用阴影面部信息来粗略地归一化光照。然后，外部CPnet采用外部引导的UI-HR面，以在上采样过程期间进行进一步由于输入图像可能会发生未对准，例如平面内旋转，平移和比例变化，因此我们采用STNs来补偿未对准[37，36]，如图中的黄色块所示。3.同时，受[3]的启发，我们采用堆叠沙漏网络[21]来估计重要的面部地标热图以保留面部结构。3.1.1内部CPnet由于阴影伪影，输入NI-LR人脸图像中的人脸细节（高频特征）是-7358图3：拟议的CPGAN框架的管道。紫色块中的上下对称层共享相同的权重。(a) 内部CPnet(b) 内部复制模块图4：内部CPnet的架构。这里的复制块将通道衰减模块的输出特征视为输入特征和引导特征。这里的粘贴块表示加法操作。变得模棱两可。因此，我们提出了一个内部CP网络来增强高频特征并执行粗略的照明补偿。图4（b）显示了我们内部CP-网络的架构，它由输入卷积层，内部复制模块，粘贴块以及跳过连接组成。我们的内部复制模块采用[38]中的残差块和重复注意（CA）模块，首先增强高频特征然后，我们的复制块（图。5（b））被引入以“复制”期望的内部均匀照明特征，用于粗略补偿。注意，这里的复制块将CA模块的输出特征视为图5（b）中的输入特征（FC）和引导特征（FG）。同时，内部CPnet中的skip连接将LR输入功能旁路到Paste块。通过这种方式，输入的NI-LR面最初由内部CPnet细化。为了分析我们提出的内部复制模块的作用，我们可以利用输入和输出的变化(a) 外部CPnet(b) 收到图5：外部CPnet的架构。外部复制模块在这里是由一个复制块。Paste块表示加法操作。放上特征图。输入特征图估计输入NI-LR面部的频带，其由低频面部分量组成。这样，它们主要分布在低频带（蓝色）。在我们的内部复制模块之后，输出特征在高频带方向（红色）上扩展，并且字面上跨越整个频带。因此，我们使用名称“内部复制模块”，因为其功能类似于将高频特征“复制”到低频部分的操作。最重要的是，内部CPnet实现了有效的特征增强，这有利于后续的73592M（ F）∑FGGFG我F WF W当前面部细节上采样和照明补偿处理。3.1.2外部CPnetCPGAN采用多个外部CPnet和反卷积层来抵消非均匀照明，并以从粗到细的方式交替地对面部细节进行上采样。这种独特的设计消除了NI-LR输入和外部UI-HR输入之间对应关系的模糊性。外部CPnet的网络如图所示。5（a），其核心组件是复制和粘贴块。图5（b）执行复制块的分别从外部引导UI-HR图像和输入NI-LR图像提取引导特征FG和输入特征FC首先，引导特征FG和输入特征FC被归一化和变换。图6：RaIN模型的训练过程。在AdaIN [11]中，我们提出了照明补偿损失Lic。其基本思想是在潜在子空间中约束重构的UI-HR人脸的L？Σ¨形成两个特征空间θ和θ，以计算它们的Lic=Eh，gp（hj（h-µ（j（gi））<$相似性。然后，（i（一）L？2j=1Σ¨其类似于输入特征FC上的相应位置。对于第i个输出响应：+ ∑¨σj=1<$ j（h<$ i）−σ（<$ j（gi））<$}... ΣΣ Σ（三）ˆ1CG=日exp我不是不J公司 简介FjW其中，gi表示引导的UI-HR图像，hi表示生成的UI-HR图像，p（hi，g）表示他们的联合分布。每个Rj（·）表示其中M（F）=∑<$jexp.. ΣTΣT ij公司 简介（一）之和分别在预训练的VGG-19模型中的relu 1 -1，relu 2 -1，relu 3 -1，relu 4 -1层[25]在这里，μ和σ是所有位置的所有输出响应。F是基于均值-方差通道归一化的F上的变换。这里，嵌入变换Wθ、Wθ和Wθ是在训练过程中学习的。因此，Copy块可以灵活地集成将被引导特征的照明图案转换到输入特征中。基于复制和粘贴块，我们提出的外部CPnet从外部UI-HR面显式学习照明模式。3.2. 损失函数为了训练我们的CPGAN框架，我们提出了光照补偿损失（Lic）以及强度相似性损失（Lmse）、身份相似性损失（Lid）[22]、结构相似性损失（Lh）[3]和对抗性损失（Ladv）[8]。我们将很快详细说明照明损失。其余的，请参阅参考资料。总损失函数LG是上述各项的加权LG= αLmse+ β L id+ γLh+ χLic+ κLadv（2）照度补偿损失：CPGAN不仅可以恢复UI-HR人脸图像，还可以补偿不均匀的照明。灵感来自风格的损失每个特征通道的均值和方差。4. 数据增强训练深度神经网络需要大量样本来防止过度拟合。由于在公共人脸数据集中没有或有限的NI/UI人脸对可用[9，18]，我们提出了一种定制的随机自适应实例归一化（RaIN）模型，以实现实时的任意照明风格传输，为数据增强生成足够的（六）。RaIN采用编码器-解码器架构，其中编码器固定在前几层（向上到relu 4 -1）预训练的VGG-19[25]。自适应实例规范化（AdaIN）[11]层被嵌入以将UI面部图像的特征统计与NI面部图像的特征统计对齐。特别地，我们在AdaIN层之前嵌入变分自动编码器（VAE）[14]以这种方式，我们可以有效地为NI人脸图像的特征统计产生无限的合理假设（在公共数据集中提供有限的NI人脸图像）。结果，生成了具有任意照明条件的足够的面部样本图6示出了RaIN模型的训练过程。首先，给定输入内容图像Ic（UI面）和FWW7360图7：RaIN模型的生成阶段。一个正态分布的随机噪声可以产生一个新的风格样本。对于样式图像Is（NI面），RaIN中的VAE对编码的样式特征fs的特征统计（均值（μ）和方差（σ））的分布进行编码。以这种方式，低维潜在空间编码用于风格特征统计的所有可能的变体。然后，基于中间AdaIN层，将fc的特征统计量（μ和σ）与随机选择的样式特征统计量对齐，通过~。fc−µ（fc）为了公平比较，我们使用我们的训练数据集重新训练所有这些方法。5.1. 数据集CPGAN 在 Multi-PIE 数 据 集 [9] （ 室 内 ） 和CelebFaces属性数据集（CelebA）[18]（野外）上进行了训练和测试。Multi-PIE数据集[9]是一个大型人脸数据集，包含337个受试者在各种姿势、光照和表情条件下的750 K+图像。我们在Multi-PIE数据集中的Session 1中也就是说，总共249×10 = 2.49K面对。为了丰富有限的光照条件，采用了RaIN，在训练集上进行10次表单数据扩充。请注意，CelebA [18]数据集只提供没有NI/UI人脸对的野生人脸。为了训练的目的，我们选择从UI人脸图像中生成合成的NI人脸。与[7]类似，采用Adobe Photoshop Light- room渲染各种光照条件.我们从CelebA数据集中随机选择18K NI人脸进行渲染。然后，18 K NI/UI面t=AdaIN（Ic，Is）=σ（fs）σ（fc）+µ（fs）（4）pairs生成。对于GT图像，我们裁剪对齐的UI-HR面其中，µ和σ是针对每个通道和每个样本在每个空间维度上独立计算的。然后，随机初始化的解码器g被训练以将t映射回图像空间，生成风格化图像Ics：Ics=g[t]（5）在训练阶段，RaIN基于[11，20，19]的设置进行训练，然后对面部数据集进行微调为了生成具有不同照明条件的风格化图像，我们可以仅将内容图像与随机噪声一起馈送，如图所示。7.第一次会议。5. 实验在本节中，我们对拟议的框架进行了定性和定量评估我们在以下三种情况下进行比较：• FH ： 面 部 幻 觉 方 法 （ SRGAN [16] ， TDAE[33]，FHC [30]）;• IN+FH：照明补偿技术（Cy- cleGAN [40]）+面部幻觉方法（SR- GAN [16]，TDAE [33]，FHC [30]）（使用双三次输入）内插过程以调整输入大小）;• FH+IN：面部幻觉方法（SRGAN [16]、TDAE[33]、FHC [30]）+照明补偿技术（CycleGAN[40]）。然后将其调整为128× 128像素。对于NI-LR人脸，我们将UI-HR人脸图像调整为128× 128像素，然后应用一系列手动转换。包括旋转，平移，缩放和下采样过程，以获得16×16像素的图像。我们选择80%的人脸对进行训练，20%的人脸对进行测试。特别是，在CPGAN的培训过程中，我们随机选择了-选择训练集中的UI-HR图像作为外部引导的UI-HR图像。5.2. 与SoA的定性比较与基准方法的定性比较如图8所示，这证明了CPGAN优于竞争方法的优越此外，CPGAN获得的图像更真实，身份保持，并具有更丰富的面部细节。如图8（b）所示，双三次插值和CycleGAN的组合不能产生真实的人脸图像。由于双三次插值无法生成必要的高频面部细节以及GT的缺乏，CycleGAN实现了图像到图像变形的面部形状的平移。SRGAN [16]提供了一个8×的放大因子，但它只在一般的补丁上训练因此，我们重新训练SRGAN在人脸图像上也是如此。如图8（c）所示，SRGAN的结果仍然是模糊的。7361图8：与最先进方法的比较。列：（a）未对齐的NI-LR输入。(b)双三次插值+ CycleGAN [40].（c）SRGAN [16]。（d）TDAE [33]。（e）FHC [30]。（f）CycleGAN [40]+ SRGAN [16]。（g）TDAE [33]+ CycleGAN [40]. (h)我们的了(i)GT.前三列：测试来自Multi-PIE数据集的样本（室内）。最后三列：测试来自CelebA数据集的样本（在野外）。表1：测试数据集上比较方法的平均PSNR [dB]和SSIM值方法多PIE CelebA多PIE CelebA多PIECelebA FH IN+FH FH+INTDAE [33]超分辨率非常低和未对齐的人脸图像。它采用去卷积层来上采样LR面，并采用判别网络来促进生成更清晰的结果。然而，它没有考虑照明 ，因 此， 最终 的 输出 遭受 严重 的 文物 （图 8（d））。Yu和Porikli [30]利用FHC来产生未对齐的LR人脸图像。如图8（e）所示，由于阴影伪影引起的面部先验预测不准确，FHC无法构建逼真的面部细节我们提供的结果在IN+FH和FH+IN COM-也是为了完整性。然而，由于由误导性映射引起的劣化的超分辨率面部图案，它们生成的结果被重影伪影污染（参见图8（f）和（g））。相比之下，我们的方法能够重建authen- tic面部细节，如图8（h）所示。尽管在输入的NI-LR人脸中存在非均匀光照，我们的方法仍然产生视觉上令人愉悦的UI-HR人脸。例如，我们产生幻觉的阴影伪影覆盖面部部分prepreciously，如下巴和嘴，如图8（h）中的第三和第四行所示。PSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIM双三12.8380.38512.790.48013.9600.38613.0180.49413.3150.39912.9450.352SRGAN16.7690.39617.9510.53614.2520.40816.5060.48815.0440.43215.3150.398TDAE19.3420.41119.8540.53015.4490.44518.0310.54015.3190.42715.7270.403FHC20.6800.46721.1300.55217.5540.51219.5080.49918.2630.54516.5270.426CPGAN24.6390.77823.9720.72324.6390.77823.9720.72324.6390.77823.9720.7237362(a)（b）（c）（d）（e）（f）（g）（h）图9：消融分析。(a)16 ×16 NI-LR图像。（b）128 ×128 GT图像。(c)结果不使用内部CPnet，而是使用一个简单的输入卷积层。(d)无需使用外部CPnet，直接连接输入和输出功能。（e）不使用同一性相似性损失（Lid）的结果（f）不使用结构的结果相似性损失（Lh）。(g)不使用对抗损失（Ladv）的结果。(h)CPGAN结果。表2：CPnet不带CPnetMulti-PIE CelebA[33]第三十三话我的心Figure 10: Results on real NI-LR faceimages.5.3. 与SoA的定量比较通过定量评价验证了上述定性性能。从表1中可以看出，所提出的CPGAN在室内和野外数据集中的表现无可争议地优于其他数据集例如，在FH sce-nario中，CPGAN在Multi-PIE数据集上的PSNR中以约4dB的大裕度优于第二最佳技术。由于内部和外部CPnet的精心设计，逼真的面部细节很好地从阴影伪影中恢复出来。5.4. 在真正的NI LR表面上的性能我们的方法也可以有效地幻觉真实的NI-LR脸超出合成生成的脸对。为了证明这一点，我们从CelebA数据集中随机选择具有非均匀照明的人脸图像。如图10所示，我们的CPGAN可以对这种随机选择的阴影缩略图进行halluci- nate，证明其在各种情况下的鲁棒性。5.5. 消融分析内部CPnet的有效性：如图9（c）所示，可以看出，没有内部CPnet的结果遭受严重的失真和模糊伪影。这是因为独特设计的内部CPnet增强了输入NI-LR图像中的面部细节，并有助于随后的上采样和照明补偿。定量研究报告见表2。外部CPnet的有效性在我们的方法中，内部CPNet引入了用于照明补偿的引导UI-HR图像。我们在图9（d）和表2中证明了有效性。在没有外部CPnet的情况下，重建的人脸严重偏离GT外观，特别是对于受阴影伪影影响的输入部分。这意味着外部CPnet明确地从外部UI-HR面部学习照明模式损失函数规格：图9还示出了不同训练损失变量的感知性能。我们的照明补偿损失（Lic）的影响在补充材料中提供。6. 结论本文提出了我们的CPGAN框架，以联合幻觉NI-LR人脸图像和补偿非均匀照明无缝。利用内部和外部CPNets，我们的方法能够基于面部特征的语义空间分布进行从粗到细的特征细化。本着这种精神，我们交替地抵消阴影伪影和上采样面部细节同时，RaIN模型在不同光照条件下模拟了足够的人脸对，以促进实际的人脸幻觉。实验结果验证了CPGAN的有效性，与现有技术相比，它产生了照片般逼真的视觉质量和有前途的定量性能。谢 谢 。 本 工 作 得 到 了 国 家 自 然 科 学 基 金 项 目（No.61871123）的资助& No.61802203）， 关键江苏省研究开发项目（编号：BE2016739）和NSF （编号：BK 20180761）。这工 作 部 分 由 ARC 资 助 （ DP 180100106 DP200101328）和ARC的Excel-用于机器人视觉的透镜（CE140100016）。PSNRSSIMPSNRSSIM内部CPnet22.1640.69321.4410.578外部CPnet21.9250.68021.0320.536CPGAN24.6390.77823.9720.7237363引用[1] Ronen Basri和David W Jacobs。朗伯反射与线性子空间。IEEE模式分析与机器智能学报，25（2）：218-233，2003年。[2] Peter N Belhumeur和David J Kriegman。在所有可能的照明条件下，物体的图像集是什么国际计算机视觉杂志，28（3）：245[3] Adrian Bulat和Georgios Tzimiropoulos 超级粉丝：集成面部标志定位和超分辨率的真实世界中的低分辨率人脸在任意姿态与gans。在IEEE计算机视觉和模式识别会议论文集，第109[4] Qingxing Cao ， Liang Lin ， Yukai Shi ， XiaodanLiang，and Guanbin Li.通过深度强化学习实现注意感知的人脸幻觉。在CVPR中，第690-698页[5] Yu Chen ， Ying Tai ， Xiaoming Liu ， ChunhuaShen，and Jian Yang. Fsrnet：端到端学习面部超分辨率与面部先验。在CVPR中，第2492[6] Miguel Heredia Conde ， Davoud Shahlaei ， VolkerBlanz，and Otmar Loffeld.使用压缩感知的单个人脸图像的高效和鲁棒的逆照明。 In ICCV Workshops,pages 226–234, 2015.[7] 董宣仪、严妍、欧阳万里、杨毅。用于人脸标志点检测的风格聚合网络。在IEEE计算机视觉和模式识别会议论文集，第379-388页[8] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。神经信息处理系统的进展，第2672-2680页，2014年[9] Ralph Gross、Iain Matthews、Jeffrey Cohn、TakeoKanade 和 Simon Baker 。 多 派 Image and VisionComputing，28（5）：807[10] Huaibo Huang， Ran He ，Zhenan Sun， and TieniuTan. Wavelet-srnet：基于小波的cnn多尺度人脸超分辨。在ICCV，第1689-1697页[11] Xun Huang和Serge Belongie。实时任意样式传输，具有自适应实例规范化。在IEEE计算机视觉国际会议的Pro-ceedings中，第1501-1510页[12] Phillip Isola ， Jun-Yan Zhu ， Tinghui Zhou ， andAlexei A Efros.使用条件对抗网络的图像到图像翻译。在CVPR中，第1125-1134页[13] MaxJaderberg ， KarenSimonyan ， AndrewZisserman，等.空间Transformer网络。参见NIPS，第2017[14] Diederik P Kingma和Max Welling。自动编码变分贝叶斯。arXiv预印本arXiv：1312.6114，2013。[15] Soheil Kolouri和Gustavo K Rohde。极低分辨率人脸图像的基于传输的单帧超分辨率在CVPR中，第4876-4884页[16] 莱迪格，卢卡斯·泰斯，费伦茨·胡斯·扎尔，何塞·卡-巴列罗，安德鲁·坎宁安，亚历杭德罗·阿科斯塔，安德鲁·艾特肯，阿利汗·特贾尼，约翰内斯·托茨，王泽汉，等。使用生成对抗网络的照片逼真的单图像在CVPR中，第4681-4690页[17] 刘策、沈向阳及William T.面容幻觉：理论和实践IJCV，75（1）：115[18] Ziwei Liu，Ping Luo，Xiaogang Wang，and XiaoouTang.在野外深度学习人脸属性。在国际计算机视觉会议（ICCV）的会议记录中，2015年12月。[19] Yawei Luo，Ping Liu，Tao Guan，Junqing Yu和YiYang。区域自适应语义分割的重要性感知信息瓶颈在ICCV，2019年。[20] 罗亚伟，郑良，关涛，于俊青，杨毅。让我们仔细看看Domain Shift：语义一致领域自适应的类别级对手.在CVPR，2019年。[21] Alejandro Newell，Kaiyu Yang，and Jia Deng.用于人体姿态估计的堆叠沙漏网络在ECCV，第483-499页[22] Fatemeh Shiri ， Xin Yu ， Fatih Porikli ， RichardHartley，and Piotr Koniusz.保持身份的人脸恢复从风格 化 的 肖 像 。 International Journal of ComputerVision，127（6-7）：863[23] Zhixin Shu， Sunil Hadap ，Eli Shechtman ，KalyanSunkavalli，Sylvain Paris，and Dimitris Samaras.使用质量传输方法的人像照明传输。ACM Transactionson Graphics（TOG），37（1）：2，2018。[24] Zhixin Shu ， Ersin Yumer ， Sunil Hadap ， KalyanSunkavalli，Eli Shechtman，and Dimitris Samaras.神经面部编辑与内在的图像解开。在IEEE计算机视觉和模式识别会议论文集，第5541-5550页[25] Karen Simonyan和Andrew Zisserman用于大规模图像识别的深度arXiv预印本arXiv：1409.1556，2014。[26] Marshall F Tappen和Ce Liu。基于对准的图像超分辨率的贝叶斯方法。在ECCV，第236-249页[27] 王晓刚和唐晓鸥。通过特征变换产生幻觉。IEEETransactions on Systems ， Man ， and Cybernetics ，Part C（Applications and Reviews），35（3）：425[28] 杨致远，刘思飞，杨明轩。半透明的压缩面部图像。IJCV，126（6）：597[29] Fei Yang ， Jue Wang ， Eli Shechtman ， LubomirBourdev，and Dimitri Metaxas.用于3d感知的面部组件传递的表达流。ACM图形交易（TOG），30（4）：60，2011。7364[30] Xin Yu，Basura Fernando，Bernard Ghanem，WuhanPorikli，and Richard Hartley.由面部分量热图引导的面部超分辨率。在ECCV中，第217-233页[31] Xin Yu ， Basura Fernando ， Richard Hartley ， andFatih Porikli.具有补充属性的超分辨率极低分辨率人脸 图 像 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR）的会议记录中，第908-917页[32] Xin Yu and Fatih Porikli.用判别式生成网络实现超分辨人脸图像。在ECCV，第318-333页[33] Xin Yu and Fatih Porikli.通过变形判别神经网络实现微小非对齐图像的人脸幻觉。InAAAI，2017.[34] Xin Yu and Fatih Porikli.通过变换判别式自编码器实现极低分辨率的非对齐和噪声人脸图像的幻觉。在IEEE计算机视觉和模式识别会议（CVPR）论文集，第3760-3768页[35] Xin Yu and Fatih Porikli.通过去卷积网络想象难以想象的面孔。IEEE Transactions on Image Processing，27（6）：2747[36] Xin Yu ， Daughh Porikli ， Basura Fernando ， andRichard Hartley.用多尺度变换判别网络实现非对齐人 脸 图 像 的 幻 觉 。 国 际 计 算 机 视 觉 杂 志 ， 128（2）：500-526，2020。[37] Xin Yu，Fatemeh Shiri，Bernard Ghanem，and FatihPorikli.我们能多看点吗？联合额骨化和半透明化的不 对 齐 的 小 脸 。 IEEE Transactions on PatternAnalysis and Machine Intelligence，2019。[38] Yulun Zhang，Kunpeng Li，Kai Li，Lichen Wang，Bineng Zhong，and Yun Fu.基于极深残差通道注意力网络的图像超分辨率。在欧洲计算机视觉会议（ECCV）的会议记录中，第286-301页，2018年[39] 周浩，孙晋，亚瑟·雅库布，大卫·W·贾-科布斯。标签去噪对抗网络（ldan） 用于面部图像的反向照明。arXiv预印本arXiv：1709.01993，2017。[40] Jun-Yan Zhu，Taesung Park，Phillip Isola，Alexei AEfros.使用循环一致对抗网络的不成对图像到图像翻译。在IEEE计算机视觉国际会议集，第2223-2232页[41] Shizhan Zhu ， Sifei Liu ， Chen Change Loy ， andXiaoou Tang.深度级联双网络用于人脸幻觉。在ECCV，第614-630页