GAN局部语义编辑的方法及应用

+++157710以风格编辑：揭示GAN的局部语义0Edo Collins 1 Raja Bala 2 Bob Price 2 Sabine S¨usstrunk 101. 瑞士洛桑联邦理工学院计算机与通信科学学院 2. PaloAlto研究中心交互与分析实验室，加利福尼亚州帕洛阿尔托{edo.collins，sabine.susstrunk}@epfl.ch {rbala，bprice}@parc.com0目标0参考0输出0在鼻子查询的条件下0目标0参考0输出0在眼睛查询的条件下0目标0参考0输出0在嘴巴查询的条件下0图1：我们的方法对GAN输出图像进行局部语义编辑，将参考图像的特定对象部分的外观转移到目标图像上。0摘要0尽管近年来GAN图像合成的质量有了很大提高，但我们对输出的控制能力仍然有限。我们专注于StyleGAN，引入了一种简单有效的方法，可以对目标输出图像进行局部的、语义感知的编辑。这是通过从源图像（也是GAN输出）中借用元素，通过对样式向量的新颖操作实现的。我们的方法既不需要外部模型的监督，也不涉及复杂的空间变形操作。相反，它依赖于StyleGAN在训练过程中学到的语义对象的紧凑表示。我们在生成人脸、室内场景、猫和汽车的GAN上演示了语义编辑。我们测量了我们的方法产生的编辑的局部性和逼真性，并发现它都能实现。01. 引言0在短短五年的时间里，生成对抗神经网络（GANs）已经成为该领域的主导0数据驱动的图像合成。然而，与大多数其他神经网络模型一样，它们学习的数据模型并不直观可解释。在缓解这个问题方面已经取得了重要进展。例如，最先进的图像GAN，如PG-GAN [15]和StyleGAN[16]，通过渐进式训练，鼓励每一层模拟给定图像分辨率下的变化（例如，8×8图像捕捉粗略结构，32×32图像添加更细节等）。57720以GAN为主要代表的GANs。通过从参考图像到目标图像的语义局部化样式转移，我们进行编辑，这两个图像都是GAN的输出。我们的方法简单而有效，只需要一个现成的预训练GAN。我们的方法独特之处在于，它通过全局操作实现局部变化，类似于风格转移。因此，与其他利用额外数据集和训练网络的GAN编辑方法，或者需要复杂的空间操作的传统图像变形方法不同，我们的方法仅依赖于GAN本身学到的丰富语义表示，并从中受益。应用包括法医艺术，其中人脸由各种来源合成；以及室内设计，可以可视化各种设计元素（如家具、室内装饰等）的组合。通过将我们的方法与将自然图像嵌入到StyleGAN的潜在空间中的最新工作相结合，可以设想将其扩展到对真实图像的语义编辑。我们的贡献如下：0•我们揭示了StyleGAN生成器中隐藏激活的结构，表明学习到的表示在合成图像中与语义对象大体上是解缠结的。0•我们利用这种结构开发了一种新颖的图像编辑器，可以将语义部分从参考图像转移到目标合成图像。底层的公式简单而优雅，实现了自然的部分转移，无需复杂的空间处理或来自额外训练数据和模型的监督。0本文的结构如下。第2节回顾了与GAN编辑和可解释性相关的工作。第3节详细介绍了我们对GAN潜在空间中空间解缠结构的观察，并介绍了我们的局部编辑方法。第4节展示了验证我们论点的实验结果，第5节对结果进行讨论，并展望未来的工作。02. 相关工作0自从Goodfellow等人的开创性工作[9]以来，关于使用GAN进行图像合成的文献已经爆炸性增长，如今的最先进方法，如StyleGAN [16]、StyleGAN2 [17]和BigGAN[4]，能够产生极其逼真的输出。关于GAN文献的全面回顾，请参阅[7, 13,27]中的最新调查。我们的目标不是提出另一个GAN，而是通过改变特定对象或对象部分的风格来提供其输出的局部编辑方法，参考图像中给定的风格。我们接下来回顾与语义图像编辑相关的过去工作，特别关注最近的基于GAN的方法。02.1. 基于GAN的图像编辑0已有一些研究探索了使用深度生成模型进行语义图像编辑的方法。我们区分两种类型：基于潜在代码的全局属性编辑方法和基于激活的局部编辑方法。基于潜在代码的技术通过在潜在代码空间中学习自然图像的流形，并沿着这个流形路径进行语义编辑[23,32]。这个框架的一个变体使用自动编码器将图像分解为语义子空间并重构图像，从而在各个子空间上进行语义编辑[2,25]。这些技术实现的编辑示例包括颜色、光照、姿势、面部表情、性别、年龄、发型、眼镜和帽子的全局变化[2, 19,25, 30, 31]。AttGAN[10]使用带有外部属性分类器的监督学习来实现属性编辑。基于激活的局部编辑技术直接在生成器的某些卷积层的激活张量上操作特定的空间位置。通过这种方式，GANDissection[3]通过独立的语义分割模型的监督来控制给定位置上对象的存在或不存在。类似地，特征融合[26]通过将参考图像上的激活值“复制粘贴”到目标图像上来在目标GAN输出和参考之间转移对象。我们在图5中将该技术与传统的泊松融合[24]与我们的方法进行了比较。与所有这些工作不同，我们的方法是一种基于潜在代码的局部编辑方法。关键是，它既不依赖于图像分割模型的外部监督，也不涉及复杂的空间融合操作。相反，我们揭示并利用了生成器嵌入空间中的解缠结构，这自然地允许局部部分的编辑。02.2. 面部交换0我们的对象特定编辑技术，当应用于面部图像时，类似于面部交换和转移的问题。以前的工作[18, 21,22]描述了在一对面部图像之间交换全局属性的方法。我们的方法通过提供局部到语义对象部分的编辑，与这些方法不同。此外，面部交换的主要动机是为了保护隐私而进行的去识别化，这与我们编辑合成图像的目标无关。Yang等人[28]提出了一种将表情从一个面部转移到另一个面部的方法。某些特定情况下的表情转移（例如微笑）涉及到局部部分（例如嘴巴）的转移，因此与我们的设置类似。然而，即使在这些常见的情况下，我们的编辑框架也是独特的，因为它不需要像变形和合成这样的显式空间处理。.577303. 生成模型中的局部语义03.1. 特征分解0深度特征分解（DFF）[6]是一种最近的方法，通过对隐藏层激活的矩阵进行分解，通过一组显著图解释了卷积神经网络（CNN）学习到的表示。通过这样的分解，已经证明了为ImageNet分类训练的CNN学习到的特征可以作为语义对象和对象部分检测器。0受到这一发现的启发，我们对PGGAN、StyleGAN和StyleGAN2等生成模型的激活进行了类似的分析。具体来说，我们对生成器的给定层的激活张量A ∈ R N × C × H ×W中组成的C维激活向量应用了球形k-means聚类[5]，其中N是图像的数量，C是通道的数量，H、W是空间维度。聚类生成了一个聚类成员资格的张量U ∈ {0, 1} N × K × H ×W，其中K是用户定义的，每个K维向量是一个独热向量，指示激活张量中某个空间位置属于哪个K个聚类之一。0这个分析的主要结果是，在生成器的某些层中，聚类很好地对应于语义对象和部分。图2显示了在StyleGAN生成器网络在Flickr-Faces-HQ（FFHQ）[16]和LSUN-Bedrooms[29]上训练的32×32层生成的聚类。热图中的每个像素都以颜色编码，表示其所属的聚类。可以看到，聚类在空间上跨越了连贯的语义对象和对象部分，例如面部的眼睛、鼻子和嘴巴，以及卧室的床、枕头和窗户。0U中编码的聚类成员资格使我们能够计算通道c对每个语义聚类k的贡献Mk,c，计算方法如下：0Mk,c = 10N ˙ H ˙ W0n,h,w A 2 n,c,h,w ⊙  U n,k,h,w .(1)0假设Al的特征图均值为零，方差为1，每个通道的贡献在0到1之间，即M ∈ [0, 1] K × C。0此外，通过对张量U的空间维度进行双线性上采样或下采样到适当的大小，我们能够找到一个适用于生成器中所有层的矩阵M，与相同的语义聚类相关。0使用这种方法，我们为每个GAN生成了一个语义目录。我们选择在哪个层和使用哪个K来应用球形k-means，通过对聚类成员资格图进行定性评估来指导。这个过程只需要几分钟的人工监督。0图2：将k-means应用于StyleGAN生成器的隐藏层激活，揭示了生成输出被分解为语义对象和对象部分。03.2. 局部编辑03.2.1 StyleGAN概述0我们简要回顾了与我们的开发相关的StyleGAN和StyleGAN2的一些方面。首先，为了从生成器分布中生成样本，从采样空间Z中随机采样一个潜在向量z。接下来，z被转换为一个中间潜在向量w，已经证明具有更好的解缠结特性[16]，[30]。0图像生成器是通过卷积神经网络实现的。考虑一个批次包含一个图像，令 A ∈ R (C × H × W)为卷积层的输入，假设或明确地对其进行了归一化，使得每个通道具有单位方差。在卷积操作之前，向量 w通过每层的样式对特征图进行改变。StyleGAN和StyleGAN2中样式的应用都采用了每通道的缩放σcAc，其中层级系数σ是通过对w进行学习得到的仿射变换。0这种基于样式的控制机制受到样式转移的启发，已经证明通过操作每个通道的均值和方差就足以控制图像的样式。通过将输入固定为常量图像，StyleGAN的作者证明了这种机制足以确定生成图像的所有方面：一个层的样式决定了下一层的内容。57740目标 参考1 参考2 参考3 参考40眼睛：0鼻子：0嘴巴：0图3：我们的方法通过将参考图像（顶部行）上的样式转移条件化于感兴趣的特定对象（左列），从而将编辑应用于目标图像（左上角），从而实现了对合成图像中对象外观的精细控制。最好在屏幕上放大查看。03.2.2 条件插值0给定目标图像 S 和参考图像 R，都是 GAN的输出，我们希望将参考图像 R中的特定对象或部分的外观转移到目标图像 S中，创建编辑后的图像 G。设 σ S 和 σ R是对应于两个图像的同一层的两个风格缩放系数。对于全局转移，由于 StyleGAN的潜在空间展现出的线性和可分离性特性，通过 σ S 和 σ R之间的线性插值产生的混合风格 σ G可以产生两个图像之间的合理流动变形：0σ G = σ S + λ (σ R - σ S) (2)0对于 0 ≤ λ ≤ 1。这样做会导致将所有的01 Karras et al. (2019) [16] 在 w 的潜在空间中进行插值，但效果类似。0将 σ R 的属性投射到 σ G 上，最终不留下 σ S的痕迹。为了实现选择性的局部编辑，我们使用矩阵变换来控制风格插值：0σ G = σ S + Q (σ R - σ S) (3)0其中矩阵 Q 是半正定的，并且被选择为使 σ G 从 σ S 到 σR 进行局部风格转换的矩阵。在实践中，我们选择 Q为对角矩阵，其元素形成 q ∈ [0, 1]C，我们称之为查询向量。03.2.3 选择查询0对于局部编辑，合适的查询 q是偏好影响感兴趣区域（ROI）的通道的查询，同时忽略对外部产生影响的通道qc = min(1, λMk′,c)(4)s.t.57750目标 参考1 参考2 参考3 参考40床：0枕头：0窗户：0图4：与之前的混合方法不同[24,26]，我们的方法不需要图像对齐或尺度相似。在这种情况下，即使视角发生了巨大变化，例如成功地将床的风格从参考图像转移到目标图像。0ROI。当使用第 3.1 节中计算的语义聚类之一来指定 ROI时，例如 k ′，向量 M k ′ ,c正好编码了这些信息。一种简单的方法是使用离线计算的 Mk ′,c，根据给定的图像类型和数据集，从公式（1）控制插值的斜率，剪切到 1：0其中 q c 是 q 的第 c 个通道元素，λ是插值的全局强度，如公式（2）所示，我们将这种方法称为simultaneous，因为它同时更新所有通道。直观地说，当 λ较小或中等时，具有较大 M k ′ ,c的通道将具有较高的权重，从而对插值产生局部化效果。我们提出了一种优于公式（4）的方法，称为sequential，它实现了更好的局部化。我们首先将最相关的通道设置为最大斜率0在斜率最相关的第一个通道之前，将斜率定义为1，然后将第二个最相关的通道、第三个最相关的通道等的斜率提高。这个查询的定义对应于解决以下目标：0arg min q c q c [ M k ′ ,c − ρ (1 − M k ′ ,c )] (5)0c =1 q c (1 − M k ′ ,c )≤ �00 ≤ q c ≤ 10我们通过基于 M k ′ 进行通道排序来解决这个目标，并贪婪地将 q c = 1分配给最相关的通道，只要ROI外的总效果不超过某个预算 � 。此外，只有在 M k ′ ,c > ρ的通道上才分配非零权重。01+ ρ，这通过忽略不相关的通道来提高局部编辑的鲁棒性，即使预算 � 允许更多的变化。57760目标 参考0我们的 特征混合 32×32[26] 特征混合 64×64[26] 泊松混合[24]0眼睛：0鼻子：0嘴巴：0图5：即使对齐良好的FFHQ生成的面部对现有的混合方法也是具有挑战性的，因为它们不考虑姿势和比例的差异，也没有任何语义或照片逼真的概念。相比之下，我们的方法利用GAN从真实数据中学到的相关性来保持自然外观，同时利用特征解缠来有效地定位变化。04. 实验04.1. 定性评估0在图3和图4中，我们演示了我们的编辑方法20使用在两个数据集上训练的StyleGAN生成器：FFHQ[16]包含70K张面部图像和LSUN-Bedrooms[29]包含约3M张描绘卧室的彩色图像。在这两个数据集中，我们发现生成器的第一个32×32分辨率层是“最语义化”的。因此，我们选择这一层应用球面k均值聚类。我们02 我们的代码可在以下网址找到：https://github.com/IVRL/GANLocalEditing01+ ρ = 0.1，并调整 20 ≤ � ≤ 100以获得最佳性能。我们发现 �的调整主要取决于目标图像和感兴趣的对象，而不是风格参考。请注意，由于局部编辑的性质，对目标图像的更改可能是微妙的，在屏幕上放大查看效果最佳。图5将我们的方法与特征级混合[26]和像素级（泊松）混合[24]方法进行了比较。特征混合仅应用于32×32或更低分辨率的所有层次，以及64×64或更低分辨率的层次。虽然这些方法严格局部化（见第2.1节），但它们的输出缺乏照片逼真性。例如，目标和参考面部朝向略有不同，这导致了一个最明显的不对齐问题2.55.07.510.012.515.017.520.00.00.20.40.60.81.00.00.20.40.60.81.0GlobalSimultaneousSequential0.00.20.40.60.81.00.00.20.40.60.81.0GlobalSimultaneousSequential57770目标 参考1 参考2 参考3 参考40眼睛：0轮子：0图6：我们的方法应用于StyleGAN2的输出。保留了照片逼真性，同时对高度局部化的区域进行了精细控制。0In-MSE0Out-MSE (a) (b) (c)0图7：(a) 对于眼睛（左）、鼻子（中）和嘴巴（右），计算50KFFHQ-StyleGAN输出与其编辑后对应部分之间的均方误差（MSE）热图。这些热图证明了我们的方法产生的编辑是可感知且局部化的。(b) FFHQ和(c)LSUN-Bedrooms上各种查询参数的ROI内和ROI外的MSE。我们的方法“sequential”在In-MSE（高为好）和Out-MSE（低为好）之间取得了最佳平衡。57780鼻子。相比之下，我们的编辑方法主要影响ROI，同时保持基线GAN的照片逼真性，通过引入一些必要的全局变化。然而，我们的方法并不总是“忠实地”复制对象的外观，如图4中的窗户行所示。图6展示了我们的方法适用于最近的StyleGAN2模型[17]，该模型在LSUN-Cats和LSUN-Cars[29]上进行了训练。与传统的混合方法不同，我们的技术能够在未对齐的图像之间传输部分，如此处和图4中所示。04.2. 定量分析0我们对编辑结果的两个感兴趣的方面进行了定量评估：局部性和照片逼真度。04.3. 局部性0为了评估编辑的局部性，我们检查目标图像与其编辑输出之间在像素空间中的平方误差。图7（a）显示了在50K个FFHQ-StyleGAN样本上未编辑和编辑图像之间的差异，其中在每个像素位置上，我们计算CIELAB颜色空间中的平方距离。该图表明，转移是可感知和局部化的，并且并非所有对象部分都是完全解耦的。与眼睛和嘴巴相比，编辑鼻子似乎强制与其他面部部分产生微妙的相关性。这种相关性在个体部分的外观控制和整体输出的合理性和逼真性之间进行权衡。我们进一步检查了我们的方法以及第3.2节中描述的变体的局部化能力。首先，我们使用第3.1节预计算的球面k-means聚类获取每个图像指示ROI的二进制掩码。然后，我们使用λ（方程2和4）和�（方程5）的各种值进行插值。对于每个设置，我们测量每个目标-输出对的（归一化的）内部均方误差（In-MSE）和外部均方误差（Out-MSE），即ROI内的均方误差和ROI外的均方误差。在图7（b）和（c）中，我们分别展示了FFHQ和LSUN-Bedrooms的结果，表明我们的方法（顺序）在相同ROI内的变化量下，具有更好的局部化能力，即ROI外的变化量更小。04.4. 照片逼真度0衡量照片逼真度是具有挑战性的，因为目前还没有直接计算方法来评估图像的感知照片逼真度。然而，FrechetInceptionDistance（FID）[11]已被证明与人类判断相关，并已成为GAN评估的标准度量。FID是一个聚合统计量，它比较了两个图像集在深度CNN层的特征空间中的分布。在表1中，我们报告了50K个编辑图像与原始FFHQ和LSUN-Bedrooms数据集之间的FID。0FID FFHQ 卧室0StyleGAN[16] 4.4 2.8 我们的方法 5.4 4.5特征融合 64×64 [26] 5.4 -0表1：StyleGAN、我们的方法和特征融合之间的FrechetInceptionDistance（FID）在真实图像和输出之间的差异。在LSUN-Bedrooms的情况下，图像的非对齐性使得特征融合不适用。0评分表明，我们的编辑图像与基线GAN的原始输出没有显著差异。然而，当我们使用特征融合[26]对50K个FFHQ图像进行编辑时，计算得到的FID也达到了相同的结果，尽管图5定性地显示这些生成的输出缺乏照片逼真度。这再次强调了以自动化方式正确衡量照片逼真度的困难。我们没有使用泊松融合进行类似的分析，因为我们观察到这种方法的许多失败案例无法证明处理大量1024×1024图像所需的巨大计算成本是合理的。对于特征融合和泊松编辑，我们无法测试卧室数据集，因为这些方法不适用于非对齐的图像对。05. 结论0我们已经证明了StyleGAN的潜在表示在空间上解耦了语义对象和部分。我们利用这一发现在StyleGAN图像中引入了一种简单的局部语义部分编辑方法。核心思想是让潜在对象表示引导样式插值，以产生逼真的部分转移，而不引入任何与StyleGAN已经固有的特征不一致的伪影。结果的局部性取决于对象表示与其他对象表示的解耦程度，在StyleGAN的情况下是显著的。重要的是，我们的技术不涉及通过语义分割模型进行外部监督，或者通过复杂的空间操作来定义编辑区域并确保从编辑到未编辑区域的无缝过渡。对于未来的研究，我们的观察结果为将编辑能力明确地纳入对抗训练本身打开了大门，我们相信这将改善语义对象之间的解耦程度，并产生更好的局部化效果。最后，该方法原则上可以通过利用[1]、[17]的框架将自然图像映射到StyleGAN的潜在空间中，从而扩展到对真实图像的语义编辑。这为照片增强、增强现实、整形手术可视化和隐私保护等领域提供了有趣的应用。57790参考文献0[1] Rameen Abdal, Yipeng Qin和Peter Wonka.Image2StyleGAN: 如何将图像嵌入到StyleGAN潜在空间中?在IEEE国际计算机视觉会议(ICCV)上, 2019.  2 ,  80[2] Sarah Alotaibi和William A. P. Smith. Biofacenet:深度生物物理面部图像解释.  arXiv预印本arXiv:1908.10578v2,2019.  20[3] David Bau, Jun-Yan Zhu, Hendrik Strobelt, Bolei Zhou,Joshua B. Tenenbaum, William T. Freeman和AntonioTorralba. GAN解剖: 可视化和理解GANs.arXiv预印本arXiv:1811.10597v2, 2018.  20[4] A. Brock, J. Donahue和K. Simonyan.用于高保真度自然图像合成的大规模GAN训练.arXiv预印本arXiv:1809:11096v2, 2019.  20[5] Christian Buchta, Martin Kober, Ingo Feinerer和KurtHornik. 球面k均值聚类.  统计软件杂志, 2012.  30[6] Edo Collins, Radhakrishna Achanta和Sabine Susstrunk.用于概念发现的深度特征分解. 在欧洲计算机视觉会议(ECCV)上,2018.  30[7] Antonio Creswell, Tom White, Vincent Dumoulin, KaiArulkumaran, Biswa Sengupta和Anil A. Bharath.生成对抗网络: 概述. 在IEEE信号处理杂志上, 页码53-65, 2018.  20[8] Leon A. Gatys, Alexander S. Ecker和Matthias Bethge.使用卷积神经网络进行图像风格转换.在IEEE计算机视觉和模式识别会议(CVPR)上, 2016.  30[9] I. Goodfellow, M. Pouget-Abadie, B. Mirza, D. Xu, S.WardeFarley, A. Ozair, A. Courville和Y. Bengio. 生成对抗网络.在NeurIPS上, 2014.  20[10] Zhenliang He, Wangmeng Zuo, Meina Kan, ShiguangShan和Xilin Chen. AttGAN:仅通过更改所需内容进行面部属性编辑.  IEEE图像处理期刊, 2019.20[11] Martin Heusel, Hubert Ramsauer, Thomas Unterthiner,Bernhard Nessler和Sepp Hochreiter.通过双时间尺度更新规则训练的GAN收敛到局部纳什均衡.在神经信息处理系统(NeurIPS)上, 2017.  80[12] Irina Higgins, David Amos, David Pfau, SebastienRacaniere, Loic Matthey, Danilo Rezende和AlexanderLerchner. 迈向解缠表示的定义.  arXiv预印本arXiv:1812.02230,2018.  10[13] He Huang, Philip S. Yu和Changhu Wang.生成对抗网络中的图像合成简介. arXiv预印本arXiv:1803.04469v2,2018.  20[14] Xun Huang和Serge Belongie.实时任意风格转换与自适应实例归一化.在IEEE国际计算机视觉会议(CVPR)上, 2017. 30[15] Tero Karras, Timo Aila, Samuli Laine和Jaakko Lehtinen.逐步增长的GAN用于提高质量、稳定性和变化性.在国际学习表示会议(ICLR)上, 2018.  10[16] Tero Karras, Samuli Laine和Timo Aila.用于生成对抗网络的基于风格的生成器架构.在IEEE计算机视觉和模式识别会议(CVPR)上, 2019.  1 ,  2 ,  3 ,  4 ,6 ,  80[17] Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten,Jaakko Lehtinen和Timo Aila. 分析和改善StyleGAN的图像质量.arXiv预印本arXiv:1912.04958, 2019.  1 ,  2 ,  80[18] Iryna Korshunova, Wenzhe Shi, Joni Dambre和LucasTheis. 使用卷积神经网络进行快速人脸交换.在IEEE国际计算机视觉会议(ICCV)上, 页码3677-3685, 2017.  20[19] Guillaume Lample, Neil Zeghidour, Nicolas Usunier,Antoine Bordes, Ludovic Denoyer和Marc’Aurelio Ranzato.Fader网络: 通过滑动属性来操作图像.在神经信息处理系统(NeurIPS)上, 2017.  20[20] Yanghao Li, Naiyan Wang, Jiaying Liu, and Xiaodi Hou.解密神经风格转移.在第26届国际人工智能联合会议(IJCAI)上，2017年。30[21] Saleh Mosaddegh, Lo¨ıc Simon, and Fr´ed´eric Jurie.通过聚合捐赠者的人脸组件进行逼真人脸去识别.在亚洲计算机视觉大会上，2014年。20[22] Ryota Natsume, Tatsuya Yatagawa, and Shigeo Mor-ishim. RSGAN:使用潜在空间中的人脸和头发表示进行人脸交换和编辑.arXiv预印本arXiv:1804.03447v2，2018年。20[23] Guim Perarnau, Joost Van de Weijer, and Bogdan Radu-canu. 可逆条件GAN用于图像编辑.arXiv预印本arXiv:1611.06355，2016年。20[24] Patrick P´erez, Michel Gangnet, and Andrew Blake.泊松图像编辑. 在ACM SIGGRAPH2003论文集中，第313-318页，2003年。2，5，60[25] Zhixin Shu, Ersin Yumer, Sunil Hadap, Kalyan Sunkavalli,Eli Shechtman, and Dimitris Samaras.具有内在图像解缠的神经人脸编辑.在IEEE计算机视觉和模式识别(CVPR)上，2017年。20[26] Ryohei Suzuki, Masanori Koyama, Takeru Miyato, TaizanYonetsuji, and Huachun Zhu.具有内部表示拼贴的空间可控图像合成.arXiv预印本arXiv:1811.10153，2018年。2，5，6，80[27] Xiang Wang, Kai Wang, and Shiguo Lian.人脸数据增强综述. arXiv预印本arXiv:1904.11685，2019年。20[28] Fei Yang, Ju Wang, Eli Shechtman, Lubomir Bourdev, andDimitri Metaxas. 用于三维感知人脸组件转换的表情流. ACMTrans. Graphics, 30(4)，2011年。20[29] Fisher Yu, Yinda Zhang, Shuran Song, Ari Seff, and Jianx-iong Xiao. Lsun: 使用深度学习和人类参与构建大规模图像数据集.arXiv预印本arXiv:1506.03365，2015年。3，6，80[30] Xiaoou Tang Bolei Zhou Yujun Shen, Jinjin Gu.解释GAN的潜在空间用于语义人脸编辑.arXiv预印本arXiv:1907.10786，2019年。2，30[31] Gang Zhang, Meina Kan, Shiguang Shan, and Xilin Chen.具有空间注意力的生成对抗网络用于人脸属性编辑.在欧洲计算机视觉大会(ECCV)上，2018年。257800[32] Jun-Yan Zhu, Philipp Kr¨ahenb¨uhl, Eli Shechtman, andAlexei A. Efros. 在自然图像流形上进行生成性视觉操作.在欧洲计算机视觉大会(ECCV)上，2016年。2