生成式神经网络内部单元的自动校正及其在图像生成中的应用

7932生成式神经网络内部单元的自动校正AliTousi1，Chong，HaedongJeong1，2，Chong，JiyeonHan1，Hw anilChoi1，JaesikChoi1，3，†1韩国科学技术高等研究院（KAIST）2韩国蔚山国立科学技术研究院（UNIST）3韩国 INEEJI{ali.tousi，haedong.jeong，j.han，hwanil.choi，jaesik.choi}@ kaist.ac.kr摘要生成式对抗网络通过设计复杂的网络结构和对抗性训练方案，在合成图像生成方面表现出令人满意的性能。即使GAN能够合成真实的图像，也存在许多具有缺陷视觉模式的生成图像，这些缺陷视觉模式被称为伪影。虽然最近的大多数工作都试图通过扰动潜在代码来修复工件生成，但很少有人研究生成器的内部单元来修复它们。在这项工作中，我们设计了一种方法，可以自动识别产生各种类型伪影图像的内部单元。我们进一步提出了顺序校正算法，通过修改检测到的伪影单元来调整生成流程，以提高生成质量，同时保持原始轮廓。我们的方法优于基线方法的FID分数，并显示出令人满意的结果与人类的评价。1. 介绍近年来，GAN在产生照片般逼真的图像方面变得更加强大[13，12]，这些图像通常难以与真实样本区分开来。此外，它们在生成不同的生成样本集方面变得越来越好。这些出色的能力为GAN在各种现实生活领域中的应用铺平了道路[9，18]。GAN领域现有工作的主要焦点是通过改变训练方案或设计更复杂的模型来提高合成质量。尽管取得了相当大的成功，但GAN仍然会产生包含不切实际的区域的输出，即所谓的工件，这使得它们不适合用于关键任务应用程序。因此，研究这种现象的根源和位置-平等贡献†通讯作者提高整体素质的可行解决方案已被证明是重要的。最近的工作通过扰动潜在代码来消除伪影区域[22]。基于对内部单元的表示和人类注释的理解，去除有缺陷的单元[3]。与以前的方法不同，我们通过从注释样本中学习分类器来识别缺陷单元。此外，通过利用获得的解释图，我们设计了我们自己的全球多层工件单位消融计划，提高了质量的缺陷代，同时保留合理的代。在我们的方法中，我们首先根据预定义的标准将随机采样的世代注释为两个类别，正常和异常。然后，我们在所有带注释的世代和一些随机采样的真实图像上训练一个分类器，将图像分类到相应的类别中。我们训练的分类器可以通过采用解释方法为缺陷区域生成估计掩码[21]。通过测量单个内部单元的激活与缺陷区域的分割掩模之间的对准，我们识别引起伪影的单元。为了纠正各代中的伪影区域，我们消融了重叠评分最高的单元。总而言之，我们工作的贡献有三个方面：• 我们编译了一个大型的数据集，收集了大量的人工制品，并对人工制品的生成进行了全面的分析。• 我们通过测量单元的激活图和伪伪影区域掩模的交并（IoU）来识别生成模型中的缺陷单元通过在我们的数据集上训练一个简单的分类器获得• 我们提出了一种伪影去除方法，通过全局消融缺陷单元，在保持正常样本的同时提高伪影样本从剧烈的变化。我们进一步改进的方法，依次烧蚀整个后续层的缺陷单元。7933z标签世代普通型单机使用GL：lzz单位识别电子地图GradCAM掩模⬛ Grad-CAM流差距：全局平均池化正常实数单层校正G1：1顺序校正分类器⬛ 产生流动⬛ 停流GL：lGL：lGl：1Gl：1图1：识别每层的伪影单元（顶部）和两种校正方法的生成流程（底部）。识别测量缺陷区域（GradCAM掩模）和伪影生成单元u之间的IoU。样本上IoU的平均值用作层中的缺陷分数。 顺序校正方法调整缺陷单元的生成流程，并在不进行再训练的情况下改进GAN。2. 相关工作生成对抗网络。自GAN [6]引入以来，发生器输出的真实性和多样性稳步增加[1，12，13，7]。通常，GAN模型采用采样的潜在向量并输出合成图像。虽然来自原始GAN模型的样本可以很容易地识别，但最近的模型从真实数据中产生无法区分的样本。尽管最近的进展，很少有研究已经进行，以了解GAN模型的内部机制。描述深度网络的单位。已经提出了各种技术来检查和理解深度网络的内部表示[23，11]。历史热图可用于解释单个网络决策[16，21]。热图可视化了哪些输入区域对网络给出的分类预测贡献最大。最近，[2]引入了Network Dis-section框架，用于通过收集具有语义概念的数据集来识别CNN模型内部单元的角色，并根据其激活图和概念注释的对齐来标记每个隐藏单元。生成模型中的伪影。 通过深度神经网络可以在合成图像中观察到缺陷区域[19，24，3，22]。[19]找出了在反卷积运算中出现棋盘形伪影的原因，并建议解决这个问题的简单的尺寸卷积上采样。[17]利用了在生成用于检测的深度假视频的变形过程中出现的独特的固有伪像。[22]试图首先通过在手动标记的世代上训练线性SVM模型将潜在空间划分为正常和伪影区域。通过将潜在代码向从学习的超平面获得的良好质量方向移动，它们逐渐校正合成的伪影图像。[3]在有/没有人类监督的情况下发现伪影诱导单元。他们可视化了每个单元的最高激活图像，并将其标记为正常或伪影单元。然后，他们烧蚀有缺陷的单位，以修复一代。3. GAN中的可吸收单元的烧蚀在以前的工作中已经使用了人工制品这个术语[3，19]来描述具有不自然（或不期望的）视觉图案的合成图像。图2显示了人工制品的说明性示例，其中教堂被扭曲或图像的某些部分是透明的。 当我们将这些代标记为伪影或正常代时，我们观察到可以得到不可忽略的伪影量，如表1所列。有人可能会建议使用的输出，我们称ResNet-18间隙7934⬛ 正常⬛ 伪影图2：使用LSUN-church（上）、CelebA-HQ（中）和LSUN- bedroom（下）数据集的PGGAN工件生成示例。3.1. 基于FID的故障单元识别在文献[3]中，伪影也作为一种类型进行了研究的对象。为了以无监督的方式获得伪影单元，作者使用Fre' chetInceptionDistance（FID），这是一种用于测量生成模型性能的常用指标[8]。对于每个特征图单元，他们计算10K图像的FID分数，这些图像在200K生成的图像中具有给定特征图单元的最高激活。对于高FID图像集高度激活的伪影映射单元被视为伪影单元。作者表明，当消融前20个伪影单元时，FID评分提高。虽然这种自动校正方法已显示出整体改进，但我们的观察表明，仍有可能改进伪影单元的识别。图4显示了512个单元中FID得分第5高的单元。众议员前20代表 1 ： PGGAN 中 CelebA-HQ 、 LSUN-church 和 LSUN-bedroom数据集的伪影生成比率。一个自然的度量来区分真实的图像和世代。通常认为看起来真实的正常代将具有遵循真实训练图像的分布的D值，而伪影代将被认为具有遥远的分布。然而，从我们的观察来看，情况并非如此。图3显示了正常和伪影生成的D值的直方图。基于D值对输入的类型（正常或伪影）进行分类是非常重要的，因为两个直方图是重叠的。此外，缺陷水平与D值不成比例。这些观察结果表明，我们需要更深入地挖掘网络，以检测和纠正伪影。图3：PGGAN中每种输入类型的D值与CelebA-HQ。黑线表示每代的相应D值。第二代和最后一代具有类似的背景问题，但是，对应的D值不同。图4：PGGAN-LSUN教堂第6层134单元的代表性世代和高度活跃的世代。尽管134单元的FID分数很高，但相关的生成概念似乎很自然。这个例子说明了为什么我们需要一个更精细的方法来识别工件单元。3.2. 基于分类器的可重构单元识别为了识别导致高级语义伪影的内部单元，我们将2k生成的图像手动标记为正常或伪影生成。然后，我们建立一个模型，将我们的数据集分为三类，即：伪影，正常和随机选择的真实样本。我们采用图像分类器（例如ResNet-18）作为我们的特征提取模块，并在其上引入一个完全连接的层进行分类。在训练过程中，我们保持特征提取模块的参数固定，只优化分类器权重。为了获得比图像标签更精细的注释，我们应用GradCAM[21]为我们提供缺陷区域的掩模。这样的遮罩突出显示对模型决策有效的区域。这种操作比手工标记缺陷区域更有效，因为后者需要大量时间。现在我们有了伪影区域的伪分割真实掩模，将特征激活图与掩模进行比较可以揭示伪影诱导单元。为此，我们遵循先前工作中的原则[2、5]。对于生成器的第l层中的每个单元u我们计算了Au（zx）∈RHl×Wl，它是LSUN-卧室LSUN教堂CelebA-HQ单元134CelebA-HQLSUN-教会LSUN-卧室n.压缩比38.71%16.79%40.91%7935原始FID DS（一）（b）第（1）款（c）第（1）款图5：GradCAM中的解释掩码和工件类得分。面具集中在正常世代难以包含的缺陷区域。给定的代x和对应的潜在码zx。我们用分位数Tu来阈值激活，使得P（Au（zx）> Tu）=τ1。这是关于所有图像的每个单元的特征图分布来计算的。在应用阈值之后，我们将结果双线性上采样到伪伪影分割掩码La（x）的大小，并使用Au（zx）计算IoU。为了使识别过程全局化，我们定义了缺陷分数，该分数对工件代次上的每个IoU进行平均。定义1（缺陷分数（DS））设第l层中的单元u的伪影生成X a和伪影分割掩码L a（x）和激活A u（z x）的集合，其中x∈X a。 单位u的缺陷分数定义为，图6：基线方法（FID）[3]和我们的方法（DS）的单层消融结果（前20名）。(a)正常世代的校正结果。两种方法的消融均不影响合理区域。(b)我们的方法可以在保持原始轮廓的同时去除阴影效果。(c)这两种方法都无法纠正墙上的洞（左）或纹理错误（右）。分析并解释了这一现象，探讨并揭示了特征图各单元的生成概念。我们生成20k个图像，并选择最大化每个单位u的激活幅度的前20个图像。一些特征图单元似乎有具体的概念，因为所选图像共享具体的语义信息（参见附录5中的更多示例）。然而，对于某些特征图单元，很难定义一个清晰的生成概念。为了更好地识别这些概念，我们计算高度激活图像中的平均特征图，以生成DSl，u，a1=|Xa|Σx∈Xa|.|.|Au(zx)∪La(x)|为每个特征图单元选择代表性图像。图7表示具有具体/混合发电概念的单元的示例。第1层中的所有单元的缺陷分数被定义为DS1，a={DS1，1，a，DS1，2，a，. 其中D1是第1层中的单元的数量。最后，我们可以对分数进行排序，并选择分数较高的单位作为消融的候选单位图6表示与基于FID的消融相比，层6中的前20个单元的消融结果。在第一行中，我们可以确定这两种方法几乎不会损害生成中的合理区域。这意味着所选单元与缺陷区域相关，而与正常世代相关性较小。在具有阴影伪影的第二行中，基于DS的校正示出了更多的真实性。众议员一代众议员一代前20代(a) 具体生成概念单元前20代(b) 混合发电概念单元比基于FID校正更可靠的性能。但是，这两种方法在某些情况下都无法纠正，如最后一行所示：(1) 教堂上的洞和（2）纹理错误的情况。3.3. GANs中单元的生成概念根据之前的观察，我们可以确定简单的单位消融无法纠正所有类型的伪影。到[1]我们在实验中根据经验设定τ= 0.005图7：第6层中给定单元的代表性图像和高激活代的示例LSUN教堂的PGGAN。(a)与具体生成概念有关的单位。(b)没有具体生成概念的单位。在这种情况下，代表性图像似乎是模糊的。图8表示由单元278单元1557936LSUN-教堂LSUN-卧室CelebA-HQ类型的工件与相应的单位索引。我们可以清楚地识别出每个工件概念都与隐藏层中的多个单元相关。这意味着我们需要消融一组单元，其中包括大多数共享缺陷概念的单元，以确保校正性能。 图9表示与手动单位选择相比的校正结果。由于前20个单元在基于FID和DS的校正中没有包括所有的纹理错误单元，因此它们不能在生成中去除纹理错误。然而，当我们手动消融与纹理误差相关的15个单元时，可以有效地执行校正。图8：PGGAN第6层中具有代表性的世代与LSUN-church的聚类。有多个单元共享相同的工件概念。原始FID DS手册图9：纹理错误的校正结果示例。在手动情况下，我们选择并消融与纹理错误相关的15个单元。虽然我们可以通过简单地增加消融单位的数量来覆盖各种类型的伪影，但在几代人中，在去除伪影和保留正常信息之间存在权衡。图10说明了这种权衡。当我们增加单元的数量时，它会逐渐删除生成中右上角的缺陷点，但也会出现严重的退化（例如树木和建筑物的质量）。此外，我们根据PGGAN模型在第6层消融的单位数量绘制了不同数据集的FID评分，如图所示十一岁我们可以确定，当我们增加消融单位数量时，FID评分呈指数增加。4. 伪影的顺序校正我们提出了顺序校正，以改善质量的产生性能，通过抑制边-图10：消融单位数量的发电量变化。虽然当增加消融单元的数量时，污点的大小（右上）会减小，但树木和教堂的质量同时下降。图11：不同数据集PGGAN第6层上不同数量消融单元的FID评分。一层消融的效果。给定具有L层的生成元，生成元G的函数被分解为G（z）=fL（fL−1（· · ·（f1（z）=fL：1（z），其中z是潜空间ZRDz. hl，u=fl：1，u（·）表示值第l层中第u个单元的最小值，fl：1（z）∈RDl×Hl×Wl.通常，运算fl（·）包括线性变换和非线性激活函数。针对给定查询z，我们顺序地调整后续层中单元的激活。详细程序见Al-出租1。根据之前的研究[10]，浅层处理GAN中的抽象生成概念，深层处理GAN中的局部信息，我们从第一层到停止层l L消融浅层。为了防止第3.3节中指出的一代语义特征的丢失，我们调整了原始特征图的大小，而不是简单的零消融。算法1的第5行将这种软消融表述为，hk+1，j=λ（1−DSk +1，j，a）hk +1，j其中λ∈[0，1]是缩放因子，DSk+1，j，a∈[0，1]是归一化的。λ（1−DSk+1，j，a）控制所选特征图单元的相对生成速率注意如果缩放因子λ= 0时，该算法在后续层中执行简单的零消融。4.1. 序贯校正为了证明超参数与校正性能之间的关系，我们首先测量了在用CelebA-HQ改变PGGAN中的停止层l和烧蚀单元n的部分进行校正后的FID。在图12a中，每层中消融20%的单元显示了FID比较中的最佳性能。FID急剧上升7937算法1顺序校正输入：z0：查询，G（. ）=f L：1（. 10）：发电机，1：停止层，DS1：1，a：每层的标准化缺陷分数，λ：比例因子，n：结果可以是局部的。如图13所示，CAL区域校正可以最小化每个单独样本的未掩蔽内容的变化。单位输出：X：校正后的生成一曰： h0=z0第二章： 对于k←0toldo3：hk+1=fk+1：k（hk）4：forj←Top1 to Topndo5：hk+1，j=λ（1−DSk+1，j，a）hk+1，j查询掩码SeqC SeqC w\Mask定量结果6：结束锻造7：结束8：X=fL：l+ l（hl+ l）9：返回X在层9和12中，而对于较低层，差异最小。我们还提供了另一种称为现实主义得分（R）[15]的度量标准，该度量标准可以测量各种停止层的单个样本的生成质量，固定n= 20%。图12 b表示1k次伪影生成的R平均值。我们发现，停止层6示出了用于顺序校正的最佳R0.180.160.140.12图13：PGGAN-celebAHQ中局部区域校正对顺序校正（SeqC）的影响。我们可以识别出掩模未聚焦的区域不能被改变。5. 实验评价本节介绍了我们的出租和各种校正方法的实证比较分析结果。我们分别对在LSUN-church，CelebA-HQ和LSUN-bedroom数据集上训练的三个PGGAN进行校正。我们手动标记PGGAN的代，并为每个模型收集1k个工件代及其潜在代码。我们通过模型获得特征图，并烧蚀所选择的特征图单元。在本文的实验中，我们采用了停止层l= 6，烧蚀单元数n= 20%，每层消融单位的比例(a) 各种条件下的FIDOrg.1 3 6 9 12停止层(b) 现实主义评分，n=20%缩放因子λ = 0。9 .第九条。所有校正实验均为对原始伪码代的相同1K潜在码进行。 定性和定量的结果是查询第1层第1层：3第1层：6第1层：9(c) 停止层的定性比较第1层：12在下面的小节中介绍。5.1. 定性结果我们首先演示了如何为每种校正方法校正生成。如图14所示，我们可以确定顺序校正可以消除图12：不同时间超参数（停止层L和消融单元N的部分）。可以看出，当停止层l设置得较深时，发电质量下降。4.2. 局部区域校正虽然所提出的方法在全局意义上定义了伪影单元，但我们可以另外应用局部区域校正，因为我们有单个样本的缺陷区域的掩模。我们改变减肥的方法λ（1 − DS k+1，j，a）到（1 − L a（x）），其中L a（x）是下采样的GradCAM掩码。在这个方案中，我们可以执行样本特定的顺序校正和校正，缺陷区域有效。特别是，浅层消融有助于校正生成信息不清楚的区域（例如，行5-LHS CelebA-HQ生成中的恒定绿色区域），并且可以保持与正常特征相关的大多数信息。这意味着该方法最小化了似然区域的变化，并主要关注缺陷区域。5.2. 定量结果我们使用FID分数来定量测量每种方法的伪影改善。在FID计算中，使用1k个真实训练样本。为了更好地计算，我们在表2中报告了1k个原始伪影代和1k个正常代的FID评分。作为FID现实主义评分现实主义评现实主义评分FIDFID7938原始FID DS SeqC图14：PGGAN的每种消融方法与各种数据集（LSUN-Church Outdoor、LSUN-Bedroom和CelebA-HQ）的校正结果。我们确认顺序校正有效地去除了缺陷区域。基线时，我们选择随机消融和基于FID的校正方法[3]，并在表2的随机和FID行下进行总结。然后，我们消融通过基于分类器的方法获得的全局伪影单元，并将其总结在DS行下。顺序校正方法的结果总结在顺序行下。每个模型的结果分别汇总在LSUN-church、CelebA-HQ和LSUN-bedroom列下。所提出的方法在所有三个模型中表现出最好的性能。5.3. 人工评价为了支持校正结果的质量，我们提供了人工评估结果。实验结果是一致的-校正LSUN-教会CelebA-HQLSUN-卧室随机53.4342.1067.46FID40.6644.3748.48DS32.8235.4044.93顺序23.9634.7140.71伪影46.9536.1661.17法线22.3729.8029.15表2：LSUN-church、CelebA-HQ和LSUN-bedroom数据集的校正伪影生成的FID评分。工件类型进行一致的评估。每项标准的详细描述见附录1.2。每个数据集的500个伪影校正结果由两个评价过程构成：（1）从顺序校正中重新标记校正代，(2) 评估每个预定义伪影类型的改善（改善/未改善）。我们为每个人设定标准，在表3中进行了总结。对于CelebA-HQ数据集，我们可以发现通过应用我们的方法获得的500个校正样本中有53%的伪影标记世代被重新标记为正常。虽然47%的仍然包含文物，CelebA-HQLSUN-卧室LSUN-教堂7939n=5%，λ =0.9(a) 各种终止层的定量结果表3：校正伪影代括号中的数字表示评分者的标准差。97%的总伪影生成在伪影区域或生成质量方面有显著改进。其他两个数据集的结果显示了类似的模式，几乎一半的伪影生成都是cor。查询第1层第1：2层第1：3层第1：4层第1层：5并且视觉质量大部分得到改善。5.4. 泛化虽然所提出的方法是在具有传统结构的生成器上执行的，但是可以将具有微小修改的相同方法推广到最新的最先进的生成器，例如StyleGAN 2 [14]或U- net GAN[20]，其是BigGAN [4]的变体。由于每个生成器的不同结构（例如，每个生成器在StyleGAN 2中使用不同的卷积核），因此调整所提出的框架以识别全局意义上的缺陷单元是不平凡的。然而，我们可以通过单独地将其与GradCAM掩模进行比较来获得每个单元的相对缺陷分数，以实现顺序校正。图15 b显示了StyleGAN2中的序列校正结果。StyleGAN 2和U-net GAN的更多校正示例见附录3-4。模型伪影校正StyleGAN2117.91113.08U-net GAN145.15143.85表4：FFHQ上StyleGAN 2和U-net GAN的100个伪影代和校正代的FID分数。6. 讨论在本文中，我们提出的顺序校正方法，以提高质量的产生没有额外的训练的发生器。特别是，我们定义了一个缺陷分数，它用监督的方法量化了每个单元和工件生成之间的关系。顺序校正使用通过基于DS的单元识别所选择的单元，并调整随后层中的发电流量。我们表明，所提出的方法实现了合理的校正性能，并建议generalization的各种结构的发电机的机会。虽然我们的方法已经证明可以在人类评估和FID评分方面改善伪影图像，但存在一些情况下，该模型通过模拟来改善图像。(b) 各种停止层的定性结果图15：使用FFHQ的StyleGAN v2的校正结果。我们选择了100个伪影生成，并计算了具有各种停止层的顺序校正L.我们可以确定，当停止层l增加到中间层（l= 6）时，分数得到提高。原始序列C原始序列C图16：使用眼镜或太阳镜的校正图像示例。尽管伪影区域是预期的背景，但是顺序校正同时去除眼镜或太阳镜。使一代人更有成就感。如图16所示，我们可以观察到眼镜/太阳镜被移除，而不是完成缺陷区域。我们怀疑这是由分类器中训练的不受欢迎的特征引起的，这些特征可以在未来的工作中进一步探索。此外，虽然可能的区域几乎没有急剧变化，但我们可以观察到一些情况，这些情况不能保持原始的生成轮廓。例如，图14中的row-2-RHS上的LSUN-church生成显示教堂的原始结构发生了变化，尽管门上不清晰的图案得到了修复。在第6行-RHS celebA-HQ生成案例中，污渍被去除，金发出现，而面部的角度被改变。我们认为这种副作用是顺序校正的限制，因为伪影单位的识别包括样本的平均值。为此，可以考虑将基于整体和基于个体样本的校正相融合以用于未来的工作。鸣谢本研究得到了韩国政府资助的Institute for IITP赠款（编号：2017 -0-01779，XAI和编号：2019 -0-00075，Arti ficial）的智能研究生院计划（KAIST））。FIDR数据集纠正（%）改善（%）CelebA-HQ53.00（4.20）96.00（2.00）LSUN教堂54.50（0.90）86.10（6.30）LSUN-卧室46.80（8.60）95.50（1.10）7940引用[1] 马丁Arjo vsky，SoumithChintala，和Le'onBottou。Wasserstein生成对抗网络在机器学习国际会议上，第214-223页。PMLR，2017年7月。[2] David Bau，Bolei Zhou，Aditya Khosla，Aude Oliva和Antonio Torralba。网络解剖：量化深层视觉表征的可解 释 性 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR）上，2017年7月。[3] David Bau ， Jun-Yan Zhu ， Hendrik Strobelt ， ZhouBolei，Joshua B.威廉·特南鲍姆弗里曼和安东尼奥·托拉 尔 巴 Gan dissection ： Visualizing and understandinggenerative adversarial networks.在2019年国际学习代表会议上[4] 安德鲁·布洛克，杰夫·唐纳休，凯伦·西蒙尼扬。大规模GAN训练用于高逼真度自然图像合成。在2019年国际学习代表会议上[5] 露丝·方和安德里亚·维达尔迪Net2vec：量化和解释深度神经网络中的过滤器如何编码概念在IEEE计算机视觉和模式识别会议（CVPR）上，2018年6月[6] Ian Goodfellow ，Jean Pouget-Abadie ，Mehdi Mirza ，Bing Xu ， David Warde-Farley ， Sherjil Ozair ， AaronCourville ， and Yoonne Bengio. 生成性对抗网。在Z.Ghahra-mani，M.威林角，澳-地科尔特斯N。劳伦斯和K。Q. 温伯格，编辑，神经信息处理系统的进展，第27卷。柯兰联营公司2014年。[7] Ishaan Gulrajani ， Faruk Ahmed ， Martin Arjovsky ，Vincent Dumoulin，and Aaron C Courville.改进瓦瑟斯坦甘斯的训练。在重症居永V. Luxburg，S. 本吉奥，H. 瓦 拉 赫 河 Fergus ， S.Vishwanathan 和 R.Garnett ，Editors ， Advances in Neural Information ProcessingSystems，第30卷。柯兰联营公司2017年。[8] MartinHeusel，HubertRamsauer，ThomasUnterthiner，Bernhard Nessler，and Sepp Hochreiter.通过两个时间尺度更新规则训练的Gans收敛到局部纳什均衡。神经信息处理系统的进展，第6626-6637页，2017年[9] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and AlexeiA Efros.使用条件对抗网络进行图像到图像的翻译。CVPR，2017年。[10] 吉英全，郑海东，崔在植。一个有效的探索性采样，考虑了深度生成神经网络的生成在AAAI人工智能会议集，第34卷，第4288-4295页[11] Andrej Karpathy，Justin Johnson，和Li Fei-Fei。可视化和理解递归网络。arXiv，Jun 2015.[12] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.GAN的逐步增长，以提高质量，稳定性和变化。2018年，参加国际学术[13] Tero Karras Samuli Laine和Timo Aila一种用于生成对抗网络的基于风格的生成器体系结构。在IEEE/CVF计算机视觉和模式识别会议（CVPR），2019年6月[14] 泰罗·卡拉斯、萨穆利·莱恩、米卡·艾塔拉、詹娜·赫尔斯 滕 、 亚科· 莱 赫 蒂宁 和 蒂 莫· 艾 拉 。 分析 和 改 进StyleGAN的图像质量。在Proc. CVPR，2020中。[15] Tumas K yn kaéaénniemi、Tero Karras 、Samuli Laine 、Jaak k oLehtinen和Timo Aila。改进了用于评估生成模型的精确度和召回率指标CoRR，abs/1904.06991，2019。[16] SebastianLapuschkin，Al e xanderBinde r，G re'goireMon-t av on，Klaus-RobertMüller，andWojciechSamek. 人工神经网 络 的 lrp 工 具 箱 。 Journal of Machine LearningResearch，17（114）：1[17] 李悦尊和吕四维。 通过检测面部扭曲伪影来 暴露DeepfakeIEEE 计 算 机 视 觉 和 模 式 识 别 研 讨 会（CVPRW），2019年。[18] 米夏·埃尔·马蒂厄，卡米尔·库普里和扬·勒昆。超越均方误差的深度多尺度视频预测。在Yoonge Bengio和YannLeCun ， 编 辑 ， 第 四 届 国 际 学 习 表 征 会 议 ， ICLR2016，波多黎各圣胡安，2016年5月2日至4日，会议跟踪会议，2016年。[19] Augustus Odena，Vincent Dumoulin，and Chris Olah.反卷积和棋盘式伪影。Distill，1（10）：e3，2016年10月。[20] Edgar Schonfeld，Bernt Schiele，and Anna Khoreva.一种基于u- net的生成对抗网络的学习算法在IEEE/CVF计算机视觉和模式识别集，第8207[21] 兰 普 拉 萨 河 Selvaraju ， Michael Cogswell ， AbhishekDas，Ramakrishna Vedantam，Devi Parikh，and DhruvBa- tra. Grad-cam：通过基于梯度的定位，从深层网络进 行 可 视 化 解 释 。 在 IEEE 计 算 机 视 觉 国 际 会 议（ICCV）的会议记录中，2017年10月。[22] Yujun Shen，Jinjin Gu，Xiaoou Tang，and Bolei Zhou.语义人脸编辑中gans潜在空间的解释在CVPR，2020年。[23] Matthew D. Zeiler和Rob Fergus。可视化和理解卷积网络 。 在 David Fleet 、 Tomas Pa-jdla 、 Bernt Schiele 和Tinne Tuytelaars编辑的《计算机视觉[24] Xu Zhang，Svebor Karaman，and Shih-Fu Chang.感测器假影像中伪影的侦测与模拟2019年IEEE信息取证和安全国际研讨会（WIFS），第1-6页