GAN的对抗性神经结构搜索

5680通过手册设计通过手册设计空间搜索空间搜索鉴别器发生器评估（初始评分等）评估（初始评分等）空间搜索不利NAS：GAN的对抗性神经结构搜索陈高1，2，4，陈云鹏4，刘思3，谭振雄5，闫水成41中国科学2中国科学3北京航空航天大学4依图科技5北京林业大学gaochen@iie.ac.cn，liusi@buaa.edu.cn，yunpeng. yitu-inc.com摘要a) 手动神经网络架构搜索（NAS）旨在实现架构设计过程的自动化，已经取得了很好的效果。更新更新在许多计算机视觉领域产生了重要的影响本文在分析了现有文献的基础上，我们提出了一种专门为生成对抗网络（GANs）量身定制的AdversarialNAS方法，以在无条件图像生成任务上搜索更好的生成模型。AdversarialNAS是第一种方法b) AutoGAN样品通过RNN控制器通过奖励更新通过手册设计可以搜索生成器的体系结构，同时，以可微的方式。 在搜索过程中，所设计的对抗性搜索算法不需要计算任何额外的度量来评估搜索到的网络结构的性能，并且搜索范式考虑了两种网络结构之间的相关性因此，AdversarialNAS非常高效，只需要1个GPU天就可以在提议的大搜索空间中搜索一个高级生成模型（1038）。实验证明了该方法的有效性和优越性 所发现的生成模型将新的最先进的FID评分设置为10。87和高度竞争的Inception得分为8。CIFAR-10上有74个。它的可转移性也通过设置新的最先进的FID分数26来证明。98和Inception评分9 .第九条。STL-10上有63个。代码在：https://github.com/chengaopro/AdversarialNAS.1. 介绍图像生成是计算机视觉领域的一项基本任务。最近，GAN [10]由于其在生成逼真图像方面的卓越性能而备受关注。以前的GAN架构是由人类专家设计的，经过了艰苦的试错测试（图1）。1 a）），并且GAN训练中的不稳定性问题极大地增加了架构设计的难度。因此，GAN中生成模型的架构*通讯作者c) 对抗NAS-GAN样品经由分发样品经由分发通过梯度更新通过梯度更新空间搜索空间搜索鉴别器发生器对抗性损失（AdversarialLoss）对抗性损失（AdversarialLoss）图1.GAN体系结构的不同设计方法的比较a）以前手工制作的GAN架构依赖于人类专家的经验b）AutoGAN [9]采用IS或FID作为奖励，通过强化学习来更新架构控制器。c）所提出的AdversarialNAS以可区分的方式利用对抗搜索机制来搜索架构，从而以更高的效率实现更好的性能。文学的种类很少，可以简单地分为两种：[32]《易经》中的“道”，是“道”的意思。另一方面，专门设计网络架构的好处已经通过识别网络的丢失得到了证明，例如 ResNet [14] ， DenseNet [17] ， MobileNet [34] ，ShuffleNet [46]， EfficientNet [36]和 HR-Net [35]。 因此，需要更多地关注GANs骨干架构的研究，以进一步提高生成模型的性能。神经网络结构搜索（Neural Architecture Search，NAS）由于能够自动发现最优网络结构，大大减少了人工劳动，近年来得到了广泛的研究。然而，在生成任务中，特别是基于GAN的生成，只有AutoGAN [9]和空间搜索固定鉴别器发生器5681AGAN [38]探索了NAS的应用为了设计一种专门为GAN量身定制的NAS算法来执行无条件图像生成任务，存在两个主要挑战。首先，期望在该无监督任务中利用有效的监督信号来引导搜索过程。然而，现有的工作[9，38]都采用InceptionScore（IS）[33]或FID来评估架构性能，并将IS或FID作为奖励，通过强化学习策略来更新架构控制器。获取IS或FID需要生成图像的hun-bits，并使用Inception网络产生的统计数据来计算最终得分。因此，这是非常耗时的，例如，200个GPU超过6天[38]。其次，在搜索过程中需要考虑生成器和搜索器之间的相关性和平衡，因为GAN的训练过程是一个独特的竞争。然而，AutoGAN搜索一个发电机与预定义的增长速度（图。图1b）），其中，可将所述发电机的架构视为固定的，并且可将所述算法限制为搜索发电机的最优架构。在这项工作中，我们提出了一个对抗神经网络，一种架构NAS（AdversarialNAS）方法来解决上述挑战（图）1 c））。首先，我们为脆弱GAN设计了一个大的搜索空间（1038），并将搜索空间放松为连续的。因此，该体系结构可以用一组服从一定概率分布的连续变量来表示，并在可微空间中搜索方式其次，我们提出直接利用现有的搜索引擎来评估在每次搜索迭代的生成器的架构。具体地说，在搜索生成器架构时，该算法提供监督信号来引导搜索方向，在技术上利用该监督信号通过梯度下降来更新生成器的架构分布因此，我们的方法是更有效的，因为额外的计算成本计算评价指标被淘汰。第三，为了考虑生成器和搜索引擎之间的相关性和平衡性，我们建议在搜索过程中同时动态地改变搜索引擎的架构。相应地，我们采用生成器对网络结构进行评估，通过随机梯度的上升计算网络结构更新的损耗这两种架构在不断提高性能的竞争中相互竞争，这本质上是一种对抗性的搜索机制。因此，AdversarialNAS摆脱了计算额外的评估指标，并通过对抗机制解决了无监督任务。它充分考虑了两种体系结构之间的相互平衡，有利于寻找更优的生成模型。总而言之，我们的主要贡献有三方面。• 我们提出了一种新的AdversarialNAS方法，这是GAN领域中第一个基于梯度的NAS方法，以高得多的效率实现最先进的性能我们设计了一个大的架构搜索空间（10- 38）的GAN，并使其可行的搜索。我们的AdversarialNAS在大型搜索空间中搜索最佳架构的任务仅需1 GPU天• 考虑到GAN是两个网络之间的独特竞争，所提出的AdversarialNAS交替搜索它们的架构，一个对抗性的搜索策略，以改善他们的相互平衡，这是专门为GAN量身定制的。• 搜索架构具有更先进的传输能力和可扩展性，同时在CIFAR-10和STL-10数据集上实现最先进的性能。2. 相关工作2.1. 生成对抗网络尽管受限玻尔兹曼机[15]和基于流的生成模型[6]都能够生成自然图像，但GAN [10]由于其令人印象深刻的生成能力，仍然是近年来使用最广泛的方法。基于GAN的方法在各种生成任务中取得了先进的成果，例如图像到图像的转换[18，5，19，48]，文本到图像的转换[43，45]和图像修复[29]。然而，GANs的潜力尚未得到充分探索，因为很少有工作[32]研究架构设计对GANs性能的影响。在这项工作中，我们的目标是寻找一个强大的和有效的网络结构，特别是通过自动化的方式生成模型。2.2. 神经架构搜索自动机器学习（AutoML）是近年来机器学习领域的研究热点，神经结构搜索（NAS）是其中的一个重要研究方向。NAS的目标是自动搜索满足特定需求的有效NAS技术已应用于许多计算机视觉任务，如图像分类[2，25，26，31，49]、密集图像预测[24，47，3]和目标检测[8，30]。NAS的早期工作采用启发式方法，如再激励学习[49]和进化算法[41]。使用这样的方法获得具有显著性能的架构2000 GPU日[41].因此，许多工作设计了各种策略来降低昂贵的成本，包括权重共享[31]，性能预测[1]，渐进方式[25]和一次性机制[26，42]。一次性文献中的DARTS [26]是第一种将搜索空间放松为连续并以可微方式进行搜索的方法。结构参数和网络权值可以同时训练5682通过梯度下降以端到端的方式。因此，它极大地压缩了搜索时间。然而，所有这些方法都是为识别和监督任务而设计的。据我们所知，已经有有限的工作[9]探索将NAS应用于无监督或弱监督任务。在这项工作中，我们提出了GAN领域中第一个基于梯度的NAS方法，并在无监督图像生成任务中实现了最先进的性能和更高的效率2.3. GAN中的NAS最近，一些作品试图将神经架构搜索与GAN结合起来。AutoGAN [9]采用强化学习策略来自动发现生成模型的架构。但是，它只搜索具有固定架构的生成器。这种机制限制了搜索生成器的性能，因为GANs训练的稳定性高度依赖于这两个参与者之间的平衡。此外，搜索空间相对较小（105），因此其随机搜索架构可以获得可接受的结果，例如，FID（越低越好）：21.39（随机）和CIFAR-10数据集中的12.42（检索）。AGAN [38]专门为生成模型扩大了搜索空间所发现的模型的性能稍差，例如，FID：CIFAR-10中的30.5此外，在评估阶段用于更新网络控制器的权重的奖励是初始得分，这不是一个合适的监督单，以指导架构搜索，因为它是耗时的。相反，我们以可区分的方式搜索架构，并放弃评估阶段。先前方法的回报是在长时间的训练和评估过程之后获得的，而我们用于指导搜索方向的信号（损失）在每次迭代中立即给出。因此，我们的方法更有效。所设计的对抗式搜索算法提高了两者的相互平衡性稳定和优化搜索过程的网络。3. 方法在本节中，我们首先介绍GAN的搜索空间以及将其放松为连续的方法然后我们描述了AdversarialNAS方法。3.1. 搜索GAN空间所提出的AdversarialNAS的目标是通过对抗搜索方式自动搜索生成模型的最优架构具体来说，我们的目标是寻找一系列的细胞，包括上行细胞和下行细胞，作为构建块，以构建GAN的最终体系结构。三个上电池和四个下电池分别堆叠形成发电机和发电机。由于卷积神经网络具有自然的分层结构，每一层都有独特的功能，因此我们搜索具有不同架构的细胞。我们将细胞表示为由N个节点的有序序列组成的有向无环图（DAG）（图1）。2）。该单元将图像特征作为输入并输出处理后的特征，其中DAG中的每个节点xi表示中间特征，并且两个节点xi，x j之间的每个边缘fi，j是特定操作。由于我们的目标是搜索实际上是上采样网络的生成器的最佳架构，因此我们为几乎完全连接的拓扑结构的特定上单元设计了搜索空间，如图1的左侧所示二、上行信元由4个节点组成，每个节点可以由其前一个节点通过搜索算法从候选集合中选择一个操作来获得。生成器FG的搜索空间包括正常操作的候选集合，其设计如下。• 无·身份• 卷积1x1，扩张=1• 卷积3x3，膨胀=1· 卷积3x3，扩张=2• 卷积5x5，膨胀=1· 卷积5x5，扩张=2“无”意味着“标识”表示提供多尺度特征的跳过连接操作。这些操作的步长为1，因此它们将保持空间分辨率。生成器的搜索空间还包含上采样操作的子集，其设计如下。• 转置卷积3x3• 最近邻插值· 双线性插值注意，这些操作只能通过特定上单元中的边0→1和0→2来搜索为了以对抗的方式搜索生成器，我们简单地将上单元反转以形成下单元（如图3的右侧所示）。（2）保持平衡。搜索空间还包含正常操作的候选集合，其与Up-Cell的正常操作的候选集合相同。然而，下采样操作的候选集合通过以下方式实现：• 平均池化（Average Pooling） 最大池化• 卷积3x3，膨胀=1· 卷积3x3，扩张=2• 卷积5x5，膨胀=1· 卷积5x5，扩张=2在步幅等于2的情况下，下采样操作只能在边缘2→4和3→4中搜索。因此，在搜索过程中，GAN总共有1038种不同的网络架构。3.2. 建筑的不断放松搜索算法的目标是从预定义的候选集合中为每个边缘选择特定的操作。因此，第n个单元中的中间节点xn，j可以通过所选择的函数及其previ来计算n，j=i jfn，i，j（xn，i）.对于RL-5683n，i，jn，i，jn，i，jexp（αf′）exp（βf′）n，i，jn，i，jDFΣFzGD基于NAS算法，根据可学习的结构控制器，从候选集合中直接采样函数fn，i，j受基于代理的NAS al-出租m[26]的启发，我们通过Gumbel-Max技巧[27]将函数fn，i，jΣfsoft（x）= 0exp（（pf+of）/τ）f（x），n，i，jf∈FGf′∈FG exp（（pf′+of′）/τ）（一）其中of是从Gumbel （0，1）分布采样的噪声，τ是softmax温度。pf是在第n个单元的边i → j中选择特定函数f的概率。Gumbel版本softmax应用于更严格地遵循学习的概率分布。因此，每个边缘将包含概率向量[pf1， ...，pfm]，m=|FG|. 这是一个很大的概率-通过一个简单的softmax函数计算出pf=0exp（α），其中α是可学习的参数-f∈FG彼得。 因此，搜索体系结构的目标是转换为学习每个边的概率向量的最佳集合，并且可以从所学习的概率分布导出架构。此外，为了动态地同时改变系统的结构，我们还引入了一组连续的参数β来计算每个函数的概率。如qf=exp（β）-是的因此，软版本f∈FD图2.上小区和下小区的搜索空间。上行小区和下行小区的架构将以对抗的方式不断算法是通过计算和最小化验证损失Lval（wval，α）来发现最优架构αval，其中wval是当前架构α的最优权重，并且通过计算和最小化训练来获得。ing lossLtrain（w，α）.权重和架构都通过提升其梯度下降来优化。然而，在无条件图像生成任务中，没有标签来监督搜索过程。AutoGAN [9]和AGAN [38]应用IS来评估体系结构的性能，并通过RL策略来优化体系结构计算IS需要生成数百个图像，并采用Inception模型，在每个离散archi的长时间训练轨迹后离线推断结果。的功能可以实现像发电机一样的结构，这是非常耗时的。所以我们Σfsoft（x）= 0exp（（qf+of）/τ）f（x）。提出使生成器和判别器的体系结构相互竞争，以提高它们的性能。n，i，jf∈FDf′∈FD exp（（qf′+of′）/τ）（二）即，利用搜索引擎来引导生成器搜索，反之亦然。AdversarialNAS利用了一个广告-然后，所提出的AdversarialNAS旨在以可微的方式学习一组连续参数α和β，并通过简单地保留搜索空间中最可能的操作来获得生成器的最终架构请注意，我们将所有操作都由架构参数软组合的网络称为Super-G和Super-G。D. 网络的拓扑结构将由sarial优化策略的灵感来自公式-原始GAN的作用[10]以可区分的方式优化架构。因此，优化过程被定义为一个两人的最小-最大博弈的价值函数V（α，β），其中每个网络的权重必须是当前最 优 的 。 公 式 中 给 出 了 所 引 入 的 算 法 的 公 式 。（四）：学习了高概率的最小值最大值V（α，β）=E[logD（x |β，W（β）]Tity3.3. 对抗架构搜索在介绍所提出的AdversarialNAS的优化策略之前，我们首先简要地回顾了αβxβp数据（x）D+Ezp（z）[log（1 − D（G（z |α，W（α））|β，W（β））]S.T.分类文献中的作用。搜索过程被公式化为双层优化问题：W（β）=arg maxExpWD（β）数据 （x）[logD（x| β，WD（β）]+Ez（z）|β，WD（β））]minαLval（w（α），α）（三）zW（α）=argminEDβ[log（1−D）（G（α|W（α））]，S.T.w（α）= argmin LW火车（w，α），GW0输入0………没有一3×3…输出Conv …5×512…1（$，3对抗性搜索#$F，jFI输入…2 3………4上单元没有一3×3 5×5…输出Conv …4向下单元…………5684DG（α）zpz（z）GαG（四）其中Lval和Ltrain分别表示vali- dation和训练集上的损失函数搜索的目标其中p数据表示真实数据分布，并且pz是先验分布。在上能级阶段，W（β）表示5685GzMMW（α）表示特定结构β下的生成器的最优权值。 在低级阶段，两个最优权重{W<$（α），W<$（β）}，可以通过上升或下降相应的随机梯度来实现。请注意，更新策略的顺序是每次训练迭代中的架构优先，这保证了用于更新相应的权重。G D一对架构{α，β}可以通过另一个WG和WD之间的最小-最大博弈：使体系结构成为当前最佳。比如说在Alg的第九行中使用的1是具有电流发生器的最佳架构和权重的D_∞最小值最大值V（WG（α），WD（β））=所提出的AdversarialNAS方法可以是即插即用的，WG（α）WD（β）Ex可编程数据（x）[logD（x| β，WD（β）]发挥GAN原有的训练过程，建筑更自然，特别是太-+Ezp（z）[log（1−D（G（z| α，WG（α））|β，WD（β））]。（五）然而，这种内部优化（Eq. 5)很费时间。对于分类任务[26，7，4]中的NAS，内部优化（等式10）可以被称 为 ： 3) 通 常 通 过 一 步 训 练 近 似 为 <$αLval（w<$（α），α） Lval（w−{\displaystyle{\frac{w}{\displaystyle{w}}{\displaystyle{\frac{w}{\displaystyle{\frac{a}{\displaystyle {a}{\displaystyle {受这种技术的启发，给定一对体系结构{α，β}，相应的op-最后的权值{W<$（α），W<$（β）}可以通过单个为GAN而生。4. 实验4.1. 实验装置数据集。在[9，38]之后，我们采用CIFAR-10 [22]和STL-10来评估我们方法的有效性。CIFAR-10包含60，000幅自然图像，其中包括10幅不同的在32×32空间分辨率下，具体来说，我们对抗训练步骤（等式2）5)香草甘斯算法1对抗神经结构搜索的小批量随机梯度下降训练。1：对于训练迭代次数，执行第二章：对于第k步，3.样品 迷你B型手表 的 2m噪声 样品使用其由50，000张图像组成的训练集，无需任何数据增强技术来搜索生成器的最佳架构。我们还应用这个训练集来训练发现的架构。为了进一步评估该体系结构的可移植性，我们还采用了STL-10数据集中的105，000幅图像直接训练z（1），.，z（2 m）噪音之前。搜索架构，无需任何数据增强，4：。2个示例的示例混合与以前的作品进行比较。x（1），…，x（2米）从 房 数据分布实施. 我们使用亚当优化器[21]和铰链训练Super-GAN和Pro的共享权重的损失5：更新Monkeyby的架构，提供用于更新架构的监控信号cendin？g其st随机梯度：具体来说，优化器的超参数用于训练-Σ∇β1mi=1log（xi）+log（1−D（G（zi）设置生成器和CPU的权重β1=0。0，β2=0。9，学习率设置为0.0002。6：通过升序它的stoch一个抽象的梯度：优化器的超参数，优化双方的ar-Σ12mDmi=m+1log（xi）+log（1−D（G（zi）架构设置为β1=0。5，β2=0。9、学习--在重量衰减为0.0001的情况下，填充率为0.0003。 当7：结束八点 。2m噪声样本的 样本小型样本搜索时，两个生成器的批大小均设置为100z（1），.，z（2 m）噪音之前。我们搜索了大约2,500次迭代。9：通过降序更新发生器架构它的stochastic梯度：在训练派生生成器时，我们直接采用[9]在《易经》中，有一种说法是：“君子之道，焉可诬也？”∇α1mi=1log（1 −D（G（zi）这是一个类似于[28]。 批量大小对于发电机，设置为40，对于稳压器，设置为20，10：通过降低其权重来更新发电机的权重stochast igradient.：活泼地 我们训练网络大约500个epoch，Σ中国568612mGmi=m+1log（1 −D（G（zi）优化器的超参数与在寻找。 此外，与所有其他方法一样，我们11：结束此外，两个架构之间的最小-最大博弈具体而言，给定的训练器的当前最佳生成器架构可以通过一步对抗训练来所提出的AdversarialNAS算法如Alg.1，以及每个迭代中的最优架构或权重随机生成50，000张图像，用于计算Incep- tion Score和FID，以评估网络性能。计算成本。建议的AdversarialNAS需要大约12个小时的时间来收敛，以搜索两个NVIDIA RTX 2080Ti GPU上的最佳架构。它只需要1 GPU天就可以在一个大的搜索空间（大约1038）中实现最终的架构，而AutoGAN [9]在一个相当小的搜索空间（大约105）中需要2 GPU天中国5687而AGAN [38]甚至需要1200个GPU天才能在可比的空间中进行搜索请注意，我们直接使用AutoGAN发布的代码在相同的硬件2080Ti GPU上进行搜索，AGAN的搜索时间来自他们的原始论文（在NVIDIA Titan XGPU上运行）。4.2. 与最先进的方法相比在本节中，我们将讨论搜索的架构，并将其性能与最先进的方法（包括手工制作和自动发现的方法）进行比较。为了探索发现的架构的可移植性，我们直接将其应用于另一个数据集，并重新训练其权重以与其他方法进行比较。此外，我们还进一步研究了该体系结构的可扩展性，并证明了其优越性。4.2.1CIFAR-10结果在搜索程序结束时，我们通过挑选具有最大权重α的操作来直接从搜索空间中对体系结构进行采样。在CIFAR-10上搜索到的最佳架构如表1所示。1和一些有价值的意见，可以从这个表。• 搜索生成器更喜欢'双线性'操作的上采样功能，虽然它没有学习的参数。此外，该算法比简单的“最近”操作提供了更精确的扩展特征• 令人惊讶的是，在这种结构中没有扩张的卷积。对于低分辨率图像（32×32），简单地堆叠正常卷积可能已经满足并实现了最佳有效Re。发电机的感应场（ERF）• 我们还可以观察到，更深的单元往往更浅，因为更多的延期浅层细胞具有更多的多尺度特征融合操作，这是通过发现卷积的并行“身份”连接来表示的与先前最先进方法的定量比较见表1。2.从表中我们可以看到，所提出的AdversarialNAS是第一个基于梯度的方法，可以在一个大的搜索空间中搜索，成本负担得起。设计的搜索空间有1038种不同的GAN架构，比Auto- GAN的搜索空间（105此外，所提出的方法仅需要大约1 GPU天来搜索最佳架构，而AGAN [38]在相当的搜索空间下花费1200 GPU天。在CIFAR-10数据集中，我们发现的“AdversarialNAS-GAN”实现了新的最先进的FID评分（10。87、这是一个很大的鼓舞。它还获得表1.在CIFAR-10上，利用所提出的AdversarialNAS算法，在不使用类别标签的情况下搜索最优的生成器结构"初始得分（8. 74±0。07）与最先进的Progressive GAN竞争激烈[20]（8. 80±0。05）和优于AutoGAN [9]（8.55± 0。第10段）。值得注意的是，进步的GAN应用了一个精心设计的亲-渐进式训练策略是耗时的，而我们直接将发现的生成器训练为香草GAN。此外，我们随机生成50个图像，没有樱桃采摘，这是在图中给出。3.这些定性的结果表明，我们的搜索生成器可以创建不同的图像，包含逼真的外观和自然的纹理，而没有任何线索的模型崩溃。图3. CIFAR-10图像是由发现的发生器随机生成的，没有挑选。上单元边缘操作Num决议0 →1双线性14 →80 →2双线性14 →81 →3身份18 →8小区-11 →4Conv3 ×32568 →82 →3没有一−−2 →4Conv3 ×32568 →83 →4身份18 →83 →c2双线性18 →163 →c3最近18 →320 →1双线性18 →160 →2双线性18 →161 →3没有一−−小区-21 →4Conv3 ×325616 →162 →3身份116 →162 →4Conv3 ×325616 →163 →4Conv3 ×325616 →163 →c3最近116 →320 →1最近116 →320 →2双线性116 →321 →3没有一−−细胞-31 →4Conv3 ×325632 →322 →3Conv3 ×325632 →322 →4没有一−−3 →4Conv3 ×325632 →325688方法搜索方法搜索空间搜索成本大小（MB）IS↑onC-10FID↓打开C-10IS↑onS-10FID↓打开S-10DCGAN [32]六、64 ±0。14−−−改进GAN [33]六、86 ±0。06−−−LRGAN [44]7 .第一次会议。17 ±0。17−−−DFM [40]7 .第一次会议。72 ±0。13−8. 51 ±0。13−ProbGAN [13]7 .第一次会议。75二十四岁68. 87 ±0 .01，P<0.05。09四十六岁。74WGAN-GP，ResNet [12]手动−−−7 .第一次会议。86 ±0。07−−−[11]第十一话7 .第一次会议。90 ±0。09−−−[第16话]8. 33 ±0。10二十六岁7−−[37]第三十七话十七岁61−三十六19[20]第二十话8. 80± 0。05−−−改进MMD-GAN [39]8. 29十六岁219 .第九条。23 ±0。08三十七64SN-GAN [28]4.第一章38. 22 ±0。0521岁79 .第九条。16 ±0。12四十1[38]第三十八话RL−120020块18. 29 ±0。09三十59 .第九条。23 ±0。0852岁7[23]第二十三话随机1052−8. 09十七岁34−−AutoGAN [9]RL10524.第一章48. 55 ±0。1012个。429 .第九条。16 ±0。1231岁01[23]第二十三话对抗NAS-GAN随机梯度103810381112个。58. 8六、74 ±0。078. 74 ±0。07三十八岁。3210个。877 .第一次会议。66 ±0。089 .第九条。63± 0。19五十三45二十六岁98表2.与最先进方法的定量比较†表示在AutoGAN的搜索空间中获得的结果，而表示在我们的搜索空间中获得的结果。4.2.2架构的可转移性在AutoGAN [9]和AGAN [38]的设置之后，我们直接将在CIFAR-10上搜索的生成器应用于STL- 10数据集，以评估架构的可移植性。具体来说，我们总共采用了105，000张没有标签的图像来训练这个网络。训练时期的数量与CIFAR-10上的相同，我们还随机生成50，000张图像用于计算Incep- tion Score和FID。我们改变输入噪声的分辨率，6×6用于生成48×48大小的图像，与AutoGAN和AGAN一样。定量结果见表。二、我们可以观察到，我们的网络在CIFAR上没有过拟合10个数据集，具有较强的泛化能力。具体来说，它实现了最先进的初始得分（9。63）和FID（26. 98）在STL-10上，这远远优于所有手工制作和自动发现的方法。定性结果也在图中给出4、证明自己的能力生成多样化和逼真的图像。4.2.3架构的可扩展性5689在本节中，我们将进一步探索CIFAR-10数据集上发现的架构的可伸缩性。我们将我们搜索的生成器与两个代表性作品进行比较，手动设计的SNGAN [28]和自动发现的AutoGAN[9]。我们通过通道尺寸将这些生成器的参数大小从1MB扩展到25 MB，这是一个很大的范围。请注意，对于一个公平的com-bytes，我们使用相同的具有固定大小的com-bytes，图4.STL-10图像是由CIFAR-10上发现的生成器随机生成的，没有所有实验都观察发电机容量变化的影响。定性比较如图所示。图5和图6。两个图中的X轴表示特定发生器的参数大小（MB）图中的y轴是IS5，在图中是FID六、这些实验表明，我们搜索的架构是更稳定的，几乎不受影响时，缩放模型的大小。当大小被极度压缩到只有1MB时，SNGAN和AutoGAN都遭受性能下降的灾难，而“AdversarialNAS-GAN”的性能值得注意的是，当扩大发电机尺寸时，性能将持续下降，因为扩大的发电机将不再与固定尺寸的发电机平衡。然而，两个图。图5和图6表明，我们发现的架构不会受到性能下降的影响，这意味着它更鲁棒，并且对鉴别器具有更好的包容性。5690方法判别器CIFAR-10 STL-10表3.我们使用不同的方法在CIFAR-10上搜索生成模型，并保留这些搜索到的架构的权重，以评估它们在CIFAR-10和STL-10上的性能。4.3. 消融研究为了进一步评估所提出的Ad- versarialNAS的有效性，我们进行了一系列消融研究。首先，我们进行随机搜索策略[23]来搜索生成器，其中我们采用AutoGAN的固定架构搜索到的生成模型的性能如表1所示3.第三章。其次，我们提出了因此，用于更新生成器结构的监督信号来自于识别器的固定结构，并且识别器结构在搜索期间不根据生成器动态地改变。我们分别采用了SNGAN和Au- toGAN的体系结构此外，为了验证我们的搜索空间的影响第三，我们使用所提出的“对抗性NAS”来同时搜寻产生器与入侵者。请注意，所有实验中搜索和训练的时间消耗都被限制为一致。我们的对抗性搜索策略的有效性可以从Tab中的比较中观察到。3.第三章。图5.不同方法的初始得分曲线。图6.不同方法的FID曲线。5. 结论在这项工作中，我们为GAN提出了一个大的搜索空间，并提出了一种新的AdversarialNAS方法来自动搜索更好的生成模型该搜索算法可以直接插入到GAN训练的原始过程中，通过对抗机制以可微的方式搜索生成器的结构，极大地降低了搜索代价。发现的网络在CIFAR-10和STL-10数据集上都达到了最先进的性能，并且它还具有先进的可移植性和可扩展性。此外，我们相信我们的Adversar- ialNAS背后的想法不仅特定于NAS-GAN，而且可能有益于其他潜在领域，其中存在需要相互影响的多个网络架构，例如网络架构蒸馏，修剪和相互学习。鸣 谢 本 工 作 得 到 国 家 自 然 科 学 基 金 （ 61572493 ，61876177 ） 、 北 京 市 自 然 科 学 基 金 （ L182013 ，4202034）和中央高校基础研究基金的部分资助。本工作也由浙江实验室（编号2019KD0AB04）资助。架构类型IS↑FID↓IS↑FID↓随机搜索固定AutoGAN-D六、74 ±0。13三十八岁。327 .第一次会议。66 ±0。11五十三45SingalNAS固定SNGAN-D7 .第一次会议。72 ±0。03二十七岁79六、56 ±0。1284. 195691引用[1] Andrew Brock、Theodore Lim、James Millar Ritchie和Nicholas J Weston。Smash：通过超网络进行一次性模型架构搜索。在ICLR，2018年。[2] 韩才、朱立庚、宋涵。Proxylessnas：在目标任务和硬件上直接进行神经结构搜索。arXiv预印本arXiv：1812.00332，2018。[3] 陈良杰、麦克斯韦·柯林斯、朱玉坤、乔治·帕潘德里欧、巴雷特·佐夫、弗洛里安·施洛夫、哈特维格·亚当和乔恩·施伦斯。寻找用于密集图像预测的高效多尺度架构。在NIPS，2018年。[4] 辰昕、邪灵犀、君无邪、齐天。 渐进式差异化体系结构搜索：缩小搜索和评价之间的深度差距。arXiv预印本arXiv：1904.12760，2019。[5] Yunjey Choi，Minje Choi，Munyoung Kim，Jung-WooHa，Sunghun Kim，and Jaegul Choo. Stargan：用于多域图像到图像翻译的统一生成对抗网络。在CVPR，2018年。[6] Laurent Dinh ， David Krueger ， and Yoshua Bengio.Nice ： 非 线 性 独 立 分 量 估 计 。 arXiv预 印 本 arXiv ：1410.8516，2014。[7] 董轩逸和杨毅。通过自评估模板网络进行一次性神经结构搜索。在ICCV，2019年。[8] Golnaz Ghiasi ， Tsung-Yi Lin ， and Quoc V Le. Nas-fpn：学习可扩展的特征金字塔体系结构，用于对象检测。在CVPR，2019年。[9] Xinyu Gong，Shiyu Chang，Yifan Jiang，and ZhangyangWang. Autogan：生成对抗网络的神经架构搜索。在ICCV，2019年。[10] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。在NIPS，2014。[11] 吉列尔莫湖Grinblat，Lucas C. Uzal和Pablo M.格拉尼托类分裂生成对抗网络。ArXiv，abs/1709.07359，2017年。[12] Ishaan Gulrajani ， Faruk Ahmed ， Mart´ın Arjovsky ，Vincent Dumoulin，and Aaron C.考维尔改进的瓦瑟斯坦甘斯训练。在NIPS，2017年。[13] Hao He ， Hao Wang ， Guang-He Lee ， and YonglongTian. Probgan：Towards probabilistic gan with theoreticalguarantees.2019年，在ICLR[14] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。[15] Geoffrey E Hinton和Ruslan R Salakhutdinov.用神经网络降低数据的维数。science，313（5786）：504[16] Quan Hoang、Tu Dinh Nguyen、Trung Le和Dinh Q.冯用多个生成器训练生成对抗网络在ICLR，2018年。[17] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，andKilian Q Weinberger.密集连接的卷积网络。在CVPR，2017年。[18] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。在CVPR，2017年。5692[19] Wentao Jiang，Si Liu ，Chen Gao ，Jie Cao ，RanHe，Jiashi Feng，and Shuicheng Yan. Psgan：姿势和表情强大的空间感知gan，可定制化妆转移。arXiv预印本arXiv：1909.06956，2019。[20] Tero Karras，Timo Aila，Samuli Laine，and JaakkoLehtinen.为提高质量、稳定性和变异性而进行的干细胞生长。arXiv预印本arXiv：1710.10196，2017。[21] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[22] Alex Krizhevsky，Geoffrey Hinton，等.从微小的图像中学习多层特征。技术报告，Cite- seer，2009年。[23] Liam Li和Ameet Talwalkar神经结构搜索的随机搜索和再生产。arXiv预印本arXiv：1902.07638，2019。[24] Chenxi Liu ， Liang-Chieh Chen ，Florian Schroff ，Hartwig Adam ，Wei Hua，Alan L Yuille，and LiFei-Fei.自动deeplab：用于语义图像分割的分层神经结构搜索。在CVPR中，第82-92页[25] Chenxi L