没有合适的资源?快使用搜索试试~ 我知道了~
3224AutoGAN:用于生成对抗网络的神经结构搜索龚新宇1常世玉2江一凡1王张洋11德州农工大学计算机科学工程系2麻省理工学院-IBM沃森人工智能实验室{龚晓义,yifanjiang 97,atlaswang}@ tamu.edushiyu. ibm.com摘要神经结构搜索(NAS)在图像分类和(最近)分割任务中取得在本文中,我们提出了将NAS算法引入生成 对 抗 网 络 ( GAN ) 的 第 一 个 初 步 研 究 , 称 为AutoGAN。NAS和GAN的结合面临着独特的挑战。我们为生成器架构变量定义搜索空间,并使用RNN控制器来指导搜索,采用初始评分作为奖励,并引入多级搜 索 策 略 ,以 渐 进 的 方 式 执 行 NAS 。 实 验 验 证了AutoGAN在无条件图像生成任务中的有效性。具体来说,与当前最先进的手工制作的GAN相比,我们发现的架构实现了极具竞争力的性能,例如,分别在CIFAR-10和STL-10上设置了12.42和31.01的新的最先进的FID分数最后,我们还讨论了AutoGAN当前的局限性和未来的潜力。该代码可在https://github.com/TAMU-VITA/AutoGAN 获取。1. 介绍生成对抗网络(GANs)自其起源以来一直他们最显着的成就之一在于使用各种卷积架构生成逼真的自然图像[47,5,61,26,13,67]。为了提高生成图像的质量,已经提出了许多努力,包括修改判别器损失函数[3,68],强制执行正则化项[6,13,42,5],引入注意力机制[61,64]以及采用渐进式训练[26]。然而,GAN的主干架构设计受到的关注相对较少,并且通常被认为是GAN性能的不太重要的因素[39,32]。大多数早期的GAN坚持相对较浅的生成器和鉴别器架构,主要是这是因为GAN训练的不稳定性。最近,一些最先进的GAN [13,42,64,5]采用了深度残差网络生成器主干,以更好地生成高分辨率图像。在大多数其他计算机视觉任务中,许多进展来自网络架构的改进设计,例如图像分类[15,16,52,51,35],分割[8,9,49]和姿态估计[43]。因此,我们主张增强的主干设计对于进一步改进GAN也很重要。近年来,人们对自动设计复杂的神经网络体系结构的兴趣日益高涨。神经架构搜索(NAS)已成功地在图像分类任务上进行了发现的架构优于人类设计的模型。然而,天真地将现有NAS思想从图像分类/分割移植到GAN将不起作用。首先,即使是手工设计的架构,GAN的训练也是众所周知的不稳定,容易崩溃[50]。在训练过程中混入NAS作为另一个重要的挑战,虽然验证准确性是NAS在图像分类中的自然奖励选项,但选择一个好的度量来评估和指导GAN搜索过程并不那么简单。本文提出了一种专门为GAN定制的架构搜索方案,称为AutoGAN。据我们所知,AutoGAN描述了将NAS与GAN相结合的第一次尝试,并且属于将NAS扩展到图像分类之外的第一次尝试之一。我们的技术创新总结如下:• 我们定义搜索空间来捕获GAN架构的变化。最重要的是,我们使用RNN控制器[71]来指导架构搜索。在文献[46]中参数共享策略的基础上,我们进一步引入了参数动态重置策略,以提高训练速度。• 我们使用Inception score(IS)[50]作为奖励,在基于强化学习的Au-toGAN优化中。发现的模型也显示3225在其他GAN度量下的良好性能,例如,Frchet起始距离(FID)[50]。• 我 们 进 一 步 将 多 级 架 构 搜 索 ( MLAS ) 引 入AutoGAN , 这 是 由 渐 进 式 GAN 训 练 所 激 发 的[26]。MLAS以自下而上的顺序方式在多个阶段中执行搜索[37]。我们进行了各种实验来验证AutoGAN的有效性。我们发现的架构产生了非常有前途的结果,比目前手工设计的GAN更好或可与之媲美。在CIFAR-10数据集上,AutoGAN 获 得 的 Inception 评 分 为 8.55 , FID 评 分 为12.42。此外,我们发现,CIFAR-10上发现的架构甚至在STL-10图像生成任务上具有竞争力,初始得分为9.16,FID得分为31.01在两个数据集上,AutoGAN建立了新的最先进的FID评分。我们的许多实验发现与以前的GAN制作经验一致,并为GAN发电机设计提供了新的见解。2. 相关工作2.1. 神经架构搜索神经架构搜索(NAS)算法旨在找到一个最优的神经网络架构,而不是使用手工制作的一个特定任务。NAS上的先前工作在图像分类任务上取得了巨大成功最近的工作进一步将NAS算法扩展到密集和结构化预测[7,36]。值得一提的是,NAS也适用于CNN压缩和加速[17]。然而,没有任何NAS算法开发生成模型。NAS算法由三个关键组件组成:搜索空间、优化算法和代理任务。对于搜索空间,通常存在两种类别:直接搜索整个架构(宏搜索),或搜索单元并以预定义的方式堆叠它们(微搜索)。对于优化算法,流行的选择包括强化学习[4,71,69,72],进化算法[60],贝叶斯优化[24],随机搜索[7]和基于梯度的优化方法[38,1]。对于代理任务,它被设计为在训练期间有效地示例包括提前停止[7,72],使用低分辨率图像[57,10,29],使用代理模型[37]进行性能预测,采用小骨干[7]或利用共享参数[46]。大多数NAS算法[71,46]通过控制器的一次通过最近的工作[37]在图像分类任务中使用波束搜索将架构搜索将从一个较小的单元,并保留最佳性能候选。下一轮搜索将基于它们继续为更大的细胞。2.2. 生成对抗网络一个GAN有一个生成器网络和一个判别器网络,它们彼此进行最小-最大两人游戏。它在许多生成和合成任务中取得了巨大的成功,例如文本到图像的翻译[66,65,61,48],图像到图像的翻译[22,70,63],和图像增强[33,31,23]。然而,GAN的训练通常被发现是高度不稳定的[50],并且通常遭受非收敛、模式崩溃和对超参数的敏感性。许多努力都致力于缓解这些 问题, 例如Wasser-stein 损失 [3],频 谱归一 化[42],渐进式训练[26]和自我注意力块[64],仅举几例。3. 技术途径一个GAN由两个竞争的网络组成:一个生成器和一个节点。众所周知,这两个architec-tures在他们的学习能力微妙的平衡因此,要构建AutoGAN,第一个问题是:如何在GAN中一起构建两个网络(生成器和判别器,在下文中表示为G和D)?一方面,如果我们使用预先固定的D(或G)并且只搜索G(或D),则很容易导致D或G的幂之间的不平衡[18,2](特别是在NAS的早期阶段),导致更新缓慢或学习琐碎。另一方面,虽然可能联合搜索G和D,但经验实验观察到这种双向NAS将进一步恶化原始不稳定的GAN训练,导致高度振荡的训练曲线和经常的收敛失败。作为权衡,我们建议使用NAS仅搜索G的架构,而随着G变得更深而增长D增加D的细节将在补充中更多地解释。基于此,AutoGAN遵循[71]的基本思想,使用递归神经网络(RNN)控制器从其搜索空间中选择块,以构建G网络。基本方案如图1所示。我们进行了多方面的创新,以应对培训GANs的具体任务所带来的独特挑战。接下来我们从三个关键方面介绍Au- toGAN:搜索空间、代理任务和优化算法。3.1. 搜索空间AutoGAN基于多级架构搜索策略,其中生成器由多个单元组成。这里我们使用(s+5)个元素元组(skip1,… 跳过s,C,N,U,SC)来对第s个小区进行分类,3226...第0单元第1图1:RNN控制器的运行方案在每个时间步,控制器输出要解码成操作的隐藏向量请注意,使用MLAS,我们使用不同的控制器来搜索每个单元。一旦一个小区的搜索过程完成,控制器就对M个候选架构进行采样,然后从中挑选前K个。前K个架构其中s是从0开始的单元索引(第0个单元跳过0连接):• skip i是指示当前第s个单元是否将来自第(i-1)个单 元 的 跳 过 连 接 作 为 其 输 入 的 二 进 制 值 ,i=1,...,S.注意,每个单元可以从其他先前单元中获取多个跳过连接。• C是基本的卷积块类型,包括激活前[16]和激活后卷积块。• N代表该块的归一化类型,包括三个选项:批处理归一化[21]、实例归一化[55]和无归一化。• U代表当前图像生成GAN中标准的上采样操作,包括双线性上采样、最近邻上采样和步幅2反卷积。• SC是指示单元内快捷方式的二进制值。图2示出了AutoGAN生成器搜索空间。上采样操作U还将确定跳过特征图的上采样方法。图2:AutoGAN中生成器单元的搜索空间3.2. 代理任务初始得分(IS)[50]和FID得分[18]是GAN的两个主要评估指标由于FID评分的计算耗时得多,因此我们选择每个衍生子模型的IS作为通过强化学习更新控制器的奖励。参数共享[40,73]示出有效地提高NAS的效率[46]。在[46]中的参数共享的基础上,我们进一步引入了AutoGAN参数动态重置策略已经观察到GAN的训练变得不稳定并且在长时间训练之后经历模式崩溃[5]。继续训练共享崩溃模型可能是浪费时间。经验上,我们观察到的训练损失(铰链损失)的方差通常变得非常小时,模式崩溃发生。基于这一观察,我们设置了一个移动窗口来存储生成器和存储器的最新训练损失值。一旦那些存储的训练损失的标准偏差小于预定义阈值,则当前迭代的共享GAN的训练将终止。在当前迭代更新控制器后,共享GAN模型的参数将被重新初始化请注意,我们没有重新初始化RNN控制器的参数,因此它可以继续通过继承历史知识来指导架构搜索。通过动态复位,搜索过程变得更加高效。3.3. 优化方法AutoGAN中有两组参数:RNN控制器的参数(表示为θ);以及搜索的生成器和对应的鉴别器中的共享GAN参数(表示为ω)。在Algo中简要概述了训练过程。1,作为两个阶段之间的交替过程。第一阶段将训练共享GAN的ω用于几个时期,其中θ固定。对于的每个训练迭代ConvBlock规范上采样快捷连接Skip连接ConvBlock规范上采样快捷连接控制器0控制器0控制器0控制器0顶部K控制器1控制器1控制器1控制器1控制器1顶部KConvBlock规范上采样快捷连接Skip连接ConvBlock规范上采样NSC先前单元格最 后一个单元skipUC上采样ConvBlockw/onormalizationConvBlockw/onormalization3227在共享GAN训练过程中,候选架构将由RNN控制器采样。一旦记录的训练损失的标准偏差下降到阈值以下,则动态重置FLAGFDR将被设置为True,并且共享GAN的训练过程将立即终止。注意,共享GAN将不会被重新初始化,直到控制器在当前时期的训练第二阶段在ω固定的情况下训练θ:控制器将首先对共享生成器的K个子模型进行他们的IS将被计算为奖励。RNN控制器将通过具有移动平均基线的强化学习来更新。在训练u级迭代之后,将从所导出的架构中挑选前K个同时,初始化一个新的控制器,进行下一阶段的体系结构搜索。算法1:用于AutoGAN搜索的伪码return0;return0;MLAS使用波束搜索[37]以自下而上的单元方式进行搜索。当搜索下一个小区时,我们将使用不同的控制器,从当前候选小区中选择前K个波束,并基于它们开始下一轮搜索。3.3.2培训控制器在该阶段中,我们固定ω并且更新控制器的策略参数θ。我们将奖励R(a,ω)定义为采样子模型a的IS。RNN控制器使用Adam优化器[28]通过REINFORCE [59]更新,具有移动平均基线。此外,我们还加入了熵项来鼓励探索。我们使用LSTM [20]控制器。对于每个时间步,LSTM将输出一个隐藏向量,该隐藏向量将由其对应的softmax分类器解码和分类。LSTM控制器以自回归的方式工作,其中最后一步的输出将被馈送到下一步。的FDR =False;GAN的每个单元的操作时间步长的输出。 具体来说,一个新的控制器将而ITER90<序列(发生器、鉴别器、FDR);train(control);如果iters%u阶段==0则保存前K个架构;generator=grow(generator);grab=grow(grab);controller=new(controller);stage+= 1;端如果FDR==True,则// dynamic resetinitialize(generator);initialize(discriminator);FDR=False;端intcount = 1;端3.3.1训练共享GAN在此阶段,我们通过标准GAN训练来固定RNN控制器具体来说,我们使用铰链对抗损失[42,5,53,64]进行交替训练:LD=Exqdata[min(0,−1+D(x)]+(一)Ezp(z)[min(0,−1−D(G(z))],LG=Ezp(z)[min(0,D(G(z))],(2)我 们 进 一 步 将 多 级 架 构 搜 索 ( MLAS ) 引 入AutoGAN,其中生成器(以及相应的搜索引擎)将逐步增长。在向现有模型添加新单元时初始化,以增加输出图像分辨率。将保存先前的前K个模型它们的隐藏向量将被馈送到新的3.3.3架构衍生我们将首先从学习到的策略π(a,θ)中采样几个生成器架构。然后,将为每个模型计算奖励R(初始评分)。然后,我们将根据最高奖励选择前K个模型,并从头开始训练它们。之后,我们再次评估它们的Inception分数,具有最高Inception分数的模型是我们最终派生的生成器架构。4. 实验在本文中,我们采用CIFAR-10 [29]作为AutoGAN的主要测试平台。它由50,000张训练图像和10,000张测试图像组成,每张图像的分辨率为32×32我们使用训练集来训练AutoGAN,而不需要任何数据增强。我们还采用STL-10数据集来显示AutoGAN发现的架构的可移植性。在使用STL-10进行训练时,我们采用了5,000幅图像训练集和100,000幅图像未标记集。所有图像的大小调整为48 ×48,没有任何其他数据增强。训练细节在训练共享GAN时,我们遵循频谱归一化GAN [42]的训练设置。生成器和鉴别器的学习速率都设置为2e−4,使用铰链损失、Adam优化器[28]、3228批次大小为64(用于发生器)和128(用于发生器)。光谱归一化仅在反射器上实施。 我们使用Adam [28]训练我们的控制器,学习率为3。5e−4。我们还将控制器输出概率的熵添加AutoGAN搜索90次迭代。对于每次迭代,共享GAN将被训练15个时期,并且控制器将被训练30个步骤。我们将动态重置方差阈值设置为1 e-3。我们使用与共享GAN,用于50,000次生成器迭代。4.1. 关于CIFAR 10图3:AutoGAN在CIFAR-10上发现的AutoGAN(生成器)架构。AutoGAN在CIFAR-10训练集上发现的生成器架构如图所示。3.对于无条件CIFAR-10图像生成任务(不使用类别标签),可以总结一些值得注意的观察结果:• 所发现的架构具有3个卷积块。AutoGAN显然更喜欢激活前卷积块,而不是激活后卷积块。• AutoGAN非常喜欢最近邻上采样(也是双线性上采样),而不是去卷积。这似乎与先前的经验[45]一致,即去卷积可能会产生棋盘伪影,因此最近的邻居可能更受欢迎。• 有趣的是,AutoGAN似乎不喜欢使用任何标准化。• AutoGAN显然支持(更密集的)跳过连接。特别是 ,它 能 够发 现 中长 跳 跃( 跳 过2 - 4 个 卷积层),实现多尺度特征融合。我们将AutoGAN与最近发表的CIFAR-10数据集上手工制作的GAN结果进行了比较,如表2所示。所有结果均来自原始论文:因此,它们是在其手动调整的、最佳可能的训练设置下获得的。在初始得分方面,AutoGAN略低于Progressive GAN [26],并超过了许多最新的强大竞争对手,如SN-GAN [42],改进的MMD-GAN [56],Dist-GAN [54],MGAN [19],WGAN-GP [13].在FID方面,AutoGAN优于目前所有最先进的模型。CIFAR-10生成的结果的可视化示例如图1B所示。4.第一章注 意 , AutoGAN的 当 前 搜 索 空 间 只 能 覆 盖 SN-GAN , 而 不 能 覆 盖 其 他 ; 例 如 , WGAN-GP 使 用Wasserstein损失(具有梯度裁剪),并且MGAN采用多鉴别器结构(而我们的鉴别器非常简单并且不被搜索)。通过使用同一组构建块,AutoGAN能够超越手工制作的SN-GAN:公平的比较这两个方面的重要性都有直接的证据。tor结构和我们的搜索算法的有效性。虽然尚未配备任何显式模型复杂度正则化,但AutoGAN展示了NAS的预期模型参数效率。图1B中的顶部发现的架构。3具有2.16G FLOPs,而其性能明显优于SN-GAN(1.69GFLOPs),与Progressive GAN(6.39G FLOPs)相当。我们还在选项卡底部报告了候选的前2名和前3名发现的架构的Inception得分和FID得分。2.其相应的架构如图所示。5.我们可以看到,我们发现的所有前3个架构都实现了与当前最先进模型相竞争的性能激活前ConvBlock没有标准化双线性上采样激活前ConvBlock没有标准化激活前ConvBlock没有标准化最近的上采样激活前ConvBlock没有标准化转RGB激活前ConvBlock没有标准化激活前ConvBlock没有标准化最近的上采样线性3229表1:CIFAR-10上无条件图像生成任务我们达到了12.42方法初始分数FIDDCGAN[47]六、64 ±。14-改进GAN[50]六、86 ±。06-LRGAN [62]7 .第一次会议。17 ±。17-DFM[58]7 .第一次会议。72 ±。13-ProbGAN[14]7.7524.60WGAN-GP,ResNet [13]7 .第一次会议。86 ±。07-[12]第十二话7 .第一次会议。90 ±。09-SN-GAN [42]8. 22 ±。0521岁7 ±。01MGAN[19]8. 33 ±。1026.7[54]第五十四话-十七岁61±。30[26]第二十六话8.80±.05-改进MMD GAN [56]8.2916.21AutoGAN-top1(我们的)8. 55 ±。1012.42AutoGAN-top28. 42 ±。07十三岁67AutoGAN-top38. 41 ±。11十三岁87图4:AutoGAN生成的CIFAR-10结果。它们是随机抽样的,而不是精心挑选的。4.2. STL 10的可转移性我们要回答的下一个问题是:发现的架构是否会过拟合数据集?换句话说,当我们使用另一个数据集来重新训练它的权重时(在架构结构固定的情况下),相同的架构是否仍然强大?为了解决这个问题,我们在CIFAR-10上采用AutoGAN发现的架构,并在STL-10训练集和未标记集上重新训练其权重,用于STL-10上的无条件图像生成任务。请注意,STL-10的图像分辨率高于CIFAR-10。3230Top2体系结构Top3体系结构图5:发现的前2个和前3个体系结构。我们在表2中比较了最近发表的在STL-10数据集上手工制作的GAN的结果。我们的结果令人惊讶地鼓舞人心:虽然Auto-GAN在初始分数方面略微落后于改进的MMD-GAN,但它实现了所有中最好的FID结果31.01。STL-10生成结果的可视化示例如图所示。4.我们希望实现甚至超perior的结果STL-10,如果我们重新执行架构搜索从头开始,并把它留给未来的工作。表2:在STL-10上无条件生成图像的初始评分和FID评分。AutoGAN使用CIFAR-10上发现的架构。方法初始分数FIDD2GAN [44]7 .第一次会议。98-DFM [58]8. 51 ±。13-ProbGAN[14]8. 87 ±。095四十六岁。74SN-GAN [42]9 .第九条。10±。04四十1 ±。50[54]第五十四话-36.19改进MMD GAN [56]9.3437.63AutoGAN(我们的)9 .第九条。16±。1231.014.3. 消融研究和分析4.3.1验证代理任务我们的方法的代理任务是直接在共享GAN的子模型上评估IS,这大大提高了训练速度。为了验证激活前ConvBlock没有标准化最近的上采样激活前ConvBlock没有标准化激活前ConvBlock没有标准化最近的上采样激活前ConvBlock没有标准化转RGB激活前ConvBlock没有标准化激活前ConvBlock没有标准化最近的上采样线性激活前ConvBlock批量定额双线性上采样激活前ConvBlock没有标准化激活前ConvBlock没有标准化最近的上采样激活前ConvBlock没有标准化转RGB激活前ConvBlock没有标准化激活前ConvBlock批量定额最近的上采样线性3231充气质量如果我们使用FID的倒数,而不是IS,作为AutoGAN控制器为了回答这个问题,在CIFAR-10上,我们从头开始搜索另一个模型,使用FID的倒数作为奖励 ( 其 他 一 切 不 变 ) , 并 与 使 用 IS 奖 励 训 练 的AutoGAN进行比较。在搜索过程中,对于这两个模型,我们随着训练的进行定期评估IS和FID值。图8绘制了曲线,从中我们可以看到,虽然两种奖励都可以随着搜索的进行而增加,但在两种指标下,FID驱动的搜索(红色曲线)显示出与IS驱动的搜索(蓝色曲线)相当的性能。然而,计算FID比计算IS更耗时,因为它需要计算大矩阵的协方差和均值。因此,我们选择IS作为AutoGAN的默认奖励。654图6:AutoGAN生成的STL-10结果他们都是随机抽样而不是精心挑选的225020015010050设计的代理任务,我们从头开始训练衍生架构30个时期,并使用AutoGAN评估其IS10 20 40 60 80 100训练迭代00 20 40 60 80 100训练迭代在CFIAR-10上我们绘制了代理任务(Proxy)提供的评估值与真实评估(Real)之间的相关性。7.我们可以观察到彼此之间的正相关性,Spearmans秩相关系数为0.779,表明代理任务提供了真实评估的合理近似值。我们还可以观察到,代理评估倾向于低估Inception得分,因为我们的代理任务中的未完成和共享培训。五、5五、04.第一章54.第一章03 .第三章。53 .第三章。0二、5二、01 .一、51 .一、01 .一、0个1. 52. 0秒2. 5个3.03. 5个 4.04. 5个5.05. 5房图7:CIFAR-10上真实评估和代理任务性能的相关性图。4.3.2与使用FID作为奖励相比除了IS之外,GAN的另一个重要评估指标是FID分数[50]:FID越小,表明生成越好图8:使用IS和FID(reciprocal)作为AutoGAN的奖励之间的比较。具有基于IS的奖励的模型以蓝色绘制,而具有基于FID的奖励的模型以红色绘制。上图显示了随着训练的进行,两个模型4.3.3参数动态复位众所周知,GAN的训练过程是非常不稳定的,并且在长时间训练后容易发生模式崩溃[5]。继续训练共享崩溃模型可能是浪费时间。因此,我们引入参数动态重置来缓解这个问题。为了便于比较,我们在CIFAR- 10上进行了两次AutoGAN实验,采用了[46]中提出的参数共享策略,以及我们提出的动态重置加参数共享策略。我们在这两个培训过程中进行评估。如图9所示,我们可以看到它们实现了相当的性能。然而,动态复位的训练过程仅需43小时,而不动态复位的训练过程将需要72小时。4.3.4多级体系结构搜索我 们 的 AutoGAN 框 架 默 认 采 用 多 级 架 构 搜 索(MLAS)策略。 为了比较,我们在CIFAR上进行了另一个AutoGAN实验-10具有单级架构搜索(SLAS),其中整个架构将通过单个控制器一次导出。我们评估IS并与基于IS基于FID基于IS基于FID初始分数代理3FID32326543210 10 20 30 40 50 60 70 80培训时数图9:AutoGAN与(蓝色)和无(红色)动态重置的比较。动态重置可以提高训练效率,同时实现相当的性能。在MLAS的训练。我们可以看到,SLAS在开始时获得较高的Inception得分,但MLAS的Inception得分逐渐增长,最终超过SLAS。此外,训练SLAS比训练MLAS慢得多,因为生成器输出图像将始终是最终分辨率。图10显示了MLAS的明显和一致的优势6543210 20 40 60 80 100训练迭代图10:AutoGAN与MLAS(蓝线)和SLAS(红线)训练方案的比较。4.3.5与随机搜索我们在[34]中实现了两个随机搜索算法:一个具有权重共享,另一个没有权重共享(早期停止)。我们在CIFAR-10上用这两种算法重新搜索了AutoGAN,并将搜索时间限制结果,所发现的具有权重共享的架构实现IS = 8.09和FID = 17.34,而另一个实现IS = 7.97和FID = 21.39。两者都不如我们提出的搜索算法,并认可其有效性。5. 结论、局限性和讨论AutoGAN 首 次 将 NAS 引 入 GAN 。 它 能 够 识 别CIFAR-10和STL-10数据集上的高效架构,实现与当前最先进的手工GAN模型竞争的图像生成结果。消融研究进一步揭示了每个组件的受益。由于GAN训练本身的高度不稳定性和超参数敏感性,AutoGAN在图像分类方面似乎比NAS更具挑战性回想一下,在AutoML的初始阶段,它只能设计小型神经网络,其性能与人类专家设计的神经网络相当同样,尽管AutoGAN取得了初步的成功和希望,但毫无疑问,它还有很大的改进空间为了使AutoGAN比最先进的手工设计的GAN更具竞争力,我们指出了一个需要继续努力的几个具体项目• AutoGAN目前的搜索空间有限,一些强大的GAN被排除在可搜索范围之外。它需要用更多的积木来扩大,这在GAN文学中被证明是有效的。参考最近的GAN基准研究[39,32],我们考虑使用注意力/自我注意力[64],基于风格的生成器[27],相对论鉴别器[25]和各种损失(如Wasserstein损失[3])扩展我们的搜索空间。• 到目前为止,我们还没有在更高分辨率的图像合成上测试AutoGAN。ImageNet.虽然相同的算法在原则上是直接适用的,但计算成本将变得过高。例如,对CIFAR-10的搜索已经需要43小时。关键的挑战在于如何进一步提高搜索算法的效率。作为一种可能的策略,图像分类中的NAS通常将低 分辨 率图 像 的迁 移学 习 应用 于更 高 分辨 率[72]。这可能是有趣的,虽然具有挑战性,看看类似的想法将如何应用于GAN的图像生成任务,因为它在识别/合成细节方面比分类要求更高。• 我们还没有释放出寻找更好的判别器的潜力。我们可能会在生成器和搜索器之间制定一个交替搜索,这可能会使AutoGAN更具挑战性。• 最终,AutoGAN将需要公司内标签的能力,例如条件GAN [41]和半监督GAN [50]。有动态复位无动态复位MLAs辅助计划初始分数初始分数3233引用[1] 卡里姆·艾哈迈德和洛伦佐·托雷萨尼。MaskConnect -梯度下降的连通性学习ECCV,cs.CV,2018年。[2] 马丁·阿乔对k y和L e'onBottou。这是训练生成对抗网络的原则性arXiv预印本arXiv:1701.04862,2017。[3] 马 丁 ·阿 乔 对 ky , 苏 米 特 ·钦 塔 拉 和 Le'onBottou 。Wasserstein生成对抗网络国际机器学习会议,第214-223页,2017年。[4] Bowen Baker 、 Otkrist Gupta 、 Nikhil Naik 和 RameshRaskar。使用强化学习设计神经网络架构。arXiv预印本arXiv:1611.02167,2016。[5] 安德鲁·布洛克杰夫·多纳休凯伦·西蒙尼安用于高保真自然图像合成的大规模gan训练。arXiv预印本arXiv:1809.11096,2018。[6] Andrew Brock、Theodore Lim、James M Ritchie和NickWeston。使用内省对抗网络进行神经照片编辑。arXiv预印本arXiv:1609.07093,2016。[7] 陈良杰、麦克斯韦·柯林斯、朱玉坤、乔治·帕潘德里欧、巴雷特·佐夫、弗洛里安·施洛夫、哈特维格·亚当和乔恩·施伦斯。寻找用于密集图像预测的有效多尺度架构。神经信息处理系统的进展,第8713-8724页,2018年[8] Liang-ChiehChen , GeorgePapandreou , IasonasKokkinos,Kevin Murphy,and Alan L Yuille.Deeplab:使用深度卷积网络、atrous卷积和全连接crfs进行语义IEEE Transactions on Pattern Analysis and MachineIntelligence,40(4):834[9] 陈良杰、乔治·帕潘德里欧、弗洛里安·施洛夫和哈特维格·亚当。重新思考语义图像分割的atrous卷积。arXiv预印本arXiv:1706.05587,2017.[10] Patryk Chrabaszcz , Ilya Loshchilov 和 Frank Hutter 。imagenet的下采样变体作为ci- far数据集的替代。arXiv预印本arXiv:1707.08819,2017。[11] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展,第2672[12] Guillermo L Grinblat , Lucas C Uzal , and Pablo MGranitto.类分裂生成对抗网络。arXiv预印本arXiv:1709.07359,2017。[13] Ishaan Gulrajani 、 Faruk Ahmed 、 Martin Arjovsky 、Vincent Dumoulin和Aaron C Courville。改进的瓦瑟斯坦甘斯训练。神经信息处理系统进展,第5767-5777页,2017年[14] 李光和田永隆贺浩,王浩。Prob- gan:有理论保证的概率gan。2019年,在ICLR[15] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition,第770-778页[16] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.深度剩余网络中的身份映射在欧洲计算机视觉会议,第630-645页。施普林格,2016年。[17] Yihui He ,Ji Lin ,Zhijian Liu ,Hanrui Wang, Li-JiaLi,and Song Han. Amc:移动设备上模型压缩和加速的自 动 化 。 欧 洲 计 算 机 视 觉 会 议 , 第 815-832 页 。Springer,2018.[18] Martin Heusel,Hubert Ramsauer,Thomas Unterthiner,BernhardNessle r,GunterKlambaue r,andSeppHochreiter. 两个时间尺度更新规则训练的甘斯收敛到纳什均衡。arXiv预印本arXiv:1706.08500,12(1),2017。[19] Quan Hoang 、 Tu Dinh Nguyen 、 Trung Le 和 DinhPhung。Megan:用多个生成器训练生成对抗网络。2018年。[20] SeppHochreiter和JürgenSchmidhube r. 长短期记忆。神经计算,9(8):1735[21] Sergey Ioffe和Christian Szegedy。批次标准化:通过减少内部协变量偏移来加速深度网络训练。arXiv预印本arXiv:1502.03167,2015。[22] Phillip Isola,Jun-Yan Zhu,Tinghui Zhou,and Alexei AEfros. 使用条件对抗网络进行图像到图像翻译2017年IEEE计算机视觉和模式识别会议(CVPR),第5967-5976页。IEEE,2017年。[23] Yifan Jiang,Xinyu Gong,Ding Liu,Yu Cheng,ChenFang,Xiaohui Shen,Jianchao Yang,Pan Zhou,andZhangyang Wang.启迪:无需配对监督的深度光增强。arXiv预印本arXiv:1906.06972,2019。[24] 金海峰,宋清泉,夏虎。Auto-keras:Ef- ficient neuralarchitecture search with network morphism,2018.[25] 阿莱克西亚·乔利库-马蒂诺。相对论鉴别器:标准GAN中缺少的关键元素。arXiv预印本arXiv:1807.00734,2018.[26] Tero Karras , Timo Aila , Samuli Laine , and JaakkoLehtinen.为提高质量、稳定性和变异性而进行的干细胞生长。ICLR,2018年。[27] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成器架构,用于生成对抗网络。arXiv预印本arXiv:1812.04948,2018。[28] Diederik P Kingma和Jimmy Ba。Adam:随机最佳化的方法。arXiv预印本arXiv:1412.6980,2014。[29] 亚历克斯·克列日夫斯基和杰弗里·辛顿从微小的图像中学习多层特征。技术报告,Cite- seer,2009年。[30] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。神经信息处理系统的进展,第1097-1105页,2012年[31] OrestKupyn、VolodymyrBudzan、MykolaMykhailych 、 DmytroMishkin 和 Jiˇr´ıMatas 。Deblurgan:使用条件对抗网络进行盲运动去模糊。在IEEE计算机视觉和模式识别会议的论文集,第8183-8192页[32] 卡罗尔·库拉奇,马里奥·卢西奇,翟晓华,马辛·米哈尔-斯基,西尔万·吉利。Gan的风景:损失,archi-3234结 构 、 正 则 化 和 规 范 化 。 arXiv 预 印 本 arXiv :1807.04720,2018。[33] Chris t ianLedig , LucasTheis , FerencHusza'r ,JoseCaballero, AndrewCunningham , AlejandroAcosta , Andrew Aitken , Alykhan Tejani , JohannesTotz,Zehan Wang,et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。2017年IEEE计算机视觉与模式识别会议(CVPR),第105-114页。IEEE,2017年。[34] Liam Li和Ameet Talwalkar神经结构搜索的随机搜索和可重复性。arXiv,2019年。[35] 林宗义
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功