没有合适的资源?快使用搜索试试~ 我知道了~
4787RENAS:增强进化神经结构搜索陈玉康1、2孟高峰1、2张倩3向世明1、2黄昌3穆立森3王兴刚41中国科学2中国科学院大学人工智能学院3地平线机器人4华中科技大学{yukang.chen,gfmeng,smxiang}@ nlpr.ia.ac.cn{qian01.zhang,chang. huang,lisen.muhorizon.ai}@ www.example.com,{xgwang}@ hust.edu.cn摘要神经网络结构搜索(NAS)是网络设计中一项重要而又具有挑战性的任务,其计算量很大。为了解决这个问题,我们提出了增强进化神经结构搜索(RE-NAS),这是一个进化方法与增强突变的NAS。该方法将强化变异引入进化算法中,引入变异控制器,学习微小修改的影响,并进行变异操作。增强的变异控制器引导模型种群有效地进化此外,由于子模型可以在演化过程中从其父模型继承参数,因此我们的方法需要非常有限的计算资源。在实验中,我们提出的搜索方 法 CIFAR-10 , 并 获 得 一 个 强 大 的 网 络 架 构 ,RENASNet。该体系结构在CIFAR-10上取得了有竞争力的结果探索的网络架构可转移到ImageNet,并实现了新的最先进的准确性,即,在移动ImageNet上使用536万个参数获得75.7%的top-1准确率我们进一步测试了它 在 PASCAL VOC 上 使 用 DeepLabv3 进 行 语 义 分 割RENASNet优于MobileNet-v1、MobileNet-v2和NASNet。它实现了75.83%的mIOU,而无需在COCO上进行预训练。1. 介绍近几年来,神经网络[34,14,35,33,17]在处理各种具有挑战性的任务方面取得了巨大成功,例如,图像分类、目标检测和语义分割。然而,由于严重依赖专家经验和大量的人工神经网络,审判例如,学术界和工业界的数百名专家做出了巨大努力来优化神经网络的架构,将ImageNet挑战的前5名准确率提高到96.43%,从AlexNet [20],VGG [31],Inception [34]到ResNet [14]。网络体系结构的自动化设计技术引起了人们越来越多的研究兴趣。许多神经结构搜索方法已经被提出并被证明能够产生高性能的模型。这些方法中的很大一部分是基于强化学习(RL)[41,3,40]。典型的基于RL的NAS方法顺序地构建网络,例如,通过使用RNN控制器[41,27,40]来确定操作符和连接令牌的序列。除了RL,进化算法(EA)也被用于许多作品[28,32,29,25,36]。在基于EA的NAS方法中,首先初始化一群架构,然后以其验证精度作为适应度进行进化。EA和RL在NAS任务中实现了最先进的性能。但两者都有各自的局限性:1)对于基于EA的NAS,它倾向于发展一系列架构,以保证潜在结果的多样性。然而,由于进化过程严重依赖于不可控的随机变异,进化算法的效率没有保证。例如,Amoe-baNet [28]通过基于EA的方法进行搜索,并且具有比其RL对应物NASNet [41]更好的最终结果。但在相同的搜索空间中,AmoebaNet [28]比NASNet [41]使用更多的计算资源(3150 GPU天vs 2000 GPU天)。2)对于基于RL的NAS,它依赖于超参数来保证稳定性。但在逐层确定体系结构时,RL控制器需要尝试数十个动作才能获得正的奖励作为监督信号。这使得培训过程效率低下。在本文中,我们提出了强化进化4788IN1或IN2变应器编码器突变路由器突变OP变应子执行部分第删除最差添加突变进化变异的模型人口控制器样品选择最佳型号结构图1.进化神经结构的搜索框架和加强变异控制器的结构神经架构搜索(RENAS),它将RL集成到进化框架中以解决上述问题。我们的方法引入了一个增强的变异控制器,以帮助有效地探索搜索空间。由于EA的性质,子模型可以从其父模型继承大部分我们的主要贡献概述如下:- 提出了一种新的集成EA和RL的神经结构搜索框架.该框架综合了两者的优点,保证了搜索效率.- 我们设计了一个强化的变异控制器来学习轻微修改的效果,并做出行动来指导进化。这种技术有助于种群在更少的迭代中进化到更好的状态。- 一个强大的神经体系结构,RENASNet,被发现 。 它 达 到 了 CIFAR-10 的 竞 争 精 度 2.88%±0.02,移动ImageNet上的最新技术水平,具有75.7%的top-1准确率和5.36M参 数 我 们 在 PASCAL VOC 2012 [11] 上 使 用DeepLabv3 [5]进一步测试其在语义分割方面的性能RENASNet的性能优于最先进的网络,在没有COCO 预 训 练 的 情 况 下 实 现 了 75.83% 的 mIOU[21]。2. 相关工作2.1. 基于RL的NAS强化学习在最近的工作中获得了很多研究关注在NAS [40]中,神经网络由RNN控制器生成的可变长度字符串指定然后训练由字符串指定的网络以返回验证精度。反过来,控制器更新与政策梯度使用的准确性作为奖励。在这个框架中,由字符串指定的网络逐层生成NAS [40]报告的成功激发了许多其他有价值的工作,但昂贵的计算成本(800个GPU的28天)限制了其广泛的应用,因为训练和评估单个模型是耗时的。2.2. 基于EA的NAS自然界中的进化过程直观上与NAS相似。因此,许多早期的自动架构搜索方法[26,37,32,29,25,36]采用EA来进化模型的群体。例如,大规模进化方法[29]利用神经进化算法探索CNN搜索空间,其返回与人 类 设 计 的 模 型 匹 配 的 网 络 。 本 文 的 框 架 基 于AmoebaNets [28],其中一种常见的进化算法,锦标赛选择策略,在速度和准确性方面与RL基线[41]相匹配甚至优于RL基线[41]。然而,由于随机突变,进化过程缓慢为了解决这个问题,我们引入了一个控制器的变异,以指导进化过程。2.3. 高效NASNAS的困难主要来自于极大的搜索空间和耗时的模型评估。在NASNet [41]中,通过逐单元搜索空间节省了 计 算 成 本 , 这 被 以 下 工 作 [28 , 27 , 22]采 用 。NASNet [41]不是探索整个网络架构,而是专注于学习细胞结构,然后将其多次堆叠成一个完整的网络,使输出网络可扩展为各种数据集和任务。此外,各种加速评价的技术已证明是有效的:块- QNN [39]通过提前停止策略提高了搜索速度。ENAS [27]利用子模型之间的参数共享,而不是从头开始训练EAS [3]利用Net2Net转换[6]来重用参数。在这项工作中使用的精度预测[2]也是一种节省计算资源的新技术,尽管精度预测器可能并不总是足够准确。2.4. EA和RLRL已经通过Baldwinian或Lamarckian机制显示了其加速进化进程的能力[9]。集成RL和EA的思想以前已经研究过,但我们的方法是明显不同于以前的作品。在[10]中,RL被用于增强迷宫问题中标准的基于树的遗传规划.在文献[18]中,EA和RL的集成被用于改善真实机器人的自适应动作。在[15]中,EA被集成到多个4789ImageNet架构b座FbxN xN xNx2 xN xN xN(一)联系我们(b)第(1)款图2.(a)分别用于CIFAR-10和ImageNet数据集的架构在搜索期间,网络结构由小区结构指定ImageNet中的图像大小(224x224)比CIFAR-10中的图像大小(32 x32)大得多因此,在ImageNet架构中有额外的约简单元和3x3卷积与步幅2来下采样特征映射。(b)每个牢房由#个B区组成每个块接受两个输入{i1,i2},分别对它们应用特定操作{o1,o2},然后将它们与元素加法组合以生成特征图Ob。我们搜索{i1,i2,o1,o2}为#B块构造一个合理的细胞结构,这反过来又构成了一个网络。智能体Q学习,缩小搜索空间。是当前单元中先前块的输出 Oc−1c−2B在我们的方法中,变异控制器被集成到进化框架来学习修改的效果,并做出合理的变异动作。与仅RL方法和仅EA方法相比,这种集成为我们带来了以下好处:1) RL训练变得更有效。因为对网络进行修改比逐层构建模型需要更少的操作由于子模型是从父模型修改而来的,因此突变控制器很容易了解细微差异的影响。2) 在增强变异控制器的帮助下,进化过程变得更加高效和稳定。模型架构及其适应性(验证精度)和OB是第一和第二先前单元的输出。{o1,o2}的操作选项是从一组6个函数:3x3深度可分离卷积,5x5深度可分离卷积、7 × 7深度可分离卷积、3 × 3平均池化、3 × 3最大池化、身份。3.2. 细胞每个单元可以表示为由#B块组成的有向非循环图。假设有一个形状为h×w×f的输入特征映射,其中h和w表示特征的高度和宽度,f表示变化。nel号码 步幅为2的像元输出具有形状的h×w×2f,步长为1的细胞保持fea-2 2cies)以前被忽视,但产生了有在进化过程中。我们重用这些有用的监督信号来训练变异控制器。它反过来又消除了有害突变的累积。3. 搜索空间而不是设计整个卷积网络,我们采用学习细胞结构的想法[41]。在本节中,我们通过将每个网络分解为单元和块来引入搜索空间。架构框架和内部块如图所示。二、3.1. 块每个块将两个输入映射到一个输出特征图中,如图所示第2段(b)分段。 它需要两个输入特征图{i1,i2},分别对它们应用两个运算符{o1,o2},然后通过逐元素将它们组合成输出O添加A.因此,每个块可以由长度为4的字符串{i1,i2,o1,o2}指定。{i1,i2}被选中从{O c,O c,., O c,O c−1,O c−2},其中Oc,.,Oc真地图 每个单元格由#B块组成。 所以我们搜索每个块的结构以及它们如何连接在一起以构建单元。3.3. 网络每个网络可以用三个因素来指定:单元结构,#N是要堆叠的单元的数量,#F是第一层中的滤波器的数量。当我们在搜索过程中固定#N和#F一旦搜索完成,模型将以不同的大小构建,以适应不同的任务或数据集。我们通过调整第一层中重复单元的数目#N和滤波器的数目来控制网络的深度和如示于图2(a),ImageNet的架构还有两个步长为2的单元和更深的流。由于ImageNet中的图像大小(224 x224)比CIFAR-10中的图像大小(32 x32)大得多,因此需要更多的下采样操作。因此,每个网络指定有5#B个令牌,其中4#B个令牌在搜索期间是可变的。因为每个单元格由#B个块组成,并且每个块由1 2 b−1B B 1b −1图像细胞大步1细胞步幅2细胞大步1细胞步幅2细胞大步1SoftmaxCIFAR-10体系结构图像Conv3x3步幅2细胞步幅2细胞大步1细胞步幅2细胞大步1细胞步幅2细胞大步1Softmax一执执4790ID1ID212I1I2o1O2ValI1I2o1O2B算法1:RENAS的框架输入:num块每个单元#B,max numepochs#E,num第一层中的过滤器#F,num模型中的单元#N,群体大小#P,样本大小#S,训练集D训练,验证集D值输出:模型的总体P1 P(0)←initialize(#F,#N,#P)2fori=1:#Edo3S(i)←sample(P(i−1),#S)4B,W←select(S(i))5C,ω←突变(B)C B我们的控制器,它实现了一种注意力机制。控制器采用5#B长度的串,其表示给定的单元结构。具体而言,我们的控制器由4个部分组成:(1)在嵌入层之后的编码器(Enc),用于学习单元的每个部分的效果,(2)从块的i1、i2、o1、o2中选择一个的变异路由器(Mut-rt),(3)用新输入i new改变节点的输入的输入变异器(IN-mut), ( 4 ) 用 新 运 算 符 onew 改 变 节 点 的 运 算 符 的 OP- 变 异 器 ( OP-mut)。编码器Enc是一个双向递归网络,6ω←finetune(C,ω7fC←evaluate(C,ω、D列车),Dval)输入嵌入层。隐藏的国家学习的Encindi-评估局部部分对整个网络的影响为8P(i)←push-pop(P(i−1),C,fC,W)块b在Enc中,其隐藏状态为{Hb,Hb,Hb,Hb}i1i 2o 1o 2B9端部5个令牌:两个输入{i,i},两个操作{o,o}和一个固定为加法的组合操作A。因此,搜索网络结构转换为搜索4#B变量。这个搜索空间比NAS小-其中Ho1表示块b的o 1对整体的影响网络由于每个型号都由5#B编号指定,因此Enc每步生成5#B个隐藏状态。此外,我们初始化了两个起始态Hc−1,Hc−2,它们分别代表了第一个和第二个先前胞元的信息.对于块b,控制器顺序地做出两个决定。首先,根据Hb、Hb、Hb、Hb、Mut-rti1i 2o 1o 2网络搜索空间[41]。我们只使用一种细胞类型-使用步长为2的单元格减少特征图的大小。此外,我们使用6个候选函数和固定组合器作为元素加法.搜索空间的复杂度可以很容易地估计。每个块由2个节点组成为决定块b中的i1、i2、o1、o2中的哪一个需要被修改.它是通过softmax分类器使用注意力机制进行采样的。如果选择了输入索引i1或i2中的一个,则将激活IN-mut以从{O c,.,Oc,O c−1,O c−2}.否则OP-mut将1b−1B B每个节点我们需要从b+1个可能的节点中选择其输入索引和它的操作符从这6个函数。 当我们设置#B=5时,有(65×(5+1)!)2=3。1×1013 个可能的网络,这仍然是一个非常大的空间。4. 搜索策略4.1. 演变框架从这6个操作选项中选择一个新的操作员作为在每个单元中有B个块,该过程将重复B次以修改给定的体系结构。因此,它对每个模型进行2#B修改操作。我们在下面描述了实现细节。Mutation-routerMut-rt被设计为发现每个块的哪些成分需要修改。对于每个块,Mut-rt为了寻找具有高性能自动化的体系结构,Hb,Hb,Hb,Hb其输出是i1,i2,o1,o2,an随机地初始化模型P的群体P的每个个体在训练集D训练上训练,并在验证集D上评估。它的适应度f是身份变异。我们在每个隐藏层上应用一个完全连接的层den state使用softmax计算各成分Pb、Pb、Pb、Pb的修改概率样品一作为验证准确度。在每个进化步骤中,从P中随机抽样一个子集S。根据适应度,在S中选出最佳个体B和最差个体W。W被排除在P之外,B成为父代,产生具有突变的子代C。C是i1,i2,o1,o2的概率IN-mutatorIN-mut为节点选择一个新的输入,如果ID∈(i1,i2). 它的输入包括所选ID输出[H1,.,H b−1], 和隐藏的国家的A A然后进行训练和评估以测量其适应度fC。Af-把C代入P。这一方案实际上属于我们和前-前细胞Hc−1,Hc−2。 联系我们[H1,.,H b−1,H c−1,H c−2],其中H b,并完全应用aA A ID[12]第12话比赛中,dom样本。该过程在算法1中公式化。4.2. 强化突变强化突变是通过突变-与它们相连的层。与Mut-rt类似,我们使用softmax来计算用每个替代品替换原始输入的概率,然后通过从1,..., b-1,c-1,c-2的概率OP-mutatorOP-mut输出一个新的运算符或新的解。tion控制器,以了解轻微修改的效果在输入Hb.这个过程是简单和简单的-并做出变异动作。图图1示出了与Mut-rt类似的框架。C4791b b b b bb2INH新3新INH新3算法2:由控制器生成的突变input:num块每个单元#B,一个4#B指定单元格的编号输出:一系列变异动作m1Hc−1,Hc−2←Enc.begin()2H1,...,HB←Enc(Hc−1,a)3对于b=1:#B做4小时 ,H ,H ,H ,H←H控制器的性能。在实验中,将群体大小#P设定为20。为了更好 的比较,我们将 #F和#N设置为NASNets[41]。5. 实验结果在本节中,我们首先展示我们的实现细节。然后,我们比较我们搜索的架构RENASNet(作为i1i2o1o2A5ID←Mut-rt([Hb,Hb,Hb,Hb])示于图3)与国家的最先进的手工设计我1我26如果ID∈(i1,i 2),则7inew←IN-mut氧1氧2CIFAR-10和ImageNet数据集上的网络和其他搜索模型。消融研究表明,(Hb,[H1,...,Hb−1,Hc−1,Hc−2])RENAS的搜索效率进一步的实验表明ID AA89其他m(b)←(ID,inew)BRENASNet可以成功传输,以实现语义分割任务。10111213端部端onew←OP-mut(HID)m(b)←(ID,onew)5.1. 实现细节5.1.1数据集详细信息CIFAR-10由50,000张训练图像和10,000张测试图像组成。5,000张图片是部分-4.3.检索详情控制器在每个进化步骤中,控制器进行一系列变异动作。然后,产生子模型C,其中修改了父模型 然后,使用参数继承计算验证精度fC,这将在下面的段落中介绍。奖励γ是fC的非线性函数[3],即,γ=tan(fC·π),因为提高精度的增益应该更大,而其父节点的验证精度更高。通过策略梯度更新控制器参数θ子模型使用从父模型继承的参数来训练和评估子模型。对于种群中的每个存活模型B,我们存储其架构字符串,其适应度fB和其可学习参数ωB。由于每个子模型C都是从其父模型中经过轻微修改生成的,因此它们之间的差异仅存在于突变层中。因此,子节点可以从父节点B继承大部分参数。ωC可分为遗传型、从训练集中提取作为验证集。所有图像均用减去通道平均值和除以通道标准差的方法进行白化然后,我们从图像中裁剪32 x 32的补丁,并将它们填充到40 x40。这些补丁也随机翻转水平数据扩增。当重新训练结果架构时,我们还使用剪切增强[8]。ImageNet对于ImageNet上的数据增强[7],我们调整原始输入图像的大小,其短边在[256,480]中随机采样,用于缩放[31]。随机裁剪224×224个贴片,图像.其他标准操作,即, 水平翻转,还进行了Alexnet [20]中的平均像素减法和标准颜色增强[20]。在过去的20个纪元中,我们撤回了大多数增强,只保留了裁剪和翻转增强以进行微调。5.1.2培训详情表参数ωC和新的初始化参数ωC。CIFAR-10在CIFAR-10上训练模型时,我们使用其适应度(验证精度)fC可以通过标准SGD优化器,动量率设置为0.9,而不是从头开始训练期间微调,我们在整个通过D的过程中训练ωC辅助分类器位于2最大深度−4火车加权0.4,权重衰减3×10,ωC的学习率是ωC的10倍。0.5在最后的softmax层。此外,我们还将每个在实验中,ωC的学习率等于0.01。正则化概率为0.5的路径。 我们的批量推导体系结构在搜索期间,我们在第一卷积单元中设置每个单元包含#B=5个块和#F=24个滤波器,并且我们展开#N=2的单元。在达到最大epochs数#E之后,我们只从头开始重新训练种群中的模型,然后采用具有最高准确度的模型。通过重新训练更多的样本模型来改进我们的结果是可能的,就像其他作品[41,40]所做的那样,但是证明在每个GPU上为64,使用2个GPU。学习速率最初被设置为0.05,随后以余弦重启时间表衰减630个历元。ImageNet在ImageNet上训练模型时,我们使用标准SGD优化器训练每个模型200个epoch,动量率设置为0.9,辅助分类器位于最大深度的2处,权重为0.4,权重衰减为4 ×10−5。我们的批处理大小是每个GPU上64个,4个GPU4792表1. CIFAR-10结果。顶部部分展示了顶级手工设计网络,中间部分展示了其他架构搜索结果,底部部分展示了我们的结果。#Params表示自由参数的数量。模型切口个gpu天#参数误差(%)方法[17]第十七话---25.6M3.46-[22]第二十二话-1001.53.2M3.41 ±0.09森博NASNet-A +断路器[41]C50043.3M2.65RL[28]第二十八话C45072.8M2.55 ±0.05EA[27]第二十七话C10.54.6M2.89RLDARTS(一阶)+cutout [23]C11.52.9M2.94梯度DARTS(二阶)+ cutout [23]C143.4M2.83 ±0.06梯度RENASNet(6,32)+断路器C41.53.5M2.88 ±0.02EA RL表2. ImageNet分类导致移动设置。手工设计模型的结果在顶部,其他NAS结果在中间部分,我们的模型的结果在底部。模型#参数多添加数量前1名/前5名访问(%)方法[第16话]4.2M569M70.6/89.5-移动网络v2(1.4)[30]6.9M585M74.7/--[38]第三十八话500万524M73.7/--ShuffleNet-v2 2x(含SE)[24]500万597M75.4/--NASNet-A [41]5.3M564M74.0/91.6RLNASNet-B [41]5.3M488米72.8/91.3RLNASNet-C [41]4.9M558M72.5/91.0RL[28]第二十八话5.1M555M74.5/92.0EA[28]第二十八话5.3M555M74.0/91.5EAAmoebaNet-C [28]5.1M535M75.1/92.1EAAmoebaNet-C(更多过滤器)[28]6.35M570M75.7/92.4EA[22]第二十二话5.1M588M74.2/91.9森博ENAS [27]5.1M523M74.3/91.9RLDARTS [23]4.9M595M73.1/91.0梯度RENASNet(4,44)5.36M580M75.7/92.6EA RL*ENAS的结果是通过使用我们的设置进行训练获得的,因为没有报告[27]。都被使用了。学习率最初设置为0.1,随后以多项式时间表衰减。5.1.3控制器详情对于我们的控制器,我们使用带有嵌入层的LSTM。LSTM的嵌入大小和隐藏状态大小都是100。我们的控制器的参数初始化与随机值采样从正常的discovery与零的平均值和标准偏差为0.01,并与亚当在0.001的学习率训练我们将tanh常数2.5和温度5.0应用于控制器的logit,并将控制器的熵添加到具有0.1权重的奖励。5.1.4架构搜索空间的详细信息为了公平比较,我们的搜索空间的一些细节遵循NASNet搜索空间:(1) 所有卷积都遵循ReLU、卷积和批量标准化的顺序。(2) 每个可分离的卷积被连续两次应用于输入特征图。(3) 为了匹配卷积单元中的形状,必要时应用1x1卷积。(4) 可分离卷积不使用批归一化或depth和逐点卷积之间的ReLU。5.2. 图像分类5.2.1CIFAR-10结果在这里,我们报告了我们搜索的模型RE-NASNet的性能在细胞结构固定之后,我们构建了与NASNet[41]的结构设置相同的整个网络简单的符号(6,32)表示在第一单元中N=6次和F=32个CIFAR-10结果见表1。RENASNet达到了与其他最先进的模式相竞争的结果,4793图4.相同搜索空间下的效率比较(统一Cell和6种操作选择)。图3. RENAS搜索的细胞结构。CIFAR和ImageNet的完整外部架构如图所示。第2段(a)分段。埃尔斯只有NASNet-A和AmoebaNet具有比RENASNet更好的稳定性能,但它们使用的计算资源比我们多得多(2000 GPU天和3150 GPU天)。ENAS比我们的方法更有效,但我们的模型参数更少,精度更高。5.2.2ImageNet上的结果ImageNet上最先进的图像分类器见表2。我们在图像大小为224x224的移动设置中进行比较,并且模型的多添加操 作数低 于 600M。请 注意, 由于 ImageNet 上的ENAS[27]的准确性在原始论文中没有报告,我们使用与RENASNet完全相同的所有超参数和设置对其进行了训练。ImageNet上的结果更有说服力,因为CIFAR-10很小,容 易 过 拟 合 。 ImageNet 上 的 结 果 如 表 2 所 示 。RENASNet超越了手动设计的模型,包括Mo- bileNets[16,30]和ShuffleNets [38,24],以及其他最先进的NAS 模 型 。 特 别 是 对 于 NASNet [41] 和 AmoebaNet[28],它们分别是基于RL和基于EA的代表性方法,并且比我们花费更多的GPU和天数。在表1和表2中,我们还与DARTS [23]进行了比较,DARTS是一种新型的基于梯度的方法。RENASNet类似于CIFAR-10上的DARTS [23],但在ImageNet上优于它。5.3. 搜索效率老实说,尽管RENAS的计算成本远低于NASNet和AmoebaNet,但它不能反映基于RL和基于EA的NAS方法的搜索效率的公平比较。如第3节所述,我们实验中使用的搜索空间小于原始NASNet搜索空间。我们没有区分正常细胞和还原细胞,有6种操作选择。因此,RENAS的效率也来自搜索空间。在本节中,我们进行了一个公平的消融研究,以比较RENAS与EA和RL在相同搜索空间(统一的Cell和6种操作选择)下的效率,如图所示。4.对于比较的方法,我们每500次迭代跟踪搜索的模型。所有搜索到的模型都是通过从头开始的20个epoch训练进行评估的。通过模型在总体中的精度均值和方差来评价EA和RENAS。EA是用与RENAS相同的设置进行的,除了突变动作是随机进行的。随着时间的推移,RL在最佳模型上进行评估。随机是从搜索空间中随机选取的模型 。 如 图 所 示 4 、 RENAS 的 效 率 优 于 EA 和 RL 。RENAS的加速比RL/EA约为1.5 - 2.0倍。我们还做了一个比较。如第4.2节所述,控制器配备有双向递归网络,以具有更好的架构编码能力。我们比较RENAS与常见的经常性网络,RENAS(非双)。它与RENAS有完全相同的设置,除了经常性的网络。图4显示了RENAS的劣效性(非双)。5.4. 语义分割在本节中,我们使用DeepLabv3 [5]对语义分割进行了进一步的实验。我们所有的实验和比较方法都使用包含三个3x3卷积的Atrous空间金字塔池模块(ASPP)[4]FC伊登山3x3titySepIden3x3tity塞普塞普5x53x3SepSep5x53x3sepmax3x33x3FC-1FC-2Concat4794图像地面实况MobileNet-v1RENASNet图5.分割结果可视化表3.语义分割:PASCAL VOC 2012验证集上的DeepLabv3。模型预训练#参数mIOU(%)[第16话]Coco11.15M75.29[30]第三十话Coco4.52M75.70[第16话]ImageNet11.14M68.79[30]第三十话ImageNet4.51M70.02NASNet-A [41]ImageNet12.39M73.68RENASNetImageNet11.63M75.83不同的atrous率。输出步长为16,即输入图像空间分辨率与最终输出分辨率的比值。我们不使用多尺度和左右翻转输入(MF),这是由一些其他作品[30]用于提高性能。根据我们的比较方法,我们在PASCAL VOC2012数据集[11]和标准额外注释图像上进行了实验。[13]评估指标为mIOU。我们将RENASNet与其他三个移动网络进行了比较,MobileNet-v1 [16],MobileNet-v2 [30]和NASNet-A [41],并在表3中总结了结果。在COCO [21]上预训练的模型的结果在[30]中报告。在ImageNet上预训练的模型由我们自己使用完全相同的超参数和设置来实现。从结果中,我们观察到:1)该任务的执行在很大程度上依赖于预先训练的模型。如果没有在COCO上进行预训练,MobileNet-v1和MobileNet-v2会遭受严重的性能衰退。2) 在 mIOU 方 面 , RENASNet 在 相 同 的 集 合 上 优 于MobileNet-v1,MobileNet-v2和NASNet-A [16]东 西 。 此 外 , 在 ImageNet 上 预 训 练 的 RENASNet(75.83%)甚至比在COCO上预训练的MobileNet-v1(75.29%)和MobileNet-v2(75.70%)分割结果在图中可视化。五、6. 结论本文提出了一种将进化算法和再增强学习结合到一个统一框架中的神经结构搜索受手工设计网络的启发,我们使用控制器来学习修改的效果,并做出更好的 变 异 动 作 。 所 搜 索 的 架 构 , 即 , RE-NASNet 在CIFAR-10上实现了具有竞争力的性能,并在ImageNet上优于其他最先进的模型(75.7%的top-1准确率,5.36M参数)。此外,RENASNet在语义分割任务上也表现出了很高的性能。RENASNet优于其他移动规模的网络,在没有COCO预训练的情况下实现了75.83%的mIOU。结果表明,RENAS-Net除了可以用于图像分类外,还可以用于其他计算机视觉任务.今后,我们将尝试在其他任务上使用NAS,例如,目标检测确认本工作得到了国家自然科学基金项目91646207、61773377、61573352和61876212和北京市自然科学基金项目L172053的资助。4795引用[1] B.贝克岛古普塔,加-地Naik和R.拉斯卡使用强化学习设计神经网络架构。CoRR,abs/1611.02167,2016。[2] B.贝克岛古普塔河,巴西-地Raskar和N.奈克 使用性能预 测 加 速 神 经 结 构 搜 索 。 CoRR, abs/1705.10823 ,2017。[3] H. 蔡氏T.陈威Zhang,Y.Yu和J.王. 通过网络变换进行有效的体系结构在AAAI,第2787-2794页[4] L. Chen,G.帕潘德里欧岛科基诺斯角Murphy和A. L.尤尔。Deeplab:使用深度卷积网、无环卷积和全连接的crfs进行语义图像分割。IEEE传输模式分析马赫内特尔,40(4):834[5] L. Chen,G.帕潘德里欧F. Schroff和H. Adam.重新思考语义图像分割的无环卷积。CoRR,abs/1706.05587,2017。[6] T. 陈岛,澳-地J. Goodfellow和J.史伦斯Net2net:通过知识转移加速学习CoRR,abs/1511.05641,2015年。[7] J. Deng,W.东河,巴西-地索赫尔湖Li,K. Li和F.李Ima-genet:一个大规模的分层图像数据库。CVPR,第248-255页[8] T. Devries和G. W. Taylor. 改进的卷积神经网络的裁剪正则化。CoRR,abs/1708.04552,2017。[9] K. L.唐宁通过强化学习的自适应遗传程序。GEC,2001年。[10] K. L. 唐 宁 强 化 基 因 编 程 。 Genetic Programming andEvolvable Machines,2(3):259[11] M. Everingham,S. M. A.埃斯拉米湖J.V. Gool,C. K. I.威廉斯,J. M. Winn和A.齐瑟曼。pascal visual objectclasses挑战:回顾展。International Journal of ComputerVision,111(1):98[12] D. E. Goldberg和K.遗传算法中选择方案的比较分析。在FGA,第69-93页。1990年[13] B. 哈里哈兰山口阿贝拉埃斯湖D. Bourdev,S.Maji和J.马力。从反向检测器的语义轮廓。第991- 998页[14] K.他,X。Zhang,S. Ren和J. Sun.用于图像识别的深度残差学习。CVPR,第770-778页,2016年[15] I.仁志基于遗传规划的多智能体强化学习。InGP,1998.[16] A. G. Howard , M.Zhu , B.Chen , 中 国 粘 蝇D.Kalenichenko,W.小王,T. Weyand,M. Andreetto和H. Adam. Mobilenets:用于移 动 视 觉 应 用 的 高 效 卷 积 神 经 网 络 。 CoRR ,abs/1704.04861,2017。[17] G. Huang,Z.柳湖,加-地van der Maaten和K.Q. 温伯格密集连接的卷积网络。在CVPR中,第2261-2269页[18] S. Kamio和H.伊巴整合遗传规划与强化学习的适应技术于真实机器人。IEEE Trans. Evolutionary Computation,9(3):318[19] A. Krizhevsky和G.辛顿从微小的图像中学习多层特征 技术报告。,1(4):1[20] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。在NIPS中,第1106-1114页[21] T.林,M。迈尔,S。J. Belongie,J. Hays,P. Perona,D. Ra-manan , P.Doll a'r 和 C. L. 齐 特 尼 克MicrosoftCOCO:上下文中的常见对象。在ECCV,第740-755页[22] C.刘湾,澳-地Zoph,M. Neumann,J. Shlens,W.瓦湖,加-地李鹏说,L. Fei-Fei,A. L. Yuille,J. Huang,和K.墨菲渐进式神经结构搜索。在ECCV,第19[23] H. Liu,K. Simonyan和Y.杨DARTS:微分架构搜索。CoRR,abs/1806.09055,2018。[24] N.妈,X。Zhang,H. Zheng和J.太阳Shufflenet V2:高效CNN架构设计的实用指南。在ECCV,第122-138页[25] R. 米库莱宁, J. Z. 梁、 E. 迈耶森 A. 拉瓦尔D. Fink,O.弗朗孔湾Raju,H.Shahrzad,A.纳夫鲁兹扬,N. Duffy和B.霍贾特 进化的深度神经网络。CoRR,abs/1703.00548,2017年。[26] G. F. Miller,P.M. Todd和S.联合海格使用遗传算法设计神经网络载于ICGA,第379[27] H.范,M。Y.关湾,澳-地Zoph,Q. V. Le和J. Dean.通过参数共享进行有效的神经结构搜索.在ICML,第4092-4101页[28] E.真实的,A. Aggarwal,Y. Huang和Q. V. Le.图像分类器 架 构 搜 索 的 规 则 化 进 化CoRR , abs/1802.01548 ,2018。[29] E. 真的S穆尔,A.Selle,S.Saxena,Y.L. 末松,J. Tan,Q. V.Le和A.库拉金图像分类器的大规模进化。在ICML,第2902-2911页[30] M. Sandler , A. G. Howard , M. Zhu , 中 国 茶 青 冈 A.Zhmoginov和L.尘反演残差和线性瓶颈:用于分类、检测和分割的移动网络。CoRR,abs/1801.04381,2018。[31] K. Simonyan和A.齐瑟曼。用于大规模图像识别的非常深的卷积网络。CoRR,abs/1409.1556,2014。[32] K. O. Stanley和R.米库莱宁通过增强拓扑结构进化神经网络演化计算,10(2):99[33] C.塞格迪,S。约菲,V. Vanhoucke,和A. A.阿莱米起始 -v4 , 起 始 -resnet 和 剩 余 连 接 对
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功