6509快速实用的神经结构搜索崔杰泉1陈鹏光1李瑞宇2刘舒2沈晓勇2贾佳雅1，21香港中文大学2腾讯优图实验室{jqcui，pgchen，leojia}@ cse.cuhk.edu.hk，{royryli，shawnshuliu，dylanshen}@ tencent.com摘要本 文 提 出 了 一 种 快 速 实 用 的 神 经 结 构 搜 索（FPNAS）框架，用于自动网络设计.FPNAS旨在发现具有低于300M FLOP的极高效网络。与以前的NAS方法不同，我们的方法搜索整个网络结构，以保证块的多样性，而不是重复堆叠一组相似的块。我们将搜索过程建模为一个双层优化问题，并提出了一个近似解。在CIFAR-10上，我们的方法能够设计出性能与最先进网络相当的网络，同时使用数量级更少的计算资源，仅需20个GPU小时。在ImageNet和ADE20K75.575.074.574.073.573.072.572.071.571.0FPNASNet（我们的）ShuffleNetV2MobileNetV2飞镖MnasNet-92PNASNetMnasNetMnasNet-65NASNet-A数据集进一步证明了所搜索的网络的可转移性1. 介绍卷积神经网络（CNN）在许多计算机视觉任务中取得了显着的成功，包括图像分类[14，8]，对象检测[23，7]和语义分割[31]。手动设计的网络，如VGGNet[27]，ResNet [8]和DenseNet [11]，非常有效地产生最高性能以及高计算复杂性。沿着另一个研究方向，为了追求性能和推理速度之间的适当权衡，开发了移动架构，如MobileNet [9，26]和ShuffleNet [34，19]，以满足考虑移动和嵌入式设备上受限计算资源的计算需求。一般来说，新网络架构的设计需要专业知识和大量的超参数调整。最近对神经架构搜索（NAS）[39，40]的兴趣激增，旨在自动构建神经网络。在NAS中，候选网络通过再学习[39，2，40，36，20，29]或进化方案[32，22，21，16，5]。然后在验证集上对它们进行训练和验证性能有助于平等贡献013510030050010002000时间（GPU天数）图1.不同NAS框架的搜索时间和Top-1精度绿点表示具有小于300M FLOP的网络，而黑点表示具有300M+ FLOP的网络。橙点是最好的手工制作的移动友好的网络。我们提出的FPNAS 能 够 在 一 个 GPU 天 内 找 到 有 用 的 网 络（FPNASNet）。我们注意到ENAS [12]没有包含在这个图中，因为ImageNet上没有报告性能。更新网络生成过程。尽管搜索架构在图像识别和语言建模任务上具有竞争力，但大多数搜索过程都是计算开销很大的1.一、另一个瓶颈是，所发现的高精度架构可能具有图1中的高FLOP1，使它们不容易在移动设备上使用。为了搜索资源受限模型，MNAS [29]利用额外的移动设备，并将推理延迟视为优化目标之一由于搜索的网络是特定于设备的，因此它可能不广泛适用于一般应用。在搜索过程中也需要数千个GPU小时。在本文中，我们提出了一个快速实用的神经结构搜索（FPNAS）框架，该框架能够准确度（%）6510使用显著更少的计算资源发现竞争性网络架构FPNAS专注于搜索计算复杂度低于300 M FLOPs的高效网络。在移动设备上的资源受限的情况下，我们引入了移动搜索空间，该空间由计算效率高的构建块组成，这些构建块受到先前成功的手工CNN [26，19]和NAS[12，29]设计实践的启发FPNAS不是搜索一般的卷积“细胞”并重复堆叠以形成CNN网络，而是构建整个网络以确保块多样性。为了加速搜索过程，我们将搜索建模为一个双层优化问题，并通过迭代逼近来解决它。它是通过交替优化块，同时保持其他块固定。整个搜索过程只需要20个GPU小时，搜索到的网络可以很好地推广到各种计算机视觉任务。我们还通过经验表明，FPNAS能够在小网络规模上输出具有可比最先进性能的网络架构，并且搜索速度快了几个数量级 在CIFAR-10上，我们的FPNAS网络（FPNASNet）的 测 试 误 差 为 3 。 99% ， 优 于 MobileNet V2 [26] 和ShuffleNet V2 [19] 0。14%和1。分别为84%。直接将搜索 到 的 网 络 应 用 于 ImageNet ， 我 们 的 模 型 也 比MobileNet V2和ShuffleNet V2好1。34%和0。74%，获得了73的Top-1准确率。百分之三十四与其他NAS方法相比，在相同的计算复杂度下，我们的模型在精度方面表现相似。主要的好处是我们的搜索过程只需要20个GPU小时，这比PNAS[15]，NASNet[40]和MNAS[29]要快得多为了证明搜索网络的可转移性，我们利用我们的模型作为PSP- Net [35]框架中的特征提取器，用于语义分割任务。在ADE20K [37]上的实验结果表明，与基于MobileNet V2和ShuffleNet V2的框架相比，我们的模型实现了卓越的性能。我们工作的主要贡献如下。• 我们的快速实用神经架构搜索（FP- NAS）可以使用20个GPU小时构建体面的小规模网络• 该策略涉及新的移动搜索空间，包含计算效率高的构建块。• FPNAS发现的网络适用于更具挑战性的语义分割任务。2. 相关工作在本节中，我们回顾了代表性的中性架构搜索（NAS）方法，这些方法可以分为基于强化学习的方法和基于进化算法的方法。强化学习方案强化学习首先由Zoph等人应用于神经结构搜索。[39] Bakeret al. [2]，其中控制器被训练为从包括所有可能的层操作的大空间中选择神经网络架构。该算法由于搜索空间巨大，需要训练许多epoch来获得奖励，因此非常耗时。为了缓解这两个问题，Zophet al. [40] Zhonget al. [36]提出先搜索单元或块结构，然后将其叠加得到最终网络，大大降低了搜索空间的复杂度。为了在搜索过程中尽早获得奖励，应用了早期停止策略[36]，并在[15]中训练了代理模型。为了进一步减少获得奖励的训练步骤，ENAS [20]开发了参数共享，其中控制器使用策略梯度进行训练，以通过参数共享选择子图。 其他方法[3，12]使用层变换或态射来增加网络的复杂性以实现高性能。在以往的工作中发现，强化学习策略可能是不稳定的，难以训练。此外，仅考虑具有高精度的大型网络的工作可能对移动级部署没有帮助。最近，提出了MNAS [29]来搜索移动设备的网络。它需要从移动终端云获得奖励，这通常是困难的与以前的方法相比，我们可以搜索非常有效的网络，而无需部署强化学习方案。进化算法为NAS的发展指明了另一个方向.在[32，22]中，进化算法首次在小数据集上证明了其有效性在此之后，[21]将进化算法应用于ImageNet，搜索速度比相同硬件上的强化学习更快，特别是在搜索的早期阶段虽然进化方法适用于NAS，但它面临着与强化学习相同 为了解决这个问题，Liu et al.[16]提出了一种分层遗传表示方案和一个表达搜索空间来加速进化进程。此外，Elsken et al.[5]提出了一种LEMON- ADE进化算法，并引入了拉马克遗传机制，大大提高了进化速度。我们注意到，由于各种超参数，不确定的一致性操作和变异操作，控制进化过程并不总是容易的我们的搜索过程克服了这些障碍，并且更加可控。3. 我们的方法3.1. 移动高效搜索空间卷积神经网络可以被定义为有序集合{块1，块2，.，块N}，其中每个6511块是一个直接无环图（DAG）。为了确保块多样性，我们提出的FPNAS搜索整个网络，而不是像[40，15，12]中那样搜索单个DAG。在下文中，我们首先介绍搜索空间的基本元素，然后解释块多样性的重要性。3.1.1块架构根据[39，15]，我们将块定义为DAGG=（V，E），其中V中的每个顶点表示组合操作（例如，逐元素加法）或分裂操作，并且E中的边表示算术操作，例如卷积或池化。我们注意到，顶点或边可以是一个“空操作”，代表删除图中的顶点或边。由于我们的目标是发现高效的网络架构，我们限制每个块最多三个顶点，以满足移动或嵌入式设备上的资源约束。顶点和边的操作的候选者如下。顶点：• 逐元素加法• Concat手术• 拆分操作• 身份映射边缘：• 卷积：不同扩展比的移动反向瓶颈卷积• 卷积核大小：3×3或5×5• 身份映射我们将concat操作限制为仅在split操作之后出现，以便匹配输入和输出的通道。对于每个块，最多有一个卷积运算。图2示出了块的结构。至于边缘，我们在搜索空间中采用移动反向瓶颈卷积操作，因为它在速度和准确性之间表现出良好的权衡[26]。为了扩大搜索空间的大小，我们搜索深度卷积的扩展我们基于以下考虑来设计搜索空间。我们只保留移动反向瓶颈卷积，而忽略其他常见的卷积操作，因为[29]的搜索结果表明搜索过程只支持这种类型的卷积。逐元素加法可以形成剩余连接，这在以前的工作中很有用[8，26，19]。我们添加了分割操作，因为它在功能重用方面非常出色。基于DenseNet[11]和DPN[4]的发现，特征重用是提高性能的一种相当有效的技术。ShuffleNetV2 [19]证明了拆分操作是移动级网络的有效操作。顶点数设置为3，因为太多图2.每个模块的架构概览。每个框表示一个顶点，最多有三个顶点，每条箭头线表示一条边。从绿色顶点到蓝色顶点有两条边，最初，对边和顶点的操作是未知的。我们用问号表示。分支导致碎片化并影响效率[19]。3.1.2块分集大多数现有的工作只搜索一个通用块，并将其堆叠预定义的时间以形成CNN。这使得所有块具有相同的拓扑结构，这意味着块1=块2=. =块N。这种策略简化了搜索过程，大大提高了搜索效率。限制在于需要重复的块来使它们良好地工作。移动网络受限于有限的资源，堆叠相同的块不能保证在速度和准确性之间的良好权衡。最近的工作[29，30，24]也表明，在网络中的不同位置具有不同的块可能更我们将不同块的数目表示为块分集。一般来说，卷积神经网络的本质是提取和组合图像的特征。我们从两个方面考虑块分集的重要性。第一，意象具有多种特征。在[29]中，它表明不同拓扑结构的块可以有效地提取不同的特征。其次，优化CNN不同位置的块以克服各自的困难[33]。例如，网络中低级别的块更关注边缘和角落，而高级别的块更关注语义信息。因此，有趣的是，当CNN在不同的拓扑结构中具有块时，看看它是否有益于实现良好的性能。为了回答上述问题，我们快速设计了一个系统，并进行了以下实验。我们在CIFAR-10数据集上训练不同的这些网络非常简单，只有5个块，然后是一个完全连接的层.第一个和最后一个块是相同的，即，3×3 DW- Conv和1×1 Conv。选择具有不同拓扑结构的网络的第2 - 4块见第3.1.1节。这三个块使用移动反向瓶颈卷积，并且可以结合短-6512∈88.087.587.0问题公式A 网络 是 组成 表示为块1的块的有序集合：{块1，块2，...，块N}，其中每个块i是第i个块的结构。因此，我们的NAS公式如下：约束优化作为86.5Max区块1：无R（区组1：N）86.0S.T. f（区块1：N）4和E>10时，性能没有显著变化。此外，我们需要选择适当的P来平衡性能和复杂度。我们对P、Q和E的选择是根据这些实验作出的。参数P Q E前1名（%）241095.59841095.48421095.80481095.9344595.38442096.01441096.01表4.不同参数设置的FPNAS结果图5.我们搜索的网络结构的更多细节不同位置的块体有其特殊的拓扑结构。MBConv6和MBConv8是可移动的反向瓶颈卷积，其扩展比分别为6和8.ADE20K数据集。我们在[38]的开源代码中使用具有深度监督技巧的PSPNet。我们使用默认设置，除了将编码器网络替换为我们的网络。我们的结果列于表3中我们的FPNASNet在没有多尺度测试的情况下达到了36.76%的平均IoU和77.91%的像 素 精 度 ， 这 明 显 高 于 MobileNet V2 和 ShuffleNetV2。通过多尺度测试，我们的FPNASNet进一步将平均Iou提高到37.40%，像素精度提高到78.42%。在ADE20K上的性能表明，我们的FPNASNet在其他具有挑战性的计算机视觉任务上具有良好的泛化能力。5. 结论在本文中，我们提出了一个快速和实用的神经架构搜索（FPNAS）框架的移动级网络架构设计。我们首先将NAS表示为一个数学优化问题，并将原来的组合优化分解为多个两层优化任务，大大降低了问题的复杂性我们还引入了一个新的搜索空间，目标-得到在轻量级和高效的网络搜索。我们的FP-NAS只需要20个GPU小时，与其他NAS方法相比，速度非常最后，FPNAS发现的FPNASNet在ImageNet和ADE 20K数据集上分别表现出了分类和语义分割任务的强大泛化能力。今后的工作有许多可能的方向。首先，信道号是搜索过程中可以考虑的重要因素。第二，考虑在搜索过程中动态改变网络的深度最后，将FPNAS直接应用于语义分割或目标检测任务也是一个有趣且有前途的探索方向。6517引用[1] Anubhav Ashok，Nicholas Rhinehart，Fares Beainy，andKris M Kitani. N2N学习：通过策略梯度强化学习进行网络到网络压缩。arXiv预印本arXiv：1709.06030，2017年。4[2] Bowen Baker 、 Otkrist Gupta 、 Nikhil Naik 和 RameshRaskar。使用强化学习设计神经网络架构。CoRR，abs/1611.02167，2016。一、二[3] 韩才，杨嘉诚，张渭南，宋涵，永玉。路径级网络转换，用于高效的体系结构搜索。在ICML，2018。2[4] Yunpeng Chen，Jianan Li，Huaxin Xiao，Xiaojie Jin，Shuicheng Yan，and Jiashi Feng.双路径网络。CoRR，abs/1707.01629，2017。3[5] Thomas Elsken，Jan Hendrik Metzen，and Frank Hutter.cnn 的 多 目 标 体 系 结 构 搜 索 。 arXiv 预 印 本 arXiv ：1804.09081，2018。一、二[6] Amir Gholami 、 Kiseok Kwon 、 Bichen Wu 、 ZizhengTai 、 Xiangyu Yue 、 Peter Jin 、 Sicheng Zhao 和 KurtKeutzer。挤压下一个：硬件感知神经网络设计。在CVPR，2018年。7[7] Ross Girshick，Jeff Donahue，Trevor Darrell和JitendraMalik。丰富的特征层次结构，用于精确的对象检测和语义分割。CVPR，2014。1[8] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。一、三、六[9] Andrew G. Howard，Menglong Zhu，Bo Chen，DmitryKalenichenko，Weijun Wang，Tobias Weyand，MarcoAn- dreetto，and Hartwig Adam. Mobilenets：用于移动视觉应用的高效卷积神经网络CoRR，abs/1704.04861，2017。1、7[10] 高煌，刘世辰，劳伦斯·范德马腾，和Kilian Q.温伯格Condensenet：一个高效的密集网络，使用学习的群卷积。CoRR，abs/1711.09224，2017。7[11] 高煌，刘庄，劳伦斯·范德马腾，和Kilian Q.温伯格密集连接的卷积网络。在CVPR，2017年。第1、3条[12] 金海峰，宋清泉，夏虎。利用网络态射进行有效的神经结构搜索。CoRR，abs/1806.10282，2018。一、二、三[13] 亚历克斯·克列日夫斯基和杰弗里·辛顿从微小的图像中学习多层特征。技术报告，Cite- seer，2009年。5[14] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。NIPS，2012年。1[15] 刘晨曦，巴瑞特·佐夫，马克西姆·诺伊曼，乔纳森·施伦斯，华伟，李丽佳，李飞飞，艾伦·L。Yuille，JonathanHuang，and Kevin Murphy.渐进式神经结构搜索。在ECCV，2018。二三五六七[16] Hanxiao Liu，Karen Simonyan，Oriol Vinyals，Chrisan-tha Fernando，and Koray Kavukcuoglu.用于高效体系结构搜索的分层表示。CoRR，abs/1711.00436，2017。一、二、六[17] 柳寒笑，凯伦西蒙尼扬，杨一鸣。DARTS：微分架构搜索。CoRR，abs/1806.09055，2018。五、六、七[18] 伊利亚·罗希洛夫和弗兰克·哈特。SGDR：带有热重启的随机在ICLR，2017。六、七[19] 马宁宁，张翔宇，郑海涛，孙健。Shufflenet V2：有效的CNN架构设计的实用指南。在ECCV，2018。一二三六七[20] Hieu Pham，Melody Y.放大图片作者：Guan，BarretZoph.Le和Jeff Dean。通过参数共享进行高效的神经架构搜索。在ICML，2018。一、二、六[21] Esteban Real ， Alok Aggarwal ， Yanping Huang ， andQuoc V. Le.用于图像分类器架构搜索的正则化进化。CoRR，abs/1802.01548，2018。一、二、五、六[22] Esteban Real ， Sherry Moore ， Andrew Selle ， SaurabhSaxena，Yutaka Leon Suematsu，Jie Tan，Quoc V.Le和Alexey Ku- rakin。图像分类器的大规模进化。ICML，2017。一、二[23] 任少卿、何开明、罗斯·格尔希克、孙健。更快的r-cnn：利用区域建议网络进行实时目标检测。2015年，在NIPS中。1[24] Clemens Rosenbaum，Tim Klinger，and Matthew Riemer.路由网络：多任务学习中非线性函数的自适应选择。arXiv预印本arXiv：1711.01239，2017。3[25] Olga Russakovsky ， Jia Deng ， Hao Su ， JonathanKrause ， San- jeev Satheesh ， Sean Ma ， ZhihengHuang，Andrej Karpathy，Aditya Khosla，Michael S.作者 ： Bernstein ， Alexander C. Berg 和 Fei-Fei Li 。Imagenet 大 规 模 视 觉 识 别 挑 战 赛 。 CoRR ，abs/1409.0575，2014。5[26] Mark Sandler 、 Andrew Howard 、 Mengl
我的内容管理
展开
