神经网络宽度搜索方法在具有延迟约束的目标平台上自适应和优化网络宽度

1AOWS：具有延迟约束的自适应和最优网络宽度搜索MaximBerman2001LeonidPishchuli n2NingX u2Matth e wB. Blaschko1 Ge'rardMedioni21鲁汶大学电气工程系语音和图像处理中心2Amazon Go摘要神经架构搜索（NAS）方法旨在自动找到适合计算约束的新型CNN架构，同时在目标平台上保持良好的性能。我们介绍了一种新的高效的一次性NAS方法，以最佳的搜索通道数，给定的延迟限制在一个特定的硬件。我们首先表明，我们可以使用黑盒的方法来估计一个真实的延迟模型为特定的推理平台，而不需要低级别的访问推理计算。然后，我们设计了一个成对的MRF评分的任何信道配置，并使用动态规划，以有效地解码的最佳性能配置，产生一个最佳的解决方案的网络宽度搜索。最后，我们提出了一个自适应的通道配置采样方案，逐步专门训练阶段的目标计算约束。ImageNet分类实验表明，我们的方法可以在不同的目标平台上找到适合资源约束的网络，同时提高了最先进的高效网络的准确性。1. 介绍神经网络定义了计算机视觉的最新技术，用于各种任务。越来越复杂的基于深度学习的视觉算法正在各种目标平台上部署，但它们必须适应平台相关的延迟/内存要求和不同的硬件配置文件。这激发了对任务感知神经架构搜索（NAS）方法的需求[1，35，25]。文献中已经提出了多种NAS方法，并成功应用于图像识别[3，23，22，12，28，36]和语言建模任务[35]。尽管它们的性能令人印象深刻，但这些方法中的许多方法都非常昂贵，需要训练数千个架构才能找到性能最佳的模型[35，23，36，12，19]。因此，一些方法试图在亚马逊实习期间完成的工作图1：OWS应用于3层神经网络的概述。顶部：可精简网络;底部： MRF，用于最佳选择通道编号c1和c2。通过使用单个过参数化神经网络总结整个搜索空间来显著降低计算开销[22，28]。AutoSlim [31]将整个搜索空间（不同的通道数）嵌套在一个可精简的网络架构中[33，32]，经过训练，在测试时以不同的通道数配置运行。在这项工作中，我们建立在可瘦身网络的概念，并提出了一种新的自适应最优宽度搜索（AOWS）有效地搜索神经网络通道配置。我们做出了几项重要贡献。首先，我们介绍了一种简单的黑盒延迟建模方法，该方法允许估计特定硬件和推理模态的现实延迟模型，而不需要对推理计算进行低级访问其次，我们设计了一个最佳宽度搜索（OWS）策略，使用动态编程来有效地解码最佳性能的信道配置在成对马尔可夫随机场（MRF）。我们的经验表明，与贪婪迭代修剪过程相比，考虑整个信道配置搜索空间会产生更好的NAS解决方案[31]。第三，我们提出了一种自适应的信道配置采样方案。这种方法在训练时逐渐将NAS代理专门用于我们的特定目标，从而在实践中提高了准确性-延迟权衡最后，我们在3个目标平台的ImageNet分类任务上广泛评估了AOWS，并显示出比最先进的高效网络有显着的准确性提高。1121711218相关的工作。 最近几年，人们对自动神经结构搜索（NAS）方法的兴趣越来越大[1，35，25]。已经提出了多种NAS方法，并成功应用于图像识别[3，23，22，12，28，36，19]和语言建模任务[35]。Pi-oneer方法[35，36]使用强化学习来搜索具有较低FLOP和改进准确性的新颖架构。MNasNet [23]直接搜索移动设备的网络架构。他们在架构搜索过程中对几千个模型进行采样，只对每个模型进行几个时期的训练，并在一个大型验证集上进行评估，以快速估计潜在的模型准确性。 许多这些方法中的一种需要非常繁重的计算，并且因此求助于代理任务（例如，少量的时期，更小的数据集，减少的搜索空间），然后选择性能最好的构建块用于进一步学习大规模目标任务[23，19，36]。为了克服这些限制，一组方法直接学习大规模目标任务和目标硬件平台的体系结构。例如，[3]假设网络结构由块组成（例如，MNasNet [23]），并依赖于基于梯度的方法，类似于DARTS [13]，在每个块内搜索另一组方法旨在通过使用单个过参数化神经网络总结整个搜索空间来显著降低计算开销[22，28，33，32]。单路径NAS [22]使用这种嵌套模型的原理，并将搜索通道号与搜索内核大小相结合。然而，单路径NAS将对信道号的搜索限制为每层2个选择，并且仅对网络的信道号的子集进行优化，固定骨干信道号并且仅对诸如Mobilenet-v2的架构中的剩余分支的扩展比率进行优化[20]。AutoSlim [31]使用可精简的网络架构[33，32]，其被训练为在不同的信道数量配置下操作，作为用于被训练为在单个信道配置下操作的网络的性能的模型因此，整个搜索空间（不同的信道号）被嵌套到一 个 唯 一 的 网 络 中 。 一 旦 可 精 简 网 络 被 训 练 ，AutoSlim就用贪婪迭代修剪过程选择最终的通道数，从最大通道数配置开始，直到满足资源我们的方法与AutoSlim密切相关，因为我们也建立在可精简的网络上。在第3节中，我们进一步详细介绍了这些先前的工作[32，33，31]，强调了它们与我们的方法的相似之处和不同之处，我们将在第4节至第6节中介绍。2. 神经架构搜索我们现在简要概述NAS问题陈述。一般的NAS问题可以表示为：问题2.1（NAS问题）。给定一个搜索空间S，一组资源约束C，最小化n（N），其中N∈S<$C。在监督学习设置中，误差N（N）通常被定义为在训练集上训练网络N之后验证集上的误差。在下文中，我们讨论搜索空间S和约束集C的选择。搜索空间。NAS问题的难度取决于搜索空间。S中的神经网络可以用它的计算图、图中每个节点的类型和每个节点的参数来表示。更特殊的NAS方法固定神经网络连接图和操作，但旨在为这些操作找到正确的参数，例如。内核大小或网络中每层的输入/输出通道数（宽度）。单路径NAS [22]搜索内核大小和通道号，而AutoSlim [31]只搜索通道号. NAS问题对搜索信道号的限制允许比更一般的NAS方法更细粒度此外，通道数校准对网络的性能至关重要，并且可能直接影响推理时间。即使只搜索频道号，搜索空间的大小也是一个挑战：如果具有n层的网络N由其信道号（c0，. - 是的-是的..S个通道={N（c0，c1，. - 是的- 是的，cn），ci∈ Ci}（1）在层数上是指数的。因此，需要有效的方法来探索搜索空间，例如。通过依赖于近似、代理，或者通过使用单个网络来表示搜索空间的许多元素资源限制。NAS问题（问题2.1）中的资源约束C是目标应用中使用的硬件和推理机特定的约束。 许多NAS方法所考虑的C是单个推理期间FLOP数量或性能虽然FLOP可以被看作是一个广泛涵盖所需物理限制的度量，但推理受到到（例如，延迟和功耗），已经表明FLOP与这些最终指标的相关性很差[29]。因此，将NAS专门化为特定的推理引擎并将资源约束表示为目标平台限制的边界是特别感兴趣的。这就产生了更多的资源特定的NAS方法，使用以下形式的资源约束：C={N |M（N）

下载后可阅读完整内容，剩余1页未读，立即下载