多项分布学习用于有效神经结构搜索

1用于有效神经结构搜索的多项分布学习郑晓武1，2，季荣荣1，2，唐浪1，2，张宝昌3，刘建庄4，田琦51人工智能系媒体分析与计算实验室，厦门大学信息学院，361005，2中国深圳鹏程实验室3中国北京航空航天大学4华为诺亚{zhengxiawu，langt}@ stu.xmu.edu.cn，rrji@xmu.edu.cnbczhang@buaa.edu.cn，刘. huawei.com，qitian@cs.utsa.edu摘要神经架构搜索（NAS）获得的架构在各种计算机视觉任务中取得了极具竞争力的性能。然而，深度神经网络和搜索算法中前向-后向传播的禁止计算需求使得NAS难以在实践中应用。在本文中，我们提出了一种非常有效的NAS的多项分布学习，它将搜索空间视为联合多项分布，即，从该分布中抽取两节点间的操作，并根据该分布中概率最大的操作得到最优网络结构。因此，NAS可以转化为多项分布学习问题，即，该分布被优化以具有高的性能期望。此外，提出了一个假设，即性能排名是一致的，在每个训练时期，并证明进一步加快学习过程。在CIFAR-10和ImageNet上的实验证明了该方法的有效性对CIFAR-10，我们的方法搜索的结构实现了2.55%的测试误差，同时是6.0倍（只有4 GPU小时的GTX 1080Ti）相比，最先进的NAS算法的速度。 在ImageNet上，我们的模型在MobileNet设置（MobileNet V1/V2）下达到了75.2%的top- 1准确率，同时在测量的GPU延迟下速度提高了1.2倍。带有预训练模型的测试代码可在https：//github.com/tanglang96/MDENAS1. 介绍给定一个数据集，神经架构搜索（NAS）旨在通过搜索算法在巨大的搜索空间中发现高性能的卷积架构。*通讯作者。NAS在各种深度学习任务的自动化架构工程方面取得了很大成功，例如图像分类[19，34，32]，语言建模[20，33]和语义分割[18，6]。如[ 9 ]所述，NAS方法由三部分组成：搜索空间、搜索策略和性能估计。传统的NAS算法通过搜索策略对特定的卷积架构进行采样并估计性能，这可以被视为更新搜索策略的目标。尽管取得了显著的进步，但传统的NAS方法因计算量大和存储成本高而受到限制。例如，强化学习（RL）方法在[34]在4天内，在500个GPU上训练和评估了超过20，000个神经最近在[20]中的工作通过以可微的方式制定任务来提高可扩展性，其中搜索空间被放松到连续空间，因此可以通过梯度下降来优化架构，并在验证集上进行性能优化。然而，可区分NAS仍然遭受高GPU内存消耗的问题，其随着候选搜索集的大小线性增长。实际上，大多数NAS方法[34，18]使用标准训练和验证对每个搜索的架构执行性能估计，通常，必须训练架构以收敛以获得验证集的最终评估，这在计算上是昂贵的并且限制了搜索探索。但是，如果不同架构的评估可以在几个epoch内进行排名，为什么我们需要在神经网络收敛后估计性能考虑图中的一个例子1，我们 对 不 同 层 次 的 不 同 架 构 （ LeNet [17] ， AlexNet[16]，ResNet-18 [11]和DenseNet [14]）进行了随机采样，训练和测试中的性能排名是一致的（即，在不同的网络和训练时期，性能排名为ResNet-18> DenseNet-BC> AlexNet> LeNet）。基于这一观察，我们提出以下性能排名假设：13041305图1.我们随机选择广泛使用的LeNet [17]，AlexNet [15]，ResNet-18[11]和DenseNet-BC（k= 40）[14]来说明所提出的性能排名假设。培训和测试在CIFAR-10上进行。我们报告了训练集和测试集上的top1错误和损失学习曲线。从图中可以看出，测试损失和准确率的排名在每个训练时期都保持一致，即，一个好的架构往往在整个训练过程中有更好的表现。性能等级假设。如果小区A在特定网络和训练历元上具有比小区B更高的验证性能，则在这些训练集收敛之后，小区A在不同网络上往往优于小区B。这里，细胞是将输入张量映射到输出张量的全卷积有向无环图（DAG），并且通过堆叠不同数量的细胞来获得最终网络，其细节在第2节中描述。3 .第三章。这个假设说明了神经结构搜索中一个简单而重要的规则。不同体系结构的比较可以在早期阶段完成，因为不同体系结构的排名已经足够了，而最终结果是不必要的和耗时的。基于这一假设，我们提出了一个简单而有效的解决方案，称为多项式分布高效神经结构搜索（MdeNAS），它直接将NAS制定为一个分布学习过程。具体地说，两个节点之间的操作候选的概率被相等地初始化，这可以被认为是一个多项分布。在学习过程中，通过每个时期的当前性能更新分布的参数，使得不良操作的概率被转移到更好的操作。通过这种搜索策略，MdeNAS能够在丰富的搜索空间中快速有效地发现具有复杂图形拓扑的高性能在我们的实验中，MdeNAS设计的卷积单元实现了强大的定量结果。所搜索的模型在CIFAR-10上的检验误差为2.55%，参数较少。 在ImageNet上，我们的模型 在 MobileNet 设 置 （ MobileNet V1/V2 ） 下 达 到 了75.2%的top- 1准确率[12，26]），同时在测量GPU延迟的情况下快1.2倍本文的贡献归纳为如下所示：• 我们介绍了一种新的网络架构算法-真搜索，其适用于各种大规模数据集，因为存储器和计算成本与普通神经网络训练相似。• 我们提出了一个性能排名的假设，它可以被纳入到现有的NAS算法，以加快其搜索。• 所提出的方法取得了显着的搜索效率，例如。，使用1 GTX 1080 Ti在4小时内对CIFAR-10的测试误差为2.55%（与最先进的算法相比快6.0倍），这归因于使用我们的分布学习完全不同于基于RL的方法[2，34]和可微方法[20，29]。2. 相关工作正如在[33，34]中首次提出的，在预定义的架构空间中的自动神经网络搜索在过去几年中受到了极大的关注。为此，已经提出了许多搜索算法来使用特定的搜索策略找到最优的由于大多数手工制作的CNN都是通过堆叠归约（即，输入的空间维度被减小）和范数（即，输入的空间维度被保留）细胞[14，11，13]，[33，34]中的作品提出在相同的设置下搜索网络以减少搜索空间。[33，34，2]中的作品使用强化学习作为元控制器，以探索架构搜索空间。 [33，34]中的工作采用递归神经网络（RNN）作为策略，顺序采样编码特定神经架构的字符串。策略网络可以用策略梯度算法或邻近策略优化来训练。文献[3，4，19]中的工作将体系结构搜索空间视为网络变换的树结构，即：该网络是由一个较远的网络通过一些预定义的操作生成的，这减少了搜索空间，1306BB图2.搜索不同规模的网络。(a)网络由堆叠的单元组成，每个单元将前两个单元的输出(b)一个单元包含7个节点，两个输入节点 I1和I2，四个中间节点 B1，B2， B3，B4，它们应用sam，3. 架构搜索空间在本节中，我们将描述架构搜索空间和构建网络的方法。我们遵循与以前的NAS作品相同的设置[20，19，34]以保持一致性。如示于图2、将网络定义在不同的尺度上：网络、单元和节点。3.1. 节点节点是构成单元的基本元素每个节点xi是一个特定的张量（例如，卷积神经网络中的特征映射），并且每个有向边（i，j）表示从运算搜索空间采样的运算o（i，j），以将节点xi变换为另一个节点xj，如图1所示。第2段（c）分段。单元中有三种类型的节点：输入节点xI、中间节点xB和输出节点xO。每个单元将之前的输出张量作为输入在输入节点和上节点上执行pled操作，以及输出节点，并生成中间节点xi借─连接四个中间节点的输出的节点。(c)两个节点之间的边表示根据搜索空间中的多项式分布的可能操作。加快搜索速度。基于RL的方法的替代方案是进化方法，其通过进化算法优化神经体系结构[28，24]。然而，上述架构搜索算法仍然是计算密集型的。因此，最近提出了一些通过一次性设置来加速NAS的工作，其中网络通过超表示图进行采样，并且可以通过参数共享来加速搜索过程[23]。例如，DARTS [20]通过连续松弛优化超图中两个节点内的权重。因此，可以通过标准梯度下降来更新参数。然而，一次性方法遭受大GPU存储器消耗的问题。为了解决这个问题，ProxylessNAS [5]在没有特定代理的情况下使用路径二进制化[7]探索搜索空间然而，由于ProxylessNAS的搜索过程仍然在一次性方法的框架内，因此它可能具有相同的复杂性，即，在Prox-ylessNAS中获得的益处是在探测和开发之间的权衡。也就是说，在搜索过程中需要更多的时期。此外，[5]中的搜索算法类似于以前的工作，无论是基于差分或RL的方法[20，34]。与以往方法不同的是，本文将路径/操作选择编码为分布采样，通过分布学习实现控制器/代理的优化。我们的学习过程进一步整合了所提出的假设，以估计每个操作/路径的优点，从而实现了非常有效的NAS搜索。将采样操作o（i，j）应用于前一个节点（xi和xj，j ∈[1，i））。所有中间节点的级联被视为最终输出节点。下面[20]一组可能的操作，表示为O，由以下8个操作组成：（1）3 ×3最大池-ing. (2)无连接（零）。 (3)3×3平均合并。(4)跳过连接（标识）。（5）3×3扩张卷积，速率为2。(6)5×5扩张卷积，速率为2。(7)3×3深度可分离卷积。（8）5×5深度可分离卷积。我们简单地在具有多个操作（边）的节点的输入处采用逐元素加法例如图2（b），B2有三个操作，其结果是添加元素的方式，然后被认为是B2。3.2. 细胞细 胞 被 定 义 为 将 H×W×F 张 量 映 射 到 另 一 个H′×W′×F′ 的 微 小 卷 积 网 络 。 有两种类型的细胞，规范细胞和减少细胞。 范数单元使用步长为1的运算，因此H′=H且W ′= W。约简单元使用步长为2的运算，因此H′=H/2，W′=W/2。F或过滤器的数量F和F′，在大多数人类设计的卷积神经网络[11，14，16，27，10，31]中，一个常见的启发式算法是每当空间特征图减半时将F加倍。因此，对于步幅1，F ′=F，对于步幅2，F ′= 2F。如示于图在图2（b）中，该单元由具有7个节点的DAG表示（两个输入节点I1和I2，四个中间节点B1、B2、B3、B4，其在输入和上部节点上应用采样操作，以及连接中间节点的输出节点）。之间的边缘两个节点表示根据搜索空间中的多项式分布p（node1，node2）的 可 能 操 作 。在训练中，中间节点的输入通过以下方式获得：当它有多个边时，按元素添加（opera，1307M图3.总体搜索算法是：（1）在搜索空间中按相应的参数为θ的多项式分布对一个操作进行抽样。（2）用一次前向和反向传播训练生成的网络（3）在验证集上测试网络(4)根据提出的分布学习算法更新分布参数。在右表中，操作1的历元数是10，这意味着在所有历元中选择该操作10次。选项）。在测试中，我们选择前K个概率来生成最终单元格。因此，整个搜索空间的大小为2×8|EN|其中，EN是可能边的集合有N个中间节点。 在N= 4的情况下，[5]中的工作，并将M个实值概率{pi}和二进制门{gi}：[1，0，…概率P细胞结构总数为2×82+3+4+5 =2×814，` ˛¸X1这是一个非常大的搜索空间，因此，CIMMg=…（一）需要有效的优化方法。3.3. 网络如示于图图2（a）中，网络由预定数量的堆叠单元组成，这些堆叠单元可以是范数单元或约简单元，每个约简单元都取两个二阶导数的输出。[0，0，...，概率pM`˛¸ xM节点i和j之间的最终运算通过下式获得：一个人的一个人的一个人细胞作为输入。在网络的顶部，全球平均池化（pooling）之后是softmax层，用于最终输出。基于性能排名假设，我们训练一个o（i，j）=o（i，j）g=我...概率为pM。（二）小（例如，6层）堆叠模型来搜索范数和约简单元，然后生成更深的网络（例如，20层）进行评价。整体CNN构建过程和搜索空间与[20]相同。但请注意，我们的搜索算法是不同的。4. 方法在本节中，介绍了我们的NAS方法。我们首先描述如何对第二节中提到的网络进行采样。3.减少训练过程中的GPU内存消耗。然后，我们提出了一个多项分布学习，有效地优化分布参数使用所提出的假设。4.1. 采样如第3.1中，网络结构的多样性是由每两个节点对M条可能路径（在本工作中，M= 8）的不同选择产生的在这里我们首字母-如前面的等式所示，我们在运行时只对一个操作进行采样，与[20]相比，这有效地降低了并发症成本。4.2. 多项分布学习以前的NAS方法是时间和内存消耗。强化学习的使用进一步禁止了网络训练中具有延迟奖励的方法，即，结构的评估通常在网络训练收敛后完成。另一方面，正如在SEC中提到的。1，根据性能排名假设，我们可以在训练网络时对小区进行评估。如示于图3.记录搜索空间中每个操作的训练时期和精度。如果操作A具有更少的训练时期和更高的准确性，则操作A优于B形式上，对于两个节点之间的特定边缘，我们将操作概率定义为p，将训练时期定义为He，将这些路径的概率设为pi=1一开始-和准确度为Ha，其中每一个都是实值col。宁为探索。 在采样阶段，我们遵循长度为M= 8的umn向量。为了清楚地说明我们的学习-1308M1Mi、j（中文）i、ji、ji、ji、jing方法，我们进一步定义历元的微分为：算法1：多项分布学习（→1×He−He）T输入：训练数据：Dt;验证数据：Dv;E=E1...（→1×He - He）T，（3）CNN模型：F1 . 输出：单元操作概率：P2 . 对于t=1，…，Tepoch do精度的微分为：（→1×Ha−Ha）T3根据公式1对运算进行采样;4用1个epoch训练网络;5在Dv上建立网络;Ha=（4）（→1×Ha−Ha）T其中→1是一个长度为8的列向量，它的所有元素都是1，He和Ha是8×8矩阵，其中He=6根据公式3和公式4计算历元和精度的微分;7用等式5更新概率;端8He− He，Ha=Ha− Ha. 经过一个纪元的训练，i j i，j i j根据评价结果计算了相应的变量He、Ha、ΔHe和ΔHa的参数多项分布可以通过以下方式更新：Σ我们将我们的方法与最先进的方法在两个广泛使用的分类数据集（包括CIFAR-10和ImageNet）上的搜索有效性和效率进行了01-02埃莱i、jJΣe<0，000a一>0）−（五）5.1. 实验设置5.1.1数据集n（nHi，j>0，n Hi，j0）），0）而增强。<同时我们遵循大多数NAS作品[20，4，34，19]的实验数据集和评估指标。特别是，我们在CIFAR-10 [15]上进行了大部分实验，它有50，000张训练图像和10，000张测试图像。在架构搜索中，我们从训练集中随机选择5000张图像作为验证集来评估架构。彩色图像大小为32×32，10类。所有的概率随着更多的时期而降低（Ep >0）i、j和较低的性能（ΔHa0）。<由于Eq.在每个训练期后应用5，搜索中的概率空间可以在几个时期之后有效地收敛和稳定。结合提出的性能排名假设（在第5节中进行了演示），我们的NAS多项分布学习算法非常有效，并且在相同设置下与其他最先进的方法根据假设，考虑到性能排名由不同的层组成，为了进一步提高搜索效率，我们将[20]中的搜索网络替换为另一个更浅的网络（仅6层），在CIFAR-10上搜索仅需4个GPU小时。为了生成最终的网络，我们首先选择在所有边中概率最高的操作。对于具有多输入的节点，我们采用具有前K个概率的逐元素加法。最终的网络由预定数量的堆叠单元组成，使用范数或reduc- tion单元。我们的多项分布学习算法在Alg中给出。1.一、5. 实验在本节中，我们首先在CIFAR-10上进行一些实验然后，1309将图像的颜色强度归一化为[-1，+1]。为了进一步评估泛化，在发现CIFAR-10上的良好细胞，该架构被转移到更深的网络中，因此我们也在ILSVRC 2012 ImageNet上进行分类[25]。该数据集由1000个类组成，其中有128万张训练图像和50，000个验证图像。在这里，我们考虑移动设置，其中输入图像大小为224×224，并且模型中乘加运算的数量被限制为小于600M。5.1.2实现细节在搜索过程中，根据假设，层数与单元结构的评价无关。因此，我们考虑网络中总共L= 6个单元，其中约简单元插入第二层和第三层，并且每个单元有4个节点该网络被训练100个epoch，批量大小为512（由于浅网络和很少的操作采样），初始通道数为16。我们使用带有动量的SGD来优化网络权重w，初始学习率为0.025（按照余弦时间表退火到零），动量为0.9，重量衰减为3×10−4。多项式参数的学习率设置为0.01。13102图4.不同架构的测试误差（左）、前1精度（中）和Kendall误差和精度曲线是纠缠在一起的，因为它们是从第3节定义的相同搜索空间中采样的。因此，我们进一步计算每个历元与最终结果之间的Kendall请注意，肯德尔在CIFAR-10上仅使用一个NVIDIA GTX 1080Ti，搜索仅需4个GPU小时在架构评估步骤中，实验设置类似于[20，34，23]。一个由20个细胞组成的大型网络被训练了600个epoch，批量大小为96，具有额外的正则化，如cutout[8]，路径丢弃概率为0.3 [20]。我们实现的所有实验和模型都在PyTorch中[22]。在ImageNet上，我们保持与CIFAR-10相同的搜索超参数。在训练过程中，我们遵循先前的NAS方法[20，34，23]，具有相同的实验设置。该网络训练了250epoch，批量大小为512，权重衰减为3×10−5，初始SGD学习率为0.1（衰减因子为0.97在每一个时代）。5.1.3基线我们比较我们的方法与人类设计的网络和其他NAS网络。手动设计的网络包括ResNet [11]，DenseNet [14]和SENet [13]。对于NAS网络，我们根据不同的搜索方法对其进行分类，例如RL（NASNet [34]，ENAS [23]和路径级NAS [4]），进化算法（AmoebaNet [24]），基于顺序模型的优化（SMBO）（PNAS [19]）和基于梯度的（DARTS [20]）。我们进一步在ImageNet上的移动设置下比较我们的方法，以证明泛化。我们的算法在CIFAR-10上生成的最佳由于我们的算法需要更少的时间和内存，我们也直接在ImageNet上搜索，并将其与另一个类似的无代理NAS基线（低计算消耗）进行比较[5]。5.2. 假设的评价我们首先进行实验，以验证所提出的性能排名假设的正确性为了对假设有一些直观的理解，我们引入了肯德尔秩相关系数，也就是Kendall rank correlationcoefficient。Kendall给定m个项目的两个不同秩，肯德尔P−Qτ=，（6）P+Q其中P是一致的对的数量（在两个排名中顺序相同），Q表示不一致的对的数量（顺序相反）。τ∈[-1，1]，1表示排名相同，-1表示排名相反。两个等级中的一对是一致的概率是pτ=τ+1。因此，τ= 0意味着50%的对是一致的。我们在搜索空间中随机抽取不同的网络架构，并报告测试集上不同时期的损失，准确性和Kendall在每个时代的性能排名进行比较，不同的网络架构的最终性能排名。如图2所示。4，由于采样网络的均匀性，精度和损耗几乎无法区分，即， 所有的网络都是从同一个空间生成的。另 一方面，Kendall系数保持高值（τ >0，pτ>0。5）在大多数时期，随着时期数量的增加，一般接近1。这表明，体系结构评价排名在每个时期都具有很高的可信度注意，每个历元的肯德尔τ的平均值因此，假设成立的概率为0.74。此外，我们发现，假设与多项式分布学习的结合可以相互促进。该假设保证了在选择一个好的体系结构时的高期望值，而分布学习降低了这种可能性。1311架构测试错误Params搜索成本搜索（%）（男）(GPU天）方法ResNet-18 [11]3.5311.1-手动DenseNet [14]4.771.0-手动SENet [13]4.0511.2-手动NASNet-A [34]2.653.31800RLAmoebaNet-A [24]3.343.23150进化AmoebaNet-B [24]2.552.83150进化PNAS [19]3.413.2225森博ENAS [23]2.894.60.5RL路径级NAS [4]2.495.78.3RL[20]第20届中国国际音乐节2.943.11.5基于梯度[20]第20届中国国际音乐节2.833.44基于梯度随机抽样[20]3.493.1--MdeNAS（我们的）2.553.610.16MDL表1.在CIFAR-10上测试我们发现的架构、人工设计的网络和其他NAS架构的错误率为了公平起见，我们选择了具有相似参数（10M）和训练条件（相同时期和正则化）的架构和结果。<图5.CIFAR上发现的最佳细胞的详细结构10.边上操作的定义见3.1节。在约简单元（上）中，2个输入节点上的操作的步幅是2，而在范数单元（下）中，步幅是1。对一个糟糕的架构进行采样的能力。5.3. 关于CIFAR 10我们首先使用所提出的方法找到最佳的细胞结构。特别是，我们首先在过参数化网络上搜索神经架构，然后用更深的网络评估最佳架构为了消除随机因素，该算法运行了几次。我们发现，架构性能仅随时间的不同而略有不同，以及与更深网络中的最终性能（0.2）相比，这表明所提出的方法的稳定性。最佳架构如图所示。五、CIFAR-10上卷积架构的总结结果见表1。1.一、不值得-研究表明，所提出的方法优于最先进的方法[34，20]，同时具有极低的计算消耗（仅0.16 GPU天[34]中的1，800）。<<由于性能高度依赖于不同的正则化方法（例如，，cutout [8]）和层，选择网络架构以在相同设置下进行同等比较。此外，其他作品搜索网络使用基于差分或黑盒优化。我们基于我们解决分布学习问题的新方法以及快速学习过程来赞扬我们的优越结果：当分布收敛时，可以直接从分布中得到网络结构.相反，以前的方法[34]仅在训练过程完成时评估架构，这是非常低效的。在Tab中观察到的另一个值得注意的现象。1是，即使在搜索空间中随机抽样，[20]中的测试错误率仅为3.49%，这与相同搜索空间中的先前方法相当。因此，我们可以合理地得出结论，在以前的方法的高性能部分是由于良好的搜索空间。同时，该方法能快速探索搜索空间，生成更好的结构.我们还报告了手工制作的网络工程的结果在Tab。1.一、显然，我们的方法显示了显着的增强，这表明它在资源消耗和测试精度方面的优势。5.4. ImageNet上的结果我们还在ImageNet数据集上运行我们的算法[25]。在已有工作的基础上，我们对不同的搜索数据集进行了两次实验，并在同一数据集上进行了测试。如表1所示。1、以前的工作在CIFAR-10上是耗时的，不切实际的搜索1312架构准确度（%）参数搜索成本搜索表2.在移动环境下与ImageNet上最先进的图像分类方法进行比较。所有NAS网络都在CIFAR-10上搜索，然后直接传输到ImageNet。型号Top-1搜索时间在[5]中获得 这样，零层和同一层在搜索空间中，我们只搜索与卷积层相关的超参数。结果报告在表1中3，我们发现，我们的MdeNAS实现了卓越的性能相比，人类设计的和自动架构搜索方法，以更少的计算消耗。6. 结论表3.在移动环境下与ImageNet上最先进的图像分类进行比较。这些网络直接在具有MobileNetV2 [26]主干的ImageNet上搜索。ImageNet.因此，我们首先考虑ImageNet上的可转移实验，即在CIFAR-10上找到的最佳架构直接转移到ImageNet，使用步幅为2的两个初始卷积层，然后在1，2，6和10处堆叠14个触发器的总数是决定通过选择的初始数量- ber的渠道。我们遵循现有的NAS工程来比较移动设置下的性能，其中，图像大小为224×224，模型限制在600M FLOPS以下。我们设置其他超参数[2019 - 03 -23]如前所述，第5.1.2条。结果在Tab.2表明CIFAR- 10上的最佳细胞架构注意，所提出的方法实现了与最先进的方法相当的精度，同时使用更少的计算资源。最 小 的 时 间 和 GPU 内 存 消 耗 使 我 们 的 算 法 在ImageNet上可行。因此，我们进一步在ImageNet上进行了搜索实验.我们按照[5]设计网络设置和搜索空间。特别是，我们允许一组移动通信-具有各种内核{3，5，7}和扩展比{1，3，6}的卷积层。为了进一步加速搜索，我们直接使用CPU和GPU结构的网络在本文中，我们提出了MdeNAS，第一个基于分布式学习的卷积网络搜索算法的架构。我们的算法是基于一个新的性能排名假设，能够进一步减少搜索时间，比较架构的性能在早期的训练过程中部署。受益于我们的假设，MdeNAS可以大幅降低计算消耗，同时在CIFAR-10和ImageNet上实现出色的模型精度此外，Mde-NAS可以直接在ImageNet上进行搜索，其性能优于人工设计的网络和其他NAS方法。鸣 谢 。 本 工 作 得 到 国 家 重 点 研 发 计 划（No.2017YFC0113000，No.2016YFB1001503），国家 自 然 科 学 基 金 （ No.U1705262 ， No.61772443 ，No.61572410），国家语言文字工作委员会科研项目（批准号：BX201600094）、国家博士后科学基金项目（批准号：2017 M612134）、博士后创新人才支持计划项目（批准号：YB 135 -49）、福建省自然科学基金（编号：2017 J 01125和编号2018J01106）。引用[1] Herve 'Abdi。肯德尔等级相关系数。测量与统计百科全书. Sage，Thousand Oaks，CA，第508-510页，2007年。6Top1Top5（男）(GPU天）方法[第12话]70.689.56.6-手动[26]第二十六话72.091.03.4-手动[30]第30届中国国际音乐节70.990.8∼5-手动[21]第21届中国国际音乐节73.7-∼5-手动NASNet-A [34]74.091.65.31800RLAmoebaNet-A [24]74.592.05.13150进化AmoebaNet-C [24]75.792.46.43150进化PNAS [19]74.291.95.1225森博DARTS [20]73.191.04.94基于梯度MdeNAS（我们的）74.592.16.10.16MDLGPU延迟时间MobileNetV272.0-6.1msShuffleNetV272.6-7.3ms无代理（GPU）[5]74.845.1ms无代理（CPU）[5]74.147.4msMdeNAS（GPU）75.224.9msMdeNAS（CPU）74.127.1ms1313[2] Bowen Baker 、 Otkrist Gupta 、 Nikhil Naik 和 RameshRaskar。使用强化学习设计神经网络架构。arXiv预印本arXiv：1611.02167，2016。2[3] Han Cai，Tianyao Chen，Weinan Zhang，Yong Yu，andJun Wang.通过网络变换进行有效的体系结构搜索。2018年第32届AAAI人工智能会议2[4] 韩才，杨嘉诚，张渭南，宋涵，永玉。路径级网络转换，用于高效的体系结构搜索。arXiv预印本arXiv：1806.02639，2018。二五六七[5] 韩才、朱立庚、宋涵。Proxylessnas：在目标任务和硬件上直接进行神经结构搜索。arXiv预印本arXiv：1812.00332，2018。三、四、六、八[6] 陈良杰、麦克斯韦·柯林斯、朱玉坤、乔治·帕潘德里欧、巴雷特·佐夫、弗洛里安·施洛夫、哈特维格·亚当和乔恩·施伦斯。寻找用于密集图像预测的有效多尺度架构。神经信息处理系统的进展，第8713-8724页，2018年。1[7] Matthieu Courbariaux ， Yoshua Bengio 和 Jean-PierreDavid。Binaryconnect：在传播过程中使用二进制权重训练深度神经网络。神经信息处理系统的进展，第3123-3131页，2015年。3[8] Terrance DeVries和Graham W Taylor。改进的卷积神经网 络 的 正 则 化 。 arXiv 预 印 本 arXiv ： 1708.04552 ，2017。六、七[9] Thomas Elsken，Jan Hendrik Metzen，and Frank Hutter.神 经 架 构 搜 索 ： 一 个 调 查 。 arXiv 预 印 本 arXiv ：1808.05377，2018。1[10] Deng-Ping Fan，Wenguan Wang，Ming-Ming Cheng，and Jianbing Shen.将更多的注意力转移到视频显著对象检测上。在IEEE计算机视觉和模式识别会议论文集，第8554- 8564页，2019年。3[11] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。一二三六七[12] Andrew G Howard，Menglong Zhu，Bo Chen，DmitryKalenichenko，Weijun Wang，Tobias Weyand，MarcoAn- dreetto，and Hartwig Adam. Mobilenets：用于移动视觉应用的高效卷积神经网络。arXiv预印本arXiv：1704.04861，2017。二、八[13] 杰虎，李申，孙刚。挤压-激发网络。在IEEE计算机视觉和模式识别会议论文集，第7132-7141页，2018年。二六七[14] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，andKilian Q Weinberger.密集连接的卷积网络。在IEEE计算机视觉和模式识别会议论文集，第4700-4708页，2017年。一二三六七[15] Alex Krizhevsky和Geoff Hinton CIFAR-10上的卷积深度生存网络。未出版的手稿，40（7），2010年。二、五[16] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。神经信息处理系统的进展，第1097-1105页，2012年。第1、3条[17] YannLeCun，Le'onBottou，YoshuaBengio，PatrickHaf fner等人。基于梯度的学习应用于文档识别。Proceedingsof the IEEE，86（11）：2278-2324，1998. 一、二[18] Chenxi Liu ， Liang-Chieh Chen ， Florian Schroff ，Hartwig Adam，Wei Hua，Alan Yuille，and Li Fei-Fei.自 动deeplab：用于语义图像分割的分层神经结构搜索。arXiv预印本arXiv：1901.02985，2019。1[19] Chenxi Liu，Barret Zoph，Maxim Neumann，JonathonShlens，Wei Hua，Li-Jia Li，Li Fei-Fei，Alan Yuille，Jonathan Huang，and Kevin Murphy.渐进式神经架构搜索。在欧洲计算机视觉会议论文集，第19-34页一二三五六七八[20] 柳寒笑，凯伦西蒙尼扬，杨一鸣。 Darts：差异化架构搜索。arXiv预印本arXiv：1806.09055，2018. 一二三四五六七八[21] 马宁宁，张翔宇，郑海涛，孙健。Shufflenet v2：高效CNN架构设计实用指南在欧洲计算机视觉会议论文集，第116-131页，2018年。8[22] Adam Paszke、Sam Gross、Soumith Chintala、GregoryChanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。pytorch中的自动微分。2017. 6[23] Hieu Pham、Melody Y Guan、Barret Zoph、Quoc V Le和Jeff Dean。通过参数共享进行高效的神经架构搜索。arXiv预印本arXiv：1802.03268，2018。三六七[24] Esteban Real ， Alok Aggarwal ， Yanping Huang ， andQuoc V Le.用于图像分类器架构搜索的正则化进化。arXiv预印本arXiv：1802.01548，2018。三六七八[25] OlgaRussakovsky ， Jia Deng ， Hao Su ， JonathanKrause ， San- jeev Satheesh ， Sean Ma ， ZhihengHuang ， Andrej Karpathy ， Aditya Khosla ， MichaelBernstein ， et al. 图 像 网 大 规 模 视 觉 识 别 挑 战 。International Journal of Computer Vision，115（3）：211-252，2015. 五、七[26] Mark Sandler 、 Andrew Howard 、 Menglong Zhu 、Andrey Zh- moginov和Liang-Chieh Chen。Mobilenetv2：反演残差和线性瓶颈。在IEEE计算机视觉和模式识别会议论文集，第4510-4520页，2018年。二、八[27] Karen Simonyan和Andrew Zisserman用于大规模图像识别 的 非 常 深 的 卷 积 网 络 。 arXiv 预 印 本 arXiv ：1409.1556，2014。3[28] 谢灵犀和艾伦·尤耶。基因CNN 在IEEE计算机视觉国际会议论文集，第1379-1388页，2017年。3[29] Sirui Xie，Huhui Zheng，Chunxiao Liu，and Liang Lin.随机神经结构搜索。arXiv预印本arXiv：1812.09926，2018。2[30] Xiangyu Zhang，Xinyu Zhou，Mengxiao Lin，and JianSun. Shufflenet：一个非常有效的卷积神经网络，用于移动设备。在IEEE计算机视觉和模式识别会议论文1314集，第6848-6856页81315[31] Jia-Xing Zhao，Yang Cao，Deng-Ping Fan，Ming-MingCheng，Xuan-Yi Li，and Le Zhang.基于对比先验和流体金字塔积分的rgbd显著目标检测。在IEEE计算机视觉和模式识别会议（CVPR）上，2019年。3[32] Xiawu Zheng，Rongrong Ji