15251TransNAS-Bench-101：提高跨任务神经架构搜索段亚文1，*，陈欣1，徐航2，陈泽伟2，梁晓丹3，†，张彤4，李振国21香港大学，2华为诺亚4香港科技大学摘要神经架构搜索（NAS）的最新突破将该领域的研究范围扩展到更广泛的视觉任务和更多样化的搜索空间。虽然现有的NAS方法主要针对单个任务设计架构，但超越单任务搜索的算法正在寻求跨各种任务的更高效和通用他们中的许多人利用迁移学习，并寻求保存，重用和完善网络设计知识，以实现未来任务的更高效率然而，跨任务NAS的巨大计算成本和实验现有的NAS基准测试都集中在一种类型的视觉任务上，即，分类.在这项工作中，我们提出了TransNAS-Bench-101，这是一个基准数据集，包含七个任务的网络性能这种多样性提供了在任务之间转移NAS方法的机会，并允许发展更复杂的转移方案。我们探索两种根本不同类型的搜索空间：细胞级搜索空间和宏观级搜索空间。通过对7,352名骨干进行7项任务的评估，提供了51,464 名 具 有 详 细 培 训 信 息 的 培 训 模 型 。 通 过TransNAS-Bench-101，我们希望鼓励出现特殊的NAS算法，将跨任务搜索效率和通用性提高到一个新的水平。我们的数据集和代码将在Mindspore1和VEGA2上提供。1. 介绍近年来，通过神经结构搜索（NAS）方法发现的网络正在超越人类设计的网络，在各种任务*平等捐款。 （{kmdaniel，cyn0531} @ connect.hku.hk）[2]通讯作者。（xdliang328@gmail.com）第1页https://download.mindspore.cn/dataset/TransNAS-Bench-1012https：//www.noahlab. com.hk/opensource/vega/page/doc.html? path=datasets/transnasbench101[25、21]。最终，NAS需要算法解决方案，可以在适度的计算预算下为任何搜索空间内的任何任务发现接近最优的模型。为了实现这一目标，NAS的最新研究迅速将其范围扩展到更广泛的视觉领域，如对象检测[27]和语义分割[5]。[24]试图弥合基于样本的方法和一次性方法之间的差距。除了在早期的工作中寻找最佳单元设计[18]之外，许多最近的工作也研究了网络的宏骨架搜索[29，27]。尽管许多算法成功地将NAS的搜索时间从数月缩短到数小时[18，9]，但一些研究表明它们依赖于特定的搜索空间和数据集[28]。在处理大量任务时，这些出租车的效率也存在问题因此，NAS研究的一个上升方向是寻找获得可转移知识并在多个任务和搜索空间中很好地推广的解决方案[20，26，23，14，10]。[6]探索了元学习，将网络设计知识从小任务转移到更大的任务，超越了许多基于参数共享的有效解决方案。[3]提出了一种高度存储器效率和有效的传输解决方案，其不需要用于自适应的反向传播。这些作品的研究重点搜索空间）并且仍然表现良好。与此同时，NAS的成本高得令人望而却步。单任务NAS的计算强度可能令人沮丧，更不用说跨任务NAS实验了。为了解决这一计算限制，提出了NAS-Bench-101 [30]和NAS-Bench- 201 [8]。这些基准测试为NAS社区提供了巨大的价值，但我们相信NAS的研究范围可以进一步扩大，超越分类问题和基于细胞的搜索空间。为了避免混淆，在本文中，我们使用dataset来指代一组原始图像，并使用task来指向特定的视觉域。因此，一个人可以有多个任务15252细OP2OP1OP6OP3OP5OP4单元级搜索空间对象分类场景分类房间布局JigsawAutoEncoder曲面法线语义分割阶段1阶段2阶段3模块2模块3操作（OP）候选人•归零•跳过连接•1x1转换•3x3转换下采样双通道@第二个模块@第3个模块@第4个模块@第4个模块模块4模块1传输-NAS搜索空间各项任务宏观搜索空间图像搜索主干任务特定解码器图1：我们在TransNAS-Bench-101中的单元级和宏级搜索空间。我们设计了一个细胞级的搜索空间，把每个细胞作为一个DAG和一个宏观级的搜索空间，允许灵活的宏骨架网络设计。数据集（例如，COCO检测和分割）。在任务和搜索空间中找到通用解决方案的目标，可比性问题以及可转移NAS研究的计算障碍导致我们提出了TransNAS-Bench-101，它研究了七个不同视觉任务的网络：对象分类，场景分类，语义分割，自动编码，房间布局，表面法线和拼图。提供了两种类型的搜索空间：一种是基于残差块的宏骨架搜索在何处提高信道或下采样分辨率）被决定。另一种是广泛研究的基于细胞的搜索空间，其中每个细胞可以被视为一个有向无环图（DAG）。宏级和小区级搜索空间分别包含3，256和4，096个网络。在所有七个任务上对7，352个骨干进行了评估，我们为所有模型提供了详细的诊断信息，如任务性能，推理时间和FLOP。我们还评估了四个transfer计划兼容的搜索空间，作为未来研究的基准。我们的主要贡献是一个基准数据集，其中网络在两个搜索空间的七个任务上进行了充分评估。生成基准测试需要193，760 GPU小时，即，在一个NVIDIAV100 GPU上计算22.12年，但它大大降低了进一步研究跨任务神经架构搜索的成本。我们还指出了存在的问题，并为未来的NAS研究提供了建议：（1）为了将NAS扩展到不同的视觉领域，重要的是要超越基于单元的搜索空间，因为我们发现网络宏观结构对某些任务的性能有更大的(2)算法超越随机搜索的程度是一个关键的性能指标。(3)进化论的研究-的迁移策略，以及调整迁移架构和策略的有效机制，是未来研究的两个有前途的方向。通过TransNAS-Bench-101中的多样化设置，我们希望鼓励出现特殊的可转移NAS算法，这些算法在各种设置下都能很好地推广。2. TransNAS-Bench-101数据集2.1. 搜索空间和架构为了为各种任务插入不同的网络，我们的搜索空间专注于发展骨干网，即，所有被考虑的任务的共同组成部分。我们提供两个搜索空间：a）设计网络的宏骨架的宏级搜索空间，其在对象检测和语义分割中针对NAS进行了深入研究; b）遵循广泛研究的基于单元的搜索空间的单元级搜索空间，其适用于大多数权重共享NAS方法。宏观层面的搜索空间。大多数NAS方法都遵循一个固定的宏骨架，并搜索单元格。然而，主干的宏观层次结构对于最后的表演。主干中的早期特征图具有较大的尺寸，因为它们捕获纹理细节，而后期的特征图较小，通常更具区分力[13]。不同阶段的计算分配对于主干也是至关重要的[15]。因此，我们的搜索空间包含具有不同深度（块的总数）的网络如图1所示，我们将两个残差块[11]分组为一个模块，网络由4到6个模块堆叠。可以选择模块位置对特征图进行1到4次下采样，每次空间大小将缩小2倍。 网络可以将其频道1增加一倍，残余块残余块残余块残余块残余块残余块残余块残余块15253原始图像对象场景房间布局拼图自动编码表面法线 语义分割分类分类•家庭影院• 娱乐中心•沙发床•沙发• 客厅• 电视的房间图2：在我们的基准测试中考虑的视觉任务。我们仔细选择了上述7个任务，以确保Taskonomy中任务的多样性和相似性[31]。三次在选定的地点。因此，这个搜索空间由3，256个独特的架构组成。细胞级搜索空间。我们遵循NAS-Bench-201[8]来设计我们的单元级搜索空间。它由4，096个密集连接的DAG组成，这使得能够评估一些权重共享NAS方法，如DARTS [18]和ProxylessNAS [4]。如图1所示，我们的单元级搜索空间是通过分配不同的操作（作为边）将特征图从源节点转换到目标节点来获得的。预定义的 操 作 集 具 有 L=4 个 代 表 性 操 作 ： zeroize 、 skipconnection、1x1卷积和3x3卷积。我们设置中的卷积表示ReLU、卷积和批归一化的操作序列每个DAG由4个节点和6条边组成，包括基本的剩余块状单元设计。宏级框架是固定的，它包含五个模块，在第1，3，5模块处具有加倍通道和下采样特征映射操作。将来自宏级搜索空间和单元级搜索空间的3，256和4，096个网络相加，我们总共有7，352个独特的架构。两个搜索空间中的所有架构都经过精心训练，并在所有选定的任务中进行评估。2.2. 数据集与大多数仅关注分类任务的NAS基准测试不同，TransNAS-Bench-101鼓励跨不同任务评估算法。认为可转移NAS的研究还处于起步阶段，我们希望能提供尽可能多的共同基础转移。这使得选择适当的数据集具有挑战性，因为理想地，数据集应该在覆盖多种任务 的 同 时 共 享 一 些 共 性 。 多 亏 了 伟 大 的 工 作Taskonomy [31]，它为不同的任务提供了足够的图像和标签（见图2），我们可以研究算法，而不必担心数据集本质上过于不同而无法传输。原始数据集由来自约600座建筑物的450万张室内场景图像为了控制计算预算，我们从原始数据集中随机选择24个包含总共120 K图像的建筑物，并将子集分成80 K训练集/20 K val /20K测试集。2.3. 视觉任务我们仔细选择了七个任务，它们位于（1）覆盖Taskon- omy分类任务，或常见且廉价的预训练任务）。如图2所示，所选择的任务包括a）图像分类任务：对象分类和场景分类;b）像素级预测任务：表面法线和语义分割; c）自我监督任务：拼图和自动编码; d）点回归任务：房间布局。对象分类。对象分类是一个识别对象的75路分类问题标签pro-表1：训练超参数和本基准中考虑的每个任务的详细信息。搜索空间中的所有架构都经过了充分的训练。我们提供了多个指标来评估训练集/有效集/测试集。每个任务都需要一个具有特定任务解码器和损失函数的骨干解码器网络结构。GAP表示全局平均池化。CE表示交叉熵损失。除自动编码和曲面法线外，所有任务都使用余弦退火和线性预热学习速率调度程序。任务解码器LR优化器输出调光损失Eval. 度量对象类。GAP +线性0.1SGD75Softmax+CE损失，访问场景类。GAP +线性0.1SGD47Softmax+CE损失，访问房间布局GAP +线性0.1SGD9MSE损失损失拼图GAP +线性0.1SGD1000Softmax+CE损失，访问自动编码14 Conv Deconv0.0005亚当256x256GAN损失+L1损失，SSIM表面法线14 Conv Deconv0.0001亚当256x256GAN损失+L1L1、SSIMSem等片段8卷积去卷积0.1SGD256x256Softmax+CE损失，访问，mIoU15254表2：TransNAS-Bench-101与之前基准测试的比较。虽然TransNAS-Bench-101的搜索空间较小，但它包含更多的数据集、域和搜索空间类型。#数据-集#任务域#搜索空间大小搜索空间类型NAS-Bench-10111510M细胞NAS-Bench-2013115.6K细胞TransNAS-Bench-101177.3K单元宏Taskonomy数据集[31]显示的是由在ImageNet [7]上预训练的ResNet-152模型[11场景分类像对象分类一样，场景分类是一个47路分类问题，预测图像中的房间类型。它的标签来自在MIT Places数据集上预训练的ResNet-152模型[32]。我们选择的数据集包含原始365个类中的47个类。房间布局。这项任务是估计和调整定义房间布局的三维边界框。它需要一个网络来语义信息，例如竖锯我们遵循[19]设计自我监督任务Jigsaw。输入图像被分为九个补丁，并根据1,000个预设排列之一进行混洗目的是对使用的排列进行这项任务自动编码。自动编码是一种像素级预测任务，它将图像编码为低维潜在表示，然后重建原始图像。训练集遵循Pix2Pix中的条件对抗网[12]。曲面法线。与自动编码一样，曲面法线是一个逐像素预测任务，可预测曲面法线统计数据。网络结构和训练过程与自动编码相同。语义分割语义分割在其组件的类别上进行像素级预测。Taskonomy数据集提供的标签是通过在MSCOCO [16]数据集上预先训练的网络生成的。我们选择的子集包含17个语义类。2.4. 培训详细信息在TransNAS-Bench-101中，七个不同的任务需要不同的网络结构和损失函数。为了在给定的任务上训练网络，我们首先定义了一个无故障的骨干解码器网络结构，然后在搜索空间中搜索并改变其骨干架构。对于像素级预测任务和自动编码，解码器的输入通道和分辨率将根据主干生成的不同特征图灵活但最小地改变。由于原始论文我们主要遵循Taskonomy论文来设置超参数和训练策略，如表1所示。对于所有任务，批处理大小为128，输入分辨率调整为256× 256。我们在每个时期记录所有架构的多个评估指标，如下所示表1中由于我们在搜索空间中为所有7个任务训练每个架构（即，7352× 7355×104 arch），在V100上生成整个TransNAS-Bench-101的总计算成本为193，760 GPU小时。用户可以使用我们的API方便地查询每个架构在任务之间进行同步，而无需额外的计算成本。在表三：我们展示了两个搜索空间的基本统计数据，包括平均性能指标得分、平均模型FLOP、平均模型参数数和平均训练时间。注意，这里模型表示整个骨干解码器模型结构。任务Cls. 对象Cls. 场景自动编码冲浪。正常Sem等片段房间布局拼图度量Acc.Acc.SSIMSSIMMiouL2损失Acc.性能39.71±5.9245.23±12.150.46±0.100.52±0.0619.95±5.52-0.73 0. 1276.57±28.34细胞FLOPs（×108）2.44±1.442.44±1.444.90±1.444.90±1.445.19±1.442.44±1.441.38±0.81水平模型参数（×106）1.17±0.711.17±0.713.97±0.713.97±0.712.27±0.711.17±0.712.19±0.71列车时间（小时）2.08±0.232.13±0.235.03±0.544.90±0.555.98±1.692.01±0.311.28±0.19性能44.24±1.3852.92±2.080.52±0.080.57±0.0224.47±2.07-0.65 0. 0393.43±2.18宏观FLOPs（×108）6.49±9.686.49±9.6812.44±14.4012.44±14.4010.66±11.566.49±9.683.66±5.45水平模型参数（×106）1.18±0.911.18±0.913.83±1.023.83±1.022.13±1.021.17±0.911.91±1.14列车时间（小时）2.57±2.352.56±2.257.07±3.917.10±4.027.04±2.992.59±2.251.13±0.56152553000250020001013000250020001013500300025006 × 10 05 × 10 03500300025006 × 1005 × 10015006 × 10015006 × 100200015004 × 100200015004 × 10010004 × 10010004 × 100100010005000102 103 1043 × 1005000106 1073 × 1005000101 102 1033 × 1005000105 106 1073 × 100特征提取器MFLOPs(a) 宏观：FLOPs v. Rank特征提取器参数(b) 宏：参数v. 秩特征提取器MFLOPs(c) 单元格：FLOPs v.Rank特征提取器参数(d) 单元格：Params v. 秩图3：架构在两个搜索空间上的平均性能排名、FLOP、参数和训练时间（a）-（b）显示宏观级搜索空间的整体景观，以及（c）-（d）示出单元级搜索空间。这样，研究人员就可以大大加快他们的研究速度，并专注于改进算法，而不必繁琐地执行和调整不同的任务。2.5. TransNAS Bench API中的网络信息我们提供每个网络在每个时期的训练/验证/测试性能 信 息 基 准 测 试 还 包 含 每 个 网 络 的 推 理 时 间 、FLOPs、参数总数以及每个训练时期所每个模型FLOP是用一个形状为（3，224，224）的图像计算的。3. 相关工作为了促进算法之间的可重复性和公平比较，有几个现有的NAS基准测试。NAS-Bench-101是最早的工作，它包含在CIFAR-10数据集上评估的423 k个唯一架构。该网络设计有基于单元的结构，其中每个单元被视为一个DAG。作为NAS-Bench-101的扩展，NAS-Bench-201被提出以适应不断增长的需求。它提供有关15k网络的训练信息，完整的搜索空间与NAS-Bench-101类似，网络是在基于单元的结构下设计的，但它可以支持更多具有详细诊断信息的算法。通过提供三个数据集的训练结果，它首先实现了跨任务的迁移学习。十个基准算法进行了评估与广泛的实验，除了网络信息。TransNAS-Bench-101与以前的基准测试的共同点主要在于：（1）它提供了整个搜索空间中所有网络的详细网络训练信息。(2)它还采用了基于单元的搜索空间，将每个单元视为一个DAG。然而，TransNAS-Bench- 101在一组更加多样化的任务中评估其网络。它也是第一个对宏骨架搜索空间进行全面分析的基准测试。4. TransNAS-Bench-101分析4.1. 架构概述架构我们首先获得每个架构在所有7个任务上的验证性能排名，然后绘制平均排名。数字越大，表示性能排名越高。CLS_OBJ-VCLS_SCE-VJIGSAW-V布局-VAE-V正常-VSEG_SEM-V1.00.90.80.70.60.5CLS_OBJ-VCLS_SCE-VJIGSAW-V布局-VAE-V正常-VSEG_SEM-V1.00.80.60.40.20.00.2CLS_OBJ-VCLS_SCE-VJIGSAW-V布局-VAE-V正常-VSEG_SEM-V1.00.80.60.40.2CLS_OBJ-VCLS_SCE-VJIGSAW-V布局-VAE-V正常-VSEG_SEM-V1.00.80.60.40.20.00.20.4(a) 宏观相关性（所有）(b) 宏观相关性（前50%）(c) 细胞相关性（所有）(d) 细胞相关性（前50%）图4：斯皮尔曼对任务之间的相关性进行了排名（a）、（c）分别示出了宏搜索空间和小区搜索空间上跨任务的所有网络的验证性能分数的相关性(b)（d）示出了前50%网络在宏搜索空间和小区搜索空间上的相关性。细胞级搜索空间中的网络具有比宏观级搜索空间更高的相关性。如果我们对前50%的网络进行抽样，相关性就会迅速缩小。10.760.5910.5880.7830.7040.7840.7610.7380.7520.5680.8170.7960.5910.73810.6920.4330.64七二三0.5880.7520.69210.4290.5760.6930.7830.5680.4330.42910.602零六九一0.7040.8170.640.5760.6021零六九七0.7840.7960.7230.6930.6910.697110.331-0.03390.5280.37零四六七0.33110.4860.4630.00343 0.5690.3380.1960.48610.3530.05450.39零点四零八-0.03390.4630.3531-0.2410.132零点一三三0.5280.00343 0.0545-0.24110.281零点五零六0.4670.3380.4080.1330.5060.33710.19610.8090.8150.8020.4540.7680.6770.80910.7630.6340.2510.8660.8440.8150.76310.8060.4450.7360.6660.8020.6340.80610.4830.632零点五三一0.4540.2510.4450.48310.2560.09610.7680.8660.7360.6320.2561零点八零六0.6770.8440.6660.5310.09610.806110.2170.09510.2020.3280.113-0.1180.21710.007-0.397-0.2410.55零点五三一0.09510.00710.1960.175-0.0287-0.1320.202-0.3970.19610.479-0.319-0.5940.328-0.2410.1750.4791-0.216-0.5440.1130.55-0.0287-0.319-0.2161零点三八四-0.1180.531-0.132-0.594-0.5440.38417项任务平均培训时间（小时）7项任务平均培训时间（小时）7项任务平均培训时间（小时）7项任务平均培训时间（小时）1525630282624222046 48 50 52 54 5658场景分类精度（一）0.70.60.50.40.30.75 0.70 0.65房间布局负MSE（b）第（1）款（0.0961），与表面法线的相关性非常弱（0.256）。这种显著的差异表明，搜索空间的选择可以显著影响特定的任务。某些搜索空间可以显著降低NAS传输的难度，而某些搜索空间可能具有固有的缺点。它再次强调了在多个搜索空间上验证算法性能以获得无偏评估的重要性如果我们把任务之间的相关性图5：具有最高和最低相关性的任务宏观层面的搜索空间该模式表明，具有更多FLOP和更长训练时间的网络往往在合理范围内对给定任务表现更好，但它不包括一些搜索空间图3还揭示了两个搜索空间的一些独特特征宏级搜索空间使其网络在FLOP方面更均匀地分布，而小区级搜索空间中的网络宏级搜索空间FLOP和参数模式在单元级搜索空间中是相似的，但是当我们调查宏观级搜索空间时，模式发生了显著变化。在宏级搜索空间中训练网络可能需要长达12个小时，这是在单元级搜索空间中训练计算要求最高的网络所需GPU时间的两倍。4.2. 任务之间的相关性我们通过计算任务之间的斯皮尔曼等级相关系数来分析任务间的相关性虽然对象分类和场景分类都是分类任务，但场景分类在两个搜索空间上都比对象分类与表面正常和语义分割任务具有更高的相关性这一现象表明，同一领域内的任务，即使它们基本上基于相同的图像，在架构性能方面也不一定更接近。我们在图5中可视化了在宏观搜索空间上具有最高（0.817）和最低（0.429）相关性的任务的网络性能。自动编码任务在两个搜索空间下具有非常不同的行为。与语义分割和表面法线类似在宏观级搜索空间中使用网络，自动编码任务与语义分割（0.691）和表面正常（0.602）具有适度的相关性。 然而，在单元格级搜索空间下，它与语义分割几乎没有相关性图中只显示了前50%网络的性能信息。一些任务仍然具有相对较强的相关性，但其他任务则迅速降至零以下。这表明，结构的直接迁移策略并不总是产生好的结果，鲁棒迁移算法应该警惕它，以避免负迁移。5. 基准算法由于可转移NAS是一个新兴的领域，因此可转移架构搜索算法的数量有限我们使用TransNAS-Bench-101实现了四种基线算法，并在本节中提供了我们评估了5种不同类型的转移方案：（1）随机搜索（RS）[2];（2）直接转移顶层架构（DT）;（3）基于强化学习的算法的直接策略转移，例如，邻近策略优化（PPO）[22];（4）基于元学习的算法，例如，CATCH [6];（5）具有转移种群初始化的进化算法，例如，正则进化出租（REA）[21]。每一个选择的算法代表了一个独特的类型的传输方案，它们是兼容的搜索空间。使用MindSpore工具测试算法[1]。随机搜索和直接转移的评估。许多NAS算法都试图使用架构作为传输的中心组件[33，20]，这启发我们研究顶部由RS发现的架构。对于这两个搜索空间，我们在每个试验中随机搜索50个架构具有最高验证准确度的在表4中，我们包括了直接转移（DT）的结果。对于每个任务，我们从剩余的6个任务中选取最佳架构，并对它们在所选任务上的性能进行平均。结果是显着差于所有的搜索算法。这表明，即使某些NAS算法可以保证找到源任务上的最佳架构，其在目标任务上的直接传输性能仍然会受到影响。评估政策转移。对于两个搜索空间，NAS问题可以被公式化为顺序决策问题，并且强化学习算法PPO旨在选择每个属性选择以形成网络。我们使用多层感知器（MLP）作为策略网络-语义分割mIoU自动编码器SSIM15257326032504100324032203200405040003200318031603140312031000 10 20 30 4050试验31503100305030000 10 20 30 4050试验395039003850380037500 10 20 30 40 50试验(a) 房间布局(b) 宏搜索空间上的REA（平均值）(c) 单元格搜索空间上的REA（平均值）图6：REA的转移和从头开始训练（tfs）结果的比较。REA转移在所有任务中具有轻微但稳定的改进。我们在6（a）中运行了50次试验，每次试验搜索50个网络。我们选择历史上验证分数最高的模型作为试验的搜索结果。6（a）显示了房间布局的排序搜索结果。6（b）和6（c）中的每条曲线平均了所有任务的搜索结果。326032403220320031803160314031203100RsPPO-tfsPPO转移CATCH-metaglobal_max0 10 20 30 4050试验32753250322532003175315031253100RsPPO-tfsPPO转移CATCH-meta全局最大0 10 20 30 4050试验4100405040003950390038503800RsPPO-tfsPPO转移CATCH-meta全局最大0 10 20 30 40 50试验(a) 对象类上的宏搜索空间。(b) 宏搜索空间上的RL（平均值）(c) 单元搜索空间上的RL（平均）图7：PPO和CATCH的比较CATCH极大地提高了PPO传输与REA类似，我们运行了7（a）中的每个算法50次试验，每次试验搜索50个网络。图7（a）示出了关于对象分类的分类搜索结果图7（b）和图7（c）中的每条曲线对所有任务的搜索结果进行了平均为PPO工作，并在时间成本较低的源任务（在我们的案例中为Jigsaw）上预训练策略50个epoch。然后，将预先训练的策略适配于目标任务以搜索另外50个时期。CATCH使用PPO作为其控制器来对网络进行采样。它还使用MLP网络评估器来预测网络性能，并使用上下文编码器来学习特定于任务的嵌入以指导搜索。CATCH引入了Meta强化学习，首先对低成本任务进行元训练，然后将元训练后的策略适应目标任务。我们使用拼图，对象分类和场景分类任务作为其元训练任务。CATCH采用相同的预训练和转移预算，我们重复每个试验50次。我们绘制每个目标任务的搜索结果如图7所示。PPO政策的直接转移比其非转移版本表现出更差的结果，这种现象通常被称为负转移。我们推测这是由于PPOCATCH通过两个添加的组件对其进行调解：一个编码器，提供任务信息，指导其策略，ICE和一个过滤较低候选者的评估器。从我们的实验来看，这些添加的组件在某些情况下确实改善了传输结果。如表4所示，它在某些设置下显示出非常好的性能，例如在宏观级搜索空间上的对象分类，但它在一些其他任务上也有困难，例如在单元级搜索空间上的房间布局。迁移种群初始化进化算法的评价。我们在基准测试中复制了REA，结果如图6所示。我们在预训练阶段随机初始化一个种群，然后设置预训练预算，即，在预训练阶段搜索的体系结构的总数在对源任务进行给定预算的训练后，我们将预训练历史中的前10个架构作为目标任务上的种群初始化，并搜索50个epoch。虽然它在特定任务上没有像CATCH那样显著提升，但它在所有检查的任务中保持了相对稳定的性能改进，这导致在曲线平均时略微超过其从头开始的版本。传输NAS算法。 的RsREA-tfsREA转移global_maxRsREA-tfsREA-transferGlobal Max网络排名RsREA-tfsREA-transferGlobal Max网络排名网络排名网络排名网络排名网络排名15258表4：不同可转移NAS方法的性能比较房间布局REA和PPO的转换版本在最耗时的任务Jigsaw上进行了预训练最右边的列报告搜索网络的百分比（Perc.）在基准测试中，所有目标任务（即除Jigsaw之外的所有任务）的平均值。任务Cls. 对象Cls. 场景自动编码冲浪。正常Sem等片段房间布局拼图珀西度量Acc.Acc.SSIMSSIMMiouL2损失Acc.Rs45.16±0.454.41±0.355.94±0.856.85±0.625.21±0.461.48±0.894.47±0.397.91REA-tfs45.39±0.254.62±0.256.96±0.157.22±0.325.52±0.361.75±0.894.62±0.399.06细胞REA转移45.51±0.354.61±0.256.52±0.657.20±0.725.46±0.461.04±1.0-99.02水平PPO-tfs45.19±0.354.37±0.255.83±0.756.90±0.625.24±0.361.38±0.794.46±0.398.07PPO转移44.81±0.654.15±0.555.7.0±1.556.60±0.724.89±0.562.01±1.0-94.94抓住45.27±0.554.38±0.256.13±0.756.99±0.625.38±0.460.70±0.7-98.45DT42.03±4.9649.80±8.5951.20±3.3255.03±2.6822.45±3.2466.98±2.2588.95±9.1377.17全球最佳46.3254.9457.7259.6226.2759.3895.37100Rs46.85±0.356.5±0.470.06±3.160.70±0.928.37±0.559.35±1.096.78±0.298.18REA-tfs47.09±0.456.57±0.469.98±3.660.88±1.028.87±0.458.73±1.196.88±0.298.74宏观REA转移46.98±0.456.60±0.373.41±2.961.02±0.828.90±0.558.18±1.3-99.11水平PPO-tfs46.84±0.456.48±0.370.92±3.260.82±0.828.31±0.558.84±1.196.76±0.298.33PPO转移46.76±0.556.47±0.470.54±2.960.80±1.328.31±0.659.17±0.8-97.79抓住47.29±0.356.49±0.370.36±3.060.85±0.728.71±0.459.37±0.6-98.78DT45.48±1.0254.96±1.8059.35±8.9958.60±1.5626.21±1.9162.07±1.4395.37±1.5583.59全球最佳47.9657.4876.8864.3529.6656.2897.02100每种算法的平均性能见表四、REA-transfer是所有评估算法中表现最好的，在细胞级和宏观级搜索空间上找到99.02和99.11%的网络。这些实验突出表明：（1）体系结构的直接转移比随机搜索执行得更差;（2）直接策略转移比直接体系结构转移工作得更好，然而它经常导致负转移;（3）通过添加机制（例如CATCH的编码器和评估器）可以提高策略转移的鲁棒性;（4）跨任务和搜索空间保持一致的性能仍然是NAS算法的挑战。6.讨论和结论可转移NAS研究的主要挑战。在与基准测试密切合作后，我们意识到（1）顶级网络在不同的任务中可能会有很大的不同。因此，如果任务性质发生重大变化，转移方案应该能够快速响应然而，有效地检测和响应这种变化可能是困难的。(2) 迁移学习方法通常不假设关于未来任务的先验知识，但是如果策略是专门为NAS设计的，则可以结合某些NAS特征来加速学习。主要的挑战在于如何有效地设计这样一个计划，以提供最相关的信息。对未来NAS研究的建议：（1）研究有效的NAS策略，超越细胞-级别搜索空间，因为某些网络属性（如宏骨架）可能会对某些任务的性能产生较大影响（2）在迁移策略和体系结构时，包含一些精心设计的机制可能有助于将迁移的组件调整到目标任务所需（3）进化方法不是迁移学习社区研究的典型策略，但其在基准测试中的表现表明它可能值得进一步研究。类似地，在传统的转移方法之外，可能还有其他的策略，这些策略对可转移的NAS研究很有希望。在本文中，我们提出了transNAS-Bench-101，一个基准，以提高NAS算法的可移植性和通用性。我们在7个视觉任务上评估了7，352个神经网络，对基准进行了详细的分析，然后指出了未来研究的挑战和建议。当任务性质发生变化时，算法很难鲁棒地保持其性能，实验表明NAS方法通过这项工作，我们希望使跨任务NAS研究更容易获得，并鼓励更多特殊的算法，这些算法在多个任务和搜索空间上都是高效和灵活的。在未来，我们将尝试（1）扩大搜索空间，（2）评估所有具有更多种子的网络。我们欢迎研究人员在TransNAS-Bench-101上测试他们的算法15259引用[1] 意识孢子htt ps：www.mindspore.cn/en. 6[2] 詹姆斯·伯格斯特拉和约瑟芬·本吉奥。随机搜索超参数优化 。The Journal of Machine Learning Research ，13（1）：281-305，2012. 6[3] 韩才，庄干，朱力耕，宋涵。 Tiny Transfer Learning：Towards Memory-Efficient On-Device Learning（微型迁移 学 习 ： 实 现 内 存 高 效 的 arXiv 预 印 本 arXiv ：2007.11622，2020。1[4] 韩彩，朱力耕，宋涵。Proxylessnas：在目标任务和硬件上直接搜索神经架构。2019年，在ICLR。3[5] Liang-Chieh Chen ， Maxwell Collins ， Yukun Zhu ，George Papandreou ， Barret Zoph ， Florian Schroff ，Hartwig Adam，and Jon Shlens.寻找用于密集图像预测的有效多尺度架构。神经信息处理系统的进展，第8699-8710页，2018年。1[6] Xin Chen，Yawen Duan，Zewei Chen，Hang Xu，ZihaoChen，Xiaodan Liang，Tong Zhang，and Zhengguo Li.Catch：基于上下文的Meta强化学习，用于可转移架构搜索。arXiv预印本arXiv：2007.09380，2020。第1、6条[7] 贾登、魏东、理查德·索彻、李力佳、李凯、李菲菲。Imagenet：一个大规模的分层图像数据库。2009年IEEE计算机视觉与模式识别会议，第248-255页。2009年。4[8] 东轩逸和杨逸。Nas-bench-201：扩展可再现神经结构搜索的范围。2019年国际学习代表会议。第1、3条[9] 东轩逸和杨逸。 寻找一个强大的新-在四个GPU小时内完成了Ral架构。在IEEE计算机视觉和模式识别会议论文集，第1761-1770页，2019年。1[10] 郭勇，陈耀佛，郑银，赵沛林，陈剑，黄俊洲，谭明奎。 打破空间爆炸的诅咒：通过课
我的内容管理
展开
