![](https://csdnimg.cn/release/download_crawler_static/88590680/bg5.jpg)
关闭5
0.6
0.4
0.2
0.0
0 200 400 600 800 1000
图 图 1 : 小 共 享 度 和 大 共 享 度 超 网 的 比 较 左 边 部 分 显 示 了 使 用
Supernet-1(顶部)和Supernet-2(底部)的单元架构。右侧部分显示
了在NAS-Bench-201和NAS-Bench-301上的整个训练过程中超网-1和超
网-2的肯德尔
当使用Supernet-1时,边(1,3)和(2,4)中
的
conv
3
×
3
不同,但当
使 用 Supernet-2 时 相 同 。 我 们 训 练 他 们 收 敛 , 并 使 用 肯 德 尔 4.1定
义),以评估超网的估计性能与地面真实性能之间的排名相关性
图1(右)表明,一方面,使用较小的共享范围(更多参数,更大
的超网容量)可以减轻架构之间不希望的协同适应,并有可能实现更
高的饱和性能。当超网相对良好地训练时(epoch 800到1000),超网-
2的Kendall另一方面,训练共享程度比普通超网高的超网(参数少,
超网容量小),大大加快了参数的训练过程,有助于超网更快地获得
良好的排序质量。在训练过程的早期阶段(epoch 0到600),Supernet-
2具有比Supernet-1高得多的Kendall
基于以上结果和分析,
在
超网训练过程中,调整共享程度是实现超网训
练效率和高排名质量双赢的自然思路。
我们可以在这个想法和CL模型容量
方法[15,29](见第二节)之间进行比较。2.3),因为它们都逐渐增加
模型或超网的容量,以同时实现训练加速和更好的性能。基于上述思
想,我们提出了超网共享范围课程学习(CLOSE)。为了适应 针对
训 练 过 程 中 共 享 程 度 的 问 题 , 设 计 了 一 种 共 享 程 度 可 调 的 超 网
CLOSENet。
在下文中,我们首先演示了在Sec. 3.2. 在SEC。3.3,我们描述了
CLOSE与一些必要的训练技术,以实现最佳的排名质量。
Supernet-2 on NAS-Bench-
201 Supernet-1 on NAS-
Bench-301 Supernet-2 on
NAS-Bench-301