EcoNAS：经济型神经架构搜索的代理优化策略

"这篇论文探讨了经济型神经架构搜索(EcoNAS)的代理搜索方法，旨在大幅减少在大型搜索空间中训练和评估神经网络架构所需的时间。研究中，作者们指出，尽管现有的代理搜索策略提高了效率，但在维持网络候选者性能排名的准确性方面存在不足。通过对几种常用的代理策略进行系统研究，他们发现某些代理在性能降低设置和最终性能之间有较大的差异。受到这些发现的启发，他们提出了一种可靠的代理，并开发了一种分层代理策略。这种策略能够在计算资源有限的情况下，优先关注可能更准确的网络候选，同时快速淘汰不太有前景的架构。通过这种方法，EcoNAS实现了与先前基于进化的方法相比，搜索时间显著减少400倍的成就，同时保持了与之前代理策略相当的性能。此外，该研究还表明，由他们的观察引导的新代理策略也可应用于其他NAS方法以加速搜索过程，且不会牺牲网络性能。" 1. NAS概述 神经架构搜索(NAS)是一种自动设计高效神经网络架构的方法，它在计算机视觉领域如图像分类、目标检测和语义分割等方面取得了显著的成果。传统的NAS方法通常需要大量的计算资源，因为它们在大规模搜索空间中训练和评估大量的网络结构。 2. 代理搜索的重要性 由于实际搜索过程中的计算成本高昂，代理搜索被引入来减少计算需求。代理模型是在较小规模或计算成本较低的环境中评估网络性能，以代替全规模的训练和验证。 3. EcoNAS的关键贡献 EcoNAS提出了一种新的代理策略，它结合了可靠的代理模型和分层代理策略。这一策略能够更精确地评估网络候选，从而在早期阶段就能有效地区分出有潜力的架构，大大降低了搜索时间。 4. 实验结果与分析 论文展示了EcoNAS在CIFAR-10数据集上的表现，相比于DARTS和AmoebaNet等其他方法，其搜索成本显著降低，同时保持了与这些方法相当的性能水平。 5. 应用前景 EcoNAS的代理策略不仅适用于自身框架，还可以作为加速其他NAS方法的工具，确保性能匹配的同时，减少了计算需求。 6. 结论 EcoNAS通过改进代理搜索策略，成功地实现了在神经架构搜索中的时间和资源效率优化，为未来的自动化网络设计提供了更加经济高效的解决方案。