提升一次性NAS性能：CLOSENet与课程学习设计

一次性神经架构搜索（One-shot NAS）作为一种高效的设计方法，近年来在深度学习领域引起了广泛关注，尤其是在自动设计深度神经网络架构方面。然而，早期研究发现，对神经网络架构的一次性性能估计往往不能准确反映其在独立训练中的实际表现，原因在于不同的架构之间存在过度的参数共享，即较大的共享程度可能导致性能评估偏差。为解决这一问题，研究人员开始探索减少共享程度的方法，如构建更为过参数化的超网络。 然而，这些改进虽然可以提高模型的灵活性，但往往伴随着额外的训练成本和性能损失。为了解决这一矛盾，本文提出了一个名为CLOSENet（Course Learning for Shared Extent Network）的新模型，它结合了课程学习的思想。通过使用一个大的共享范围进行初始训练，然后逐步降低超网络的共享程度，CLOSENet旨在实现高效和有效的超网络训练。 CLOSENet的核心设计是它能从底层操作中动态抽取参数，这样可以实现灵活的共享机制和可调的共享程度。这种设计允许在不同的计算预算下，CLOSENet能够展现出比传统one-shot超网络更优秀的性能排名，特别是在与多种搜索策略结合时。实验结果表明，CLOSENet在保持高效的同时，能够发现出类拔萃的架构。 该研究不仅关注了参数共享的优化，还引入了课程学习的概念来提升 NAS 的效率和精度。通过CLOSENet的设计和实现，论文提供了一种新的途径来平衡超网络的训练成本和性能，这对于推动神经架构搜索技术的发展具有重要意义。感兴趣的读者可以访问https://github.com/walkerning/aw_nas获取更多相关代码和资料。关键词包括神经结构搜索、一次性估计、参数共享、课程学习以及基于图形的编码。