深度学习 NAS 研究现状：评估难题与基准测试

"NAS EVALUATION IS FRUSTRATINGLY HARD.pdf - 计算机视觉Github开源论文" 本文探讨了神经网络架构搜索（Neural Architecture Search, NAS）领域的挑战，该领域自2012年以来，以其能改变游戏规则的潜力，引起了广泛的关注。尽管NAS已经推动了各种任务上的显著改进，但如何准确地比较不同方法的有效性仍然是一个未解决的问题。尽管大多数算法都在相同的基准数据集上进行测试，但缺乏统一的实验协议。此外，由于对分组研究（ablation studies）的使用不足，对于为何某些方法比其他方法更有效，目前还缺乏清晰的理解。 作者的主要贡献是建立了一个包含8种NAS方法在5个数据集上的基准测试。为了克服不同搜索空间带来的比较困难，他们提出使用一个方法相对于随机采样平均架构的相对改进作为评估标准。这种方法消除了由精心设计的搜索空间或训练协议带来的优势，从而提供了一个更加公平的比较环境。 NAS方法通常涉及自动化地寻找最优的神经网络结构，以实现特定任务的最佳性能。然而，由于每个方法可能在搜索空间、优化策略或训练策略上存在差异，直接比较它们的性能并不简单。作者通过创建这个基准，旨在提供一个更公正的框架，以便于研究人员评估和理解各种NAS方法的优劣。 在论文中，他们分析了这些NAS方法在CIFAR-10、CIFAR-100、ImageNet等数据集上的表现，这些数据集是计算机视觉领域常用的图像分类任务的标准测试床。通过对结果的深入分析，他们揭示了哪些因素可能影响NAS方法的性能，并为未来的研究提供了有价值的洞见。 这篇论文对于理解NAS领域的现状和挑战，以及如何改进评估方法以促进该领域的进步，具有重要的意义。它鼓励研究人员在设计新的NAS算法时，不仅要关注性能提升，还要考虑其可比较性和可重复性，这对于推动计算机视觉和深度学习技术的发展至关重要。