NAS-Bench-Macro：宏搜索空间的神经架构搜索基准

资源摘要信息:"NAS-Bench-Macro是由CVPR2021论文所提出的神经架构搜索（NAS）基准，专门用于宏搜索空间。NAS-Bench-Macro包含了6561个不同的网络架构，每一个架构都是独立地在CIFAR-10数据集上进行训练，并记录了对应的测试精度、参数数量和计算复杂度（FLOP）。此基准的目的是为了提供一个标准化的评估平台，使得研究人员能够对各种NAS算法进行公平和一致的比较。 NAS（神经架构搜索）是一种自动化机器学习（AutoML）技术，旨在自动设计最优的神经网络架构。NAS通过搜索算法在给定的搜索空间内探索不同网络架构的性能，以期找到在特定任务上表现最好的架构。在NAS中，通常会涉及到搜索空间（search space）、评估方法（evaluation metrics）和搜索策略（search strategy）等关键组成部分。 宏搜索空间（macro search space）是指在NAS中预先定义的一组较大的网络组件或模块，如卷积层、池化层等，然后搜索算法在这个宏组件集合中寻找最佳的网络结构组合。相比于微观搜索空间（micro search space），宏搜索空间允许更多的设计自由度和创新，但同时也带来了更大的搜索空间和计算成本。 NAS-Bench-Macro基准中提供的网络架构都是经过隔离训练得到的结果，这确保了每个架构的表现是独立评估的。基准中每个架构的数据存储在一个名为“nas-bench-macro_cifar10.json”的文件中，该文件记录了每个架构在三次独立训练中的测试精度，以及它们的平均精度和标准差。 该基准采用了蒙特卡洛树搜索（Monte-Carlo tree search）进行优先级架构采样，这是一种统计随机策略，它通过构建搜索树并使用随机模拟来选择最优动作，从而引导搜索过程朝着更有希望的方向发展。蒙特卡洛树搜索在许多领域，尤其是棋类游戏和决策制定问题中被广泛应用。 使用NAS-Bench-Macro基准时，研究人员可以通过Python接口加载和评估不同的网络架构，因为该基准支持Python语言。通过这种方法，可以方便地对比不同NAS算法的性能，评估它们在相同条件下生成的网络架构的效果。 总的来说，NAS-Bench-Macro为NAS研究社区提供了一个宝贵的资源，它有助于加速NAS算法的开发和评估，同时也促进了该领域标准化实践的形成。"