ATOMNAS：细粒度端到端神经架构搜索

"ATOMNAS FINE-GRAINED END-TO-END NEURAL ARCHITECTURE SEARCH" 在计算机视觉领域，神经网络架构搜索（Neural Architecture Search, NAS）已经成为优化模型性能的重要手段。这篇发表于ICLR 2020的论文《ATOMNAS：细粒度端到端神经架构搜索》提出了一种全新的搜索空间设计方法，旨在解决现有NAS算法中的局限性。 传统的NAS算法通常在较大的搜索空间中寻找最优网络结构，这些空间往往由单一类型的运算块组成，导致搜索到的网络可能过于同质化，限制了模型的多样性和性能潜力。论文作者们提出了一个名为"原子块"（Atomic Blocks）的细粒度搜索空间。这些原子块是最小的搜索单元，比现有的NAS算法中使用的运算块更小，更易于组合。通过组合不同类型的原子块，可以构建出混合操作的网络结构，从而提高模型的灵活性和适应性。 基于这个新的搜索空间，论文还介绍了一个资源感知的架构搜索框架。该框架能根据性能和计算成本来自动分配每个操作的计算资源，例如输出通道的数量。这样的设计使得在保证性能的同时，也能有效地控制模型的计算复杂度，有利于在资源有限的设备上部署。 为了加速搜索过程，论文中还提出了一种优化策略。尽管未在摘要中详细描述，但可以推测这可能包括了对搜索算法的改进，如引入元学习、贪心策略或者采用高效的近似方法来减少搜索时间，同时保持搜索质量。 ATOMNAS的工作在 NAS 领域内实现了对网络架构的更精细控制，不仅提升了模型的性能，还考虑到了实际应用中的计算效率。通过使用原子块和资源感知的搜索策略，它为计算机视觉领域的模型设计提供了新的方向，对于未来模型自动化设计和优化具有重要意义。