DOTS: 解耦运算与拓扑提升的可微架构搜索

标题："解耦运算与拓扑：DOTS可微体系结构搜索的新方法"探讨的是在神经网络架构搜索领域中的一项创新工作。传统的可微架构搜索方法如DARTS（Difference of Architecture Search，即架构差分搜索）主要关注操作搜索，通过学习操作权重来推断单元拓扑。然而，这种做法忽略了拓扑本身的重要性，导致拓扑评估的准确性不高。 为了解决这一问题，研究者提出了Decouple Operations and Topology Structure (DOTS)方法，它将操作搜索与拓扑搜索解耦，使拓扑搜索变得更明确和独立。DOTS通过构建一个包含候选边组合的拓扑搜索空间，这个空间直接反映搜索目标，使得能够支持搜索更灵活的单元边数。相比于DARTS，DOTS引入了对拓扑的显式搜索，使得拓扑的重要性可以直接体现。 在DOTS中，搜索过程不仅仅是优化操作权重，而是同时考虑操作和拓扑的选择，这使得搜索结果更加精确。此外，研究人员还提出了一种组操作搜索方案，旨在更好地进行拓扑搜索，保持与原始操作的关联。这种方法允许现有的基于梯度的NAS（神经网络架构搜索）算法与DOTS结合，从而进一步提升搜索效率和性能。 实验证明，DOTS在CIFAR-10/100和ImageNet等数据集上取得了显著的效果，证明了它作为可微NAS的有效解决方案。该方法不仅降低了搜索成本，而且提高了搜索的准确性，对于寻找高性能神经网络结构具有重要意义。 DOTS代表了一种新颖的搜索策略，通过将操作和拓扑分离，优化了神经网络架构搜索过程，为未来的深度学习模型设计提供了更有效的途径。作者们已经将相关代码开源，供学术界和业界进一步研究和应用。