"PNAS：优化神经结构搜索，降低计算开销"

PNAS（Progressive Neural Architecture Search）是一种新颖的神经架构搜索方法，其主要创新点在于采用了渐进式搜索空间和代理模型引导搜索结构空间的策略。该方法本质上是一种启发式搜索算法，通过从简单的模型逐步过渡到复杂的模型，并在这个过程中抛弃不好的架构来寻找最优的神经网络结构。由于简单的架构训练得更快，PNAS能够快速训练代理模型，并通过得到的代理模型来指导搜索空间，从而大大减少了计算开销。 PNAS相对于NASNet的主要优势在于减少了计算开销和运行时间，并且在相同的搜索空间下相比RL方法（NAS）效率更高，快8倍的总计算。这得益于PNAS采用SMOB（Structured Model-based Optimization）策略来取代了传统的强化学习（RL）和进化算法（EA），并使用代理模型来引导搜索结构空间。SMOB策略通过将大小为b的K个候选对象扩展成大小为b 1的K^’个子对象，并应用代理函数对所有K^’的子模型进行排序，选择最前面的K个子模型，然后训练和计算它们。一直迭代直到达到预设的条件。这一策略使得PNAS能够在训练和评估大量模型时取得更高的效率。 除此之外，PNAS还提出了一种新的启发式搜索来搜索cell结构的空间，从简单的模型开始一步步过渡到复杂的。在算法迭代的过程中，PNAS使用代理模型来预测模型的性能，从而不需要额外的训练架构，进一步减少了计算开销。这些创新点使得PNAS成为一个高效的神经架构搜索方法，为研究人员和工程师提供了一种更加高效的方式来寻找最优的神经网络结构。 总的来说，PNAS通过引入渐进式搜索空间和代理模型引导搜索结构空间的策略，成功地解决了当前神经架构搜索方法中计算开销大、效率低的问题，并取得了比现有方法更好的性能。该方法的提出不仅为神经网络结构搜索领域带来了新的思路和方法，也为实际应用中提供了更加高效的模型调优工具。因此，PNAS的相关论文和PPT汇报对于有需要的人来说将会是一份宝贵的资源。