GP-NAS：高斯过程驱动的神经结构搜索

"高斯过程的神经结构搜索" 在深度学习领域，神经架构搜索（Neural Architecture Search, NAS）已经成为一种重要的自动设计深度神经网络的方法。传统的NAS方法，如基于强化学习（RL）和进化算法（EA），由于计算复杂度高，通常只针对特定任务进行单次架构搜索。近期，通过权重共享的方式，如enas[35]、darts[5]等，已经大大加速了这一过程，但仍存在性能预测不准确以及超网模型与独立模型性能差异的问题。 本研究提出了一种名为GP-NAS（Gaussian Process-based Neural Architecture Search）的新方法，旨在解决NAS中的核心问题：如何量化架构与性能的关系，评估不同架构间的相关性，以及在有限样本下学习这些关系。作者引入高斯过程（Gaussian Process, GP）作为基础，利用贝叶斯统计的方法对架构性能进行建模。高斯过程是一种强大的非参数概率模型，能有效地处理不确定性，并自然地提供了性能预测的置信区间。 关键创新在于提出了一种新的可学习的核函数，用于GP，以适应不同的搜索空间中的架构。这使得GP-NAS能够捕捉到不同架构之间的复杂相关性。同时，结合基于互信息的采样策略，GP-NAS能够在理论上有能力在小样本集上发现高性能的网络架构，减少了对大量资源的需求。 在解决这些问题后，GP-NAS仅需一次训练，就能预测不同场景下任意架构的性能，从而避免了为不同任务和硬件平台重复搜索的过程。实验结果在图像分类和人脸识别任务上验证了这种方法的有效性，表明GP-NAS不仅能够高效地预测模型性能，还能找到适用于各种条件的高性能网络结构。 总结起来，GP-NAS通过高斯过程和创新的核函数学习，提供了一个高效且准确的性能预测框架，解决了传统NAS方法的计算瓶颈和性能预测不准确的问题。这为自动深度学习模型设计开辟了新的可能性，有望进一步推动深度学习模型的优化和应用。