AutoML-Zero：从零开始演化机器学习算法

"AutoML-Zero是Google大脑提出的一种全新的机器学习框架，旨在从零开始自动演化出机器学习算法，从而减少人类的先验偏见。这个框架通过一个通用的搜索空间来探索基本数学操作构建的算法，而不是依赖于专家设计的复杂神经网络层。尽管搜索空间巨大，但进化搜索策略仍能找出有效的两层神经网络，并且在特定任务（如CIFAR-10变体）上，这些简单网络能够进一步演进，甚至展现出现代高级技术，如双线性交互、标准化梯度和加权平均等。" 在机器学习领域，研究进展主要体现在模型结构和学习方法上。随着自动化机器学习（AutoML）的发展，神经网络架构的设计也取得了显著进步。然而，当前的AutoML研究大多集中于神经网络的架构，通常使用专家设计的复杂层作为基础模块，这限制了搜索空间的自由度。 AutoML-Zero的目标是突破这一局限，证明可以从最基础的数学运算出发，完全自动化地发现完整的机器学习算法。这个框架通过定义一个广泛的搜索空间，允许算法从零开始演化，减少了对人类经验的依赖。在这个框架下，即使是在极其庞大的搜索空间中，进化策略也能找到由反向传播训练的两层神经网络，这表明基础的数学运算足以构建出具有学习能力的模型。 有趣的是，这些简单的两层神经网络并不是AutoML-Zero的终点。当它们被直接应用到具体任务，如CIFAR-10数据集的变种时，它们会进一步演化，发展出与现代顶级算法相似的技术。这些技术包括双线性交互，这是一种增强特征交互的方法；标准化梯度，它有助于优化过程的稳定性和收敛速度；以及加权平均，这是模型融合的一种策略，能提升预测性能。 AutoML-Zero的贡献在于展示了自动化机器学习的潜力，不仅限于神经网络架构，而且可以扩展到整个学习算法的设计。这种方法的实现对于推动机器学习的自动化和普遍性具有重要意义，可能在未来引领更多创新的自动化设计策略。同时，它也提醒我们，即使是最基础的构建块，通过智能搜索和优化，也能演化出与当前最先进的技术相媲美的解决方案。