深度学习中的SGD优化：动量与小批量

"这篇内容主要讨论了SGD（随机梯度下降）及其变体，特别是引入动量的SGD算法，以及为何在深度学习中倾向于使用一阶优化方法（如SGD）而非二阶方法（如牛顿法）。此外，还提到了mini-batch梯度下降的优势，它在处理大规模数据集时的效率和避免训练数据冗余的能力。" 在深度学习中，优化算法的选择至关重要，而SGD（随机梯度下降）是最常用的一种。SGD在每次迭代时仅使用一个样本的梯度来更新权重，相比于batch gradient descent（批梯度下降），它大大减少了计算成本，尤其在处理大量数据时。然而，SGD的一个缺点是可能会受到噪声的影响，导致训练过程中的波动。 为了解决这一问题，引入了动量的SGD算法，也称为Momentum SGD。动量的概念借鉴了物理学中的惯性概念，它在更新权重时不仅考虑当前的梯度，还结合了前一次迭代的动量。这样做的好处是可以加速学习过程，使得算法能够更快地穿越平坦区域或越过局部最小值，从而提高训练效率。动量是之前所有梯度的加权平均，其权重通常会逐渐衰减，使得最新的梯度影响更大。 在高维非凸优化问题中，二阶方法如牛顿法并不总是优于一阶方法。原因在于鞍点的存在。鞍点是局部极小值和局部最大值都较少的点，而更多的是梯度为零但不是临界点的鞍点。在高维空间中，鞍点的出现频率远高于局部极小值，这使得二阶方法容易陷入鞍点，导致优化过程受阻。相反，SGD由于其“下坡”性质，有时能更好地逃脱鞍点。 mini-batch gradient descent是介于SGD和batch gradient descent之间的一种折衷方案。它每次迭代使用一小部分样本（小于整个数据集）的梯度，平衡了计算效率和梯度噪声的减少。这减少了SGD的噪声影响，同时避免了全数据集计算的成本，特别是在大数据集上。此外，mini-batch还能捕获数据集中的局部结构，提高模型泛化能力，减少训练数据中的冗余。 SGD及其变体，如Momentum SGD和mini-batch gradient descent，因其在处理大规模非凸优化问题时的有效性和效率，成为了深度学习领域中优化神经网络参数的首选方法。尽管存在一些挑战，如噪声和鞍点问题，但通过各种策略和改进，这些方法已经能够应对并推动深度学习的发展。