深度学习优化：SGD实践与L-BFGS策略

本文主要讨论了随机梯度下降（SGD）算法在深度学习中的应用和使用心得。作者首先提到了2014年阅读的一篇论文，由Andrew Ng团队的博士撰写，该论文对比了L-BFGS、CG（共轭梯度）和SGD这三种优化算法。L-BFGS在处理大量样本时效率较低，而SGD虽然速度快但结果不稳定，精度波动大。文章强调了L-BFGS与CG在实验中表现出色，不仅在达到相同精度时所需时间更少，而且在同等时间内能提供更高的精度。 在实际应用中，作者发现SGD的变种——mini-batch SGD，结合了L-BFGS的优点，既能保持较快的速度，又能保证较好的结果。尽管如此，SGD的步长选择是一个关键问题，因为它直接影响算法的收敛速度和稳定性。作者提到，常见的策略是采用较小的固定步长，但计算出更精确的步长算法相对较复杂，他倾向于使用简单的方法。 文章作者在面临L-BFGS速度慢的问题时，选择使用带Mini-batch的SGD进行实验。在实践中，SGD的心得包括考虑方向和步长调整，方向通过计算梯度确定，而步长的选择需要平衡，过小会导致收敛慢，过大可能导致震荡。尽管作者最初尝试过计算步长的算法，但发现操作起来并不简单，最终还是选择了较为直观的小步长策略，并且意识到何时停止算法是一个重要的实践技巧。 这篇文章分享了随机梯度下降在深度学习中的应用体验，尤其是在大型数据集和性能优化上的挑战与解决方案，以及如何结合不同优化算法的优点来提高训练效率和结果质量。