momentum算法

Momentum算法是一种在梯度下降中引入动量的优化算法。它通过引入动量项来改进传统的梯度下降算法，使得在寻找最优解的过程中更加高效。

动量项（m）表示动量的指数加权平均后的值，它存储了历史梯度的累积效果。折扣因子（γ）表示历史梯度的影响力，即动量的权重值。当γ越大时，历史梯度对当前时刻的影响越大。

Momentum算法的更新公式为：mt = γmt-1 + α∇J(θ)。其中mt表示动量项，α表示学习率，∇J(θ)表示损失函数J关于参数θ的梯度。

Momentum算法的优点在于：
1. 具有惯性效应：引入动量能够使得物体在下降过程中冲出局部最优点，加速收敛速度。
2. 减弱震荡：动量和梯度共同决定物体的运动方向，可以减弱梯度下降中出现的震荡，避免陷入局部最优解。

通过计算梯度的指数加权平均数，并利用该值来更新参数，Momentum算法能够更快地收敛到最优解。这使得它在深度学习等优化问题中得到广泛应用。

总结起来，Momentum算法是一种在梯度下降中引入动量的优化算法，通过累积历史梯度的效果和动量项的权重来改进传统的梯度下降算法，加速收敛速度，并减弱梯度下降中的震荡效应。