简述Momentum的思想

Momentum是一种常用的梯度下降优化算法，它的思想是在更新参数时，不仅仅考虑当前的梯度信息，还考虑了之前的梯度信息，从而使得参数更新更加平滑、稳定。具体来说，Momentum算法会引入一个动量（momentum）的概念，它可以看作是之前梯度的加权平均值，用来指示参数更新的方向和速度。在每次更新参数时，Momentum算法会根据当前的梯度和动量来计算参数的更新量，并将动量进行更新。由于Momentum算法考虑了之前的梯度信息，因此它能够在梯度方向发生变化时，更快地调整更新方向，从而加速训练过程，避免陷入局部最优解。同时，Momentum算法还可以通过调整动量的大小来控制参数更新的速度和稳定性，具有一定的灵活性和鲁棒性。