深度学习中优化方法——momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam

优化方法是深度学习中非常重要的一部分，它们很大程度上决定了模型的性能。下面我简单介绍一下几种常用的优化方法：

1. Momentum
Momentum 是一种在梯度下降中加速收敛的方法，其本质是在优化方向上增加一个惯性项。优化时，梯度的更新不仅取决于当前的梯度，还取决于上次更新时的速度。这样能够让梯度在下降过程中保持一定的动量，从而更快地到达最优点。

2. Nesterov Momentum
Nesterov Momentum 是 Momentum 的一种变体，它在计算梯度时先根据当前速度更新一次位置，然后再计算梯度。这样能够更准确地估计下一步的位置，从而更快地到达最优点。

3. AdaGrad
AdaGrad 是一种自适应学习率的方法，它根据梯度的历史信息来调整学习率。具体来说，它会对每个参数维度的学习率进行缩放，使得那些经常出现的梯度维度的学习率变小，那些不经常出现的梯度维度的学习率变大。这样能够更好地适应不同的参数更新需求。

4. Adadelta
Adadelta 是 AdaGrad 的一种变体，它不仅考虑了梯度的历史信息，还引入了一个新的变量来平衡模型中不同参数的重要性。这样能够更好地平衡各个参数的更新。

5. RMSprop
RMSprop 是一种适应性学习率的方法，它和 AdaGrad 类似，但是通过指数平均来修正梯度历史信息的累积效果，从而更好地适应不同的参数更新需求。

6. Adam
Adam 是一种结合了 Momentum 和 RMSprop 的方法，它不仅考虑了梯度的历史信息，还引入了一个新的变量来估计梯度的二阶矩。这样能够更好地平衡各个参数的更新，并且在处理非凸优化问题时表现良好。

以上就是几种常用的优化方法，它们各有特点，在实际应用时需要根据具体情况进行选择。