反向传播优化算法都有什么

反向传播是一种用于深度学习模型训练的优化算法。反向传播算法可以使用各种优化算法来更新模型参数，以下是一些常用的反向传播优化算法：

1. 梯度下降法（Gradient Descent）：梯度下降法是一种基本的优化算法，它通过计算损失函数对参数的梯度来更新参数。

2. 随机梯度下降法（Stochastic Gradient Descent）：随机梯度下降法是一种优化算法，它每次只使用一个样本来计算梯度，然后通过更新参数来减小损失函数。

3. 动量法（Momentum）：动量法是一种优化算法，它通过追踪梯度下降方向的动量来加速模型训练。

4. 自适应学习率算法（Adaptive Learning Rate）：自适应学习率算法是一种优化算法，它可以自适应地调整每个参数的步长，从而更快地找到全局最优解。

5. AdaGrad：AdaGrad是一种自适应学习率算法，它可以根据每个参数的历史梯度信息来更新学习率和参数。

6. RMSProp：RMSProp是一种自适应学习率算法，它可以根据每个参数的历史梯度信息来更新学习率和参数，并且可以缓解 AdaGrad 学习率下降过快的问题。

7. Adam：Adam是一种自适应学习率算法，它可以根据每个参数的历史梯度信息来更新学习率和参数，并且可以自适应地调整每个参数的步长，从而更快地找到全局最优解。

这些反向传播优化算法都有各自的优缺点，具体使用哪一种算法需要根据具体的问题和数据集来选择。