深度学习中的优化器有什么

种类？

A：深度学习中常用的优化器种类包括：

1. SGD（Stochastic Gradient Descent，随机梯度下降）：每一次迭代随机从训练集中选取一个样本来更新参数。

2. Momentum：在 SGD 的基础上增加了动量项，可以加速收敛。

3. Adagrad（Adaptive Gradient Descent，自适应梯度下降）：对梯度的每个分量分别调节学习率，使得梯度较小的参数得到较大的更新，梯度较大的参数得到较小的更新。

4. Adadelta：对 Adagrad 进行了改进，使用了更加稳定的梯度平均值，同时没有学习率超参数。

5. Adam（Adaptive Moment Estimation，自适应矩估计）：结合了 Momentum 和 Adagrad 的优点，同时引入了二阶矩，即梯度平方的指数加权移动平均。

6. RMSprop（Root Mean Square Propagation，均方根传播）：在 Adagrad 的基础上引入了指数加权移动平均，以更新学习率的分母。

7. AdaBound：在 Adam 的基础上引入了动态学习率范围，即将学习率截断在一个范围内，以避免学习率过大或过小的问题。