优化器除了adam还有什么

除了Adam优化器，还有以下几种常见的优化器：
1. SGD（Stochastic Gradient Descent）：随机梯度下降优化器，是最基本的优化器之一。它在每次迭代中随机选择一个样本来计算梯度，并更新模型参数。
2. Adagrad（Adaptive Gradient）：自适应梯度优化器，它根据参数的历史梯度信息来调整学习率。对于频繁出现的参数，学习率会减小；对于不经常出现的参数，学习率会增大。
3. RMSprop（Root Mean Square Propagation）：均方根传播优化器，它也是一种自适应学习率的优化器。RMSprop通过维护一个梯度平方的移动平均值来调整学习率。
4. Adadelta：自适应学习率优化器，它是RMSprop的变种。Adadelta通过维护一个梯度平方和参数更新平方的移动平均值来调整学习率。
5. Adamax：Adam的变种，它使用了无穷范数来替代了L2范数，使得参数更新更加稳定。
6. Nadam：Nesterov-accelerated Adaptive Moment Estimation的缩写，是Adam与Nesterov动量法的结合。它在Adam的基础上引入了Nesterov动量，提供了更好的收敛性能。