adam优化器与sgd优化器的区别

### Adam优化器和SGD优化器的主要差异

#### 1. 更新机制的不同
- **SGD（随机梯度下降）** 使用的是固定的学习率来更新权重。每次迭代过程中，学习率不会改变，除非人为调整。这意味着在整个训练期间，所有的参数都以相同的速度进行更新[^3]。

- **Adam（自适应矩估计）** 结合了动量法和RMSprop的优点，不仅能够提供自适应学习率，并且还能加速收敛过程。具体而言，Adam利用了一阶矩估计（即平均梯度）以及二阶矩估计（未中心化的方差），从而实现了更高效的参数更新[^1]。

#### 2. 自适应学习率特性
- 对于 **SGD**, 学习率是一个超参数，在整个训练周期内保持恒定或按照预定计划衰减。因此，它可能无法很好地处理稀疏梯度问题或者非平稳目标函数下的情况。

- 而对于 **Adam**, 它自动调整每个参数的学习率，基于历史梯度信息计算出当前步长大小。这种设计使得Adam更适合解决具有不同尺度特征的数据集上的优化难题[^2]。

#### 3. 收敛速度对比
由于引入了指数加权移动平均数的概念，**Adam** 可以更快地找到最优解附近的位置并减少振荡现象；相比之下，**SGD** 的路径可能会更加曲折不定，尤其是在接近局部极小值时容易陷入震荡状态[^4]。

import torch.optim as optim

# SGD Optimizer with a fixed learning rate of 0.01
sgd_optimizer = optim.SGD(model.parameters(), lr=0.01)

# Adam Optimizer using default parameters which include adaptive learning rates
adam_optimizer = optim.Adam(model.parameters())