sgd优化器和adamw

SGD（Stochastic Gradient Descent）是一种常见的优化器，它是一种基于随机采样的梯度下降算法。与传统的梯度下降算法不同，SGD每次迭代只随机采样一个样本来计算梯度，并根据这个梯度来更新模型参数。由于每次更新仅基于一个样本，因此SGD比传统的梯度下降算法更具有随机性和噪声，使得SGD能够更快地收敛到局部最优解，并且具有较好的泛化性能。

而AdamW（Adam Weight Decay）是Adam优化器的一种改进版本，它在Adam优化器的基础上加入了权重衰减机制。AdamW在Adam优化器中添加了L2正则化项，以避免过拟合问题。AdamW的原理是在Adam优化器中加入一个权重衰减项，将权重衰减和L2正则化结合起来，使得优化器能够同时进行梯度下降和权重衰减操作。