pytorch随机梯度下降函数

PyTorch 中的随机梯度下降（SGD，Stochastic Gradient Descent）是一种常用的优化算法，用于更新神经网络模型的权重。在 PyTorch 中，可以使用 `optim` 包中的 `torch.optim.SGD` 实现它。这个函数通常需要以下几个关键参数：

1. 参数集 (parameters)：训练模型所使用的变量集合。
2. 学习率 (lr, learning rate)：每次更新时调整权重的步长。
3. momentum (可选，默认为0)：动量（momentum），一种加速收敛的技术，通过加权平均历史梯度方向来移动。
4. dampening (可选，默认为0)：对于动量项的衰减因子。
5. weight_decay (可选，默认为0)：L2 正则化，防止过拟合。
6. nesterov (可选，默认为False)：启用尼氏动量（Nesterov momentum），一种改进的动量策略。

创建并使用 SGD 的例子如下：

import torch
from torch import optim

model = ...  # 你的模型实例
optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)

# 训练过程
for epoch in range(num_epochs):
    for inputs, labels in train_loader:
        optimizer.zero_grad()  # 梯度清零
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()