pytorch sgd

pytorch的SGD是随机梯度下降（Stochastic Gradient Descent）优化算法的一种实现。它是一种常用的优化算法，用于训练神经网络模型。在SGD算法中，每次更新参数时都会随机选择一个样本进行计算梯度，并更新模型参数。其具体使用方式如下：

import torch.optim as optim

# 定义模型和损失函数
model = ...
criterion = ...

# 定义优化器
optimizer = optim.SGD(model.parameters(), lr=learning_rate, momentum=momentum, weight_decay=weight_decay)

# 训练循环
for epoch in range(num_epochs):
    for inputs, labels in dataloader:
        # 清零梯度
        optimizer.zero_grad()
        
        # 前向传播
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        
        # 反向传播
        loss.backward()
        
        # 更新参数
        optimizer.step()

其中，`lr`代表学习率（learning rate），`momentum`代表动量（momentum），`weight_decay`代表权重衰减（weight decay），这些参数可以根据具体任务进行调整。