梯度下降 pytorch

梯度下降是一种优化算法，用于在机器学习中更新模型参数以最小化损失函数。在PyTorch中，可以使用torch.optim模块来实现梯度下降。

首先，你需要定义一个模型和损失函数。然后，创建一个优化器对象，将模型的参数和学习率作为参数传递给优化器。

接下来，重复以下步骤直到收敛或达到预定的迭代次数：
1. 清零梯度：使用optimizer.zero_grad()方法将梯度缓存置零。
2. 前向传播：将输入数据通过模型进行前向传播，得到预测结果。
3. 计算损失：将预测结果与真实标签进行比较，计算损失。
4. 反向传播：通过调用loss.backward()方法计算梯度。
5. 更新参数：使用optimizer.step()方法根据梯度更新模型的参数。

下面是一个示例代码片段，展示了如何在PyTorch中使用梯度下降：

import torch
import torch.nn as nn
import torch.optim as optim

# 定义模型
model = nn.Linear(in_features=10, out_features=1)
# 定义损失函数
loss_fn = nn.MSELoss()
# 创建优化器
optimizer = optim.SGD(model.parameters(), lr=0.01)