梯度裁减pytorch

在PyTorch中，可以使用`torch.nn.utils.clip_grad_norm_`函数来进行梯度裁剪。该函数会将模型参数的梯度裁剪到指定的范数上限。

下面是一个简单的示例代码，演示了如何在PyTorch中进行梯度裁剪：

import torch
import torch.nn as nn
import torch.optim as optim

# 定义一个简单的模型
class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.fc = nn.Linear(10, 5)

    def forward(self, x):
        return self.fc(x)

# 创建模型实例
model = MyModel()

# 定义损失函数和优化器
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 执行前向传播和反向传播
inputs = torch.randn(10)
targets = torch.randn(5)
outputs = model(inputs)
loss = criterion(outputs, targets)
loss.backward()

# 进行梯度裁剪
max_norm = 1.0  # 指定梯度的最大范数
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm)

# 根据裁剪后的梯度更新模型参数
optimizer.step()

在上述代码中，我们首先定义了一个简单的模型`MyModel`，然后定义了损失函数和优化器。接下来，我们执行了前向传播和反向传播，计算了损失值，并通过`clip_grad_norm_`函数对模型参数的梯度进行裁剪。最后，我们使用裁剪后的梯度更新了模型参数。

需要注意的是，`clip_grad_norm_`函数的第一个参数是模型的参数列表，可以通过`model.parameters()`来获取。第二个参数是指定的梯度范数上限。在示例中，我们将梯度的最大范数限制为1.0。