pytorch实现梯度裁剪

PyTorch 中可以使用 `torch.nn.utils.clip_grad_value_` 或 `torch.nn.utils.clip_grad_norm_` 来实现梯度裁剪。

`torch.nn.utils.clip_grad_value_` 会将梯度张量中的每个元素的值裁剪到指定的最大值和最小值范围内。例如，以下代码将梯度张量的所有元素裁剪到范围 [-1, 1] 内：

import torch.nn.utils as utils

max_norm = 1.0
utils.clip_grad_value_(model.parameters(), max_norm)

`torch.nn.utils.clip_grad_norm_` 会计算所有梯度张量的范数，并将它们缩放到指定的最大范数。例如，以下代码将梯度张量的范数缩放到 1.0：

import torch.nn.utils as utils

max_norm = 1.0
utils.clip_grad_norm_(model.parameters(), max_norm)

这两个函数都可以在训练模型时用于梯度裁剪。