pytorch l2正则化

PyTorch中的L2正则化可以通过使用torch.optim优化器的weight_decay参数来实现。weight_decay参数是一个正则化项的系数，它通过在损失函数中添加权重的平方和的一部分来实现L2正则化。

例如，如果我们使用torch.optim.SGD优化器，可以将weight_decay参数设置为一个非零的值来实现L2正则化。这将使优化器在更新权重参数时，同时减小它们的大小。

下面是一个使用L2正则化的示例代码：

import torch
import torch.nn as nn
import torch.optim as optim

# 定义模型
model = nn.Linear(10, 1)

# 定义损失函数
criterion = nn.MSELoss()

# 定义优化器，并设置weight_decay参数来实现L2正则化
optimizer = optim.SGD(model.parameters(), lr=0.1, weight_decay=0.01)

# 训练模型
for inputs, targets in dataloader:
    optimizer.zero_grad()
    outputs = model(inputs)
    loss = criterion(outputs, targets)
    loss.backward()
    optimizer.step()

在上述代码中，我们使用torch.optim.SGD优化器，并将weight_decay参数设置为0.01，这样就实现了L2正则化。请注意，weight_decay参数的值越大，正则化效果越明显。

因此，通过设置torch.optim优化器的weight_decay参数，你可以在PyTorch中实现L2正则化。