基于torch神经网络损失函数正则化代码

在PyTorch中，基于神经网络的损失函数通常会包含正则化项来防止过拟合。正则化是一种常用的优化技术，通过添加额外的约束到模型参数上，比如L1或L2范数。以下是使用L2正则化的例子，即权重衰减（weight decay）：

import torch
import torch.nn as nn
import torch.optim as optim

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        # ... 定义你的网络结构 ...

    def forward(self, x):
        # ... 定义前向传播 ...

    def loss_function(self, output, target, weight_decay=0.001):  # 使用L2正则化的损失函数
        criterion = nn.CrossEntropyLoss()  # 假设我们使用交叉熵损失
        l2_reg = weight_decay * sum(p.pow(2).sum() for p in self.parameters() if p.requires_grad)  # 计算L2范数
        return criterion(output, target) + l2_reg  # 将正则化项加入总损失

# 实例化网络并创建优化器
net = Net()
optimizer = optim.SGD(net.parameters(), lr=0.01, weight_decay=weight_decay)

# 训练过程中，每次迭代都会计算损失，并加上正则化项
for input, target in your_dataloader:
    optimizer.zero_grad()  # 清除梯度
    loss = net.loss_function(input, target)
    loss.backward()  # 反向传播
    optimizer.step()  # 更新参数