pytorch 复数L2正则化

在PyTorch中，复数L2正则化可以通过在模型的损失函数中添加对权重的正则化项来实现。L2正则化是一种常见的正则化方法，它通过将权重的平方和添加到损失函数中来惩罚模型的复杂性。

下面是一个示例代码，演示如何在PyTorch中使用复数L2正则化：

import torch
import torch.nn as nn
import torch.optim as optim

# 定义模型
class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.linear = nn.Linear(10, 1)

    def forward(self, x):
        return self.linear(x)

model = MyModel()

# 定义损失函数和优化器
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 定义L2正则化的权重衰减系数
weight_decay = 0.001

# 训练循环
for epoch in range(num_epochs):
    # 前向传播
    outputs = model(inputs)
    loss = criterion(outputs, labels)

    # 添加L2正则化项
    l2_regularization = torch.tensor(0.)
    for param in model.parameters():
        l2_regularization += torch.norm(param, p=2)  # 计算参数的L2范数

    loss += weight_decay * l2_regularization

    # 反向传播和优化
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

在上述示例中，我们首先定义了一个简单的模型 `MyModel`，然后定义了损失函数 `nn.MSELoss()` 和优化器 `optim.SGD()`。接下来，我们使用一个循环来执行训练过程。在每个训练步骤中，我们计算模型的输出并计算损失。然后，我们通过遍历模型的参数来计算L2正则化项，并将其添加到损失函数中。最后，我们执行反向传播和优化步骤，更新模型的参数。

通过这种方式，我们可以在PyTorch中使用复数L2正则化来惩罚模型的复杂性，并帮助提高泛化能力。