loss_function=torch.nn.CrossEntropyLoss正则化代码

在PyTorch中，可以使用weight_decay参数来实现L2正则化。同时，由于CrossEntropyLoss已经包含了Softmax操作，因此不需要在模型中额外添加Softmax层。

下面是一个使用CrossEntropyLoss和L2正则化的例子：

import torch
import torch.nn as nn
import torch.optim as optim

# 定义模型
class MyModel(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(MyModel, self).__init__()
        self.fc1 = nn.Linear(input_size, hidden_size)
        self.fc2 = nn.Linear(hidden_size, output_size)
        
    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 定义超参数
input_size = 10
hidden_size = 20
output_size = 5
learning_rate = 0.01
weight_decay = 0.001
epochs = 10

# 创建模型和优化器
model = MyModel(input_size, hidden_size, output_size)
optimizer = optim.SGD(model.parameters(), lr=learning_rate, weight_decay=weight_decay)
loss_fn = nn.CrossEntropyLoss()

# 准备数据
X = torch.randn(100, input_size)
y = torch.randint(0, output_size, (100,))

# 训练模型
for epoch in range(epochs):
    # 前向传播和计算损失
    logits = model(X)
    loss = loss_fn(logits, y)
    
    # 反向传播和更新参数
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    
    # 打印训练信息
    if epoch % 1 == 0:
        print("Epoch [{}/{}], Loss: {:.4f}".format(epoch+1, epochs, loss.item()))

在这个例子中，我们将L2正则化的超参数设为0.001，即weight_decay=0.001。在优化器中使用weight_decay参数即可实现L2正则化。