AdaReg损失函数代码实现

AdaReg是一种自适应正则化方法，其损失函数可以表示为：

L = L_org + λ * R

其中，L_org是原始的损失函数，R是正则化项，λ是正则化系数。

下面是AdaReg损失函数的代码实现：

import torch
import torch.nn as nn

class AdaRegLoss(nn.Module):
    def __init__(self, lambda_reg=1e-3):
        super(AdaRegLoss, self).__init__()
        self.lambda_reg = lambda_reg

    def forward(self, output, target):
        loss_org = nn.functional.cross_entropy(output, target)
        reg = 0.
        for param in self.parameters():
            reg += torch.norm(param)
        loss = loss_org + self.lambda_reg * reg
        return loss

在上面的代码中，我们定义了一个名为AdaRegLoss的类，该类继承自nn.Module。在该类的初始化函数中，我们设置了正则化系数lambda_reg。在forward函数中，我们首先计算原始的损失函数loss_org，然后计算正则化项reg，最后将两者相加得到最终的损失函数loss。

需要注意的是，在计算正则化项时，我们遍历了模型的所有参数，并使用torch.norm函数计算了它们的L2范数。这里的参数包括模型的权重和偏置。