用pytorch反向传播实现岭回归

岭回归是一种用于处理具有共线性的数据的线性回归方法。它通过在损失函数中加入正则化项来避免过拟合。具体来说，损失函数可以表示为：

$J(w) = \frac{1}{2n} \sum_{i=1}^{n}(y_i - \hat{y_i})^2 + \frac{\lambda}{2}||w||^2$

其中，$w$ 是模型参数，$y_i$ 是第 $i$ 个样本的真实标签，$\hat{y_i}$ 是模型对第 $i$ 个样本的预测值，$n$ 是样本数量，$\lambda$ 是正则化系数，$||w||^2$ 是参数 $w$ 的 L2 范数的平方。

为了实现岭回归，我们可以使用 PyTorch 提供的自动求导功能来计算梯度并更新参数。下面是一个简单的实现：

import torch

# 构造数据
x = torch.randn(100, 10)
y = torch.randn(100, 1)

# 定义模型
model = torch.nn.Linear(10, 1)

# 定义损失函数和正则化系数
criterion = torch.nn.MSELoss()
lambda_ = 0.1

# 定义优化器
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

# 训练模型
for epoch in range(100):
    # 前向传播
    y_pred = model(x)
    
    # 计算损失函数和正则化项
    loss = criterion(y_pred, y)
    l2_reg = lambda_ * torch.norm(model.weight, p=2)
    loss += l2_reg
    
    # 反向传播
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    
    # 打印损失函数
    print('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, 100, loss.item()))

在每个 epoch 中，我们首先进行前向传播计算预测值 $y_{pred}$，然后计算损失函数 $loss$ 和正则化项 $l2\_reg$。接着进行反向传播计算梯度并更新模型参数，最后打印出当前的损失函数。

需要注意的是，在计算正则化项时，我们使用了 PyTorch 提供的 `torch.norm` 函数来计算参数 $w$ 的 L2 范数。此外，我们使用了随机梯度下降（SGD）优化器来更新参数，但也可以选择其他优化器，比如 Adam 等。