pytorch l1l2正则化

PyTorch是一个流行的深度学习框架，它提供了丰富的功能来支持模型训练和优化。L1和L2正则化是常用的正则化方法，用于控制模型的复杂度并防止过拟合。

L1正则化是指在损失函数中添加模型权重的绝对值之和的惩罚项。它的目标是使一些权重变为0，从而实现特征选择和稀疏性。在PyTorch中，可以通过在优化器中设置weight_decay参数来实现L1正则化。例如：

import torch
import torch.nn as nn
import torch.optim as optim

model = nn.Linear(10, 1)
optimizer = optim.SGD(model.parameters(), lr=0.01, weight_decay=0.01)

上述代码中，weight_decay参数设置为0.01，表示对模型的权重进行L1正则化。

L2正则化是指在损失函数中添加模型权重的平方和的惩罚项。它的目标是使权重尽可能小，从而减少模型的复杂度。在PyTorch中，可以通过在优化器中设置weight_decay参数来实现L2正则化，与L1正则化类似。例如：

import torch
import torch.nn as nn
import torch.optim as optim

model = nn.Linear(10, 1)
optimizer = optim.SGD(model.parameters(), lr=0.01, weight_decay=0.01)

上述代码中，weight_decay参数设置为0.01，表示对模型的权重进行L2正则化。