正则化代码

正则化是一种常用的防止过拟合的方法，可以通过对模型的权重进行约束来实现。在深度学习中，L1正则化和L2正则化是两种常用的正则化方法。

L1正则化：

在L1正则化中，我们将模型的权重向量中的每个元素的绝对值之和添加到损失函数中。这样可以使得训练时部分权重趋近于0，从而达到特征选择和降维的效果。

在pytorch中，可以通过在优化器中设置weight_decay参数来实现L1正则化，例如：

import torch.nn as nn
import torch.optim as optim

model = nn.Sequential(
    nn.Linear(10, 20),
    nn.ReLU(),
    nn.Linear(20, 1)
)

optimizer = optim.SGD(model.parameters(), lr=0.1, weight_decay=0.01) # 设置weight_decay参数实现L1正则化

L2正则化：

L2正则化是将模型的权重向量中每个元素的平方和添加到损失函数中。它的效果是使得训练时模型的权重值更加平滑，防止出现过拟合。

在pytorch中，可以通过在优化器中设置weight_decay参数来实现L2正则化，例如：

import torch.nn as nn
import torch.optim as optim

model = nn.Sequential(
    nn.Linear(10, 20),
    nn.ReLU(),
    nn.Linear(20, 1)
)

optimizer = optim.SGD(model.parameters(), lr=0.1, weight_decay=0.001) # 设置weight_decay参数实现L2正则化

需要注意的是，设置weight_decay参数时，需要根据具体问题进行调整，设置过大或过小都可能导致不理想的效果。