L1正则化和L2正则化

L1正则化和L2正则化是机器学习中常用的正则化技术，用于控制模型的复杂度。

L1正则化是指对模型的权重向量进行约束，使其具有稀疏性，即只有少数权重值为非零。具体来说，L1正则化是将权重向量中每个权重的绝对值加起来，再乘以一个超参数 λ，加入到损失函数中，公式为：

L1 = λ * Σ|w|

其中，w 为权重向量中的元素。

L2正则化是指对模型的权重向量进行约束，使其具有平滑性，即权重值较小、分布较均匀。具体来说，L2正则化是将权重向量中每个权重的平方加起来，再乘以一个超参数 λ，然后加入到损失函数中，公式为：

L2 = λ * Σ(w^2)

其中，w 为权重向量中的元素。

相比之下，L1正则化会产生稀疏解，即只有少数权重值为非零，而L2正则化会产生平滑解，即所有权重值都趋向于接近于零。L1正则化可以用于特征选择，而L2正则化可以用于防止过拟合。