l1损失函数和l2损失函数各是什么?
时间: 2024-09-04 14:00:41 浏览: 74
PyTorch 激活函数、损失函数、优化器-谢TS的博客.pdf
L1和L2损失函数都是机器学习和深度学习中常用的代价函数,它们分别对应于不同的正则化技术:
1. **L1损失函数** (也称绝对值损失):它计算预测值和真实值之间的差异的绝对值之和。数学表达式为:`L1(y, y_pred) = ||y - y_pred||_1`。L1损失对大型偏差敏感,因为它鼓励模型结果倾向于稀疏解,对于特征选择有积极作用,可以防止过拟合。
2. **L2损失函数** (也称平方误差损失或二次损失):它计算的是预测值和真实值之间差的平方和,其公式为:`L2(y, y_pred) = ||y - y_pred||_2^2`。L2损失对极端值较不敏感,它鼓励结果更加平滑,常用于线性回归和其他需要最小二乘法求解的问题。
两者的主要区别在于,L1惩罚大的偏差更严厉(因为它只关心偏差的方向而不考虑大小),而L2更重视偏差的精确度(因为它对误差的平方进行加权,使得较大的误差影响更大)。
阅读全文