稀疏编码公式推导：LASSO，ISTA，近端梯度优化，软阈值_近端梯度下降算法 - CSDN文库

需积分: 32 145 浏览量更新于2023-03-16 1 收藏 95KB DOCX 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源推荐

LASSO 回归与 L1 正则化西瓜书

1.结构风险与经验风险：

经验风险负责最小化模型在训练集上的误差，使得模型尽可能的拟合训练数据。结构

风险则负责正则化参数的正则化，使模型的参数尽可能简洁，防止模型因在训练集上过拟

合而导致泛化能力差（在测试集上效果差）。通常，我们在建立模型时会同时考虑这两个

风险，所以我们通常用下式训练模型：

其中

x

i

是训练样本，

y

i

是样本标签，

f

代表待训练的模型，

w

是模型的参数。第一项

L( y

i

, f (x

i

;w))

是经验风险，衡量真实值

y

i

与预测值

f (x

i

;w)

之间的误差; 第二项

Ω(w)

是

结构风险，称为正则化项，衡量模型

f

的复杂度，使模型的参数越简单越好。

Ω(w)

是模型

复杂度的单调函数，模型越复杂，

Ω(w)

的值越大。通常，用模型的参数的 L0 范数，L1 范

数或 L2 范数作为正则化项。

2. L0 范数，L1 范数，L2 范数与 LASSO 回归，岭回归

1）广义定义

L0 范数 : 向量中非零元素的个数.

L1 范数：向量中各个元素绝对值之和

L2 范数：向量各元素平方和然后求平方根

L0，L1 范数可以实现稀疏化，而 L1 系数因为有比 L0 更好的特性而被广泛应用。L2 范

数在回归里就是岭回归，也叫均值衰减，常用于解决过拟合，通过对向量各元素平方和再

求平方根，使得 L2 范数最小，从而使得参数

w

的各个元素都接近于 0。与 L1 范数不同，L2

范数规划后

w

的值会接近于 0 但不到 0，而 L1 范数规范后则可能令

w

的一些值为 0，所以 L1

范数规范在特征选择中经常用到，而 L2 范数在参数规则化时经常用到。在回归模型中，通

过添加 L1,L2 范数引入正则化项，便得到了 LASSO 回归和岭回归：

2）回归模型

常见线性模型回归：

LASSOO 回归：

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余6页未读，立即下载

wzg2016

粉丝: 421
资源: 12

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈