权重衰减（weight decay）与学习率衰减（learning rate decay）.docx - CSDN文库

需积分: 48 49 浏览量更新于2023-04-28 收藏 64KB DOCX 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源推荐

深度学习：权重衰减（weight decay）与学习率衰减（learning rate decay）

技术标签：深度学习机器学习

正则化方法：防止过拟合，提高泛化能力

避免过拟合的方法有很多：early stopping、数据集扩增（Data augmentaon）、正则化

（Regularizaon）包括 L1、L2（L2 regularizaon 也叫 weight decay），dropout。

权重衰减（weight decay）

L2 正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，

所以权重衰减也叫 L2 正则化。

在损失函数中，weight decay 是放在正则项（regularizaon）前面的一个系数，正则项一般

指示模型的复杂度，所以 weight decay 的作用是调节模型复杂度对损失函数的影响，若

weight decay 很大，则复杂的模型损失函数的值也就大。

L2 正则化与权重衰减系数

L2 正则化就是在代价函数后面再加上一个正则化项：

其中 C0 代表原始的代价函数，后面那一项就是 L2 正则化项，它是这样来的：所有参数 w

的平方的和，除以训练集的样本大小 n。λ 就是正则项系数，权衡正则项与 C0 项的比重。

另外还有一个系数 1/2，1/2 经常会看到，主要是为了后面求导的结果方便，后面那一项求

导会产生一个 2，与 1/2 相乘刚好凑整为 1。系数 λ 就是权重衰减系数。

为什么可以对权重进行衰减

我们对加入 L2 正则化后的代价函数进行推导，先求导：

可以发现 L2 正则化项对 b 的更新没有影响，但是对于 w 的更新有影响：

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余3页未读，立即下载

*Lisen

粉丝: 122
资源: 45

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈