监督学习-梯度下降算法
如果你还没有接触过梯度下降算法，你在看下面内容之前可以先看一下，吴恩达的梯度下降
的视频：http://open.163.com/movie/2008/1/B/O/M6SGF6VB4_M6SGHJ9BO.html
我认为在学习梯度下降算法之前，应该先了解什么是方向导数、什么是梯度，我将介绍
它们两者之间的关系。
这副图是我在学习吴恩达-梯度下降算法教学视频中截取的，还记得吴恩达说：“环顾四周找
到下山最快的方向，向前走一步，然后再环顾四周找到下山最快的方向，向前走一
步，.........” ，这也就是梯度下降算法的精髓。
1、环顾四周——方向导数(方向导数反应函数沿某个方向的变化率)是一个值
定理：如果函数
(, )f xy
在点
000
(x , y )P
可微，那么函数在该点沿任一方向
( (cos ,cos ) )
l
ll
αβ
=e 是与 同向的
单位向量
的方向导数存在，且有
00
00 00
(x ,y )
(x , y )cos ( , y )cos
xy
f
f fx
l
αβ
∂
= +
∂
(1)
其中
cos ,cos
αβ
是方向
l
的方向余弦。(这件事情毋庸置疑，如有疑问，看高数下册，第九
章)。
2、如何找到下降速度最快的方向---梯度(是一个向量)
刚刚说了，方向导数反应函数沿某个方向的变化率，可以通过调整
αβ
、
表示所有方向
函数的变化率，要找到变化的最快的方向即方向导数绝对值最大的方向。
( )
00
00 00
(x ,y )
max (x , y ), ( ,y )
xy l
f
f fx
l
∂
=
∂
e
(2)
( )
( )
00 00
max (x , y ), ( ,y ) cos
xy l
f fx
θ
= ⋅⋅e
Explorer_log
- 粉丝: 11
- 资源: 2
我的内容管理
收起
- 我的资源
快来上传第一个资源
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0