机器学习人工智能常用优化方法_ai常用 - CSDN文库

需积分: 50 192 浏览量更新于2023-03-03 评论收藏 1.42MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

常用的优化方法

1

梯度下降

(

最速下降法

steepest descent)

（一阶）

求解无约束的优化问题。梯度下降算法通常又可以分为，随机梯度下降法（Stochastic GD），

批量梯度下降法（Batch GD），小批量梯度下降法（Mini-Batch GD），共轭梯度下降法

（Conjunction GD）。

1.1 批量梯度下降（BGD）

使用整个数据集的数据去计算代价函数的，每次使用所有数据去更新参数，这样的做法缺点

是速度慢，有些数据是无法装入计算机内存中或难以装入内存中的，且每次使用所有的训练

集的数据去更新参数，造成迭代缓慢。因为使用所有数据来更新参数，所以其目标函数是代

价函数。

问：何谓梯度？

答：梯度就是在收敛过程中，使得变化最快的方向，沿着这个方向一定能走到目标函数的最

优值。梯度就是多个变量的导数，最终的梯度就是一个向量。

图 1.1 梯度下降示意图

问：为何要向梯度的负方向移动？

答：如图 1.1 所示，最低点

*

x

的右侧梯度大于 0，优化向左移动，左侧小于零，优化向右侧

移动。因此始终保持优化是向梯度的负方向（反方向）移动才能保持梯度下降。

问：BGD 的主要优缺点？

答：优点，1.训练期间，可以用固定的学习率，而不用担心学习率衰减的问题；2 它具有朝

向最小值的直线轨迹，并且如果损失函数是凸的，则理论上可以收敛到全局最小值，如果损

失函数不是凸的，则可以收敛到局部最小值；3 梯度是无偏估计的。样本数量越多，标准误

差就越低。缺点：1 BGD 需要很慢地遍历所有样本，特别是数据集很大的时候算法的耗时将

成为严重的问题；2 由于每次迭代都要遍历所有样本，有一些样本特征是多余的，对更新没

有多大贡献，造成计算资源浪费。

剩余10页未读，继续阅读

评论0

早起的有虫子吃

粉丝: 5
资源: 2

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈