Boosting方法-从AdaBoost到LightGBM_lightgbm公式推导 - CSDN文库

需积分: 50 112 浏览量更新于2023-05-18 评论 3 收藏 3.86MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

1、Boosting 方法简介 ............................................ 1

2、前向分步算法................................................. 2

3、AdaBoost 算法 ................................................ 2

3.1 核心思想.................................................. 2

3.2 基本流程.................................................. 2

3.3 从前向分步算法来看 AdaBoost ............................... 3

4、梯度提升决策树(GBDT)......................................... 5

4.1 提升树-boosting tree...................................... 5

4.2 梯度提升-Gradient Boosting................................ 6

4.3 梯度提升决策树(GBDT) ...................................... 7

5、XGBoost 模型 ................................................. 8

5.1 XGBoost 模型基本原理 ...................................... 8

5.2 分裂算法................................................. 10

5.3 XGBoost 与 GBDT 的异同 .................................... 14

6、LightGBM.................................................... 15

6.1 LightGBM 基本原理 ........................................ 15

6.2 LightGBM 的其他特性 ...................................... 17

6.3 LightGBM 与 XGBoost 的不同点 .............................. 20

参考文献....................................................... 21

1、Boosting 方法简介

Boosting 是一族可将弱学习器提升为强学习器的算法。关于 Boosting 的两个

核心问题：

1、在每一轮如何改变训练数据的权值或概率分布？

通过提高那些在前一轮被弱分类器分错样例的权值，减小前一轮分对样本的权

值，而误分的样本在后续受到更多的关注.

2、通过什么方式来组合弱分类器？

通过加法模型将弱分类器进行线性组合，比如 AdaBoost 通过加权多数表决的方

式，即增大错误率小的分类器的权值，同时减小错误率较大的分类器的权值。

而提升树通过拟合残差的方式逐步减小残差，将每一步生成的模型叠加得到最

终模型。

剩余20页未读，继续阅读

评论0

粉红色的的猫胖纸

粉丝: 1
资源: 3

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈