损失函数为平方损失时,回归提升树和GBDT有什么区别
时间: 2024-01-02 07:05:20 浏览: 83
梯度提升树(GBDT)完整教程 V1.1 发布1
回归提升树(Regression Boosted Trees)和梯度提升决策树(Gradient Boosting Decision Tree,GBDT)都是基于决策树的集成学习方法,其中损失函数为平方损失。
回归提升树采用的是前向分步算法,即每次迭代都在上一次迭代的基础上拟合一个新的回归树,并将其加入到模型中。回归提升树使用加权平均法汇总每个回归树的预测结果,对于回归问题,最终的预测结果是每棵回归树的预测结果的加权和。
GBDT也采用前向分步算法,但每次迭代不是直接拟合一个新的回归树,而是拟合当前模型的负梯度,即残差。GBDT使用加权平均法汇总每个回归树的预测结果,对于回归问题,最终的预测结果是每棵回归树的预测结果的加权和。
因此,回归提升树和GBDT的区别在于每次迭代的拟合对象不同。回归提升树每次拟合一个新的回归树,而GBDT每次拟合当前模型的残差。这意味着GBDT更加关注模型的残差,因此在残差较大的样本上表现更好。
阅读全文