GBDT sample
时间: 2023-10-23 19:18:55 浏览: 80
gradient-boosted-decision-tree:GBDT(梯度增强决策树)
GBDT(Gradient Boosting Decision Tree)是一种常用的机器学习算法,其核心思想是通过组合多个决策树来构建一个强大的预测模型。在GBDT模型中,样本的采样方式通常分为两种情况:有放回采样和无放回采样。
1. 有放回采样(Bagging)
有放回采样也称为Bagging(Bootstrap aggregating),其基本思想是从原始数据集中随机抽取若干个样本,然后以这些样本为基础,构建多个决策树模型,并将这些模型的预测结果进行平均或投票,得到最终的预测结果。
在GBDT模型中,有放回采样常用于进行特征子集采样,即从原始特征集中随机选择一部分特征,然后以这些特征为基础,构建多个决策树模型。
2. 无放回采样(Boosting)
无放回采样也称为Boosting,其基本思想是从原始数据集中选择一部分样本,然后以这些样本为基础,构建一个基础模型,然后根据模型的性能表现,重新调整样本的权重,再选择一部分样本,构建另一个基础模型,依此类推,直到构建多个基础模型,最终将这些模型的预测结果进行加权,得到最终的预测结果。
在GBDT模型中,无放回采样常用于进行样本加权,即根据模型的性能表现,重新调整样本的权重,然后重新选择样本,构建下一个基础模型。这种方式可以使模型更加关注那些难以预测的样本,从而提高模型的性能表现。
阅读全文