Stochastic Gradient Boosting是什么

Stochastic Gradient Boosting (SGB) 是一种基于决策树的集成学习算法，它是 Boosting 类算法中的一种。它通过将多个弱分类器组合成一个强分类器来提高预测准确性。相比于传统的 Gradient Boosting 算法，SGB 引入了随机化的思想，通过随机选取一部分样本和特征来构建每个决策树，从而减少了过拟合的风险。

具体来说，SGB 在每次迭代时，首先从训练集中随机选择一部分样本（通常是不放回抽样），然后再从所有特征中随机选择一部分特征用于构建决策树。在构建决策树时，每个节点的分裂都是基于样本和特征的随机子集进行的。最终，将所有构建好的决策树组合起来，形成一个强分类器。

SGB 在实现上较为简单，同时也具有较好的预测准确性和鲁棒性，因此在实际应用中得到了广泛的应用。