集成学习笔记：Boosting、Bagging与Stacking解析

"集成学习总结 | A Notebook1" 集成学习是一种机器学习方法，通过结合多个学习算法的预测来创建更强大的模型。这种方法的核心理念是利用多个弱学习器的优点，通过协同工作形成一个强学习器，从而提高整体的预测性能。集成学习主要分为三大类：Boosting、Bagging和Stacking。 **Boosting** Boosting是一种迭代增强策略，其过程是串行的。它首先训练一个弱学习器，然后根据这个学习器在训练数据上的错误，调整样本权重，以使错误样本在后续迭代中得到更多关注。这样可以生成一系列针对不同子集或权重分布的弱分类器，最终通过加权组合这些弱分类器形成强分类器。典型的Boosting算法包括AdaBoost、Gradient Boosting (GBDT)以及XGBoost。 **AdaBoost算法步骤**： 1. 初始化所有样本的权重相等，即`wi1 = 1/N`，其中N是样本总数。 2. 对于迭代次数m (m=1,2,...,M)： - 使用当前权重分布`Dm`训练一个弱分类器`Gm(x)`。 - 计算分类器`Gm(x)`在训练数据集上的错误率`em`。 - 根据错误率`em`计算`Gm(x)`的权重系数`am`，通常与错误率成反比。 - 更新样本权重分布`Dm+1`，错误的样本权重增加，正确的样本权重减少。 3. 最终，通过加权求和`f(x) = Σ(am * Gm(x))`构建强分类器`G(x) = sign(f(x))`。 **Bagging** Bagging（Bootstrap Aggregation）是一种并行化的集成方法，它通过从原始数据集中随机抽样（含替换）创建多个不同的子集，每个子集称为bootstrap样本。在每个bootstrap样本上独立训练一个基学习器，最后通过平均（回归问题）或多数投票（分类问题）来组合所有基学习器的预测。随机森林（Random Forest）就是Bagging的一个典型应用，其中基学习器通常是决策树。 **Stacking** Stacking（也称为Meta-Learning或分级学习）是一种更为复杂的方法，它不是简单地平均或投票，而是采用一个元模型来学习如何最佳地结合各个基学习器的预测。在第一阶段，不同类型的基学习器被训练在原始数据集上，然后在第二阶段，一个元模型（如线性回归、支持向量机或神经网络）被训练以预测目标变量，输入是所有基学习器的预测结果。 集成学习的优势在于它可以降低过拟合风险，提高模型的稳定性和泛化能力。通过多样性和互补性的弱学习器组合，集成学习能够处理数据中的噪声和复杂模式，使得整体性能超越单个学习器。在实际应用中，根据问题的特性和数据集，可以选择适合的集成策略来提升模型性能。