集成学习：Bagging与Boosting原理解析

"这篇内容主要介绍了集成学习中的两种主要方法：Bagging和Boosting，以及它们的基本原理和应用。Bagging通过Bootstrap采样法构建多个训练子集，训练独立的弱学习器，最后通过投票或平均整合结果。而Boosting则是通过调整样本权重或创建新的标签，让每个弱学习器专注于解决前一个学习器未能处理的问题，从而形成一个强学习器。文中还提到了Bagging中‘包外估计’的概念，用于评估模型的泛化性能。" 集成学习是一种机器学习策略，它结合多个弱学习器来创建一个更强大、更稳健的强学习器。这种策略能够显著降低过拟合的风险，提高模型的泛化能力。在集成学习中，弱学习器通常是简单且易于训练的模型，如决策树，而强学习器是这些弱学习器的组合。 Bagging（Bootstrap Aggregating）是一种并行化的集成学习方法，其核心是Bootstrap抽样。Bootstrap是一种有放回的抽样技术，这意味着在构建每个训练子集时，样本可能会重复出现，也可能完全不出现。每个子集由随机抽样的样本构成，但每个样本被抽中的概率保持不变。由于有放回抽样，大约有36.8%的样本不会出现在任何一次子集中，这部分未被抽中的样本被称为“包外”样本，可以用于对模型的泛化性能进行无偏估计，即所谓的“包外估计”。 Bagging通过训练多个弱学习器并整合其预测结果来生成最终预测。在分类问题中，常用多数投票决定类别；在回归问题中，通常取所有弱学习器预测结果的平均值作为最终预测。Bagging的一个经典应用是随机森林，其中弱学习器通常是决策树，每个树都是在独立的子集上训练得到的。 Boosting则是一种序列化的集成方法，它逐步改进弱学习器，使它们专注于解决之前模型未能正确处理的样本。最著名的Boosting算法包括AdaBoost（Adaptive Boosting）和梯度提升决策树（Gradient Boosting Decision Trees, GBDT）。在AdaBoost中，错误分类的样本在后续迭代中会被赋予更高的权重，迫使下一个学习器更加关注这些样本。GBDT则通过计算残差（预测值与真实值之差）来构造新的目标变量，使得每个新的决策树能最小化残差，从而逐步优化整体预测。 集成学习的这两种方法各有优势：Bagging通过并行训练和多样化弱学习器的预测来减少模型的方差；Boosting则通过序列化训练，不断改进模型的偏差。实际应用中，选择哪种方法通常取决于问题的性质和数据的特性。