集成学习：从Bagging到AdaBoost的选择性融合

本资源是一份关于选择性集成的PPT，主要探讨集成学习中的Bagging、Boosting和AdaBoost方法，以及集成学习的起源、理论基础和重要性。 集成学习是一种机器学习策略，它通过组合多个预测模型来创建一个更强大、更稳定的预测系统。这种方法源于多种领域，包括神经科学、数学、计算技术和统计理论。1954年，Hebb提出了神经细胞的工作方式，而Widrow的Madaline模型在数学上放弃了感知机的连续超平面条件，转向了分段超平面，这为集成学习提供了早期启示。统计理论中的PAC（Probably Approximately Correct）学习理论和Schapire的弱学习与强学习的定理，为集成学习的理论基础奠定了基石。 集成学习的核心在于提高泛化能力，即学习系统对新事件的适应性。通过结合多个可能不是最优但具有互补性的分类器，集成学习可以创造出一个整体性能优于任何单个分类器的系统。集成学习的定义强调了构建独立分类器并以某种方式集成它们，以实现对未知数据的更好预测。 具体到选择性集成中的三种方法： 1. Bagging（Bootstrap Aggregating）：这是一种并行化的集成方法，通过从原始训练数据中随机抽取子样本（带放回）生成多个训练集，然后训练多个基分类器。最终的预测结果是所有基分类器预测结果的平均或多数投票。 2. Boosting：这种序列化的集成方法逐步调整训练数据的权重，使得先前错误分类的样本在后续迭代中被赋予更高的权重。AdaBoost（Adaptive Boosting）是Boosting的一种实现，它会根据每个基分类器的表现动态调整样本权重，使得后续分类器更关注那些之前被错误分类的样本。 3. AdaBoost：作为Boosting的特例，AdaBoost通过迭代过程创建一系列弱分类器，并根据它们的性能加权这些分类器的贡献。每个弱分类器的权重取决于它在训练集上的误差率，误差率低的分类器会有更大的权重，从而在最终的集成模型中起到更重要的作用。 通过这些方法，集成学习能够有效地减少过拟合，提高模型的稳定性和准确性。在实际应用中，如决策树的随机森林（Random Forest）和梯度提升机（Gradient Boosting Machine）等都是集成学习的典型实例，广泛应用于各种复杂问题的解决。