机器学习实验报告：AdaBoost与Bagging模型对比分析

"本次实验是计算机与信息技术学院本科生《机器学习》课程的大作业，主题为有监督模型的综合对比分析。小组成员包括庞金果、龙敏和马润生，他们在实验中分别实现了AdaBoost算法和Bagging集成方法。实验日期为2020年12月27日。" 在实验中，学生们首先实施了AdaBoost算法。AdaBoost是一种迭代的弱学习器提升方法，其核心思想是通过不断调整数据集中的样本权重，让每次迭代的弱分类器聚焦于前一轮分类错误的样本。在这个实验中，他们使用了乳腺癌数据集，并通过fit(), predict(), score()方法实现了 AdaBoost 类。为了评估模型性能，他们进行了k折交叉验证，选择了不同的基分类器，如LinearSVC、决策树和SVC(rbf)。结果显示，LinearSVC模型在AdaBoost中的表现最佳，而SVC(rbf)模型的表现最差。 接着，小组成员龙敏实现了Bagging（Bootstrap Aggregating）算法。Bagging是一种并行化的集成学习方法，通过从原始数据集中随机抽取子集来训练多个基学习器，然后通过投票或平均策略集成预测结果。在实验中，他们同样比较了不同基学习器（如决策树、LinearSVC和SVC(rbf)）的表现。结果表明，决策树模型在Bagging中的表现最优，而LinearSVC和SVC(rbf)的表现相对较差。 对比AdaBoost和Bagging，两者都是集成学习的代表，通过组合多个分类器提高整体预测能力。AdaBoost着重于修正弱分类器，而Bagging则通过随机抽样降低过拟合风险。在实验数据集上，两种方法都有各自的优点和适用场景，AdaBoost对线性可分数据集表现出色，而Bagging更注重减少个体学习器之间的关联性。 总结来说，这个实验展示了如何利用机器学习中的增强学习技术来提升模型的泛化能力。通过对比AdaBoost和Bagging，学生不仅理解了这些算法的工作原理，还深入探讨了不同基分类器如何影响集成模型的性能。这为未来进一步研究集成学习和优化模型选择提供了宝贵的经验。