集成学习之bagging、boosting及AdaBoost的实现

前面博客分享，我们已经讲解了不少分类算法，有knn、决策树、朴素贝叶斯、逻辑回归、svm。我们知道，当坐重要决定时，大家可能都会考虑吸取多个专家而不是一个人的意见。机器学习处理问题时同样如此。集成学习（ensemblelearning)通过构建并结合多个学习器来完成学习任务，有时被称为多分类器学习系统、基于委员会的学习等。下图显示出集成学习的一般结构：先产生一组“个体学习器”，再用某种策略将它们结合起来。我们前面已经分享了五种不同的分类算法，我们可以将其用不同的分类器组合起来，这种组合结果则被称为集成方法或者元算法。使用集成方法时会有多种形式：1.集成中只包含同种类型的个体学习器，这种个体学习