随机贪婪选择策略与投票的新型集成剪枝算法

"A novel ensemble pruning algorithm based on randomized greedy selective strategy and ballot" 本文介绍了一种新的集成学习修剪算法，称为基于随机化贪婪选择策略和投票的Ensemble Pruning（RGSS&B-EP）。该算法旨在解决定向山丘攀登集成修剪（DHCEP）算法在寻找最优解时探索解决方案空间不足的问题。在传统的贪婪集成修剪过程中，算法通常选择在每次迭代中性能最佳的分类器，而忽视了全局优化的可能性。因此，RGSS&B-EP引入了随机化技术，以增强搜索的多样性和全局性。 在集成学习中，多个分类器的集合，或称为“ensemble”，通常可以提供比单个分类器更好的性能。这是因为不同的分类器可能在不同的数据子集上表现优秀，通过结合它们的预测，可以提高整体的泛化能力。然而，随着分类器数量的增加，计算成本和复杂性也会相应增加。因此，进行有效的“ensemble pruning”变得至关重要，即在保持高性能的同时减少分类器的数量。 RGSS&B-EP算法的核心在于其随机化贪婪选择策略。在每一轮迭代中，它不仅考虑当前分类器的性能，还引入了随机因素来选择待删除的分类器。这种策略允许算法跳出局部最优，更全面地探索可能的解决方案。同时，算法采用了“ballot”方法，通过对剩余分类器的投票结果进行比较，来评估候选分类器的贡献，进一步优化组合。 在实际应用中，RGSS&B-EP的性能与DHCEP进行了对比。研究发现，通过引入随机化，RGSS&B-EP在多数情况下能够找到更优的分类器集合，从而提高分类准确率和降低过拟合风险。这表明，通过扩大搜索范围，算法能更好地平衡集成中的多样性与一致性，从而提升整个集成的泛化性能。 此外，论文强调了作者有权在个人网站或机构存储库发布文章的非商业用途版本，但需遵守Elsevier的版权政策，不得用于营利、复制、分发或在第三方网站上发布。作者可以通过提供的链接了解更多关于Elsevier的作者权利和稿件政策信息。 RGSS&B-EP是一种创新的集成学习修剪算法，它利用随机化策略改进了传统贪婪方法，提高了寻找最优分类器集合的效率和准确性，对于机器学习和模式识别领域具有重要价值。