CDSMM：一种处理概念漂移和噪声的数据流分类算法

"基于C4.5和NB混合模型的数据流分类算法" 在数据挖掘领域，尤其是在数据流挖掘中，处理含有概念漂移和噪声的数据流是一个极具挑战性的问题。概念漂移指的是数据的分布随着时间的推移而发生变化，这使得原本有效的分类模型可能逐渐失效。此外，噪声数据会干扰分类过程，降低模型的准确性。针对这一问题，"基于C4.5和NB混合模型的数据流分类算法CDSMM"被提出。 CDSMM算法的核心是结合了C4.5决策树算法和朴素贝叶斯分类器的优点。C4.5是一种经典的决策树构建算法，以其对不完整数据的处理能力和易于理解的决策规则而著名。在CDSMM中，C4.5被用作基本的分类器，负责构建和更新数据流的分类模型。然而，由于数据流中可能存在噪声，CDSMM引入了朴素贝叶斯分类器作为一个预处理步骤，用于过滤掉这些噪声数据，从而提高分类的准确性和稳定性。 为了应对概念漂移，CDSMM采用了假设检验中的μ检验方法。μ检验是一种统计测试，用于判断两个样本的平均值是否存在显著差异。在数据流的上下文中，这个测试可以帮助检测到数据分布的变化，即概念漂移。一旦检测到漂移，CDSMM将动态地更新其分类模型，以适应新的数据分布。 实验结果显示，CDSMM算法在处理带有噪声的概念漂移数据流时，相比其他同类算法能获得更高的分类正确率。这表明，通过结合C4.5的决策树学习能力和朴素贝叶斯的噪声过滤，以及μ检验的概念漂移检测，CDSMM能够更有效地应对数据流挖掘中的复杂挑战。 此外，该研究得到了多项国家级和省级科研项目的资助，包括国家973重点基础研究发展计划、国家自然科学基金和安徽省自然科学基金。研究团队成员，如李燕、张玉红和胡学钢，都在数据挖掘和数据流等领域有深入的研究背景，这为CDSMM算法的开发提供了坚实的理论基础和实践经验。 CDSMM是一种创新的数据流分类方法，它融合了多种技术来处理数据流挖掘中的关键问题，包括概念漂移的检测和噪声数据的过滤。这种混合模型不仅提高了分类性能，还增强了模型对环境变化的适应性，对于实时数据分析和监控等应用场景具有重要的实用价值。