提高分类精度的TDF-CHI与RFFS融合特征选择算法研究

本文主要探讨了一种结合改进的CHI算法（TDF-CHI）与随机森林特征选择（RFFS）的特征选择方法，针对传统CHI算法在计算特征词与类别相关性时存在的问题进行了创新。传统CHI算法忽略了特征词的词频，可能导致重要特征词因文档频率低而被遗漏，同时未能区分特征词与类别之间的负相关情况。为解决这些问题，研究者借鉴了Jin等人提出的改进CHI算法，该算法考虑了特征词的词频及其在文档中的分布，旨在提高特征选择的准确性。 TDF-CHI算法首先计算每个特征词的文档频率和词频与类别的相关程度，这一过程有助于去除冗余和不重要的特征。然后，引入RFFS算法作为二次特征选择，利用随机森林模型评估剩余特征的重要性，进一步优化特征集合。这样做可以确保分类器能够获取更高质量的特征，从而提升分类器的性能，如准确率和召回率。 实验部分采用了新闻文本数据，并在常见的分类器上进行测试，结果显示，改进的算法相较于传统CHI算法在特征选择上表现更为出色，能够更好地识别重要特征，进而提高分类任务的性能指标。研究结果表明，该结合策略不仅保持了Filter类算法的速度优势，还融合了Wrapper类算法的精度特性，是一次有价值的特征选择方法的探索。 这篇论文的研究工作对于解决文本挖掘中的特征选择问题具有重要意义，特别是在处理高维数据和噪声数据时，通过结合两种策略，能够在减少特征维度的同时，保持或甚至提升分类器的性能，为实际应用提供了有效的工具和理论支持。