基于词频和信息增益的连续属性离散化方法提升文本分类精度

本文研究关注的是在文本分类任务中数据预处理的重要环节——连续属性的离散化。传统的机器学习算法往往受限于处理离散属性的能力，而针对这一问题，作者提出了多区间连续属性离散化方法（Multi-Interval Discretization Based on Term Presence and Information Gain，简称MTPIG）。MTPIG方法结合了词出现频率和信息增益两个关键指标，旨在优化离散化过程，使其既具有高效性，又能保证预测精度和可解释性。 MTPIG算法的设计思路是利用词在文本中的实际出现情况来决定连续属性的分割点，同时考虑信息增益作为选择最优分割点的依据。信息增益是一种衡量特征对分类决策影响大小的统计量，它可以帮助我们识别哪些特征能最大程度地减少不确定性。通过将连续属性划分为多个区间，文本中的每个词都会对应一个或多个区间，从而将原本连续的特性转化为离散形式，使机器学习算法能够处理。 作者将MTPIG算法与经典的分类算法AdaBoost.MH结合起来进行实验，实验结果显示，使用MTPIG处理文本分类数据时，不仅简化了数据预处理步骤，而且提高了预测的准确性，使得模型的解释性更强。这表明，通过MTPIG离散化，能够提升分类算法在文本分类任务中的表现，从而改善整体的分类性能。 此外，本文的研究背景还包括国家“十一五”科技支撑计划的重点资助项目，反映出这项工作在国家层面的重要性和科研价值。作者团队由三位专家组成，包括副教授孙挺专注于智能信息处理和科学可视化，以及两位教授耿国华和周明全在模式识别、工程数据库、计算机图形学和科学计算可视化等领域具有深厚的研究底蕴。 总结来说，本文的核心贡献在于提出了一种创新的离散化方法，旨在解决文本分类任务中连续属性处理的问题，通过实验证明了该方法在提升分类性能和可解释性方面的有效性，为文本挖掘和机器学习领域的实践应用提供了新的视角和工具。