SMOTE与随机子空间结合的不平衡数据分类算法

"胡小生, 佛山科学技术学院电子与信息工程学院, 改进随机子空间与决策树相结合的不平衡数据分类方法, C4.5决策树, 集成学习, SMOTE采样技术, 不平衡数据集, 多数类, 少数类, 分类准确率, 重采样, 过采样, 欠采样" 本文探讨的主题是针对不平衡数据分类问题的解决方案，具体是一种改进的随机子空间与C4.5决策树算法的结合方法。不平衡数据分类是指在数据集中，某个类别的样本数量远超其他类别，这在实际应用如医疗诊断、入侵检测和欺诈检测中十分常见。在这种情况下，传统的分类算法可能因为追求总体分类准确率而忽视了对少数类的识别，导致分类效果不佳。 作者提出的算法首先利用C4.5决策树作为基分类器，这是一种基于信息增益或信息增益比的树形分类模型，能有效处理离散和连续特征的数据。为了改善不平衡数据的影响，算法在每次迭代开始时，结合了SMOTE（Synthetic Minority Over-sampling Technique）采样技术和随机子空间方法。SMOTE是一种过采样技术，通过在少数类样本周围插值生成新的合成样本，以增加少数类的样本数量，减少类别不平衡。随机子空间方法则是从原始特征空间中随机选取一部分特征进行子集划分，这样可以降低过采样的复杂度并增加样本多样性。 通过这样的预处理，训练数据集得到了多样化和平衡，每个基分类器在不同的特征子空间和样本分布下进行训练。最后，通过集成学习的大多数投票原则，将多个基分类器的决策结果进行融合，从而得出最终的分类决策。实验结果显示，这种方法对于多数类和少数类的识别率都有显著提高，证明了其在处理不平衡数据集时的有效性。 在处理不平衡数据分类问题的策略中，本文的研究属于数据层面的解决方案，通过改变训练样本分布来调整不平衡程度。除此之外，还有基于算法层面的策略，例如代价敏感学习（CSL），它考虑不同错误类型的代价差异；核方法，如支持向量机（SVM）可以在高维空间中寻找最优决策边界；以及主动学习，它通过选择最有价值的样本进行标注，以提高学习效率。 该研究为解决不平衡数据分类问题提供了一种新的视角，通过改进的随机子空间和决策树集成，实现了对少数类样本的更准确识别，这对于那些错分代价较高的应用领域具有重要价值。未来的研究可以进一步探索如何优化这种结合方法，提高其泛化能力和对不同类型不平衡数据集的适应性。