单边选择链与分布密度提升非平衡数据挖掘性能:OSLDD-SMOTE

0 下载量 118 浏览量 更新于2024-08-26 收藏 1.23MB PDF 举报
在现代机器学习领域,处理非平衡数据集分类问题是一项极具挑战性的任务。传统的少数类样本合成技术,如Synthetic Minority Over-Sampling Technique (SMOTE),由于其通过合成所有少数类样本生成新样本的方式,往往会导致过拟合现象,限制了模型的泛化能力。针对这一问题,本文提出了一个新颖的非平衡数据挖掘方法——One-Sided Link & Distribution Density-SMOTE (OSLDD-SMOTE)。 OSLDD-SMOTE的核心思想是结合单边选择链和样本分布密度的概念。首先,单边选择链是指从分类边界的少数类样本中进行筛选,这样可以优先考虑那些在决策边界附近的样本,因为它们可能具有更高的边际信息价值。这些样本的选择过程有助于避免生成过多的噪声样本,从而缓解过拟合问题。 其次,OSLDD-SMOTE利用样本的动态分布密度来生成新样本。这意味着它会考虑样本在特征空间中的实际分布情况,而不仅仅是随机选择。这种方法更接近真实世界的分布,因此能够生成更具代表性的合成样本,提高分类器的性能。 研究者进一步探讨了样本合成度对算法性能的影响,特别是对节点数目(表示数据集复杂度)和少数类精度的关系。他们通过G-mean、F-measure和AUC三个常用的评估指标,对比了OSLDD-SMOTE与其他类似重采样方法的分类性能。实验结果显示,OSLDD-SMOTE显著提升了少数类样本的分类准确率,这表明其在解决非平衡数据分类问题上具有明显的优势。 总结来说,OSLDD-SMOTE作为一种创新的策略,通过选择链和分布密度的融合,有效地解决了传统SMOTE方法中的过拟合问题,提高了少数类样本的识别能力,为机器学习领域处理非平衡数据集提供了新的解决方案。这对于提升各类应用,如医疗诊断、金融风险预测等领域中对不平衡数据的处理效果具有重要意义。