![](https://csdnimg.cn/release/download_crawler_static/18270585/bg1.jpg)
收稿日期:20181205;修回日期:20190219 基金项目:国家自然科学基金资助项目(71801065,71771070)
作者简介:徐作宁(1976),男,浙江金华人,讲师,博士,主要研究方向为信息系统与数据分析;雒兴刚(1971),男,新疆奇台人,教授,博导,博
士,主要研究方向为产品开发与质量管理;张忠良(1986),男(通信作者),浙江嘉兴人,副研究员,硕导,博士,主要研究方向为机器学习、数据挖掘
等(zlzhang@hdu.edu.cn).
基于分解策略处理多分类不均衡问题的方法
徐作宁,雒兴刚,张忠良
(杭州电子科技大学 管理学院,杭州 310018)
摘 要:针对多分类不均衡问题,提出了一种新的基于一对一(oneversusone,OVO)分解策略的方法。首先基
于 OVO分解策略将多分类不均衡问题分解成多个二值分类问题;再利用处理不均衡二值分类问题的算法建立
二值分类器;接着利用
SMOTE过抽样技术处理原始数据集;然后采用基于距离相对竞争力加权方法处理冗余分
类器;最后通过加权投票法获得输出结果。在
KEEL不均衡数据集上的大量实验结果表明,所提算法比其他经
典方法具有显著的优势。
关键词:多分类问题;不均衡数据集;分解策略;人工样本;集成学习;动态加权
中图分类号:TP311 文献标志码:A 文章编号:10013695(2020)08034240405
doi:10.19734/j.issn.10013695.2018.12.0960
Methodbasedondecompositionstrategyforhandlingmulticlassimbalanceproblems
XuZuoning,LuoXinggang,ZhangZhongliang
(SchoolofManagement,HangzhouDianziUniversity,Hangzhou310018,China)
Abstract:Thispaperproposedanewapproachbasedondecompositionstrategytodealwithmulticlassimbalanceclassifica
tionproblems.Themethodfirstdividedtheoriginalmulticlassclassificationproblemintoseveralbinaryclasssubproblemsby
usingoneversusscheme.Next
,itbuiltbinaryclassifiersbyemployingtheclassificationalgorithmsforbinaryclassimbalance
problems.Then,itusedtheSMOTEalgorithmtodealwiththeoriginaldatasetandconsidereddistancebasedrelativecompe
tenceweightingmethodtomanagethenoncompetentclassifiers.Finally,itemployedtheweightedvotingtoobtaintheout
puts.ExperimentsonseveralimbalanceddatasetsselectedfromtheKEELdatasetrepositoryindicatethattheperformanceof
theproposedmethodisbetterthanotherstateoftheartmethods.
Keywords:multiclassproblems;imbalanceddatasets;decompositionstrategy;syntheticsamples;ensemblelearning;dy
namicweighting
0 引言
分类问题是机器学习和数据挖掘领域内重点研究的内容
之一,已有研究对分类算法进行了丰富的探讨,提出了包括支
持向量机
[1]
、最近邻
[2]
、神经网络
[3]
、决策树
[4]
、朴素贝叶斯
[5]
等一系列分类算法。然而,传统的分类算法都是假设训练数据
集的类别分布是均衡的,当训练集样本中的类别分布不均衡
时,往往不能获得期望的分类效果
[6]
。类别分布不均衡是指
训练数据集中代表某个或者某些类别的样本数远远少于其他
类别,其中,具有较少样本数的类别被称为少数类(或正类),
反之则称为多数类(或负类)。利用类别分布不均衡数据集训
练分类器被称为不均衡学习问题。在不均衡学习问题中,往往
更关注于少数类样本的分类效果,因为该类样本一般具有较大
的错分代价。例如,在医疗诊断中,患者属于少数类,将患者误
诊为健康人的代价将远远大于反之的情况,因为这将耽误患者
宝贵 的 治 疗 时 间
[7]
。另 外,在 软 件 缺 陷 预 测
[8,9]
、文 本 分
类
[10]
、癌症诊断
[11]
等领域,类别分布不均衡问题也广泛存在。
目前,处理类别分布不均衡分类问题的方法大致可以分为
四类
[12]
:a)基于数据层面,该类方法通过基于数据预处理方法
使得训练样本类别分布达到均衡状态,然后采用传统的分类算
法在处理后的数据集上训练分类器;b)从算法层面出发,该类
方法使得分类器的分类决策函数偏向于少数类;c)基于成本
敏感技术,将少数类的样本赋予更大的错分代价;
d)基于集成
学习的方式,该类方法通过将集成学习技术和以上方法相结合
来提升集成分类器处理类别分布不均衡数据集的能力。
然而,传统处理类别分布不均衡数据集的方法一般都是针
对二值分类问题,将这些方法直接应用于多分类不均衡问题中
往往会降低算法的性能,甚至有些方法不能直接应用于多分类
不均衡问题中。因此,将多分类不均衡问题分解成多个二值分
类问题分别进行处理是解决多分类不均衡问题切实可行的途
径。基于此,本文首先采用一对一(
OVO)分解策略将多分类
问题分解成多个二值分类子问题,再采用基于处理二值分类不
均衡问题的算法建立二值子分类器,接着利用合成少数类过抽
样技术(
syntheticminorityoversamplingtechnique,SMOTE)对原
始数据集进行过抽样处理,然后采用基于距离相对竞争力加权
的 OVO策 略 (distancebasedrelativecompetenceweightingfor
OVOstrategy,DRCWOVO)管理冗余分类器,最后根据加权投
票的方式获得最终的输出结果。大量的实验结果表明,本文基
于人工合成样本和距离相对竞争力加权(
distancebasedrela
tivecompetenceweightingwith syntheticexamplesgeneration,
DRCWSEG)的 OVO策略比传统方法在处理多分类不均衡问
题时具有显著的优势。
1 相关工作
11 分解策略处理多分类问题
针对多分类学习任务,一般有将二值分类方法扩展到多分
第 37卷第 8期
2020年 8月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol.37No.8
Aug.2020