第 !" 卷#第 $ 期 #
!"#$!"# %"$$ #
计 算 机 工 程
&"'()*+,-./0.++,0./
##
%&$' 年 $ 月
12.)2,3 %&$'
!人工智能及识别技术!
文章编号" !"""#$%&'#&"!($"!#"!( & #"N ) ) ) 文献标志码" *) ) ) 中 图 分 类 号 " +,!'&
基金项目"国家自然科学基金!($)(*&** " &新疆维吾尔自治区自然科学基金!%&$(B& $ && *% " #
作者简介"加尔肯别克!$''&$" %男%硕士研究生%主研方向为机器学习,模式识别&袁# 杰! 通信作者" %副教授,博士#
收稿日期"%&$,7&'7$! # # 修 回 日 期 "%&$, 7$$ 7*& # # -#./01""("' *%')"+RR$:" '
变样本量学习最小二乘支持向量机算法
加尔肯别克! 袁#杰
! 新疆大学 电气工程学院%乌鲁木齐 )*&&!, "
摘# 要" 为增加最小二乘支持 向 量 机 ! >;7;!=" 算 法 解 的 稀 疏 性%提 高 其 运 算 效 率%提 出 一 种 变 样 本 量 学 习 >;7
;!= 算法# 从训练集中随机抽取部分样本 作 为 初 始 工 作 集%在 学 习 阶 段 将 样 本 训 练 过 程 分 为 样 本 增 量 和 样 本 减
量 % 个阶 段# 在 样本增 量 阶段%按 44N条件选 取 特定样 本 加入工 作集并 进 行训练%在样 本减量 阶 段%采用负 松 弛
变量剪枝策略与基于对偶目标函数差的剪枝策略实现剪枝# 在此基础上%采用 工作集 中 的剩余 样 本构造 学 习分类
器# 实验结果表明%相对 ;=@,;=@7.+8,A;>;7;!= 算法%该算法具有稀疏性高,运算速度快,无精度损失等优点#
关键词" 最小二乘支持向量机& 稀疏性& 变样本量学习& 预剪枝& 44N条件
中文引用格式"加尔肯别克%袁杰$变样本量学习最小二乘支持向量机算法'1($计算机工程%%&$'%!" !$" )$'%7$') %%&"$
英文引用格式"1AM-,P+.90+P+%5DM% 10+$!2,029#+<2'(#+<#+2,.0./ #+2<*<R)2,+<)((",*K+:*",'2:G0.+2#/",0*G'' 1( $
&"'()*+,-./0.++,0./%%&$' %!" !$" )$'%7$') %%&"$
A/90/C182/.P18468/9=0=@ 68/4>2dS/982SPP<9>A8:><95/:;0=8*1@<90>;.
1AM-,P+. 90+P+%5DM% 10+
! ;:G""#"L-#+:*,0:2#-./0.++,0./%F0.O02./ D.0K+,<0*3%D,)'R0)*&&!,%&G0.2"
* *C4>9/:>+ A. ",?+,*" 0.:,+2<+*G+<(2,<+.+<<"L*G+<"#) *0". "L>+2<*;R)2,+<;)((",*!+:*",=2:G0.+! >;7;!="
2#/",0*G' 2.? 0'(,"K+0*<"(+,2*0". +LL0:0+.:3%2K2,029#+<2'(#+<#+2,.0./ >;7;!= 2#/",0*G' 0<(,"("<+?$;"'+<2'(#+<
2,+,2.?"'#3 <+#+:*+? L,"' *G+*,20.0./ <+*2<*G+0.0*02#8",P0./ <+*%2.? *G+*,20.0./ (,":+<<0<?0K0?+? 0.*" *8" <*2/+<)
<2'(#+0. :,+'+.*2.? <2'(#+,+?):*0".$A. *G+<2'(#+0.:,+'+.*<*2/+% <+#+:*<(+:0L0:<2'(#+<2::",?0./ *" 44N
:".?0*0" .<*" O"0. *G+8",P0./ <+*2.? *,20.$A. *G+<2'(#+,+?):*0". <*2/+% %+/2*0K+;#2:P !2,029#+H,).0./ ;*,2*+/3
! %;!H;" 2.? B)2#@9O+:*0K+T).:*0". B+K 02*0". H,).0./ ;*,2*+/3 ! B@TBH;" (,).0./ <*,2*+/3 2,+)<+? *" 2:G0+K+
(,).0./$@. *G0<92<0<% *G+,+<0?)2#:#2<<0L0+,0<)<+? *" :".<*,):*#+2,.0./ :#2<<0L0+,$-Q(+,0'+.*2#,+<)#*<<G"8 *G2*
:"'(2,+? 80*G ;=@% ;=@7.+8 2.? A;>;7;!= 2#/",0*G'% *G+2#/",0*G' G2<*G+2?K2.*2/+<"LG0/G <(2,<0*3% L2<*
"(+,2*0". <(++? 2.? ." #"<<"L(,+:0<0".$
* F83 D<9?4+ >+2<*;R)2,+<;)((",*!+:*",=2:G0.+! >;7;!="& <(2,<+.+<<& K2,029#+<2'(#+<#+2,.0./& (,+7(,).0./&
44N:".?0*0".
GHI)$&$$'(,) SO$0<<.$$&&& 7*!%)$&&!)(,*
")概述
支持向 量 机 ! ;)((",*!+:*",=2:G0.+%;!=" 是
由文献'$( 在 统 计 学 习 理 论 的 基 础 上 建 立 起 来 的 一
种机 器 学 习 方 法% 它 是 一 个 重 要 的 监 督 学 习 工
具
'%7* (
%得到了广泛 的研究与 应 用
'!7" (
# ;!= 算 法 解
决分类,回归 问 题 时 需 要 求 解 含 不 等 式 约 束 的 二 次
规 划 问 题# 最 小 二 乘 支 持 向 量 机 ! >+2<*;R)2,+<
;)((",*!+:*",=2:G0.+
%>;7;!=" 算法是对 ;!= 算
法的扩展
'((
%它将不等式约束转换为等式约束%从而
将解二次规划 问 题 转 化 为 解 线 性 方 程 组 问 题% 降 低
了算法的运算复杂度
# 但 >;7;!= 算法失去了解的
稀疏性
',(
%导致其分类速度较慢,泛化能力 较差# 由
于解的稀疏性有利于提升 >;7;!= 算法的泛化能力
和特征学习效率%提高分类器 的分类速 度# 因此%对
>;7;!= 算法解的稀疏性进行 研究具有 重 要 学 术 意
义和潜在的应用价值#
为得到 >;7;!= 算 法 的 稀 疏 解%有 学 者 进 行 了
相关 研 究 并 取 得 了 重 要 的 研 究 成 果 与 进 展# 文
献')7' (提出构造稀疏 >;7;!= 的剪枝算法%通过解
>;7;!= 并根据样本贡献 度来决定样 本 的 取 舍# 文
献'$&( 提出一种基于最小剪枝误差的剪 枝算法# 文
献'$$( 在剪枝策略 上提出一种基于 ;=@的剪枝策
略# 文献'$%( 在文献 '$* ( 对 >
&
范式进 行迭代优化