![](https://csdnimg.cn/release/download_crawler_static/19639535/bg1.jpg)
书书书
第 卷第 期
年 月
四川理工学院学报(自然科学版)
( )
收稿日期:
作者简介:许 剑(),男,四川渠县人,硕士生,主要从事计算智能方面的研究,()
文章编号:() :
算法分类器设计及其应用
许 剑, 张洪伟
(成都信息工程学院, 成都 )
摘要:算法可以将分类效果一般的弱分类器提升为分类效果理想的强分类器,而且不需
要预先知道弱分类器的错误率上限,这样就可以应用很多分类效果不稳定的算法来作为 算法
的弱分类器。 由于 神经网络算法自身存在的局限性和对训练样本进行选择的主观性,其分类精度以
及扩展性有待提高。 将 算法与 神经网络相结合,使用神经网络分类模型作为 算法
的弱分类器。 算法在 中实现,对 个 的分类实验数据集进行实验,结果表明 能有效
改善 神经网络的不足,提高分类正确率和泛化率。
关键词:弱分类器;强分类器;神经网络;算法
中图分类号: 文献标志码:
神经网络在分类算法中有广泛的应用,但是由
于 神经网络本质上是梯度下降法,当遇到比较复杂
的目标函数时,其学习速度和收敛速度会变得很慢,导
致训练失败的可能性较大。 而 能够提升任意
精度的弱分类器为强分类器,它的核心思想是通过对一
个训练集训练得到多个分类结果,最后将它们集成起
来
。 在 神经网络中引入 算法作为分类器,
可以弥补 神经网络的缺点,能提高分类准确率和泛
化率
。
算法概述
算法
( ) 是机器学习领
域内的早期学习算法。 和 提出,在
的 模型中,一个弱学习算法可以被提升为一个具有
任意精度的强学习
[]
。 令 S 为包含 N个 样 本 点 ( x
,
y
),…,( x
n
,y
n
) 的样本集,其中 x
n
是按照某种固定但未
知的分布
D(x)随机独立抽取的。 Y
n
=f(x
n
), f属于某
个已知的布尔函数集 F。 如果对于任意的 D, 任 意 的
<ε<
/、
< δ<
/, 学习算法能生成一个满足
P[ h( x)
≠
f(x)] <=
ε
的概率大于 -
δ
, 并且学习算
法的运行时间与
ε
、
δ
满足多项式关系,则称为强学习
算法
[]
。 类似的,若一个满足 P[h(x)
≠
f(x)]
≤ ε
的
概率大于 / +
δ
(
< δ<
/), 只要求这个弱学习算
法的正确率大于 ,也就是比随机猜测稍好,则称为
弱学习算法
[]
。 年,使用了构造方法来证
明弱学习算法和强学习算法是等价的
[]
,因为强学习算
法在通常情况下很难获得,只要能够找到比随机猜测稍
好的弱学习算法,就可以把它提升为强学习算法。
[]
算法由 和 在 年提
出,是最早提出的集成学习算法,是一种有效提高分类
学习系统分类能力的算法。 算法操纵训练样本
来产生多个分类假设,从而建立通过加权投票结合的分
类器集合,其过程如下:
() 首先对含有 N条数据的训练样本进行学习后
得到第一个弱分类器;
() 将在前面学习过程中分错的样本加上其他新