第 30 卷 第 7 期
Vol. 30 No. 7
控 制 与 决 策
Control and Decision
2015 年 7 月
Jul. 2015
一种基于信念修正思想的 SVR 增量学习算法
文章编号: 1001-0920 (2015) 07-1315-06 DOI: 10.13195/j.kzyjc.2014.0757
陈海燕, 丰文安, 王建东, 王寅同, 孙 博
(南京航空航天大学 计算机科学与技术学院,南京 210016)
摘 要: 针对实际应用中数据的批量到达, 以及系统的存储压力和学习效率低等问题, 提出一种基于信念修正思想的
SVR 增量学习算法. 首先从历史样本信息中提取信念集, 根据信念集和新增数据的特点选择相应的信念集建立支持
向量回归模型并进行预测; 然后对信念集进行修正, 调整当前认知状态, 使该算法对在线和批处理增量学习都有很好
的适应性. 在标准数据集上的测试验证了算法的良好性能; 在某机场噪声实测数据上的对比实验也表明, 该算法的性
能明显优于传统学习算法和一般增量学习算法.
关键词: 信念修正;增量学习;支持向量回归;认知状态;机场噪声
中图分类号: TP301.6 文献标志码: A
An SVR-based incremental learning algorithm based on belief revision
CHEN Hai-yan, FENG Wen-an, WANG Jian-dong, WANG Yin-tong, SUN Bo
(School of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics,Nanjing
210016,China.Correspondent:FENG Wen-an,E-mail:fengwenan@126.com)
Abstract: In order to reduce the storage cost and improve the learning efficiency when data arrives in batches in practical
applications, an SVR-based incremental learning algorithm based on belief revision is proposed. In this algorithm, belief
sets are extracted from the historical samples firstly, and appropriate belief sets are selected to establish the prediction SVR
model according to the characteristics of belief sets and the new incremental data set. Then, the belief sets are revised and the
current epistemic state is adjusted to adapt the new environment. The algorithm perform well when applied to online learning
and incremental learning. Experiments conducted on the standard data sets and the airport noise data set demonstrate that the
proposed algorithm is effective and superior to the traditional methods and the general incremental learning algorithms.
Keywords: belief revision;incremental learning;SVR;epistemic state;airport noise
0 引引引 言言言
增量学习是机器学习领域的一个研究热点, 广泛
应用于众多领域. 随着信息技术的发展, 数据量越来
越庞大, 系统无法一次分析所有数据, 或者由于数据
分批次到达, 系统无法获得一个完备的数据集, 从而
要求模型应具有良好的增量学习功能, 能够快速有效
地捕捉新知识, 不断巩固现有的学习成果, 提高模型
的预测能力.
近年来, 随着增量学习算法研究的不断深入, 很
多新颖的改进方法相继涌现出来. 有的方法着力于提
升增量学习效率, 如 Syed 等
[1]
提出将新增样本与当前
SVM 模型的支持向量组成新的训练集, 缩短了模型
更新的时间; Mitra 等
[2]
提出了一种数据约减的方法,
选取分类边界附近的样本进行训练, 减少了训练量,
降低了内存需求; Okamato 等
[3]
利用优化后的梯度下
降法选取新增样本和历史样本进行训练, 在保证增量
学习能力的前提下缓解了存储压力, 并提高了运行效
率; Zhu 等
[4]
优化了 ISVM 的矩阵运算, 提高了增量学
习的效率; Zheng 等
[5]
提出了一种在线 SVM 增量学习
算法, 能够快速有效地处理大数据问题; Du 等
[6]
提出
了一种快速增量学习算法, 基于聚类的思想对新增样
本进行快速有效的处理. 也有的方法旨在提高模型预
测能力, 如 Schlimmer 等
[7]
提出了特征加权以及在增
量学习过程中抓取实例特征并标记, 增强模型的鲁棒
性; Zhang 等
[8]
提出使用样本点与两类中心点的距离
的比值来约减数据样本; Cauwenberghs
[9]
提出了一种
收稿日期: 2014-05-15;修回日期: 2014-09-09.
基金项目: 国家863计划项目(2012AA063301);国家自然科学基金重点项目(61139002);中央高校基本科研业务费专
项资金项目(NS2012134, NZ2013306);江苏省博士后计划项目(1301013A);中国民航信息技术科研基地开
放基金项目(CAAC-ITRB-201203).
作者简介: 陈海燕(1979−), 女, 讲师, 博士, 从事数据挖掘与民航信息化的研究;王建东(1945−), 男, 教授, 博士生导师,
从事数据挖掘、机器学习和信息安全等研究.