第 40 卷 第 4 期 自 动 化 学 报 Vol. 40, No. 4
2014 年 4 月 ACTA AUTOMATICA SINICA April, 2014
组合凸线性感知器的极大切割构造方法
冷强奎
1
李玉鑑
1
摘 要 组合凸线性感知器 (Multiconlitron) 是用来构造分片线性分类器的一个通用理论框架, 对于凸可分和叠可分情况, 分
别使用支持凸线性感知器算法 (Support conlitron algorithm, SCA) 和支持组合凸线性感知器算法 (Support multiconlitron
algorithm, SMA) 将两类样本分开. 本文在此基础上, 提出了一种基于极大切割 (Maximal cutting) 的组合凸线性感知器构造
方法. 该方法由两阶段训练构成, 第一阶段称为极大切割过程 (Maximal cutting process, MCP), 通过迭代不断寻求能够切开
最多样本的线性边界, 并因此来构造尽可能小的决策函数集, 最大程度减少决策函数集中线性函数的数量, 最终简化分类模型.
第二阶段称为边界调整过程 (Boundary adjusting process, BAP), 对 MCP 得到的初始分类边界进行一个二次训练, 调整边
界到适当位置, 以提高感知器的泛化能力. 数值实验说明, 此方法能够产生更为合理的分类模型, 提高了感知器的性能. 同其他
典型分片线性分类器的性能对比, 也说明了这种方法的有效性和竞争力.
关键词 组合凸线性感知器, 极大切割, 两阶段训练, 泛化能力, 分片线性分类器
引用格式 冷强奎, 李玉鑑. 组合凸线性感知器的极大切割构造方法. 自动化学报, 2014, 40(4): 721−730
DOI 10.3724/SP.J.1004.2014.00721
Maximal Cutting Construction for Multiconlitron
LENG Qiang-Kui
1
LI Yu-Jian
1
Abstract Multiconlitron is a general framework for constructing piecewise linear classifiers. For convexly separable and
commonly separable data sets, it can separate them correctly by using support conlitron algorithm (SCA) and support
multiconlitron algorithm (SMA), respectively. On this basis, the paper proposes a maximal cutting construction method
for multiconlitron design. The method consists of two training processes. In the first step, the maximal cutting process
(MCP) is utilized iteratively to find a linear boundary such that it can obtain the maximum number of samples. Thus,
the MCP can reduce the number of linear boundaries and construct a minimal set of decision functions, and ultimately
simplify the classification model. To improve the generalization ability further, in the second step we employ a b oundary
adjusting process (BAP) to make the classification boundaries more fittable. Experiments on both synthetic and real data
sets show that the presented method can produce more reasonable multiconlitron with better performance. Comparison
with some other piecewise linear classifiers verifies its effectiveness and competitiveness.
Key words Multiconlitron, maximal cutting, two-step training, generalization ability, piecewise linear classifier
Citation Leng Qiang-Kui, Li Yu-Jian. Maximal cutting construction for multiconlitron. Acta Automatica Sinica, 2014,
40(4): 721−730
分片线性学习的核心是构造分片线性分类器,
这是一项具有挑战性并且复杂的任务, 是模式识别
领域中的一个基本问题. 由于分片线性分类器确定
收稿日期 2012-10-12 录用日期 2013-10-25
Manuscript received October 12, 2012; accepted October 25,
2013
国家自然科学基金 (61175004), 北京市自然科学基金 (4112009), 北
京市教委科技发展重点项目 (KZ201210005007), 高等学校博士学科点
专项科研基金 (20121103110029) 资助
Supported by National Natural Science Foundation of China
(61175004), Natural Science Foundation of Beijing (4112009),
Beijing Municipal Education Commission Science and Technol-
ogy Development Plan Key Project (KZ201210005007), and Spe-
cialized Research Fund for the Doctoral Program of Higher Ed-
ucation (20121103110029)
本文责任编委 张长水
Recommended by Associate Editor ZHANG Chang-Shui
1. 北京工业大学计算机学院 北京 100124
1. College of Computer Science, Beijing University of Technol-
ogy, Beijing 100124
的决策面由若干个超平面段组成, 所以与一般超曲
面相比, 仍然是简单易于实现的, 且需要较少的内存
消耗. 同时由于它是由多段超平面组成的, 所以它能
逼近各种形状的超曲面, 具有很强的适应能力
[1]
.
由 于 上 述 令 人 熟 知 的 优 点, 分 片 线 性 分 类
器 已 经 引 起 了 很 大 关 注, 许 多 设 计 分 片 线 性 分
类器的方 法也 被提 出来. Nilsson 的 Committee
machine
[2]
可看作分片线性分类器的特殊形式, 但
需要进行复杂的判别步骤并花费巨大的计算代价.
Mangasarian
[3]
利用线性规划算法来构造分片线性
分类器, Herman 等
[4]
后来提出了一种相似但更好
的策略, 即在构造过程中使用线性异常函数 (Linear
abnormality functions). 然而上述两个方法需要执
行线性规划多次, 代价较高.
在 1980 年, Sklansky 等
[5]
提出一种局部训练
的方法来设计分片线性分类器. 首先使用 Forgy 聚类
下载后可阅读完整内容，剩余9页未读，立即下载
weixin_38558660
- 粉丝: 2
- 资源: 937
我的内容管理
展开
最新资源
- C++多态实现机制详解：虚函数与早期绑定
- Java多线程与异常处理详解
- 校园导游系统：无向图实现最短路径探索
- SQL2005彻底删除指南：避免重装失败
- GTD时间管理法：提升效率与组织生活的关键
- Python进制转换全攻略：从10进制到16进制
- 商丘物流业区位优势探究：发展战略与机遇
- C语言实训：简单计算器程序设计
- Oracle SQL命令大全：用户管理、权限操作与查询
- Struts2配置详解与示例
- C#编程规范与最佳实践
- C语言面试常见问题解析
- 超声波测距技术详解：电路与程序设计
- 反激开关电源设计：UC3844与TL431优化稳压
- Cisco路由器配置全攻略
- SQLServer 2005 CTE递归教程：创建员工层级结构
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
