小 型 微 型 计 算 机 系 统
Journal of Chinese Computer Systems
2009年 8月 第 8期
VoI.3O No.8 2009
一
种 自适应模型构造 的层 次决策 图贝叶斯优 化算法
姚金 涛 ,杨 波 ,孔 宇彦。
(华南农业大学 信息学 院,广东 广州 510642)
(南海东软信息技术学院,广东 佛 山 528225)
E—mail:justin—yjt@ 163.corn
摘 要 :描述和分析零星模 型构造 (SMB)方法 中固定 模型构造周期 参数对层次决 策图贝叶斯优化 算法性能的影响 ,提 出了一
种基于 自适应模 型构造(AMB)的层次 决策图贝叶斯 优 化算法 ,通 过计 算群 体 平均信 息熵 密度 而确定 相 邻两代群体 所 对应 网络
模 型的相似度 ,仅 当相似度小于给定 闪值 时 自适应重构 贝叶斯 网络模 型,从而在保证贝叶斯网络模 型精确性 的前提下减 少贝叶
斯网络模 型 的构造次 数 ,进而降低 算法计算 复杂度 ,加 速收敛.实 验结果表 明 ,AMB方 法有效可行 .
关 键 词 :自适 应模型构造 ;决策图 ;贝叶斯 网络 ;层次优化 ;连锁 问题
中图分类号 :TP18 文献标识码 :A 文 章 编 号 :1000—1220(2009)08—1656—04
Improving hBOA with Adaptive M odel Building
YA0 Jin—tao ,YANG Bo ,K0NG Yu—yan0
(College of Informatics,South China Agricultural University,Guangzhou 510642,China)
(NanHai Ne.soft Institute of Information,Foshan 528225,China)
Abstract:Influence of fixed structure building period in sporadic m odel building on hBOA is described and analyzed.This paper
proposes an improving hBOA with adaptive model building.which compares the networks’likeness between adjacent genera-
tions by computing their average entropy density.Improved algorithm learns and rebuilds Bayesian network when likeness be—
tween two network structures is lower than the threshold.By doing SO,AM B leads to a significant speedup of model building
and decreases the asym ptotic complexity of algorithm and speeds up the convergence. The experimental results indicate that
proposed algorithm iS effective and feasible.
Key words:adaptive model building;decision graphs;Bayesian network;hierarchical optimization;linkage problem
1 引 言
由 Holland首先 提 出 的传统 遗传 算法[1](Genetic Algo—
rithm,简 称 GA)是基 于 人工选择 、交叉 和变异重 组 等操作构
成 的 一 种 优 化 方 法 ,其 基 本 依 据 是模 式 定理 和 “构 造 块 ”
(Building Block,简称 BB)假设 理论[2].GA 通 过 对 大量 的构
造块进行选择 和 重组操作 ,再生和混合更 多好 的构 造块 ,最 后
逼近解.但 由于 实际 的重组操作常导致构造块破坏 ,导致算法
或者逼近局部最 优或者 早熟,称之为连锁 (I inkage Problem,
简称 I P)问题 [3].实际应用 中也普遍存在连锁 问题 ,如背包问
题 ,图划分问题 ,计算机 网络的路由等问题 ,因此需要研 究具
有能识别构造块 的连锁学 习算 法,有效地求 解上述具有普遍
意义的连锁 问题 .近 年来 ,一些研 究者从 统计学的观 点出发 ,
将构 造性模型 引入进化算法 的研 究 ,形成一类 基于概率分析
的进 化算 法,称为概率分析进化 算法[4](Probabilistic Model—
ing Evolutionary Algorithm.简称 PMEA),其主 要思 想就是
为 了克服进化算法 因交叉重组和变异等操作所导致 的连锁 问
题.PMEA 算法通 过从进化 群体优选 的解集 合 中提取信 息 ,
然后利用这种信息的概率分布产生新解 ,由此 实现算法的连
锁学 习.这 种将构 造 性 概率模 型 引入进化 算 法的 思想形 成概
率分 析进 化算法的理论 依据 ,使之成 为能够快 速、可靠和精确
地 求解 问题 的“胜任算法”(Competent Algorithm)。贝叶斯优
化算 法[5](Bayesian Optimization Algorithm,简称 BOA)用复
杂 的贝叶斯 网络结构来表示多变 量问的相关性 ,是求 解高阶
问题 中较具代表性 的 PMEA算法 ,其利用 贝叶斯 网络概率模
型指导 优化 的思想和学习 贝叶斯 网络的方法结合 起来 ,通 过
构造和采样 贝叶斯 网络来替代传统遗 传算法 中的交叉重 组和
变 异 等 操 作 ,实 现 可 胜 任 性.决 策 图 贝 叶 斯 优 化 算 法[6]
(Bayesian Optimization Algorithm with Decision Graphs,简
称 DB0A)采用决策图增 强了对贝叶斯网络结构的表达 和学
习 ,由此 减少大量概率分布参数的存储 ,可学 习更为复杂 的概
率模型 ,与 BOA算法相 比,随构造块阶数的增 加 DBOA算法
有 着更强 的局部搜索 能力,但 另一 方面也增加 了问题 的计算
代 价.文献[7]将多 目标技术 结合到 DBOA算法 中 ,扩展 了其
求解 多 目标问题的能力.层次贝叶斯 优化算法 [日 (Hierarchical
Bayesian Optimization Algorithm ,简 称 hBOA )在 DBOA 算
收稿 日期 :2008—03—12 基金项 目:国家 自然科学基金项 目(60573043;60773175)资助 ;华南农业大学校长基金项 目(5600一K05166)资助.
作者简介 :姚金涛 。男 ,1978年生.博士研 究生 ,讲师 ,研究方 向为进化计 算、通 信与信息安全 ;杨 波 ,男 ,1963年生,博士 ,教授 ,博士 生导师 ,研
究方向为信任管理 ,信息安全 ;孔宇彦 .女 ,1978年生 ,硕士,讲师 ,研究方 向为数据挖掘、数据库技术.