![](https://csdnimg.cn/release/download_crawler_static/87795966/bg3.jpg)
自 动 化 学 搬 26卷
最 小.其中 ,{f(x,"))称作预测 函数集 ,W 为 函数 的广义参数 ,{f(x, ))可以表示 任何 函
数集 ;L(y,f(x, ))为 由于用 f(x, )对 Y进 行预 测而造成的损 失 ,不 同类 型的学 习 问题
有不同形式的损 失函数.预测 函数也 称作学 习函数 、学 习模型或 学 习机 器 .
有三类 基本的机器 学 习问题 ,即模式识 别 、函数 逼近和 概率密 度估计 .对 模式识 别问
题 ,输 出 Y是类 别标号”,两 类情 况下 一 {0,1)或 (1,一1),预测 函数称 作指示 函数 ,损失
函 数 可 以 定 义 为
f0. if v 一 ( .W ).
L(y,f(x, ))= { . , 、 (3)
ll' it Y :产 J 'W ,'
使 风险最 小就是 Bayes决策 中使错误 率最 小.在 函数逼近 问题 中 ,Y是连续 变 量 (这 里 假
设为单值 函数),损 失函数 可定义为
L(y,f ,甜))一 ( 一 f( ,W)) , (4)
即采 用最 小平 方误 差准 则.而对 概率密 度 估计 问题 ,学 习的 目的是 根据 训 练样 本 确定
的概率 密度.记估计 的密度 函数为 p(x, ),则 损失函数可 以定 义为
L(p(x,w )) 一 logp(x ,w ). (5)
2.2 经验风 险最小化
在上面 的 问题 表述 中 ,学 习的 目标在 于使期 望风 险最 小化 ,但是 ,由于我 们可以 利用
的信息只有样本 (1),(2)式 的期 望风险并无 法计 算 ,因此传统 的学 习方法中采用 了所 渭 经
验 风险最小化 (ERM)准则 ,即 用样本定 义经 验风 险
1
R (")一 >:L(y ,/(置, )), (6)
作为对 (2)式的估计 ,设计学 习算 法使 它最 小化.对 损 失函数 (3),经验 风险就 是训练 样本
错误 率 ;对 (4)式 的损失 函数 ,经验风 险就 是平方训练 误差 ;而 采用(5)式 损失函数的 ERM
准则就等价 于最大似 然方法.
事实上 ,用 ERM 准则 代替期望风 险最 小化 并没有经过 充分 的理 论论证 ,只是直观 上
合理 的想当然做 法 ,但这 种思想却在多年 的机 器学 习方法研 究 中占据 了主要 地位.人们多
年来将大 部分 注意力集 中到 如何更好地 最小 化经验风 险上 ,而 实际 上 ,即使 可以假定 当
趋 向于无 穷大 时 (6)式 趋近于 (2)式 ,在 很多问题 中的样 本数 目也离无 穷大 相去甚远.那 么
在 有 限 样 本 下 ERM 准 则 得 到 的 结 果 能 使 真 实 风 险 也 较小 吗 ?
2.3 复杂性 与推 广能 力
ERM 准则不成 功的一个例子 是 神经 网络的过 学 习问 题 开始 ,很 多注意 力都集 中在
如何使 R )更小 ,但很 快就 发现 ,训I练误 差 小并不 总能导 致好 的预 测效 果.某些情 况
下 ,训l练误 差过 小反而 会导致推 广能 力的下降 ,即真实风险的增 加 ,这就是过 学 习问题 .
之 所 以 出现 过 学 习 现 象 ,一 是 因 为 样 本 不 充分 ,二 是 学 习机 器设 计 不 合理 ,这 两 个 问
题是互相关联 的.设 想一个简 单的例子 ,假设 有一组 实数 样本 (z,Y),Y取值 在 [0,1 之间 ,
那 么不论 样 本是依据什 么模 型产生的 ,只要 用 函数 f(x, )一sin(。z)去拟 合 它们( 是待
定参数 ),总能够 找到一个 使训 练误差 为零 ,但显 然得到 的“最优 ”函数并 不能正确代 表
1)这里暂 时没有 讨论非 监督 模式识 品叮问题.实际上 ,如 何在 非监 督模式 识别 问题 中应 用统计 学 习理 论正是 当 前值
得 研究 的课题 之 一.
维普资讯 http://www.cqvip.com