没有合适的资源?快使用搜索试试~ 我知道了~
首页机器学习:迈向自主与广泛应用
机器学习:迈向自主与广泛应用
需积分: 10 11 下载量 23 浏览量
更新于2024-07-20
2
收藏 1.09MB PDF 举报
机器学习讲义深入探讨了机器学习这一人工智能领域的重要分支,它强调了学习在提升系统适应性和智能中的核心地位。自动化系统依赖于预先编程的智能,但如果环境复杂或变化莫测,就需要引入学习机制来弥补设计者知识的局限。学习的本质是通过实践和自我观察改进,它涵盖了从记忆经验到创建高级认知能力的广泛过程。 机器学习的定义包括编程计算机通过数据和反馈进行学习,如通过分析医疗记录来优化疾病治疗方案,或者通过用户行为模式优化智能家庭的能源管理。这项技术的发展对社会经济有着深远影响,能够拓宽计算机的应用领域,增强个人和组织竞争力,甚至可能重塑人类的生活方式。 尽管机器学习尚未达到与人类完全相同的智能水平,但研究取得了显著进步。理论研究关注的是学习效率与样本数量、假设复杂性及预测误差之间的关系,这有助于构建更精确的模型。已有的计算机程序展示了有效学习的能力,并且在诸如语音识别领域取得了突破,如SPHINX系统就是利用机器学习技术进行高度定制化的语音理解和识别。 近年来,机器学习的实际应用尤其快速,涵盖语音识别、自然语言处理、图像识别、推荐系统等多个领域。这些应用的成功证明了机器学习作为驱动未来技术发展的重要引擎。然而,随着技术的深入研究,如何模拟人类的学习机制、解决深度学习的挑战以及处理大规模数据等问题仍待进一步探索。机器学习讲义为我们提供了对这一前沿领域的深入理解,预示着其在未来科技发展中不可估量的潜力。
资源详情
资源推荐
14
S’
{s’ | s’ 为 s 的最小一般化
s’
与
x
一致
G
中某成员比
s’
更(严格)一般
}
S S S’
从
S
中剪除比
S
中另一个假设更(严格)一般的所有假设
如果
x
是负例 则
从
S
中剪除所有与
x
不一致的假设
对
G
中每一个与
x
不一致的假设
g
将
g
从
G
中剪除
G’
{g’ | g’ 为 g 的最小特殊化
g’
与
x
一致
S
中某成员比
g’
更(严格)特殊
}
G G G’
从
G
中剪除比
G
中另一个假设更(严格)特殊的所有假设
例子:再次考虑本章前面的简单表示方式的例子:
x
1
Sunny Warm Normal Strong Warm Same
正
x
2
Sunny Warm High Strong Warm Same
正
x
3
Rainy Cold High Strong Warm Change
负
x
4
Sunny Warm High Strong Cool Change
正
候选剪除算法的运行历史如下:
G
0
= {
<?, ?,
…
, ?>}
S
0
= {
<
, , …,
>}
遇正例
x
1
: G
1
= G
0
(不变)
s =
<
, , …,
>
S’ = {
<
Sunny Warm Normal Strong Warm Same
>
}
S
1
= {
<
Sunny Warm Normal Strong Warm Same
>}
遇正例
x
2
: G
2
= G
1
(不变)
s =
<
Sunny Warm Normal Strong Warm Same
>
S’ = {
<
Sunny Warm ? Strong Warm Same
>
}
S
2
= {
<
Sunny Warm ? Strong Warm Same
>}
遇负例
x
3
: S
3
= S
2
(不变)
g =
<?, ?,
…
, ?>
G’ = {
<
Sunny ?????
>,<
?Warm ????
>,<
?? Normal???
>
<
??? Weak??
>, <
???? Cool?
>, <
?????Same
>
}
标记
x
3
为负例的比
G
2
特殊一点的假设集合(利用第
3
个条件,
去掉不能覆盖前面正例的那些假设)
= {
<
Sunny ?????
>,<
?Warm ????
>,<
?????Same
>
}
15
G
3
= {
<
Sunny ?????
>,<
?Warm ????
>,<
?????Same
>
}
遇正例
x
4
: G
4
= {
<
Sunny ?????
>,<
?Warm ????
>,<
?????Same
>
}
s =
<
Sunny Warm ? Strong Warm Same
>
S’ = {
<
Sunny Warm ? Strong ? ?
>
}
S
4
= {
<
Sunny Warm ? Strong ? ?
>}
输出
S
4
和
G
4
,这两个界集合划定了整个的版本空间(含
6
个与训练例一致
的假设):
特殊界
S
4
= {
<
Sunny Warm ? Strong ??
>}
中间
{
<
Sunny ? ? Strong ??
> <
Sunny Warm ????
> <
? Warm ? Strong ??
>}
一般界
G
4
= {
<
Sunny ?????
>,<
?Warm ????
>
}
本例的结果与训练例的次序无关。当遇到更多的训练例时,
S
和
G
将单调地
越来越靠近,划定越来越小的版本空间。
算法的讨论
1
.收敛性。
若训练例无错,且目标概念包含在
H
中,则此算法计算出的版本空间收
敛于目标概念。(因为每一个训练例均排除一些对目标概念的模糊认识,
当充分多的训练例被观察到时,
G
和
S
这两个界将收敛于同一个假设,它
就是那个包含在
H
中的目标概念)。
2
.噪音处理。
此算法不能处理噪音。例如,若正例
e
被错标为负例,则目标概念与
e
不
一致,按算法步骤目标概念将被剪除,从而不可能计算出正确的目标概念。
关于噪音,本算法只有一点可以做到:若训练例中有噪音
或
目标概念不包
含在
H
中(假设
h
的表示方式无法描述目标概念),当有充分多的训练
例被观察到时,
G
和
S
这两个界将收敛于空集,即版本空间为空,表明
H
中没有与所有训练例一致的假设。
3
.训练例的次序。
如果学习系统能够自己做实验生成例子并通过请教外部教师知道生成的
例子是正是负,我们说该系统能够
查询
。假定系统已经计算出上面的含有
6
个假设的版本空间,下一步应该查询什么(即生成什么例子来请教外部
教师)?最理想的例子
x*
应被版本空间中一半的假设判为真,被另一半
的假设判为假。无论教师说
x*
是正例还是负例,算法必将把版本空间缩
小一半。例如在我们的简单实例中,
x*
为<
Sunny Warm Normal weak Warm
Same
>。如果这样的
x*
总是可以确定,系统只要做
log
2
‖
VS
‖
次实验
就能发现目标概念。可惜,在多数问题里难以确定恰与版本空间中一半的
假设匹配的实例,所以通常要做多于
log
2
‖
VS
‖
次实验才能找到目标
16
概念。
4
.未完全学习出的概念的应用。
当版本空间尚含有多个假设时,目标概念尚未完全学习出来。但是,仍然
可以用这个部分学习出的概念来判别新的例子。在特殊情况下判别的可信
度如同用真正的目标概念来判别时一样;多数情况下可信度会降低,但我
们可以给出可信度的度量。
例如在我们的简单实例中,用部分学习到的含
6
个假设版本空间来判
别下面
4
个新例子:
x
5
Sunny Warm Normal Strong Cool Change
正
/
负?
x
6
Rainy Cold Normal Light Warm Same
正
/
负?
x
7
Sunny Warm Normal Light Warm Same
正
/
负?
x
8
Sunny Cold Normal Strong Warm Same
正
/
负?
因为版本空间的所有假设均认为
x
5
是正例,所以目标概念也将判它为正
例。
因为版本空间的所有假设均认为
x
6
是负例,所以目标概念也将判它为负
例。
因为版本空间的假设一半认为
x
7
是正例,一半认为
x
7
是负例,所以
x
7
应
该被选择为下一个
查询
x*
。
因为版本空间的假设
1/3
认为
x
8
是正例,
2/3
认为
x
8
是负例,所以
x
8
应该
按多数的意见被判定为负的,其可信度可置为
0.667
(若
H
中所有假设具
有相等的先验概率)。
2.6 归纳偏向
本节在候选剪除算法的框架下讨论归纳学习的几个根本问题,但结论对任何
概念小系统均有效。这些根本问题为:目标概念不在假设空间里怎么办?是否应
该使用包含一切可能假设的空间?假设空间的大小如何影响必须观察到的例子的
数量?假设空间的大小如何影响算法判别非训练例子的能力?
2
.
6
.
1
有偏向与无偏向的概念学习
在我们简单的表示方式中,对假设空间已经有了偏向:只认为那些表达为施
加于对象的各个属性的约束(
A
i
=v
i
/?/
)的合取式是可能的假设。在此偏向下,
很普通的概念如(
A
1
=v
1
A
1
=v
2
,sky=sunny or sky=cloudy)也表达不了。回到以
前我们考察过的训练例:
x
1
Sunny Warm Normal Strong Warm Same
正
x
2
Cloudy Warm Normal Strong Warm Same
正
x
3
Rainy Warm Normal Strong Warm Same
负
则
H
中不含有正确的目标概念
c
(即
c
无法用简单的表达方式表示),候选剪除
17
算法返回空版本空间。
我们来看一看这个偏向究竟有多大。设实例问题中对象的六个属性分别可取
2,2,3,2,2,2 个值。对象空间
X
中共有 2*2*3*2*2*2=96 个对象,即‖
X
‖=96。每
一个可能的概念是
X
的一个子集,所有可能的概念总数为
X
的子集的个数
2
‖
X
‖
=2
96
10
28
。而简单的表示方式(合取式)只能表达
3*3*4*3*3*3+1=973
种可能的
假设(即可能的概念),即偏向的假设空间
H
只是完全的假设空间
H’
(可用简
单假设的任意合取,析取,非操作联合操作来表达)极小的一部分,亦即偏向是
极为严重的。
如果我们使用无偏向的假设空间
H’
,目标概念的表达问题是解决了,但又会
出来另一个同样麻烦的问题:候选剪除算法对训练例将不能做任何一般化工作。
换句话说,版本空间不能判定任何非训练例,为了收敛到目的概念,只有将所有
的例子均作为训练例!因为在
H’
的情况下,特殊界
S
中只有一个假设
观察到的
正例的析取,一般界
G
中也只有一个假设
观察到的负例的析取式的非。如果用
这样的版本空间
VS
去判别任何非训练例
x
,
VS
中总是一半假设将
x
判为正例,另
一半将
x
判为负例(设
hVS
判
x
为正,则有
h’ H’
,它判
x
为负,此外与
h
毫
无二致,故
h’
和
h
一样也与所有训练例一致,即
h’VS
),我们没有得到任何信
息。只有将所有的例子均作为训练例,才能得到目标概念。这样的学习显然是毫
无用处的。
2
.
6
.
2
归纳偏向的形式化定义
从上面的讨论我们可得出所谓
归纳学习的基本性质
:无偏见即无预言。(学
习系统若对目标概念无任何偏见,它也就没有任何依据去判别未见实例)。可见
偏见对于归纳学习来说是必不可少,至关重要的。首先,我们需要给归纳偏见一
个更严格的定义。
定义。
设有
X
: 对象集
c
:
X
上的任一目标概念
D
c
:
c
的任意(无错的)训练数据集
{
<
x, c(x)
>
}
L
: 概念学习算法(包括它所搜索的假设空间
H
)
x
: 任一个对象
X
L(x, D
c
)
:学习算法
L
完成在
D
c
上的训练之后对
x
的明确判定
则 满足下面条件的最小限制
B
称为
L
的
归纳偏向
:
x, c,
Dc
(B
D
c
x) ├ L(x, D
c
)
简单地说,学习算法
L
的归纳偏向
B
是使
L
对非训练例
x
的判别结果可靠的
附加条件。对未见例子的判别结果本是归纳推理的结果,一般不能保证是演绎推
理的结果。但是,用归纳偏向作为附加前提,归纳成为演绎。也就是说,如果归
纳偏向成立,学习算法对未见例所做出的判别都是正确的;但如果归纳偏向不成
剩余81页未读,继续阅读
QQ274827185
- 粉丝: 21
- 资源: 79
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 十种常见电感线圈电感量计算公式详解
- 军用车辆:CAN总线的集成与优势
- CAN总线在汽车智能换档系统中的作用与实现
- CAN总线数据超载问题及解决策略
- 汽车车身系统CAN总线设计与应用
- SAP企业需求深度剖析:财务会计与供应链的关键流程与改进策略
- CAN总线在发动机电控系统中的通信设计实践
- Spring与iBATIS整合:快速开发与比较分析
- CAN总线驱动的整车管理系统硬件设计详解
- CAN总线通讯智能节点设计与实现
- DSP实现电动汽车CAN总线通讯技术
- CAN协议网关设计:自动位速率检测与互连
- Xcode免证书调试iPad程序开发指南
- 分布式数据库查询优化算法探讨
- Win7安装VC++6.0完全指南:解决兼容性与Office冲突
- MFC实现学生信息管理系统:登录与数据库操作
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功