没有合适的资源?快使用搜索试试~ 我知道了~
首页第二章_机器学习基础.pdf
机器学习起源于上世纪50年代,1959年在IBM工作的Arthur Samuel设计了一个下棋程序,这个程序具有学习的能力,它可以在不断的对弈中提高自己。由此提出了“机器学习”这个概念,它是一个结合了多个学科如概率论,优化理论,统计等,最终在计算机上实现自我获取新知识,学习改善自己的这样一个研究领域。机器学习是人工智能的一个子集,目前已经发展出许多有用的方法,比如支持向量机,回归,决策树,随机森林,强化方法,集成学习,深度学习等等,一定程度上可以帮助人们完成一些数据预测,自动化,自动决策,最优化等初步替代脑力的任务。本章我们主要介绍下机器学习的基本概念、监督学习、分类算法、逻辑回归、代价函数、损失函数、LDA、PCA、决策树、支持向量机、EM算法、聚类和降维以及模型评估有哪些方法、指标等等。
资源详情
资源评论
资源推荐

第二章_机器学习基础.md
2020/7/27
1 / 63
[TOC]
第⼆章 机器学习基础
机器学习起源于上世纪50年代,1959年在IBM⼯作的Arthur Samuel设计了⼀个下棋程序,这个程序具有学习的
能⼒,它可以在不断的对弈中提⾼⾃⼰。由此提出了“机器学习”这个概念,它是⼀个结合了多个学科如概率
论,优化理论,统计等,最终在计算机上实现⾃我获取新知识,学习改善⾃⼰的这样⼀个研究领域。机器学习
是⼈⼯智能的⼀个⼦集,⽬前已经发展出许多有⽤的⽅法,⽐如⽀持向量机,回归,决策树,随机森林,强化
⽅法,集成学习,深度学习等等,⼀定程度上可以帮助⼈们完成⼀些数据预测,⾃动化,⾃动决策,最优化等
初步替代脑⼒的任务。本章我们主要介绍下机器学习的基本概念、监督学习、分类算法、逻辑回归、代价函
数、损失函数、LDA、PCA、决策树、⽀持向量机、EM算法、聚类和降维以及模型评估有哪些⽅法、指标等
等。
2.1 基本概念
2.1.1 ⼤话理解机器学习本质
机器学习(Machine Learning, ML),顾名思义,让机器去学习。这⾥,机器指的是计算机,是算法运⾏的物理
载体,你也可以把各种算法本⾝当做⼀个有输⼊和输出的机器。那么到底让计算机去学习什么呢?对于⼀个任
务及其表现的度量⽅法,设计⼀种算法,让算法能够提取中数据所蕴含的规律,这就叫机器学习。如果输⼊机
器的数据是带有标签的,就称作有监督学习。如果数据是⽆标签的,就是⽆监督学习。
2.1.2 什么是神经⽹络
神经⽹络就是按照⼀定规则将多个神经元连接起来的⽹络。不同的神经⽹络,具有不同的连接规则。例如全连
接(Full Connected, FC)神经⽹络,它的规则包括:
(1)有三种层:输⼊层,输出层,隐藏层。
(2)同⼀层的神经元之间没有连接。
(3)fully connected的含义:第 N 层的每个神经元和第 N-1 层的所有神经元相连,第 N-1 层神经元的输出就
是第 N 层神经元的输⼊。
(4)每个连接都有⼀个权值。
神经⽹络架构 图2-1就是⼀个神经⽹络系统,它由很多层组成。输⼊层负责接收信息,⽐如⼀只猫的图⽚。输
出层是计算机对这个输⼊信息的判断结果,它是不是猫。隐藏层就是对输⼊信息的传递和加⼯处理。

第二章_机器学习基础.md
2020/7/27
2 / 63
图2-1 神经⽹络系统
2.1.3 各种常见算法图⽰
⽇常使⽤机器学习的任务中,我们经常会遇见各种算法,图2-2是各种常见算法的图⽰。
回归算法 聚类算法 正则化⽅法
决策树学习 贝叶斯⽅法 基于核的算法

第二章_机器学习基础.md
2020/7/27
3 / 63
决策树学习 贝叶斯⽅法 基于核的算法
聚类算法 关联规则学习 ⼈⼯神经⽹络
深度学习 降低维度算法 集成算法
图2-2 各种常见算法图⽰
2.1.4 计算图的导数计算
计算图导数计算是反向传播,利⽤链式法则和隐式函数求导。
假设 $z = f(u,v)$ 在点 $(u,v)$ 处偏导连续,$(u,v)$是关于 $t$ 的函数,在 $t$ 点可导,求 $z$ 在 $t$ 点的导
数。
根据链式法则有 $$ \frac{dz}{dt}=\frac{\partial z}{\partial u}.\frac{du}{dt}+\frac{\partial z}{\partial v} .\frac{dv}{dt}
$$ 链式法则⽤⽂字描述:“由两个函数凑起来的复合函数,其导数等于⾥边函数代⼊外边函数的值之导数,乘以
⾥边函数的导数。

第二章_机器学习基础.md
2020/7/27
4 / 63
为了便于理解,下⾯举例说明: $$ f(x)=x^2,g(x)=2x+1 $$ 则: $$ {f[g(x)]}'=2[g(x)] \times g'(x)=2[2x+1] \times
2=8x+4 $$
2.1.5 理解局部最优与全局最优
笑谈局部最优和全局最优
柏拉图有⼀天问⽼师苏格拉底什么是爱情?苏格拉底叫他到⻨⽥⾛⼀次,摘⼀颗最⼤的⻨穗回来,不许
回头,只可摘⼀次。柏拉图空着⼿出来了,他的理由是,看见不错的,却不知道是不是最好的,⼀次次
侥幸,⾛到尽头时,才发现还不如前⾯的,于是放弃。苏格拉底告诉他:“这就是爱情。”这故事让我们
明⽩了⼀个道理,因为⽣命的⼀些不确定性,所以全局最优解是很难寻找到的,或者说根本就不存在,
我们应该设置⼀些限定条件,然后在这个范围内寻找最优解,也就是局部最优解——有所斩获总⽐空⼿
⽽归强,哪怕这种斩获只是⼀次有趣的经历。 柏拉图有⼀天⼜问什么是婚姻?苏格拉底叫他到树林⾛
⼀次,选⼀棵最好的树做圣诞树,也是不许回头,只许选⼀次。这次他⼀⾝疲惫地拖了⼀棵看起来直挺、
翠绿,却有点稀疏的杉树回来,他的理由是,有了上回的教训,好不容易看见⼀棵看似不错的,⼜发现
时间、体⼒已经快不够⽤了,也不管是不是最好的,就拿回来了。苏格拉底告诉他:“这就是婚姻。”
优化问题⼀般分为局部最优和全局最优。其中,
(1)局部最优,就是在函数值空间的⼀个有限区域内寻找最⼩值;⽽全局最优,是在函数值空间整个区域寻找
最⼩值问题。
(2)函数局部最⼩点是它的函数值⼩于或等于附近点的点,但是有可能⼤于较远距离的点。
(3)全局最⼩点是那种它的函数值⼩于或等于所有的可⾏点。
2.1.5 ⼤数据与深度学习之间的关系
⾸先来看⼤数据、机器学习及数据挖掘三者简单的定义:
⼤数据通常被定义为“超出常⽤软件⼯具捕获,管理和处理能⼒”的数据集。 机器学习关⼼的问题是如何构建计
算机程序使⽤经验⾃动改进。 数据挖掘是从数据中提取模式的特定算法的应⽤,在数据挖掘中,重点在于算法
的应⽤,⽽不是算法本⾝。
机器学习和数据挖掘之间的关系如下: 数据挖掘是⼀个过程,在此过程中机器学习算法被⽤作提取数据集中的
潜在有价值模式的⼯具。 ⼤数据与深度学习关系总结如下:
(1)深度学习是⼀种模拟⼤脑的⾏为。可以从所学习对象的机制以及⾏为等等很多相关联的⽅⾯进⾏学习,模
仿类型⾏为以及思维。
(2)深度学习对于⼤数据的发展有帮助。深度学习对于⼤数据技术开发的每⼀个阶段均有帮助,不管是数据的
分析还是挖掘还是建模,只有深度学习,这些⼯作才会有可能⼀⼀得到实现。
(3)深度学习转变了解决问题的思维。很多时候发现问题到解决问题,⾛⼀步看⼀步不是⼀个主要的解决问题
的⽅式了,在深度学习的基础上,要求我们从开始到最后都要基于⼀个⽬标,为了需要优化的那个最终⽬标去
进⾏处理数据以及将数据放⼊到数据应⽤平台上去,这就是端到端(End to End)。
(4)⼤数据的深度学习需要⼀个框架。在⼤数据⽅⾯的深度学习都是从基础的⾓度出发的,深度学习需要⼀个
框架或者⼀个系统。总⽽⾔之,将你的⼤数据通过深度分析变为现实,这就是深度学习和⼤数据的最直接关
系。
2.2 机器学习学习⽅式

第二章_机器学习基础.md
2020/7/27
5 / 63
习 习
根据数据类型的不同,对⼀个问题的建模有不同的⽅式。依据不同的学习⽅式和输⼊数据,机器学习主要分为
以下四种学习⽅式。
2.2.1 监督学习
特点:监督学习是使⽤已知正确答案的⽰例来训练⽹络。已知数据和其⼀⼀对应的标签,训练⼀个预测模型,
将输⼊数据映射到标签的过程。
常见应⽤场景:监督式学习的常见应⽤场景如分类问题和回归问题。
算法举例:常见的有监督机器学习算法包括⽀持向量机(Support Vector Machine, SVM),朴素贝叶斯(Naive
Bayes),逻辑回归(Logistic Regression),K近邻(K-Nearest Neighborhood, KNN),决策树(Decision Tree),随机
森林(Random Forest),AdaBoost以及线性判别分析(Linear Discriminant Analysis, LDA)等。深度学习(Deep
Learning)也是⼤多数以监督学习的⽅式呈现。
2.2.2 ⾮监督式学习
定义:在⾮监督式学习中,数据并不被特别标识,适⽤于你具有数据集但⽆标签的情况。学习模型是为了推断
出数据的⼀些内在结构。
常见应⽤场景:常见的应⽤场景包括关联规则的学习以及聚类等。
算法举例:常见算法包括Apriori算法以及k-Means算法。
2.2.3 半监督式学习
特点:在此学习⽅式下,输⼊数据部分被标记,部分没有被标记,这种学习模型可以⽤来进⾏预测。
常见应⽤场景:应⽤场景包括分类和回归,算法包括⼀些对常⽤监督式学习算法的延伸,通过对已标记数据建
模,在此基础上,对未标记数据进⾏预测。
算法举例:常见算法如图论推理算法(Graph Inference)或者拉普拉斯⽀持向量机(Laplacian SVM)等。
2.2.4 弱监督学习
特点:弱监督学习可以看做是有多个标记的数据集合,次集合可以是空集,单个元素,或包含多种情况(没有
标记,有⼀个标记,和有多个标记)的多个元素。 数据集的标签是不可靠的,这⾥的不可靠可以是标记不正
确,多种标记,标记不充分,局部标记等。已知数据和其⼀⼀对应的弱标签,训练⼀个智能算法,将输⼊数据
映射到⼀组更强的标签的过程。标签的强弱指的是标签蕴含的信息量的多少,⽐如相对于分割的标签来说,分
类的标签就是弱标签。
算法举例:举例,给出⼀张包含⽓球的图⽚,需要得出⽓球在图⽚中的位置及⽓球和背景的分割线,这就是已
知弱标签学习强标签的问题。
在企业数据应⽤的场景下, ⼈们最常⽤的可能就是监督式学习和⾮监督式学习的模型。 在图像识别等领域,
由于存在⼤量的⾮标识的数据和少量的可标识数据, ⽬前半监督式学习是⼀个很热的话题。
2.2.5 监督学习有哪些步骤
监督学习是使⽤已知正确答案的⽰例来训练⽹络,每组训练数据有⼀个明确的标识或结果。想象⼀下,我们可
以训练⼀个⽹络,让其从照⽚库中(其中包含⽓球的照⽚)识别出⽓球的照⽚。以下就是我们在这个假设场景
中所要采取的步骤。
剩余62页未读,继续阅读




















hkd_ywg
- 粉丝: 4
- 资源: 94
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助

会员权益专享
最新资源
- ARM Cortex-A(armV7)编程手册V4.0.pdf
- ABB机器人保养总结解析.ppt
- 【超详细图解】菜鸡如何理解双向链表的python代码实现
- 常用网络命令的使用 ipconfig ping ARP FTP Netstat Route Tftp Tracert Telnet nslookup
- 基于单片机控制的DC-DC变换电路
- RS-232接口电路的ESD保护.pdf
- linux下用time(NULL)函数和localtime()获取当前时间的方法
- Openstack用户使用手册.docx
- KUKA KR 30 hA,KR 60 hA机器人产品手册.pdf
- Java programming with JNI
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈



安全验证
文档复制为VIP权益,开通VIP直接复制

评论0