李航-《统计学习方法》学习笔记.docx_李航统计方法第一版

《统计学习方法》 ( 李航 ) 读书笔记 ( 完结 )

阅读目录

 知识点

 感知机

 



近邻法 

 朴素贝叶斯

 决策树

  



回归和最大熵模型 

 支持向量机

 提升方法

  



算法 

 隐马尔可夫模型 

 统计学习方法总结

 神经网络

  

  

  

 降维方法

 引用

因为要准备面试本文以李航的《统计学习方法》为主结合西瓜书等其他资料对机器学习

知识做一个整理

回到顶部

知识点

 进程和线程进程和线程都是一个时间段的描述，是  工作时间段的描述，不过是

颗粒大小不同进程就是包换上下文切换的程序执行时间总和  加载上下文

 执行 保存上下文线程是共享了进程的上下文环境的更为细小的  时

间段。

 判别式模型和生成式模型

 判别式模型直接学习决策函数 f(X)或条件概率分布 P(Y|X)作为预测的模型往往准确率更

高并且可以简化学习问题如  近邻法!感知机!决策树!最大熵模型!" 回归!线性判别

分析"#!支持向量机$%!!条件随机场算法&'!线性回归!神经网络

( 生成式模型由数据学习联合概率分布 P(X,Y)然后由 )*++)!+求出条件概率分

布作为预测的模型即生成模型当存在隐变量时只能用生成方法学习如混合高斯模型和其

他混合模型!隐马尔可夫模型!朴素贝叶斯!依赖贝叶斯,#!"# 文档主题生成模

型

 概率质量函数,概率密度函数,累积分布函数

 概率质量函数 --./01，'是离散随机变量在各特定取值上的概

率。

( 概率密度函数（2--.3.01，#'2）是对连续随机变量定义的，本

身不是概率，只有对连续随机变量的取值进行积分后才是概率。

4 累积分布函数（1/153-101，#'）能完整描述一个实数随机变

量 + 的概率分布，是概率密度函数的积分。对於所有实数 6，与 30 相对。

 极大似然估计已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其

他小概率的样本，所以干脆就把这个参数作为估计的真实值

 最小二乘法二乘的英文是 271找一个（组）估计值使得实际值与估计值之

差的平方加总之后的值最小求解方式是对参数求偏导

令偏导为 8 即可样本量小时速度快

 梯度下降法负梯度方向是函数值下降最快的方向每次更新值都等于原值加学习率步

长乘损失函数的梯度每次都试一个步长看会不会下降一定的程度如果没有的话就按

比例减小步长不断应用该公式直到收敛可以得到局部最小值初始值的不同组合可以

得到不同局部最小值在最优点时会有震荡

 批量梯度下降(BGD)每次都使用所有的 / 个样本来更新容易找到全局最优解但是 / 较

大时速度较慢

( 随机梯度下降(SGD)每次只使用一个样本来更新训练速度快但是噪音较多不容易找到

全局最优解以损失很小的一部分精确度和增加一定数量的迭代次数为代价换取了总体的

优化效率的提升注意控制步长缩小减少震荡

4 小批量梯度下降(MBGD)每次使用一部分样本来更新

 牛顿法牛顿法是二次收敛因此收敛速度快从几何上看是每次用一个二次曲面来拟合

当前所处位置的局部曲面而梯度下降法是用一个平面来拟合

红色的是牛顿法的迭代路径绿色的是梯度下降法

的迭代路径牛顿法起始点不能离极小点太远否则很可能不会拟合

( 方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成

的影响

4 噪声可以认为是数据自身的波动性，表达了目前任何学习算法所能达到泛化误差的下限

< 泛化误差可以分解为偏差、方差与噪声之和

 对偶原理一个优化问题可以从主问题和对偶问题两个方面考虑在推导对偶问题时通

过将拉格朗日函数对 6 求导并使导数为 8 来获得对偶函数对偶函数给出了主问题最优

解的下界因此对偶问题一般是凸问题那么只需求解对偶函数的最优解就可以了

 KKT 条件通常我们要求解的最优化条件有如下三种

 无约束优化问题通常使用求导使导数为零求解候选最优值

( 有等式约束的优化问题通常使用拉格朗日乘子法即把等式约束用拉格朗日乘子和优化问

题合并为一个式子通过对各个变量求导使其为零求解候选最优值拉格朗日乘数法其实是

= 条件在等式约束优化问题的简化版

4 有不等式约束的优化问题通常使用 = 条件即把不等式约束等式约束和优化问题合并为

一个式子假设有多个等式约束 >6和不等式约束 6

则不等式约束引入的 = 条件

如下 实质是最优解在 6?8 区域内时约束条件不起作用等价于

对 @ 置零然后对原函数的偏导数置零A当 68 时与情况 ( 相近结合两种情况那么只需

要使 " 对 6 求导为零使 >6为零使 @6为零三式即可求解候选最优值

 性能度量

 准确度最常用但在数据集不平衡的情况下不好

( Precision(精确度/查准率)=!='

4 Recall(召回率/查全率)&=!='B

< Fβ 度量 当 C 时退化为 ' 度量是精确率和召回率的调和均

值

D TPR(真正例率)=&=!='B

E FPR(假正例率)'&'!=B'

F PR 曲线纵轴为 横轴为 &一般使用平衡点即 & 的

点作为衡量标准

G ROC(接受者操作特征)曲线纵轴为 =&横轴为 '&在绘图时将分类阈值依次设为每个样

例的预测值再连接各点&, 曲线围住的面积称为 ,, 越大则学习器性能越好

 损失函数和风险函数

 损失函数度量模型一次预测的好坏常用的损失函数有8 损失函数平方损失函数绝对损

失函数对数似然损失函数

( 损失函数的期望是理论上模型关于联合分布 +)的平均意义下的损失称为风险函数也

叫期望风险但是联合分布是未知的期望风险不能直接计算

4 当样本容量 B 趋于无穷时经验风险趋于期望风险但现实中训练样本数目有限

 经验风险最小化和结构风险最小化:

 模型关于训练数据集的平均损失称为经验风险经验风险最小化的策略就是最小化经验风险

当样本数量足够大时学习效果较好比如当模型是条件概率分布损失函数是对数损失函数

时经验风险最小化就等价于极大似然估计但是当样本容量很小时会出现过拟合

( 结构风险最小化等于正则化结构风险在经验风险上加上表示模型复杂度的正则化项比如

当模型是条件概率分布损失函数是对数损失函数模型复杂度由模型的先验概率表示时结

构风险最小化就等价于最大后验概率估计

 过拟合是指学习时选择的模型所包含的参数过多以致于对已知数据预测得很好但对

未知数据预测很差的现象模型选择旨在避免过拟合并提高模型的预测能力

 正则化是模型选择的典型方法正则化项一般是模型复杂度的单调递增函数比如模型

参数向量的范数

 交叉验证是另一常用的模型选择方法可分为简单交叉验证 折交叉验证留一交叉验

证等

回到顶部

感知机

 感知机是二类分类的线性模型属于判别模型感知机学习旨在求出将训练数据进行线

性划分的分离超平面是神经网络和支持向量机的基础

 模型 H 叫作权值向量- 叫做偏置 是符号函数

2

 感知机的几何解释H6- 对应于特征空间中的一个分离超平面 $其中 H 是 $ 的法向

量- 是 $ 的截距$ 将特征空间划分为两个部分位于两个部分的点分别被分为正负两

类

 策略假设训练数据集是线性可分的感知机的损失函数是误分类点到超平面 $ 的总距

离因为误分类点到超平面 $ 的距离是 且对于误分类的数据来说总有

成立因此不考虑 !**H**就得到感知机的损失函数

剩余31页未读，继续阅读

李航-《统计学习方法》学习笔记.docx

评论0

会员权益专享

最新资源

李航-《统计学习方法》学习笔记.docx

评论0

用单链表写一个图书信息管理系统

给智能科学与技术专业学生推荐的书

推荐几本机器学习数学习题册

想学习下人工智能 可以从哪些书入门啊

推荐几本机器学习的书籍

深度学习经典案例解析基于matlab

会员权益专享

最新资源

想学习下人工智能可以从哪些书入门啊