![](https://csdnimg.cn/release/download_crawler_static/86284817/bg1.jpg)
http://weibo.com/yanxiangzhang http://blog.csdn.net/stdcoutzyx
斯坦福 ML 公开课笔记 9
好久没有更新 ML 课程笔记了,主要是开学事情比较多,再加上这几天看了很久的 MIT
算法导论公开课,再加上各种上课、coding 和一些电视剧的诱惑,几乎将本系列阻断。窃以
为对于专业理论的学习学的扎实比学得多更重要,这也是我一直以来坚持写博客的动力。尤
其是对于本系列的内容来说,如果没有这些博客总结,我可能就不能一路顺利的理解到第 9
个视频,很可能会中途而废,当然,Ng 的原意是要把讲解的公式推导自己推下来,我这里
用博客总结代替有异曲同工之妙。这里跟大家分享一下我的心得体会,为好久没更新找找借
口,为坚持下去找找理由。
本篇与前面不同,主要内容不是算法,而是机器学习的另一部分内容——学习理论。主
要包括偏差/方差(Bias/variance)、经验风险最小化(Empirical Risk Minization,ERM)、联
合界(Union bound)、一致收敛(Uniform Convergence)。
Ng 对学习理论的重要性很是强调,他说理解了学习理论是对机器学习只懂皮毛的人和
真正理解机器学习的人的区别。学习理论的重要性在于通过它能够针对实际问题更好的选择
模型,修改模型。
偏差/方差
偏差与方差对应的仍然是过拟合与欠拟合的问题,本篇主要解决的问题就在于构建一个
模型,对何时出现过拟合和欠拟合进行说明。
关于过拟合与欠拟合的问题,对于 MLers 来说,应该是耳熟能详的了。下面再简要介
绍一下,如下图:
以回归问题为例,机器学习的目标是从训练集中得到一个模型,使之能对测试集进行分
类,这里,训练集与测试集都是分布 D 的样本。机器学习的关注点在于模型在测试集上的
分类效果,这也称为泛化能力(generalization ability)。上图中的左图和右图没有较好的泛化
能力。对于左图来说,用一个线性模型去拟合二次模型,即便在一个有很多样本的样本集中
训练仍然会有很大的泛化误差,这种情况称之为欠拟合,对应着高偏差。对于右图来说,用
一个高阶模型去拟合二次模型,从数据中得到的模型结构很可能碰巧是该训练集特有的,这
种模型仍然有很大的泛化误差,这种情况称之为过拟合,对应于高方差。
在机器学习中,对偏差和方差的权衡是学习理论着重要解决的问题。
经验风险最小化
本篇都是以二类分类问题为例,对 ERM 问题进行说明。
首先,我们定义数据集:
其中,
是 i.i.d(独立同分布变量)。。
其次,分类模型为: