![](https://csdnimg.cn/release/download_crawler_static/86290783/bg1.jpg)
http://weibo.com/yanxiangzhang http://blog.csdn.net/stdcoutzyx
斯坦福 ML 公开课笔记 11
本文对应 ML 公开课的第 11 个视频。前半部分仍然是讲学习理论的内容,后半部分主
要讲述一些在具体应用中使用 ML 算法的经验。学习理论的内容包括贝叶斯统计和正则化
(Bayesian statistics and Regularization)、在线学习(Online Learning)。ML 经验包括算法的诊断
(Diagnostics for debugging learning algorithms)、误差分析(error analysis)、销蚀分析(ablative
analysis)、过早优化(premature optimization)。
正则化
上一讲中讲到的特征选择方法是在简化模型,通过消除特征,减少模型的参数来降低过
拟合的发生。正则化同样用于降低过拟合,但是它保留所有的参数。这是怎么做到的呢?
在之前的讲述中,求参数时一般使用极大似然估计(Maximum Likelihood)方法,即
(1)
在公示 1 中,我们认为是一个固定的未知值或向量,通过极大似然估计我们可以估计
到的值。这是频率学派的看法。他们认为参数是是固定的,使用统计方法可以估计出这些
值。
在统计学中,还存在另外一个学派,即贝叶斯派。同频率学派不同,他们认为是一个
随机变量,服从某个先验分布。即。
在这种情况下,后验概率可以依下式来求:
(2)
注意到公式 2 中与公式 1 中条件概率的差别,公式 2 中
中 x 与之间以逗
号分隔,表示是随机变量。而公式 1 中
内 x 与以分号隔开,表示是一个具
体的未知值。
公式 2 中,
的形式来源于所选模型,比如若使用贝叶斯逻辑斯蒂回归模型
(bayesian logistic model,BLR),那么
,其中
。
在对新样本进行预测时,使用如下公式计算后验概率:
(3)
则预测公式如下:
(4)
但是,利用公式 3 和公式 4 的方法进行预测时,因为的积分使得计算量变得很大,当
是高维向量时,往往是一个 NP 问题。所以在实际应用中,往往通过最大化后验概率来得
到的估计,然后将代入到模型(比如上面的
)中直接预测。的
估计公式如下。MAP 即为 maximum a posteriori。
(5)
比较一下公式 5 与公式 1 的差别,仅仅是在末尾添加了先验概率 p()。