![](https://csdnimg.cn/release/download_crawler_static/86276969/bg1.jpg)
http://weibo.com/yanxiangzhang http://blog.csdn.net/stdcoutzyx
斯坦福 ML 公开课 13B
本文是《斯坦福 ML 公开课笔记 13A》的续篇。主要讲述针对混合高斯模型的问题所采
取的简单解决方法,即对假设进行限制的简单方法,最后引出因子分析模型(Factor Analysis
Model),包括因子分析模型的介绍、EM 求解等。
混合高斯模型的问题
在上一篇笔记中,谈到对于混合高斯模型来说,当训练数据样本数目小于样本的维度时,
因为协方差矩阵的非奇异性,导致不能得到概率密度函数的问题。而对于其他模型来说,样
本数小于样本维度,也容易引起过拟合的问题。
追本溯源,这个问题可以认为是数据信息缺乏的问题,即从训练数据中得不到模型所需
的全部信息。解决办法就是减少模型所需要的信息,本文提到的手段有两个,第一个就是不
改变现有模型,但是加强模型的假设,下面提到的对协方差矩阵的限制即是此类。第二个手
段则是降低模型的复杂度,提出一个需要更少参数(更少参数即是需要更少信息)的模型,
因子分析模型即是此类。
限制协方差矩阵的方法,其实在 13A 文章中已提到。一个稍弱的假设是假设协方差矩
阵为对角矩阵,更强的假设是假设协方差矩阵为对角矩阵且对角线上的值都相等。怎样直观
的理解这两个假设呢?请看下图。
对于二维多元高斯分布来说,它有一个几何特性。即在平面上的投影是一个椭圆,当假
设该分布的协方差矩阵为对角矩阵时,那么这个椭圆的轴就与坐标轴平行。当限制对角线上
的值都相等时,那么投影就变成了圆。
当需要估计出完整的协方差矩阵时,需要的样本数目 m 必须大于样本维度 n。但是当有
上述对角线假设时,只要样本数目大于 1 就可以估计出限定的协方差矩阵。
接下来讨论因子分析模型,在介绍因子分析模型之前,先看高斯分布的另一种写法,该
写法是推导因子分析模型的基础。
高斯分布的矩阵写法
下面我们先看高斯分布的另一种写法。假设我们拥有三个随机向量
。
(1)
那么
,假设,且
(2)
这里,
。因为协方差矩阵