![](https://csdnimg.cn/release/download_crawler_static/86282828/bg1.jpg)
http://weibo.com/yanxiangzhang http://blog.csdn.net/stdcoutzyx
斯坦福 ML 公开课 13A
本文对应公开课的第 13 个视频,这个视频仍然和 EM 算法非常相关,第 12 个视频讲解
了 EM 算法的基础,本视频则是在讲 EM 算法的应用。本视频的主要内容包括混合高斯模型
(Mixture of Gaussian, MoG)的 EM 推导、混合贝叶斯模型(Mixture of Naive Bayes,MoNB)
的 EM 推导、因子分析模型(Factor Analysis Model)及其 EM 求解。由于本章内容较多,
故而分为 AB 两篇,本篇介绍至混合模型的问题。
很久没有写这个系列的笔记了,各种事情加各种懒导致的。虽然慢但是我还是会坚持把
它写完的,就像一只打不死的小强,也像古人说的那样,十年可以不将军,但还需日拱一卒。
闲话少说,进入正题。
回顾 EM 算法
先回顾一下 EM 算法,我们为什么要使用 EM 算法呢?原因就在于面对如公式 1 中的目
标函数时,直接求导是无法解决的或者解决起来比较麻烦,EM 算法通过找下界的方式巧妙
的将连加符号移到对数函数之外,使得该问题可解。尤其是当联合概率函数式指数族函数时,
EM 的 E-step 和 M-step 都很易求,高斯混合模型就是这样的问题。
(1)
还有另外一种理解 EM 算法的方式,那就是将它看作是坐标上升优化。
(2)
将 EM 算法要优化的目标看作是以为参数的函数,那么 E-step 就是保持不变,优
化 Q;M-step 就是保持 Q 不变优化。
MoG 的 EM 推导
MoG 模型的 E-step 和 M-step 分别按照笔记 12 中的公式 23,公式 24 那样进行推导。对
于 E-step:
(3)
其中,
,
,代入即能求得
。
令:
对于 M-step,