EM 算法及其在高斯混合模型中的应用
EM 算法在高斯混合模型中的应用
1.定义
对于一个随机信号生成器，假设他的模型参数为 ，我们能观测到的数据
输出为 X，不能观测到的数据输出为 Y，且随机系统模型结构的概率密度函数
为
（1）
能够观测到的一部分数据输出数据 ，模型的另一部分输出数据
未知,模型的参数 也未知。EM 算法就是要求我们从观测数据 中估
计出参数 。
2.EM 算法的描述
假设每一对随机系统的输出样本 对于不同的n相互独立，这样当
，x和y都已知的情况下，概率 也已知。未观测的输出y的概
率分布也属于待求参数 。
根据独立性假设有：
（2）
3.EM算法的基本思路
基本问题是求解下面的方程的解：
（3）
由于X是确定量，Y是未知的，因此即使给定了 ，也无法求得
的值，因此我们只能退一步求：
（4）
其中
（5）
表示考虑了未知数据y的所有可能的取值Y后对 求平均值。
最后根据log函数的单调性得到（4）的等效形式：
（6）
对于(6)给出的最优化问题，考虑用下面的递推算法解决，即：先给定一个估值
并计算 ，然后更新 得到 并且有
（7）
（8）
其中，等号在 时成立，即：
（9）
评论5