EM算法详解：极大似然估计与应用

"机器学习之EM算法" EM算法，全称期望最大化（Expectation Maximization），是一种在概率模型中寻找参数极大似然估计的迭代算法，尤其适用于处理含有不可观测的隐含变量的数据。这个算法通过交替进行期望（E）步骤和最大化（M）步骤，逐步优化模型参数，从而逼近真实参数。 一、似然函数与极大似然估计 在统计学和机器学习中，似然函数表示给定一组数据和模型参数，数据出现的概率。对于独立同分布的样本集{x_1, x_2, ..., x_n}，似然函数L(θ|x)定义为所有样本的联合概率，即L(θ|x) = p(x|θ)。极大似然估计的目标是找到使得似然函数最大的参数θ*，这是估计未知参数的一种常用方法。通过求导并令导数为零，可以找到使似然函数达到极大值的θ*。 二、Jensen不等式 Jensen不等式是概率论和泛函分析中的一个重要工具。对于一个凸函数f和随机变量X，Jensen不等式表述为：E[f(X)] ≥ f(E[X])，其中E[]表示期望值。若f是严格的凸函数，不等号的方向则变为E[f(X)] > f(E[X])。在EM算法中，Jensen不等式用于证明在E步骤和M步骤之间，对数似然函数的期望值总是非减的，从而保证了算法的收敛性。 三、数学期望的相关定理 在EM算法中，数学期望扮演着关键角色。它能够帮助我们将涉及隐含变量的复杂问题转化为只包含观测变量的形式。例如，通过计算观测数据的条件期望，我们可以得到关于隐含变量的后验分布，并在M步骤中更新参数。 四、边际分布列 在概率模型中，如果存在隐含变量，我们需要考虑边际分布，即不考虑隐含变量的情况下，仅关于观测变量的分布。在EM算法中，边际分布列常常用于计算E步骤中关于隐含变量的期望。 五、EM算法流程 1. 初始化参数θ_0。 2. E步骤：计算当前参数下的隐含变量的后验概率分布Q(θ|θ_t)，即E[log p(x,z|θ)|x,θ_t]。 3. M步骤：最大化在E步骤得到的期望值，更新参数θ_{t+1}，使得Q(θ|θ_t)下的期望对数似然函数达到最大。 4. 重复步骤2和3，直到参数收敛或达到预设迭代次数。 EM算法在许多领域都有应用，如混合高斯模型、隐马尔科夫模型等。尽管EM算法不能保证全局最优解，但在实践中通常能获得满意的结果。理解并掌握EM算法对于理解和应用机器学习中的概率模型至关重要。