EM算法详解：从似然函数到极大似然估计

"EM算法的推导-机器学习之EM算法" EM算法，全称期望最大化（Expectation Maximization），是一种在概率模型中寻找参数极大似然估计的迭代算法，尤其适用于处理含有不可观测的隐含变量的问题。该算法通过交替进行期望（E）步骤和最大化（M）步骤，逐步逼近最优参数估计。 一、似然函数与极大似然估计 似然函数是基于给定数据计算模型参数可能性的函数。对于一组样本数据 \( x_1, x_2, ..., x_n \)，来自参数为 \( \theta \) 的概率模型，似然函数 \( L(\theta; x) = p(x|\theta) \) 表示这些样本出现的概率。极大似然估计的目标是找到使得样本似然函数最大化的参数 \( \theta^* \)。通过对数似然函数 \( l(\theta) = \log L(\theta; x) \) 进行优化，可以简化计算并避免数值不稳定。极大化对数似然函数等价于求解 \( \frac{\partial l(\theta)}{\partial \theta} = 0 \) 的解，这是估计参数的一种常用方法。 二、Jensen不等式 Jensen不等式是概率论和泛函分析中的一个基础工具。对于任意的随机变量 \( X \) 和凸函数 \( f \)，有 \( E[f(X)] \geq f(E[X]) \)，当且仅当 \( f \) 是线性函数时，等号成立。在EM算法中，Jensen不等式用于在E步骤和M步骤之间建立关系，确保每一步迭代后参数估计的质量得到提升。 三、EM算法的E步骤与M步骤 1. E步骤：在当前参数估计 \( \theta^{(t)} \) 下，计算不可观测变量的条件期望 \( Q(\theta|\theta^{(t)}) \)，即期望下一轮最大化参数的期望值。 2. M步骤：最大化条件期望 \( Q(\theta|\theta^{(t)}) \)，更新参数 \( \theta^{(t+1)} \) 以使 \( Q \) 函数达到最大。 四、数学期望的相关定理 数学期望是随机变量平均值的概念，对于连续随机变量，它是概率密度函数与变量值乘积的积分；对于离散随机变量，它是概率质量函数与变量值乘积的和。在EM算法中，数学期望用来近似不可观测变量的期望值，从而在E步骤中计算条件期望。 五、边际分布列 在概率论中，边际分布是指从联合分布中单独考虑一个或多个变量的概率分布。在EM算法中，特别是在存在隐含变量的情况下，我们需要计算包含隐含变量的完整数据集的边际似然函数。 EM算法是利用似然函数和极大似然估计理论，结合Jensen不等式和数学期望等工具，解决含有隐含变量的参数估计问题的一种有效方法。通过E步骤和M步骤的迭代，EM算法能够逐步改进参数估计，最终收敛至一个局部极大似然估计。在实际应用中，如混合高斯模型、隐马尔可夫模型等，EM算法表现出强大的能力。