递推极大似然估计算法公式推导

递推极大似然（Recursive Maximum Likelihood, RML）算法通常用于时间序列模型中，比如 Hidden Markov Model (HMM) 或者自回归模型等，目的是在线或增量地估计模型参数，而不是一次性处理所有数据。它的核心思想是根据已知观测值更新参数，使得当前观测数据的概率最大。

对于基于概率分布的模型，例如高斯混合模型 (GMM)，假设我们有一个参数向量 Θ 和观测序列 {x_1, x_2, ..., x_t}，RML的公式推导通常涉及对数似然函数 L(Θ | x_{1:t})。对于单步的递推过程，我们可以假设观察到 x_t 后，参数的更新可以用以下形式：

\[
\Theta_{t+1} = \arg\max_\Theta \log p(x_t | \Theta) + \beta \log p(\Theta | \Theta_t)
\]

这里，第一部分是当前观测的似然，第二部分是一个平滑因子 β（0 < β < 1），用来平衡新信息和历史信息的重要性。优化这个目标函数后，我们得到新的参数估计 Θ_{t+1}。

具体来说，这可能涉及到梯度上升或其他优化方法来找到使对数似然最大的参数值。如果模型有递归性质（如HMM中的前一状态影响当前状态），则可能会用维特比算法 (Viterbi algorithm) 来简化计算。