推导概率潜在语义分析的共现模型的 EM 算法

概率潜在语义分析（Probabilistic Latent Semantic Analysis，PLSA）是一种基于概率模型的文本主题分析方法。其核心思想是将文本数据转化为概率分布形式，然后通过EM算法对模型参数进行估计，最终得到文本的主题分布。

下面介绍一下PLSA的共现模型的EM算法。

假设我们有一个文档集合 $D$，其中每个文档 $d$ 由 $N$ 个单词组成，单词的总数为 $V$，我们希望对这些文档进行主题分析。

PLSA的共现模型假设每个文档 $d$ 都由若干个主题 $z$ 生成，每个主题 $z$ 都有自己的单词分布 $p(w|z)$，即给定主题 $z$，单词 $w$ 在该主题下出现的概率。同时，每个单词 $w$ 也有自己的主题分布 $p(z|w)$，即给定单词 $w$，它出现在哪些主题中的概率。

假设我们已知每个单词在每个文档中的出现次数 $n_{dw}$，我们的目标是推导出主题分布 $p(z|d)$ 和单词分布 $p(w|z)$。

EM算法的基本思路是，先随机初始化模型参数，然后通过交替执行E步和M步来迭代地更新模型参数，直到收敛为止。具体来说，EM算法的每一轮迭代包括以下两个步骤：

E步：根据当前的模型参数，计算每个单词 $w$ 在每个文档 $d$ 中属于每个主题 $z$ 的概率 $p(z|d,w)$。这个概率可以用贝叶斯公式计算：

$$p(z|d,w)=\frac{p(w|z)p(z|d)}{\sum_{z'}p(w|z')p(z'|d)}$$

M步：根据E步计算出的 $p(z|d,w)$，更新模型参数 $p(w|z)$ 和 $p(z|d)$。具体来说，我们需要最大化对数似然函数：

$$L=\sum_{d,w}n_{dw}\log\sum_{z}p(w|z)p(z|d)$$

对 $p(w|z)$ 和 $p(z|d)$ 分别求偏导数并令其等于0，得到以下更新公式：

$$p(w|z)=\frac{\sum_{d}n_{dw}p(z|d,w)}{\sum_{d,w}n_{dw}p(z|d,w)}$$

$$p(z|d)=\frac{\sum_{w}n_{dw}p(w|z)}{N_d}$$

其中 $N_d$ 表示文档 $d$ 中单词的总数。

以上就是PLSA的共现模型的EM算法的推导过程。