Python 计算PPMI

在Python中计算Pointwise Mutual Information (PMI)通常用于自然语言处理中衡量词语之间的关联度。PMI是一种统计量，它量化了两个词语一起出现的频率相对于它们各自独立出现频率的差异。一个简单的公式是：

\[ PMI(w_i, w_j) = \log\left(\frac{p(w_i, w_j)}{p(w_i) * p(w_j)}\right) \]

其中：
- \( p(w_i, w_j) \) 是词汇项\( w_i \) 和 \( w_j \) 同时出现的概率。
- \( p(w_i) \) 是词汇项\( w_i \) 出现的概率。
- \( p(w_j) \) 是词汇项\( w_j \) 出现的概率。

在Python中，你可以使用`collections`库中的`Counter`来计算词频，然后通过这些频率来估算PMI值。这里有一个简单的示例：

from collections import Counter
import math

# 假设你有文本数据，已经分词并存储在word_counts字典中
word_counts = Counter()

# ...（填充词频计数）

def calculate_pmi(word1, word2):
    combined_count = word_counts[word1, word2] if (word1, word2) in word_counts else 0
    individual_counts = word_counts[word1] * word_counts[word2]
    return math.log(combined_count / max(individual_counts, 1)) if combined_count > 0 else 0

# 示例使用
pmi_value = calculate_pmi('词1', '词2')

注意，这个例子假设你已经有了一个联合词频表（如`(词1, 词2)`对），如果没有，你需要先计算出来。此外，PMI可能会取负值，这是因为当两个词很少同时出现时，其PMI会接近于0，当它们几乎不同时出现时（即独立概率很小），PMI将变为负。