python实现n-gram模型预测语句出现概率

在Python中，我们可以使用n-gram模型来估计给定语句的概率。n-gram模型是一种基于统计的语言模型，它假设词序列是由独立同分布的n个连续词组成的。以下是实现步骤：

1. **数据预处理**：首先，对文本进行分词，并构建所有可能的n-gram序列。例如，如果你选择的是trigram（三元组），那么你会得到每个连续的三个单词的组合。

import nltk
from collections import defaultdict

def create_ngrams(text, n=3):
    words = nltk.word_tokenize(text)
    return [tuple(words[i:i+n]) for i in range(len(words) - n + 1)]

2. **计算频率**：统计每个n-gram在语料库中的出现次数，以及总的不同n-gram数量。

def count_ngrams(ngrams_list):
    freqs = defaultdict(int)
    total_ngrams = len(ngrams_list)
    for ngram in ngrams_list:
        freqs[ngram] += 1
    return freqs, total_ngrams

3. **计算概率**：将频率除以总数，得到每个n-gram的出现概率。对于下一个词的概率预测，你可以考虑前n-1个词作为上下文。

def probability_of_next_word(ngram_freqs, context, total_ngrams):
    context_freq = ngram_freqs.get(context, (0, 0))[0]
    return context_freq / total_ngrams

4. **预测**：给定一个句子片段，可以按照n-gram顺序预测下一个词的概率。注意这是单步预测，实际应用中可能会采用更复杂的技术如维特比算法进行动态规划。

def predict_next_word(text, n, current_context, model):
    next_word_prob = {}
    for word in model:
        ngram = current_context + (word,)
        prob = probability_of_next_word(model, ngram, *model[ngram])
        next_word_prob[word] = prob
    return max(next_word_prob, key=next_word_prob.get)