python 语言模型

Python语言模型是用于对文本进行统计和推理的模型。在自然语言处理领域，语言模型被用于预测下一个词或句子的概率，以及生成新的文本。Python中有多种库和工具可以用来构建和使用语言模型，例如NLTK、Gensim和TensorFlow等。

以下是一个使用NLTK库构建和使用语言模型的示例：

import nltk
from nltk import ngrams

# 构建语料库
corpus = "This is a sample sentence. This is another sentence."

# 将语料库分割成句子
sentences = nltk.sent_tokenize(corpus)

# 将句子分割成单词
tokens = [nltk.word_tokenize(sentence) for sentence in sentences]

# 构建N-Gram模型
n = 2  # 二元模型
ngram_model = ngrams(tokens, n)

# 打印模型中的所有N-Gram
for grams in ngram_model:
    print(grams)

# 预测下一个词
context = ("This",)
next_word = "is"
prob = 0

for grams in ngram_model:
    if grams[:-1] == context and grams[-1] == next_word:
        prob += 1

print("Probability of next word:", prob)

这个示例使用NLTK库构建了一个二元语言模型，并使用该模型预测了给定上下文中下一个词的概率。