python 获取nltk.corpus()中的一个语料，并以8：2划分为训练集和测试集，计算测试集中每个句子的二元语法和三元语法的平均生成概率 python 直接给出python 代码

以下是获取nltk.corpus()中的brown语料库，并以8:2的比例划分为训练集和测试集，并计算测试集中每个句子的二元语法和三元语法的平均生成概率的Python代码：

import nltk
from nltk.corpus import brown
from nltk import bigrams, trigrams
from nltk.lm.models import Laplace

# 获取brown语料库
sentences = brown.sents()

# 划分训练集和测试集
train_size = int(len(sentences) * 0.8)
train_sents = sentences[:train_size]
test_sents = sentences[train_size:]

# 训练二元语法模型
bigram_model = Laplace(2)
bigram_model.fit(train_sents)

# 训练三元语法模型
trigram_model = Laplace(3)
trigram_model.fit(train_sents)

# 计算测试集中每个句子的二元语法和三元语法的平均生成概率
bigram_prob_sum = 0
trigram_prob_sum = 0
for sent in test_sents:
    bigram_prob_sum += bigram_model.perplexity(sent)
    trigram_prob_sum += trigram_model.perplexity(sent)

avg_bigram_prob = bigram_prob_sum / len(test_sents)
avg_trigram_prob = trigram_prob_sum / len(test_sents)

print("测试集中每个句子的二元语法平均生成概率：", avg_bigram_prob)
print("测试集中每个句子的三元语法平均生成概率：", avg_trigram_prob)

上述代码中，我们首先获取了brown语料库中的所有句子，然后将其按照8:2的比例划分为训练集和测试集。接着，我们使用nltk.lm.models.Laplace来训练二元语法模型和三元语法模型，并使用测试集中的每个句子来计算其二元语法和三元语法的平均生成概率。最后，我们输出了测试集中每个句子的二元语法和三元语法的平均生成概率。