lda 用python写一个完整的一致性和困惑度代码

以下是一个使用Python中的Gensim库实现LDA模型的完整代码，包括计算一致性和困惑度：

import gensim
from gensim.models import LdaModel, CoherenceModel
from gensim.corpora import Dictionary

# 导入数据集
data = [["人工智能", "机器学习", "神经网络"],
        ["自然语言处理", "文本挖掘", "信息检索"],
        ["推荐系统", "数据挖掘", "大数据"]]

# 创建字典和语料库
dictionary = Dictionary(data)
corpus = [dictionary.doc2bow(text) for text in data]

# 训练LDA模型
lda_model = LdaModel(corpus=corpus, id2word=dictionary, num_topics=3, passes=10)

# 计算一致性
coherence_model_lda = CoherenceModel(model=lda_model, texts=data, dictionary=dictionary, coherence='c_v')
coherence_lda = coherence_model_lda.get_coherence()
print('\nCoherence Score: ', coherence_lda)

# 计算困惑度
perplexity = lda_model.log_perplexity(corpus)
print('\nPerplexity: ', perplexity)

在这个例子中，我们使用了一个包含3个文档和每个文档包含3个单词的数据集。我们首先创建了一个字典和语料库，并使用Gensim库的LdaModel方法训练了一个3个主题的LDA模型。然后，我们使用CoherenceModel计算一致性得分，并使用LdaModel的log_perplexity方法计算困惑度。