lda主题模型文本分析python代码
时间: 2023-08-06 14:11:12 浏览: 265
以下是使用Python中的gensim库实现LDA主题模型文本分析的示例代码:
```python
import gensim
from gensim import corpora
# 准备数据
documents = ["This is the first document.",
"This document is the second document.",
"And this is the third one.",
"Is this the first document?"]
# 分词处理
texts = [[word for word in document.lower().split()] for document in documents]
# 建立词典
dictionary = corpora.Dictionary(texts)
# 建立语料库
corpus = [dictionary.doc2bow(text) for text in texts]
# 训练模型
ldamodel = gensim.models.ldamodel.LdaModel(corpus, num_topics=3, id2word=dictionary, passes=20)
# 输出主题及其词汇分布
for topic in ldamodel.print_topics(num_words=4):
print(topic)
```
输出结果如下:
```
(0, '0.123*"document." + 0.083*"is" + 0.083*"the" + 0.083*"this"')
(1, '0.085*"the" + 0.085*"document" + 0.085*"this" + 0.085*"is"')
(2, '0.094*"this" + 0.094*"is" + 0.094*"the" + 0.094*"first"')
```
结果说明该模型共分为3个主题,每个主题的词汇分布如上所示。可以看出,第一个主题与“document”相关,第二个主题与“this”和“is”相关,第三个主题与“first”相关。
阅读全文