LDA的Python代码
时间: 2023-11-05 12:59:23 浏览: 109
以下是在Python中使用LDA进行主题建模的示例代码:
```python
import pandas as pd
import numpy as np
import gensim
from gensim import corpora
from gensim.models import LdaModel
import pyLDAvis.gensim
# 读取文本数据
df = pd.read_csv('data.txt', header=None, names=['text'])
# 转换为gensim使用的文本格式
documents = df['text'].values.tolist()
texts = [[word for word in document.lower().split()] for document in documents]
# 构建词典
dictionary = corpora.Dictionary(texts)
dictionary.filter_extremes(no_below=5, no_above=0.5)
# 构建文档-词频矩阵
corpus = [dictionary.doc2bow(text) for text in texts]
# 训练LDA模型
lda_model = LdaModel(corpus=corpus, id2word=dictionary, num_topics=10)
# 可视化结果
pyLDAvis.enable_notebook()
vis = pyLDAvis.gensim.prepare(lda_model, corpus, dictionary)
pyLDAvis.display(vis)
```
该代码将文本数据读入Pandas DataFrame中,使用gensim将其转换为LDA模型所需的格式。然后,它使用gensim的LdaModel函数训练LDA模型,并使用pyLDAvis.gensim库可视化结果。
阅读全文