python文本分析例子
时间: 2023-06-29 13:14:03 浏览: 175
Python文本分析
下面是一个简单的Python文本分析例子,包括读取文件、分词、统计词频等操作:
```python
import jieba
from collections import Counter
# 读取文件
with open('test.txt', 'r', encoding='utf-8') as f:
text = f.read()
# 分词
words = list(jieba.cut(text))
# 统计词频
word_counts = Counter(words)
# 输出前10个出现频率最高的词
for word, count in word_counts.most_common(10):
print(word, count)
```
这段代码使用了jieba库进行中文分词,以及collections库中的Counter函数统计词频。读取文件时需要注意指定文件的编码方式。最后输出了出现频率最高的前10个词。
阅读全文