python获得词频排名前100的分词
时间: 2023-07-12 08:50:44 浏览: 185
python jieba分词并统计词频后输出结果到Excel和txt文档方法
可以使用Python中的jieba库进行中文分词,并使用collections库中的Counter类进行词频统计。
以下是获取词频排名前100的分词的示例代码:
```python
import jieba
from collections import Counter
# 读取文本文件并进行分词
with open('text.txt', 'r', encoding='utf-8') as f:
text = f.read()
words = jieba.cut(text)
# 统计词频并获取排名前100的分词
word_count = Counter(words)
top100 = word_count.most_common(100)
# 输出结果
for i, word in enumerate(top100):
print(f'{i+1}. {word[0]}: {word[1]}')
```
其中,text.txt为要分词的文本文件,可以根据实际需要进行修改。输出结果为词语及其出现频次,按照频次从高到低排列。
阅读全文