读取 data.txt 文件并借助 jieba 库实现词频统计
时间: 2024-02-01 22:15:46 浏览: 78
基于python的将pdf转为txt然后进行分词,并进行词频统计
好的,以下是实现的代码:
```python
import jieba
# 读取文件内容
with open("data.txt", "r", encoding="utf-8") as f:
content = f.read()
# 分词
words = jieba.cut(content)
# 统计词频
word_freq = {}
for word in words:
if len(word) > 1:
word_freq[word] = word_freq.get(word, 0) + 1
# 排序并输出结果
sorted_word_freq = sorted(word_freq.items(), key=lambda x: x[1], reverse=True)
for word, freq in sorted_word_freq:
print(word, freq)
```
这段代码首先读取了名为 `data.txt` 的文件,并使用 `jieba` 库对文件内容进行分词。然后遍历分词结果,统计每个词出现的次数,存储在 `word_freq` 字典中。最后将字典按照值从大到小排序,并输出结果。
阅读全文