读取data. txt文件并借助jieba实现词频统计
时间: 2023-12-16 11:02:59 浏览: 99
大型文件中词频的统计
好的,我可以帮你完成这个任务。首先需要安装jieba库,你可以使用以下命令进行安装:
```
pip install jieba
```
安装完成后,你可以使用以下代码读取data.txt文件并实现词频统计:
```python
import jieba
# 读取文件内容
with open('data.txt', 'r', encoding='utf-8') as f:
text = f.read()
# 分词
words = jieba.cut(text)
word_freq = {}
# 统计词频
for word in words:
if len(word) > 1: # 过滤掉单个汉字
word_freq[word] = word_freq.get(word, 0) + 1
# 输出前10个高频词
top_words = sorted(word_freq.items(), key=lambda x: x[1], reverse=True)[:10]
for word, freq in top_words:
print(f'{word}: {freq}')
```
这段代码会先读取data.txt文件的内容,然后使用jieba库进行分词,最后统计每个词出现的频率并输出前10个高频词。注意,这里过滤掉了单个汉字,因为单个汉字的意义比较模糊,不利于后续的分析。
阅读全文