用python3写一段代码,使用jieba打开一段txt文件进行分词及词频统计,并逐行写入一个新的txt文件中
时间: 2024-03-25 15:41:54 浏览: 171
python使用jieba进行分词统计
5星 · 资源好评率100%
好的,以下是代码实现:
```python
import jieba
# 打开原始文件和目标文件
with open('input.txt', 'r', encoding='utf-8') as f, open('output.txt', 'w', encoding='utf-8') as fw:
# 读取原始文件每一行内容并进行分词
for line in f:
words = jieba.cut(line.strip())
# 统计每个词的出现频率
word_dict = {}
for word in words:
if len(word) > 1:
if word not in word_dict:
word_dict[word] = 1
else:
word_dict[word] += 1
# 将统计结果逐行写入目标文件
for word, freq in word_dict.items():
fw.write(word + ' ' + str(freq) + '\n')
```
这段代码会将原始文件每一行进行分词并统计词频,然后将结果逐行写入目标文件中。请将`input.txt`替换为你要分词的文件名,`output.txt`替换为你要输出的文件名。
阅读全文