通过jieba 对txt 文档进行分词代码
时间: 2024-01-10 15:03:57 浏览: 156
好的,以下是使用jieba对txt文档进行分词的代码示例:
```python
import jieba
# 打开文本文件并读取内容
with open('example.txt', encoding='utf-8') as f:
text = f.read()
# 使用jieba分词
words = jieba.cut(text)
# 将分词结果保存到文件中
with open('output.txt', 'w', encoding='utf-8') as f:
f.write(' '.join(words))
```
在代码中,我们首先使用Python内置的`open()`函数打开文本文件,并使用`read()`方法读取其内容。然后,使用`jieba.cut()`函数对文本进行分词,得到一个可迭代的分词结果。最后,我们将分词结果保存到文件中,以便后续使用。
需要注意的是,我们在调用`jieba.cut()`函数时,可以传递一些参数来控制分词的行为,例如指定使用的词典、是否启用HMM模型等等。具体的使用方法可以参考jieba的文档。
阅读全文