jieba分词一个文档
时间: 2023-11-22 11:11:50 浏览: 68
ruby-fighter:Ruby中的Street Fighter II!
要对一个文档进行分词,可以将文档读取进来,然后使用jieba对文档进行分词。以下是一个示例代码:
```python
import jieba
# 读取文档
with open('document.txt', 'r', encoding='utf-8') as f:
text = f.read()
# 对文档进行分词
seg_list = jieba.cut(text, cut_all=False)
# 将分好的词语写入文件
with open('document_seg.txt', 'w', encoding='utf-8') as f:
f.write(" ".join(seg_list))
```
在以上代码中,我们首先使用`open`函数读取文档,然后使用`jieba.cut`函数对文档进行分词。最后将分好的词语使用`join`函数拼接成字符串,写入一个新的文件中。
阅读全文