jieba txt按行分词
时间: 2023-08-25 08:06:21 浏览: 98
可以使用Python中的jieba库和文件读取操作,按行读取txt文件并逐行分词,示例代码如下:
```python
import jieba
# 打开文件并按行读取
with open('input.txt', 'r', encoding='utf-8') as f:
lines = f.readlines()
# 逐行分词并输出结果
for line in lines:
words = jieba.lcut(line.strip()) # strip函数用于去除行末的换行符
print(words)
```
这样就可以将txt文件按行分词了。其中,`lcut`函数是jieba库中的分词函数,返回一个列表,包含分好的词语。需要注意的是,jieba默认使用精确模式分词,如果需要使用其他模式,可以在分词函数中指定。
阅读全文