python中文分词库中文分词库jieba使用方法详解使用方法详解
安装安装python中文分词库中文分词库jieba
法1:Anaconda Prompt下输入conda install jieba
法2:Terminal下输入pip3 install jieba
1、分词、分词
1.1、、CUT函数简介函数简介
cut(sentence, cut_all=False, HMM=True)
返回生成器,遍历生成器即可获得分词的结果
lcut(sentence)
返回分词列表
import jieba
sentence = '我爱自然语言处理'
# 创建【Tokenizer.cut 生成器】对象
generator = jieba.cut(sentence)
# 遍历生成器,打印分词结果
words = '/'.join(generator)
print(words)
打印结果
我/爱/自然语言/处理
import jieba
print(jieba.lcut('我爱南海中学'))
打印结果
[‘我’, ‘爱’, ‘南海中学’]
1.2、分词模式、分词模式
精确模式:精确地切开
全模式:所有可能的词语都切出,速度快
搜索引擎模式:在精确模式的基础上,对长词再次切分
import jieba
sentence = '订单数据分析'
print('精准模式:', jieba.lcut(sentence))
print('全模式:', jieba.lcut(sentence, cut_all=True))
print('搜索引擎模式:', jieba.lcut_for_search(sentence))
打印结果
精准模式: [‘订单’, ‘数据分析’]
全模式: [‘订单’, ‘订单数’, ‘单数’, ‘数据’, ‘数据分析’, ‘分析’]
搜索引擎模式: [‘订单’, ‘数据’, ‘分析’, ‘数据分析’]
1.3、词性标注、词性标注
jieba.posseg
import jieba.posseg as jp
sentence = '我爱Python数据分析'
posseg = jp.cut(sentence)
for i in posseg:
print(i.__dict__)
# print(i.word, i.flag)
评论0