python分词jieba

jieba是一个开源的中文分词工具，它采用了基于前缀词典和HMM模型的分词算法。jieba具有以下特点：

1. 支持三种分词模式：精确模式、全模式和搜索引擎模式。精确模式是默认模式，会尽量将句子切分成最精确的词语；全模式会将句子中所有可能的词语都切分出来；搜索引擎模式在精确模式的基础上，对长词再次切分，提高召回率。

2. 支持自定义词典：可以通过添加自定义词典来增加分词准确性。自定义词典可以是文本文件，每行一个词语，也可以是Python列表。

3. 支持并行分词：通过开启并行分词，可以利用多核CPU进行分词加速。

4. 支持繁体分词：可以将繁体文本转换为简体后再进行分词。

5. 支持关键词提取：jieba还提供了关键词提取功能，可以根据TF-IDF算法或TextRank算法提取文本中的关键词。

使用jieba进行分词非常简单，只需要导入jieba库并调用相应的函数即可。下面是一个简单的示例：

import jieba

# 精确模式分词
text = "我喜欢使用jieba进行中文分词"
seg_list = jieba.cut(text, cut_all=False)
print("精确模式分词结果：", "/".join(seg_list))

# 全模式分词
seg_list = jieba.cut(text, cut_all=True)
print("全模式分词结果：", "/".join(seg_list))

# 搜索引擎模式分词
seg_list = jieba.cut_for_search(text)
print("搜索引擎模式分词结果：", "/".join(seg_list))

以上代码会输出以下结果：

精确模式分词结果： 我/喜欢/使用/jieba/进行/中文/分词
全模式分词结果： 我/喜欢/使用/jieba/进行/中文/分词
搜索引擎模式分词结果： 我/喜欢/使用/jieba/进行/中文/分词