python的jieba库基本用法

1. 安装

可以通过 pip 安装 jieba 库，命令如下：

pip install jieba

2. 分词

使用 jieba 库进行分词非常简单，只需要调用 jieba.cut 方法即可。以下是基本的分词示例：

import jieba

text = "我爱自然语言处理"
words = jieba.cut(text)

print(list(words))  # ['我', '爱', '自然语言处理']

3. 关键词提取

可以使用 jieba.analyse 库提取关键词，以下是基本的关键词提取示例：

import jieba.analyse

text = "我爱自然语言处理"
keywords = jieba.analyse.extract_tags(text)

print(keywords)  # ['自然语言处理', '爱']

4. 添加用户词典

如果 jieba 分词库中没有某些专业术语或其他词汇，可以通过添加用户词典进行补充。以下是基本的用户词典添加示例：

import jieba

# 添加用户词典
jieba.load_userdict('user_dict.txt')

text = "我爱自然语言处理"
words = jieba.cut(text)

print(list(words))  # ['我', '爱', '自然语言处理']

在添加用户词典时，需要将自定义词汇写入一个文本文件中，每个词汇占一行。文件示例：

自然语言处理

5. 其他功能

jieba 还有其他一些功能，如词性标注和并行分词。这里只是简单介绍基本用法。完整的使用文档可以参考官方文档：https://github.com/fxsjy/jieba#%E4%BD%BF%E7%94%A8%E6%96%B9%E5%BC%8F