python 分词代码

当涉及到Python中的分词代码时，最常用的库是jieba和NLTK。下面是一个使用jieba库进行中文分词的示例代码：

import jieba

# 设置自定义词典（可选）
jieba.load_userdict("custom_dict.txt")

# 分词
text = "我喜欢用Python进行自然语言处理"
seg_list = jieba.cut(text, cut_all=False)

# 输出分词结果
print(" ".join(seg_list))

在上面的代码中，我们首先导入jieba库。然后，我们可以选择加载自定义词典（可选），这样可以提高分词的准确性。接下来，我们定义了一个待分词的文本字符串。然后，我们使用`jieba.cut`函数对文本进行分词，其中`cut_all=False`表示采用精确模式进行分词。最后，我们将分词结果用空格连接起来并打印出来。

如果你想使用NLTK库进行英文分词，可以使用以下示例代码：

from nltk.tokenize import word_tokenize

# 分词
text = "I love natural language processing with Python"
tokens = word_tokenize(text)

# 输出分词结果
print(tokens)

在上面的代码中，我们首先从nltk.tokenize模块导入word_tokenize函数。然后，我们定义了一个待分词的英文文本字符串。接下来，我们使用`word_tokenize`函数对文本进行分词，并将结果存储在tokens变量中。最后，我们打印出分词结果。

希望以上代码对你有所帮助！