python中文文本分词

在Python中可以使用第三方库jieba来进行中文文本分词。下面是一个简单的示例：

import jieba

text = "我喜欢使用Python进行自然语言处理。"
words = jieba.cut(text)

for word in words:
    print(word)

输出结果：

我
喜欢
使用
Python
进行
自然语言处理
。

其中，`jieba.cut()`函数用于进行分词，返回一个可迭代的生成器对象，每次迭代返回一个分好的词语。如果需要使用全模式（把文本中所有可能的词语都扫描出来，速度快但是不能解决歧义），可以使用`jieba.cut()`函数的第二个参数`cut_all=True`。如果需要使用搜索引擎模式（在全模式的基础上，对长词再次切分，可以解决一些歧义），可以使用`jieba.cut_for_search()`函数。