用python代码写一个jieba模块和re模块结合在一起的分词代码
时间: 2024-05-08 12:17:45 浏览: 222
这里是一个使用jieba模块和re模块结合的分词代码示例:
```
import jieba
import re
# 定义待分词的文本
text = "Python是一门非常流行的编程语言,它可以用于Web开发、数据分析、人工智能等多个领域。"
# 使用正则表达式去除文本中的标点符号和空格
text = re.sub(r'[^\w\s]','',text)
text = re.sub(r'\s+','',text)
# 使用jieba进行分词
words = jieba.lcut(text)
# 输出分词结果
print(words)
```
在上面的代码中,我们首先定义了待分词的文本,然后使用re模块中的sub()函数去除文本中的标点符号和空格。接着,我们使用jieba模块的lcut()函数对文本进行分词,并将结果保存在words变量中。最后,我们输出分词结果。
阅读全文