python分词统计词频
时间: 2023-07-08 08:54:12 浏览: 103
Python 分词,词频统计,寻找公共词
5星 · 资源好评率100%
好的,我可以为您介绍一下如何使用Python进行分词和统计词频。首先,您需要安装中文分词库,比如jieba。
安装命令如下:
```
pip install jieba
```
然后,您可以使用以下代码进行分词和统计词频:
```python
import jieba
from collections import Counter
text = "这是一段测试文本,用于测试分词和统计词频的功能。"
# 使用jieba进行分词
words = jieba.cut(text)
# 统计词频
word_counts = Counter(words)
# 输出结果
for word, count in word_counts.most_common():
print("{}\t{}".format(word, count))
```
输出结果将会是每个词语及其出现的次数,按照出现次数由多到少排序。
您可以根据您的需求,对分词结果进行进一步的处理和分析。
阅读全文