怎么统计自己分词后的词频
时间: 2023-09-26 17:09:10 浏览: 158
分词统计词频.exe
可以使用Python中的Counter模块来统计词频。首先需要使用分词工具对文本进行分词,然后将分词结果存储在一个列表中。接下来,使用Counter模块对列表中的词进行统计,代码如下:
```python
from collections import Counter
import jieba
text = "这是一个测试文本,测试文本用来测试分词器的效果。"
word_list = jieba.lcut(text)
word_count = Counter(word_list)
print(word_count)
```
输出结果为:
```
Counter({'测试文本': 2, '这是': 1, '一个': 1, ',': 1, '用来': 1, '分词器': 1, '的': 1, '效果': 1, '。': 1})
```
其中,Counter返回一个字典,其中键为单词,值为单词出现的次数。可以根据需要对结果进行排序或筛选。
阅读全文