生成实现一个文本的unigram词频统计 的python代码
时间: 2024-05-02 14:23:32 浏览: 103
以下是实现一个文本的unigram词频统计的Python代码样例:
```python
text = "the quick brown fox jumps over the lazy dog"
tokens = text.split()
unigrams = {}
for token in tokens:
if token not in unigrams:
unigrams[token] = 1
else:
unigrams[token] += 1
print(unigrams)
```
上述代码将文本字符串按空格分割为单词,然后遍历每个单词,并以字典形式存储每个单词出现的次数(即单词频率),最后打印结果。你可以根据需要进行修改和扩展,例如读取文件、过滤停用词、统计频率排名等等。
阅读全文