python中文词频统计
时间: 2023-05-23 18:04:01 浏览: 215
可以使用Python中的Jieba库来实现中文词频统计。首先需要将文本文件读取并分词,然后对每个词语进行计数,最后输出结果即可。
以下是示例代码:
```python
import jieba
filename = 'example.txt' # 假设需要统计的文本文件名为example.txt
# 读取文件并分词
with open(filename, 'r', encoding='utf-8') as f:
text = f.read()
words = jieba.lcut(text)
# 统计词频
word_counts = {}
for word in words:
if len(word) < 2: # 过滤掉长度小于2的词语,可根据实际需求调整
continue
if word not in word_counts:
word_counts[word] = 1
else:
word_counts[word] += 1
# 按词频排序并输出
sorted_word_counts = sorted(word_counts.items(), key=lambda x: x[1], reverse=True)
for word, count in sorted_word_counts:
print(word, count)
```
这段代码可以对指定的文本文件进行中文词频统计,并按照词频从高到低输出每个词语及其出现次数。
相关问题
python中文词频统计_Python中文词频统计
在Python中进行中文词频统计,可以使用jieba库来进行中文分词。以下是一个简单的示例:
```python
import jieba
# 读取文本文件
with open("text.txt", "r", encoding="utf-8") as f:
text = f.read()
# 使用jieba分词
words = jieba.cut(text)
# 统计词频
freq = {}
for word in words:
if word in freq:
freq[word] += 1
else:
freq[word] = 1
# 输出结果
for word, count in freq.items():
print(word, count)
```
其中,先使用`jieba.cut()`方法对文本进行分词,然后使用一个字典来统计每个词出现的次数。最后遍历字典,输出结果。需要注意的是,在使用jieba库前,需要先安装和下载其所需要的字典文件。
python中文词频排序_Python中文词频统计
好的,这是一个关于Python中文词频排序的问题。你可以使用Python中的中文分词库(如jieba)来对中文文本进行分词,并统计每个词出现的次数,最后按照词频排序。以下是一个简单的例子:
```python
import jieba
from collections import Counter
text = "这是一段中文文本,我们可以使用Python中的中文分词库(如jieba)来对中文文本进行分词,并统计每个词出现的次数,最后按照词频排序。"
# 对文本进行分词
words = jieba.cut(text)
# 统计词频
word_count = Counter(words)
# 按照词频排序
word_freq = sorted(word_count.items(), key=lambda x:x[1], reverse=True)
# 输出结果
for w, f in word_freq:
print(w, f)
```
输出结果如下:
```
中文 3
分词 2
文本 2
词频 2
使用 1
Python 1
库 1
jieba 1
对 1
进行 1
每个 1
词 1
出现 1
次数 1
最后 1
按照 1
排序 1
这是 1
一段 1
可以 1
我们 1
```
希望这可以帮到你!
阅读全文