python对分词后的csv进行词频统计
时间: 2023-11-17 12:11:27 浏览: 113
python进行词频统计的三种方式
5星 · 资源好评率100%
可以使用Python中的pandas和nltk包来对分词后的csv进行词频统计。使用pandas读取csv文件,然后利用nltk包进行分词和词频统计。具体实现可以参考以下代码:
```python
import pandas as pd
import nltk
# 读取csv文件
df = pd.read_csv('分词后的csv文件.csv', encoding='utf-8')
# 合并所有分词
words = []
for sentence in df['分词列名']:
words += sentence.split(',')
# 进行词频统计
fdist = nltk.FreqDist(words)
# 输出前10个高频词
for word, freq in fdist.most_common(10):
print("{}: {}".format(word, freq))
```
这样就可以对分词后的csv文件进行词频统计了,输出结果为前10个高频词。
阅读全文