读取csv文件进行词频统计
时间: 2023-07-18 09:17:23 浏览: 89
遍历文件夹下的CSV文件并统计指定列单词的词频
好的,我可以为您提供词频统计的代码。你需要安装pandas和collections库,然后使用pandas库读取CSV文件并对句子进行分词,最后使用collections库中的Counter类进行词频统计。
以下是示例代码:
```python
import pandas as pd
from collections import Counter
import jieba
# 读取CSV文件
data = pd.read_csv('data.csv')
# 分词
seg_list = []
for sentence in data['句子']:
seg_list.extend(jieba.lcut(sentence))
# 进行词频统计
word_counts = Counter(seg_list)
# 打印词频统计结果(前10个)
print(word_counts.most_common(10))
```
在这个例子中,我们使用了一个名为"data.csv"的CSV文件,其中包含一个名为"句子"的列,包含一些句子。我们使用jieba库进行中文分词,并使用collections库中的Counter类进行词频统计。最后,我们打印了前10个词频统计结果。
阅读全文