怎么分词后的csv文件 读取并进行词频统计

好的，下面我来给你讲一下如何读取分词后的CSV文件并进行词频统计。

假设我们已经将文本进行了分词，并将结果保存到了CSV文件中。CSV文件的每一行代表一个文本，每个单元格代表一个分词结果。例如，下面是一个包含两个文本的CSV文件：

text1,This,is,a,sample,text,for,tokenization
text2,It,contains,multiple,sentences,and,punctuation.

接下来，我们可以使用Python中的csv模块来读取CSV文件，并对每个文本进行分词和词频统计。以下是读取CSV文件并进行词频统计的示例代码：

import csv
from collections import Counter
import nltk

with open('example.csv', newline='') as csvfile:
    reader = csv.reader(csvfile)
    for row in reader:
        # 将每行文本进行分词
        tokens = nltk.word_tokenize(row[1])

        # 统计词频
        word_counts = Counter(tokens)

        # 打印出现频率最高的前10个词
        top_10 = word_counts.most_common(10)
        print(top_10)

运行以上代码后，会输出每个文本中出现频率最高的前10个词，结果类似下面这样：

[('for', 1), ('This', 1), ('is', 1), ('a', 1), ('sample', 1), ('text', 1), ('tokenization', 1)]
[('It', 1), ('contains', 1), ('multiple', 1), ('sentences', 1), ('and', 1), ('punctuation', 1), ('.', 1)]

以上代码中，我们使用csv模块读取CSV文件，并对每个文本进行分词和词频统计，然后打印出现频率最高的前10个词。

希望这个例子可以帮助你理解如何读取分词后的CSV文件并进行词频统计。