python 大量文件 词频统计

要进行Python大量文件的词频统计，可以参考以下步骤：

1. 首先，需要遍历整个文件夹，获取所有文件的路径。可以使用os模块中的os.walk()函数来实现这一步骤。

2. 对于每个文件，可以使用文件操作和字符串处理来读取文件内容并进行词频统计。可以使用codecs模块来读取文件，使用正则表达式或字符串分割来拆分文本内容为单词。

3. 创建一个字典来存储每个单词及其出现的频率。在遍历文件时，对于每个单词，如果字典中已存在，则将其计数加1；如果字典中不存在，则将其添加到字典中，并初始计数为1。

4. 对字典按照单词频率进行排序，可以使用sorted函数并结合lambda表达式来实现。

5. 可以选择输出前N个频率最高的单词及其频率，这里设定N为10。可以使用切片操作来获取字典中前N个元素。

下面是一个示例代码，演示了如何实现Python大量文件的词频统计：

import os
import codecs
import re

# 定义文件夹路径
folder_path = './folder'

# 定义字典用于存储单词及其出现的频率
word_freq = {}

# 遍历文件夹中的所有文件
for root, dirs, files in os.walk(folder_path):
    for file in files:
        # 拼接文件路径
        file_path = os.path.join(root, file)
        # 读取文件内容
        with codecs.open(file_path, 'r', encoding='utf-8') as f:
            content = f.read()
            # 使用正则表达式或字符串分割将文本内容拆分为单词
            words = re.findall(r'\b\w+\b', content.lower())
            # 统计单词频率
            for word in words:
                if word in word_freq:
                    word_freq[word += 1
                else:
                    word_freq[word = 1

# 对字典按照单词频率进行排序
sorted_word_freq = sorted(word_freq.items(), key=lambda x: x<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
-  *1* [python实现简单中文词频统计示例](https://download.csdn.net/download/weixin_38739101/13772666)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"]
-  *2* [python文件词频统计](https://download.csdn.net/download/weixin_43332900/12109517)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"]
-  *3* [python实现TXT文件批量处理-分割、翻译和格式转excel](https://download.csdn.net/download/qq_41970674/88274911)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"]
[ .reference_list ]