Python词典 战略 词频统计

### 使用Python字典实现词频统计

在Python中，利用字典进行词频统计是一种高效的方法。这种方法不仅能够清晰地展示每个单词出现的次数，还能方便后续的数据处理和分析。

#### 预处理文本
为了确保统计结果准确，在开始之前需要对原始文本做一定的预处理工作[^1]：

- 将所有字符转换成小写形式；
- 移除标点符号和其他特殊字符；
- 对于中文文本还需要考虑分词操作[^2]；

import re
from jieba import lcut  # 如果是处理英文则不需要这行


def preprocess_text(text, is_chinese=False):
    text = text.lower()
    text = re.sub(r'\W+', ' ', text)

    if is_chinese:
        words = lcut(text)
    else:
        words = text.split()

    return words

#### 构建词频表
接下来就是构建一个空字典来存储各个词语及其对应的计数值。遍历经过清理后的列表中的每一个项，并更新到字典里去：

def count_word_frequencies(words):
    frequency_dict = {}
    
    for word in words:
        if word not in frequency_dict:
            frequency_dict[word] = 0
        
        frequency_dict[word] += 1
    
    return frequency_dict

当然也可以更简洁的方式使用`collections.Counter`类来自动生成这样的映射关系[^3]:

from collections import Counter

def count_word_frequencies_with_counter(words):
    return dict(Counter(words))

以上两种方法都可以有效地完成基于Python字典的词频统计任务。对于大规模数据集来说，建议采用后者因为它具有更好的性能表现。