【数据处理策略】：defaultdict在数据聚合中的8个实战应用

# 1. defaultdict入门与基础使用

在Python编程中，`defaultdict` 是一个非常有用的容器，它是内置字典类型的一个子类。它允许我们在访问不存在的键时返回一个默认值，这在很多情况下可以简化代码。本章将介绍如何入门和基础使用 `defaultdict`。

首先，我们将看到如何导入 `collections` 模块中的 `defaultdict` 类并创建一个基本的 `defaultdict` 对象。接下来，我们会通过一些简单示例来了解如何使用它，包括添加元素、访问键值等。本章的目标是让读者理解 `defaultdict` 的基本概念，并能够在实际的编程中应用它。

我们将以代码块的形式展示如何创建和使用 `defaultdict`，并解释代码中每个步骤的作用。这将为后续章节中更高级的用法打下坚实的基础。

# 导入defaultdict
from collections import defaultdict

# 创建一个defaultdict，指定默认值为list
d = defaultdict(list)

# 向defaultdict添加数据
d['fruits'].append('apple')
d['fruits'].append('banana')

# 访问默认值，即使键尚未存在
print(d['colors'])  # 输出: []

以上代码演示了 `defaultdict` 的基本用法，当尝试访问一个不存在的键时，它会返回一个默认值，在这个例子中是空列表 `[]`。这使得初始化过程变得非常简单。在接下来的章节中，我们将探索 `defaultdict` 在更复杂场景中的应用，如数据统计分析、复杂数据结构处理等。

# 2. defaultdict在统计分析中的应用

在统计分析领域，defaultdict提供了一种极为高效的方式来聚合和处理数据。它不仅可以帮助我们快速计算统计数据，还可以在复杂的场景下进行有效的数据重塑。本章我们将深入探讨defaultdict在统计分析中的几种典型应用。

### 2.1 基本统计数据聚合

defaultdict最常见的应用之一是在聚合数据时的计数和求和操作。这两种操作是数据分析中的基础，可以帮助我们获得数据集中的基本统计量。

#### 2.1.1 计数聚合示例

计数聚合是一个统计中经常遇到的场景，例如统计某个数据集中某一类别的出现次数。

from collections import defaultdict

# 假设我们有一组数据表示一些用户的购买行为，我们将统计每个用户的购买次数
purchases = [
    ('Alice', 'Product1'),
    ('Bob', 'Product2'),
    ('Alice', 'Product1'),
    ('Charlie', 'Product3'),
    ('Bob', 'Product2'),
    ('Alice', 'Product1')
]

# 使用defaultdict来实现计数聚合
purchase_counts = defaultdict(int)

for user, product in purchases:
    purchase_counts[user] += 1

# 打印出每个用户的购买次数
for user, count in purchase_counts.items():
    print(f"{user} bought {count} items")

通过使用defaultdict，我们可以轻松地对每个用户进行计数操作，而不需要单独检查字典中是否已存在该用户。

#### 2.1.2 求和聚合示例

求和聚合是另一种常见的数据聚合方式，它用于计算某数值字段的总和。

# 假设我们有一组销售数据，我们将计算每个产品的总销售额
sales_data = [
    ('Product1', 150),
    ('Product2', 300),
    ('Product1', 120),
    ('Product3', 180),
    ('Product2', 250),
    ('Product1', 100)
]

# 使用defaultdict来实现求和聚合
total_sales = defaultdict(float)

for product, sale in sales_data:
    total_sales[product] += sale

# 打印出每个产品的总销售额
for product, total in total_sales.items():
    print(f"{product} had total sales of ${total}")

这里我们使用float作为defaultdict的默认工厂函数，以便能够存储销售数据的总和，它可能是一个小数。

### 2.2 分组聚合与数据重塑

分组聚合是数据处理中的一种高级操作，它允许我们按照某一字段将数据集分成几个子集，并在每个子集上执行聚合函数。

#### 2.2.1 分组聚合方法

分组聚合最常见的方法是使用`groupby`函数，它可以与defaultdict结合使用，以实现分组聚合的目的。

from itertools import groupby

# 假设我们有一组数据表示学生的考试成绩，我们将按科目分组，并计算每组的平均分
exam_scores = [
    ('Math', 87),
    ('Math', 92),
    ('Science', 78),
    ('Science', 85),
    ('Math', 93),
    ('Science', 90)
]

# 使用groupby进行分组，并用defaultdict存储每个科目的平均分
average_scores = defaultdict(list)

for key, group in groupby(exam_scores, lambda x: x[0]):
    scores = [score for _, score in group]
    average_scores[key].append(sum(scores) / len(scores))

# 打印出每个科目的平均分
for subject, avg in average_scores.items():
    print(f"The average score for {subject} is {avg[0]}")

通过上述代码，我们不仅实现了分组聚合，还将每个科目下学生的平均分数计算了出来。

#### 2.2.2 数据重塑技巧

数据重塑通常是指将数据从一种格式转换为另一种格式，以适应分析的需求。defaultdict可以与字典的`get`方法结合使用，以便快速实现数据重塑。

# 假设我们有一组数据表示每个城市每个季度的销售量，我们将重塑成每个城市全年总销售量的格式
sales_by_city = [
    ('City1', 'Q1', 100),
    ('City1', 'Q2', 120),
    ('City2', 'Q1', 80),
    ('City2', 'Q2', 150),
    ('City1', 'Q3', 110),
    ('City2', 'Q3', 130)
]

# 使用defaultdict和字典的get方法来实现数据重塑
annual_sales = defaultdict(dict)

for city, quarter, sales in sales_by_city:
    # 使用get方法尝试获取当前城市全年的总销售量，若不存在则初始化为0
    annual_sales[city] = annual_sales[city].get(2022, 0) + sales

# 打印出每个城市全年的总销售量
for city, sales in annual_sales.items():
    print(f"{city} had total sales of {sales[2022]} in 2022")

通过使用defaultdict和get方法，我们可以有效地将数据从季度格式重塑为年度总销售量的格式。

### 2.3 时间序列数据处理

时间序列数据处理是数据分析中的一个特定领域，它涉及到对时间相关的数据序列进行操作和分析。defaultdict可以在此类场景中发挥重要作用。

#### 2.3.1 时间分组聚合

时间分组聚合涉及到将数据按时间戳分组，并在每个时间分组上执行聚合操作。这通常需要将时间戳作为字典的键。

import pandas as pd
from datetime import datetime

# 假设我们有一组时间序列数据，表示每天的用户访问次数，我们将计算每月的总访问次数
visits_per_day = [
    ('2022-01-01', 120),
    ('2022-01-02', 130),
    ('2022-01-31', 150),
    ('2022-02-01', 160),
    ('2022-02-28', 145),
    ('2022-03-01', 170)
]

# 将字符串时间戳转换为datetime对象，并使用defaultdict进行时间分组聚合
monthly_visits = defaultdict(int)

for date_str, visits in visits_per_day:
    date = datetime.strptime(date_str, '%Y-%m-%d')
    monthly_visits[date.strftime('%Y-%m')] += visits

# 打印出每月的总访问次数
for month, total in monthly_visits.items():
    print(f"In {month}, there were {total} visits in total")

通过上述代码，我们可以轻松地将每天的用户访问次数聚合成每月的访问次数。

#### 2.3.2 时间序列的缺失值填充

在处理时间序列数据时，经常会遇到数据缺失的问题。使用defaultdict可以帮助我们快速填充这些缺失值。

# 假设我们在上一个例子中发现了一些缺失的数据点，我们希望填补这些空白
# 例如，2022年2月份的数据缺失了2月15日的数据，我们可以使用defaultdict来填充

# 定义一个函数来填充缺失的日期
def fill_missing_dates(dates, start_date, end_date):
    filled_dates = [date.strftime('%Y-%m-%d') for date in pd.date_range(start_date, end_date)]
    filled_dates_set = set(filled_dates)
    for date_str in dates:
        date = datetime.strptime(date_str, '%Y-%m-%d')
        while date.strftime('%Y-%m-%d') not in filled_dates_set:
            date = date + pd.Timedelta(days=1)
            filled_dates.append(date.strftime('%Y-%m-%d'))
    return filled_dates

# 使用fill_missing_dates函数填充缺失的日期，然后聚合
all_dates = fill_missing_dates([date_str for date_str, _ in visits_per_day], '2022-01-01', '2022-03-31')
all_visits = defaultdict(int)

for date_str in all_dates:
    date = datetime.strptime(date_str, '%Y-%m-%d')
    all_visits[date.