数据处理揭秘：如何在Pandas DataFrame中处理缺失数据并求和


参考资源链接：[python中pandas.DataFrame对行与列求和及添加新行与列示例](https://wenku.csdn.net/doc/cyhdalx4m0?spm=1055.2635.3001.10343)
# 1. Pandas DataFrame概述

## 数据结构简介

Pandas是一个强大的Python数据分析工具库，它的核心数据结构之一是DataFrame。DataFrame是一个二维标签化数据结构，具有潜在的不同类型的数据，可以被看作一个表格或者说是电子表格的Python实现。它的每一列可以是不同的数据类型（数值，字符串，布尔值等），这种数据结构特别适合进行各种类型的数据操作。

## DataFrame的关键特性

DataFrame具备几个关键特性，使它在数据分析和处理中非常灵活和强大：

- 可以在多个维度上进行索引操作。
- 支持多种数据对齐方式，从而可以轻松地合并和连接数据。
- 具有强大的广播功能，能够针对不同长度/大小的对象进行算术运算。
- 提供了丰富的函数库，用于数据操作、清洗、过滤、聚合等。
## 开始使用DataFrame

要开始使用Pandas的DataFrame，首先需要安装Pandas库。可以使用pip进行安装：

pip install pandas

随后，我们可以创建一个简单的DataFrame来熟悉其基本用法。以下是一个示例代码：

import pandas as pd

# 创建一个简单的DataFrame
df = pd.DataFrame({
    'A': [1, 2, 3],
    'B': ['a', 'b', 'c']
})

print(df)

执行上述代码后，你将看到一个包含两列（A和B）和三行数据的表格输出。这只是一个开始，Pandas的DataFrame拥有更多高级功能和操作技巧，将在后续章节深入探讨。

# 2. 缺失数据的识别与处理

### 2.1 缺失数据的理论基础

#### 2.1.1 缺失数据的概念和类型

在数据分析和处理过程中，我们经常会遇到数据集中部分数据缺失的情况。这些缺失值可能是由于数据收集、传输或存储过程中出现的问题造成的。处理缺失数据是数据预处理阶段的一个重要步骤，因为它可以显著影响数据分析的结果和模型的准确性。

缺失数据通常分为三类：

- **完全随机缺失（MCAR, Missing Completely At Random）**：缺失值的发生与其他已观测变量或未观测变量都无关。
- **随机缺失（MAR, Missing At Random）**：缺失值的发生与已观测变量有关，但与未观测变量无关。
- **非随机缺失（MNAR, Missing Not At Random）**：缺失值与未观测变量有关，通常需要特定的模型或假设来处理。

理解数据缺失的类型对于选择正确的处理方法至关重要。

#### 2.1.2 缺失数据的识别方法

在Pandas中，我们可以使用`isnull()`和`notnull()`方法来识别数据集中的缺失值。这两个方法会返回一个同样形状的布尔型DataFrame，其中True表示缺失值的位置。

import pandas as pd

# 创建一个示例DataFrame
df = pd.DataFrame({
    'A': [1, 2, None, 4],
    'B': [5, None, 7, 8],
    'C': [9, 10, 11, None]
})

# 识别缺失数据
missing = df.isnull()
print(missing)

输出结果会显示哪些数据是缺失的。理解数据缺失模式对于后续处理非常有帮助。

### 2.2 缺失数据的处理策略

#### 2.2.1 删除含有缺失数据的行或列

当数据集中的缺失数据不太多时，一个简单的处理方法是删除含有缺失值的行或列。使用`dropna()`方法可以实现这一操作。

# 删除含有缺失值的行
df_dropped_rows = df.dropna(axis=0)

# 删除含有缺失值的列
df_dropped_cols = df.dropna(axis=1)

#### 2.2.2 缺失数据的填充方法

如果我们不能轻易删除含有缺失值的行或列，另一个常见的处理方法是用其他值填充这些缺失值。可以使用均值、中位数、众数或其他固定值进行填充。

# 使用均值填充缺失值
df_filled_mean = df.fillna(df.mean())

# 使用特定值填充缺失值
df_filled_value = df.fillna(0)

#### 2.2.3 插值方法处理连续数据

对于连续数据，可以使用插值方法来填充缺失值。Pandas提供了多种插值方法，如线性插值、多项式插值等。

# 线性插值
df_interpolated_linear = df.interpolate(method='linear')

# 多项式插值
df_interpolated_poly = df.interpolate(method='polynomial', order=2)

### 2.3 Pandas中的缺失数据处理功能

#### 2.3.1 `isnull()`和`notnull()`方法

如前所述，`isnull()`和`notnull()`方法非常有用，它们帮助我们识别数据集中哪些值是缺失的。通过这些方法，我们能够对缺失数据进行初步的探索。

#### 2.3.2 `fillna()`方法的高级用法

`fillna()`方法非常灵活，可以指定不同的填充策略。比如，我们可以为不同的列指定不同的填充值：

# 为不同列指定不同的填充值
fill_values = {'A': 0, 'B': 1, 'C': 2}
df_filled_specific = df.fillna(value=fill_values)

此外，还可以使用前向填充（`ffill`）或后向填充（`bfill`）：

# 前向填充
df_filled_ffill = df.fillna(method='ffill')

# 后向填充
df_filled_bfill = df.fillna(method='bfill')

#### 2.3.3 `dropna()`方法的参数详解

`dropna()`方法提供了一系列参数来帮助我们更精细地删除包含缺失值的行或列。例如，我们可以基于数据量的阈值来决定是否删除：

# 删除含有少于3个非缺失值的行
df_dropped_thresh = df.dropna(thresh=3)

此外，还可以设置`how`参数来指定是删除包含任意数量缺失值的行（`any`）还是只删除完全缺失的行（`all`）。

# 删除任意缺失值的行
df_dropped_any = df.dropna(how='any')

# 仅删除完全缺失的行
df_dropped_all = d