【基础】Pandas数据清洗与预处理

# 1. Pandas数据清洗基础**

Pandas作为Python数据分析领域的利器，在数据清洗方面发挥着至关重要的作用。数据清洗是数据分析的前提，它可以有效去除数据中的噪声、缺失值和异常值，从而提高数据质量，为后续分析奠定坚实的基础。

本章将从Pandas数据清洗的基础知识入手，介绍数据清洗的必要性、基本概念和流程，为深入理解后续章节的实践技巧和预处理方法打下基础。

# 2. 数据清洗实践技巧**

数据清洗是数据分析过程中至关重要的一步，它可以帮助我们从原始数据中提取有价值的信息，为后续的分析和建模做好准备。本章节将介绍数据清洗的实践技巧，包括数据缺失值处理和数据类型转换和规范化。

**2.1 数据缺失值处理**

**2.1.1 缺失值检测和类型识别**

缺失值是数据清洗中常见的挑战之一。缺失值可以有不同的类型，包括：

* **完全缺失值：**数据集中没有该值。
* **部分缺失值：**数据集中只有部分值缺失。
* **逻辑缺失值：**数据集中存在值，但该值表示缺失（例如，"NA"或"-1"）。

识别缺失值的第一步是使用`isnull()`函数，它返回一个布尔值掩码，其中`True`表示缺失值，`False`表示非缺失值。

import pandas as pd

df = pd.DataFrame({
    "name": ["John", "Mary", "Bob", np.nan, "Alice"],
    "age": [20, 25, 30, np.nan, 35]
})

print(df.isnull())

输出：

   name   age
0  False  False
1  False  False
2  False  False
3   True   True
4  False  False

**2.1.2 缺失值填充和插补**

处理缺失值有几种方法，包括：

* **删除缺失值：**如果缺失值数量较少，并且不会对分析结果产生重大影响，则可以删除缺失值。
* **填充缺失值：**使用其他值填充缺失值，例如：
* **均值：**使用列的均值填充缺失值。
* **中位数：**使用列的中位数填充缺失值。
* **众数：**使用列的众数填充缺失值。
* **插补：**使用插值方法（例如线性插值或多项式插值）估计缺失值。

# 使用均值填充缺失值
df["age"].fillna(df["age"].mean(), inplace=True)

# 使用中位数填充缺失值
df["name"].fillna(df["name"].median(), inplace=True)

**2.2 数据类型转换和规范化**

数据类型转换和规范化是数据清洗的另一个重要方面。数据类型转换涉及将数据从一种类型转换为另一种类型，例如从字符串转换为数字。数据规范化涉及将数据转换为一致的格式，例如将日期转换为标准格式。

**2.2.1 数据类型的识别和转换**

识别数据类型的第一步是使用`dtypes`属性，它返回一个包含列数据类型的Series对象。

print(df.dtypes)

输出：

name    object
age     float64
dtype: object

要转换数据类型，可以使用`astype()`方法。

# 将"name"列转换为小写
df["name"] = df["name"].astype("str").str.lower()

# 将"age"列转换为整数
df["age"] = df["age"].astype("int")

**2.2.2 数据格式的规范化和标准化**

数据格式规范化涉及将数据转换为一致的格式。例如，将日期转换为标准格式（例如，"YYYY-MM-DD"）。

# 将"