pandas数据处理空值

Pandas 是 Python 中用于数据处理的强大库，对于空值（通常用 `NaN` 表示）的处理非常灵活。在数据清洗和预处理过程中，空值可能表示缺失值、无效数据或需要进一步填充的信息。

1. **检测空值**：你可以使用 `isnull()` 或 `notnull()` 方法检查数据中是否存在空值。例如，`df.isnull().sum()` 将返回每列空值的数量。

2. **填充空值**：
- **`fillna(value)`**：可以将空值替换为指定的值，如使用特定的常数（`df.fillna(0)`），前一个非空值（`df.fillna(method='ffill')`），后一个非空值（`df.fillna(method='bfill')`）等。
- **`dropna()`**：删除包含空值的行或列，或者设置阈值来决定是否删除含有特定比例空值的行或列。

3. **智能填充**：有时可以选择使用统计方法填充空值，如平均值 (`mean()`)、中位数 (`median()`)、众数 (`mode()`)，或者基于其他列的关联性填充。

4. **插值法**：`interpolate()` 函数可以根据时间序列或数据点之间的关系（线性、多项式、指数等）进行插值。

5. **分组处理**：在分组的基础上填充空值，比如对每个类别内的空值使用该类别的平均值填充。

6. **NaN 特殊类型**：Pandas 把 `NaN` 当作一种独立的数据类型，所以在某些特定场景下，可能需要特别处理 `NaN`。