pandas datafame清洗异常值

在Pandas DataFrame中清洗异常值通常涉及以下几个步骤：

1. **识别异常值**：首先，你需要对数据集有初步了解，可以观察直方图、箱线图或其他可视化工具来检测数值型数据中的离群点。对于分类变量，可以查看类别分布是否均衡。

2. **设置阈值**：基于业务知识或统计规则（如Z-score、IQR等），设定一些常见的异常值阈值。例如，你可以将超过Q3+1.5*IQR或低于Q1-1.5*IQR的数据视为异常值。

3. **替换异常值**：
- **删除（Drop）**：如果认为异常值明显错误，可以选择直接删除这些行或列。
- **填充（Fill）**：可以用平均值、中位数、众数、插值或者其他合理的方式填充异常值。
- **标记（Flagging）**：另一种选择是将异常值标记出来，而不是直接修改，以便后续分析中注意。

4. **检查处理效果**：清洗后，再次进行可视化检查，确认异常值已经被适当地处理，并且没有引入新的问题。

import pandas as pd
import numpy as np

# 假设df是你的DataFrame
df = df[(np.abs(stats.zscore(df)) < 3).all(axis=1)]  # 使用z-score筛选异常值
df['column_name'] = df['column_name'].fillna(df['column_name'].mean())  # 使用均值填充异常值

# 或者，如果你想要保留异常值并标记它们
df['is_outlier'] = df['column_name'].apply(lambda x: 1 if (x > threshold or x < -threshold) else 0)