dataframe处理异常值

处理 DataFrame 中的异常值通常需要进行以下步骤：

1. 找到异常值：使用统计学方法，如分位数和标准差，来确定异常值的范围。

2. 替换异常值：将异常值替换为均值、中位数或其他代表性值。

3. 删除异常值：如果异常值数量较少，可以考虑删除这些异常值。

4. 分组处理：对于某些情况下，可以根据数据的特征将数据进行分组，然后在每个组中处理异常值。

下面是一些使用 pandas 处理异常值的示例代码：

1. 找到异常值

# 使用分位数找到异常值
q1 = df['column_name'].quantile(0.25)
q3 = df['column_name'].quantile(0.75)
iqr = q3 - q1
lower_bound = q1 - 1.5*iqr
upper_bound = q3 + 1.5*iqr

# 找到在上界和下界之外的异常值
outliers = df[(df['column_name'] < lower_bound) | (df['column_name'] > upper_bound)]

2. 替换异常值

# 将异常值替换为均值
mean_value = df['column_name'].mean()
df.loc[(df['column_name'] < lower_bound) | (df['column_name'] > upper_bound), 'column_name'] = mean_value

3. 删除异常值

# 删除异常值
df.drop(df[(df['column_name'] < lower_bound) | (df['column_name'] > upper_bound)].index, inplace=True)

4. 分组处理

# 将数据根据某列分组
grouped = df.groupby('group_column')

# 对每个组的异常值进行替换
for group_name, group_data in grouped:
    q1 = group_data['column_name'].quantile(0.25)
    q3 = group_data['column_name'].quantile(0.75)
    iqr = q3 - q1
    lower_bound = q1 - 1.5*iqr
    upper_bound = q3 + 1.5*iqr
    mean_value = group_data['column_name'].mean()
    group_data.loc[(group_data['column_name'] < lower_bound) | (group_data['column_name'] > upper_bound), 'column_name'] = mean_value