异常值和缺失值的识别和填补的代码

异常值是指数据集中偏离其他观测值过多的数值，可能是测量错误、输入错误或真实存在的离群点。识别异常值通常可以使用统计方法，如Z-score（标准分数）、IQR（四分位距法）等。在Python中，Pandas库提供了一些功能，比如`numpy.isnan()`检查缺失值，`statsmodels.api.zscore()`计算Z-score。

以下是简单代码示例：

import pandas as pd
import numpy as np

# 加载数据
data = pd.read_csv('your_data.csv')

# 检查并识别缺失值
missing_values = data.isnull().sum()

# 使用Z-score识别异常值
from scipy import stats
z_scores = stats.zscore(data)
abs_z_scores = np.abs(z_scores)
threshold = 3  # 一般选择3作为阈值，大于这个值的视为异常值
outliers = (abs_z_scores > threshold).any(axis=1)

# 对缺失值处理，例如用平均值填充
data.fillna(data.mean(), inplace=True)  # 使用均值填充
data.fillna(data.median(), inplace=True)  # 或者使用中位数替换

# 对异常值处理，可以删除或替换
data = data[~outliers]