Python库克距离剔除异常值

Python库中有很多方法可以用来剔除异常值，其中一个常用的方法是使用库克距离（Cook's distance）。

库克距离是一种度量统计模型中某个数据点对模型参数的影响程度的方法。在回归分析中，库克距离用于衡量某个数据点对回归方程的影响程度，它是通过计算删除某个数据点后，回归系数的变化程度来确定的。

下面是使用库克距离来剔除异常值的步骤：

1. 首先，拟合一个回归模型，并计算每个数据点的库克距离。

2. 根据库克距离的大小，找出那些距离大于某个阈值的数据点，这些数据点被认为是异常点。

3. 将这些异常点从数据集中删除，并重新拟合回归模型。

4. 反复执行步骤2和步骤3，直到所有异常点都被删除，或者库克距离都小于阈值为止。

下面是一个使用Python实现库克距离剔除异常值的示例代码：

import numpy as np
import statsmodels.api as sm

# 生成样本数据
np.random.seed(123)
X = np.random.randn(100, 2)
y = 2*X[:, 0] + 3*X[:, 1] + np.random.randn(100)

# 拟合回归模型
model = sm.OLS(y, sm.add_constant(X)).fit()

# 计算库克距离
influence = model.get_influence()
cook_distance, _ = influence.cooks_distance

# 找到异常点
threshold = 4/(len(y)-2)  # 选择阈值
outliers = np.where(cook_distance > threshold)[0]

# 剔除异常点后重新拟合回归模型
X_clean = np.delete(X, outliers, axis=0)
y_clean = np.delete(y, outliers, axis=0)
model_clean = sm.OLS(y_clean, sm.add_constant(X_clean)).fit()

在这个示例中，我们使用了statsmodels包来拟合回归模型，并使用它提供的get_influence方法计算库克距离。然后，我们选择一个阈值来确定哪些数据点被认为是异常点。最后，我们使用numpy的delete函数来剔除异常点，并重新拟合回归模型。