python 异常值检测

Python中可以使用一些统计方法和可视化工具来检测异常值，比如：

1. 箱线图：通过绘制数据的箱线图，可以直观地发现数据的分布情况和异常值。

2. Z-score方法：该方法将数据标准化，计算每个数据点与平均值之间的差异，并将其除以标准差。如果计算结果大于某个阈值（例如3），则该数据点被认为是异常值。

3. MAD（Median Absolute Deviation）方法：该方法利用中位数的绝对偏差来检测异常值。如果某个数据点的绝对偏差大于中位数的绝对偏差的某个倍数（例如3），则该数据点被认为是异常值。

4. 离群点检测算法：例如LOF（局部离群点因子）和Isolation Forest等算法，可以用来检测数据集中的异常值。

示例代码：

import numpy as np
import matplotlib.pyplot as plt

# 生成随机数据
data = np.random.normal(size=1000)

# 绘制箱线图
plt.boxplot(data)
plt.show()

# 计算Z-score
z = np.abs((data - np.mean(data)) / np.std(data))
threshold = 3
outliers = np.where(z > threshold)[0]
print("Z-score method: ", outliers)

# 计算MAD
median = np.median(data)
mad = np.median(np.abs(data - median))
threshold = 3
z = 0.6745 * (data - median) / mad
outliers = np.where(np.abs(z) > threshold)[0]
print("MAD method: ", outliers)