异常值检测 —— MAD（median absolute deviation）

MAD（median absolute deviation）是一种常见的异常值检测方法，它基于数据的中位数来度量数据的离散程度。

具体来说，MAD 的计算方法如下：
1. 计算数据的中位数 median；
2. 对于每个数据点，计算它与中位数之间的绝对差；
3. 计算所有绝对差的中位数 MAD。

MAD 和标准差（standard deviation）类似，都可以用来衡量数据的离散程度，但 MAD 对异常值更加敏感，因为它使用的是中位数而不是平均值，而中位数对于极端值的影响较小。因此，MAD 更适合用于检测存在异常值的数据。

在进行异常值检测时，可以将数据点与中位数之间的绝对差与 MAD 相比较，如果某个数据点的绝对差超过了 k 倍的 MAD，那么就可以将它视为异常值，其中 k 是一个经验常数，通常取值为 2 或 3。

相关问题

python 异常值检测

Python中可以使用一些统计方法和可视化工具来检测异常值，比如：

1. 箱线图：通过绘制数据的箱线图，可以直观地发现数据的分布情况和异常值。

2. Z-score方法：该方法将数据标准化，计算每个数据点与平均值之间的差异，并将其除以标准差。如果计算结果大于某个阈值（例如3），则该数据点被认为是异常值。

3. MAD（Median Absolute Deviation）方法：该方法利用中位数的绝对偏差来检测异常值。如果某个数据点的绝对偏差大于中位数的绝对偏差的某个倍数（例如3），则该数据点被认为是异常值。

4. 离群点检测算法：例如LOF（局部离群点因子）和Isolation Forest等算法，可以用来检测数据集中的异常值。

示例代码：

import numpy as np
import matplotlib.pyplot as plt

# 生成随机数据
data = np.random.normal(size=1000)

# 绘制箱线图
plt.boxplot(data)
plt.show()

# 计算Z-score
z = np.abs((data - np.mean(data)) / np.std(data))
threshold = 3
outliers = np.where(z > threshold)[0]
print("Z-score method: ", outliers)

# 计算MAD
median = np.median(data)
mad = np.median(np.abs(data - median))
threshold = 3
z = 0.6745 * (data - median) / mad
outliers = np.where(np.abs(z) > threshold)[0]
print("MAD method: ", outliers)

MAD法做数据异常值处理

MAD（Median Absolute Deviation）法是一种基于中位数的异常值检测方法，它可以通过计算数据的中位数和绝对中位差来判断数据是否为异常值。

具体操作步骤如下：

1. 计算数据的中位数。

2. 计算每个数据点与中位数的绝对差。

3. 计算绝对差的中位数，即绝对中位差（MAD）。

4. 计算数据点与中位数的绝对差除以绝对中位差的值，即得到数据点的标准化值。

5. 一般将标准化值大于3或小于-3的数据点视为异常值。

MAD法相对于其他方法来说，它不受极端值的影响，更加鲁棒，适用于数据分布不均匀的情况。但是，它的缺点是可能会将正常值误判为异常值。因此，在使用MAD法时，需要结合实际情况进行判断和处理。