异常值检测 —— MAD(median absolute deviation)
时间: 2023-11-18 10:04:34 浏览: 46
MAD(Median Absolute Deviation)是一种常用的异常值检测方法,它是基于中位数的绝对偏差来检测数据集中的异常值。它的计算公式为:
MAD = median(|Xi - median(X)|)
其中,Xi表示数据集中的第i个数据,median表示求中位数。
计算MAD后,我们可以使用以下规则来检测异常值:
1. 如果一个数据点的偏差超过了MAD的k倍(通常k取2),那么我们就把它看作是异常值。
2. 如果一个数据点的偏差没有超过MAD的k倍,那么我们就认为它是正常数据点。
使用MAD进行异常值检测的好处是,它不受数据集中极端值的影响,因为它只关注数据集的中位数和绝对偏差。
但是,MAD也有一些缺点,例如它对于非对称分布的数据集可能不太适用,因为它只关注绝对偏差而不是偏差的方向。此外,它也可能无法检测出一些特殊类型的异常值,比如局部异常值和集群异常值。因此,在使用MAD进行异常值检测时,需要根据具体情况进行权衡和选择。
相关问题
python 异常值检测
Python中可以使用一些统计方法和可视化工具来检测异常值,比如:
1. 箱线图:通过绘制数据的箱线图,可以直观地发现数据的分布情况和异常值。
2. Z-score方法:该方法将数据标准化,计算每个数据点与平均值之间的差异,并将其除以标准差。如果计算结果大于某个阈值(例如3),则该数据点被认为是异常值。
3. MAD(Median Absolute Deviation)方法:该方法利用中位数的绝对偏差来检测异常值。如果某个数据点的绝对偏差大于中位数的绝对偏差的某个倍数(例如3),则该数据点被认为是异常值。
4. 离群点检测算法:例如LOF(局部离群点因子)和Isolation Forest等算法,可以用来检测数据集中的异常值。
示例代码:
``` python
import numpy as np
import matplotlib.pyplot as plt
# 生成随机数据
data = np.random.normal(size=1000)
# 绘制箱线图
plt.boxplot(data)
plt.show()
# 计算Z-score
z = np.abs((data - np.mean(data)) / np.std(data))
threshold = 3
outliers = np.where(z > threshold)[0]
print("Z-score method: ", outliers)
# 计算MAD
median = np.median(data)
mad = np.median(np.abs(data - median))
threshold = 3
z = 0.6745 * (data - median) / mad
outliers = np.where(np.abs(z) > threshold)[0]
print("MAD method: ", outliers)
```
MAD法做数据异常值处理
MAD(Median Absolute Deviation)法是一种基于中位数的异常值检测方法,它可以通过计算数据的中位数和绝对中位差来判断数据是否为异常值。
具体操作步骤如下:
1. 计算数据的中位数。
2. 计算每个数据点与中位数的绝对差。
3. 计算绝对差的中位数,即绝对中位差(MAD)。
4. 计算数据点与中位数的绝对差除以绝对中位差的值,即得到数据点的标准化值。
5. 一般将标准化值大于3或小于-3的数据点视为异常值。
MAD法相对于其他方法来说,它不受极端值的影响,更加鲁棒,适用于数据分布不均匀的情况。但是,它的缺点是可能会将正常值误判为异常值。因此,在使用MAD法时,需要结合实际情况进行判断和处理。
相关推荐
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)