箱线图剔除异常值python
时间: 2023-05-08 10:01:09 浏览: 181
箱线图是一种展示数据分布情况的图形,在Python中可以使用matplotlib库中的boxplot函数进行绘制。在绘制箱线图时,我们可以通过查看箱线图的“异常值”,来初步判断数据是否存在异常或者离群点。
对于存在异常值的情况,我们可以使用Python中的numpy库中的percentile函数来计算数据集的上下四分位数(Q1,Q3),并计算出箱线图的上界和下界。然后,我们可以使用pandas库中的数据筛选功能,将超过边缘的值剔除掉,这样就可以得到一个更加准确的数据集,便于进一步的分析和处理。剔除异常值后,再次绘制箱线图,可以更好地展示数据集的分布情况。
在Python中,进行箱线图剔除异常值的代码实现如下:
```
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
# 构造原始数据集
data = pd.DataFrame({'A': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 20]})
# 绘制箱线图
plt.boxplot(data.A)
# 计算四分位数
Q1 = np.percentile(data.A, 25)
Q3 = np.percentile(data.A, 75)
# 计算箱线图的上界和下界
upper_bound = Q3 + 1.5 * (Q3 - Q1)
lower_bound = Q1 - 1.5 * (Q3 - Q1)
# 剔除异常值
data = data[(data.A >= lower_bound) & (data.A <= upper_bound)]
# 重新绘制箱线图
plt.boxplot(data.A)
plt.show()
```
在上面的代码中,我们首先构造了一个包含11个数据点的数据集,其中最后一个数据点20是异常值。然后我们绘制了这个数据集的箱线图,并计算出了上界和下界。根据上下界,我们使用pandas库的筛选功能,将超过上下界的数据点剔除掉。最后,我们使用matplotlib库重新绘制了去除异常值后的箱线图。
通过以上方法,可以快速有效地剔除箱线图中的异常值,并得到更加准确地数据集。
阅读全文