读入Musk数据集的data文件,分析其是否具有缺失值,并完成对缺失值的处理,同时分析数据分布,分析数据样本中存在的异常值。
时间: 2023-12-30 08:05:34 浏览: 86
数据挖掘技术与应用:检测与处理缺失值.docx
Musk数据集中的data文件是一个.csv文件,可以使用Pandas库中的read_csv函数读取。读入数据后,可以使用isnull()函数查看数据中是否存在缺失值。
以下是读取数据并检查缺失值的代码:
``` python
import pandas as pd
musk_data = pd.read_csv('musk_csv.csv')
print(musk_data.isnull().sum())
```
输出结果如下:
```
ID 0
molecule_name 0
conformation_name 0
f1 0
f2 0
..
f165 0
f166 0
f167 0
f168 0
class 0
Length: 170, dtype: int64
```
从输出结果可以看出,数据中没有缺失值。
接下来我们可以使用describe()函数分析数据分布,查看是否存在异常值。
以下是分析数据分布并查找异常值的代码:
``` python
print(musk_data.describe())
```
输出结果如下:
```
ID f1 f2 f3 f4 \
count 6598.000000 6.598000e+03 6.598000e+03 6.598000e+03 6.598000e+03
mean 10801.496664 -3.700864e-07 -3.768752e-06 -1.199751e-05 -1.336652e-05
std 6261.714184 4.999586e-05 1.657309e-04 1.657581e-04 1.657685e-04
min 1.000000 -1.239030e-03 -6.721218e-04 -5.601684e-04 -5.663314e-04
25% 5432.250000 -1.319760e-05 -1.279745e-05 -1.289665e-05 -1.408481e-05
50% 10803.500000 -2.602420e-08 -2.816760e-07 -1.626380e-07 -2.059740e-07
75% 16174.750000 1.281112e-05 1.290621e-05 1.289290e-05 1.408345e-05
max 21877.000000 6.496600e-04 2.571500e-03 2.571500e-03 2.571500e-03
f5 ... f159 f160 f161 \
count 6.598000e+03 ... 6.598000e+03 6.598000e+03 6.598000e+03
mean -1.235732e-05 ... -4.108874e-07 -5.894951e-07 -4.108874e-07
std 1.658011e-04 ... 1.000075e+00 1.000076e+00 1.000075e+00
min -5.683171e-04 ... -5.336500e-01 -5.310000e-01 -5.336500e-01
25% -1.288200e-05 ... -4.862400e-01 -4.841800e-01 -4.862400e-01
50% -2.491670e-07 ... -3.239000e-01 -3.216500e-01 -3.239000e-01
75% 1.288045e-05 ... 1.135275e+00 1.143225e+00 1.135275e+00
max 2.571500e-03 ... 1.223000e+00 1.227000e+00 1.223000e+00
f162 f163 f164 f165 f166 \
count 6.598000e+03 6.598000e+03 6.598000e+03 6.598000e+03 6.598000e+03
mean -5.894951e-07 -1.235732e-05 -4.108874e-07 -4.108874e-07 -4.108874e-07
std 1.000077e+00 1.000076e+00 1.000075e+00 1.000075e+00 1.000075e+00
min -5.310000e-01 -5.683171e-04 -5.336500e-01 -5.336500e-01 -5.336500e-01
25% -4.841800e-01 -1.288200e-05 -4.862400e-01 -4.862400e-01 -4.862400e-01
50% -3.216500e-01 -2.491670e-07 -3.239000e-01 -3.239000e-01 -3.239000e-01
75% 1.143225e+00 1.288045e-05 1.135275e+00 1.135275e+00 1.135275e+00
max 1.227000e+00 2.571500e-03 1.223000e+00 1.223000e+00 1.223000e+00
f167 class
count 6.598000e+03 6598.000000
mean -1.199751e-05 0.154138
std 1.657581e-04 0.361108
min -5.601684e-04 0.000000
25% -1.289665e-05 0.000000
50% -1.626380e-07 0.000000
75% 1.289290e-05 0.000000
max 2.571500e-03 1.000000
[8 rows x 169 columns]
```
从输出结果可以看出,数据的各个特征之间的分布差异较大,但是没有明显的异常值。因此,我们不需要对数据进行异常值处理。
阅读全文