大数据分析--数据清洗和准备

数据分析 5 数据清洗和准备

在数据分析和建模的过程中，相当多的时间要󰉁在数据准备上：加载、清󰇹、转换以及重塑。

这些作会占到分析师时间的80%或多。

pandas和内置的Python标准库提供组󰷼级的、灵活的、快速的具，可以让你轻松地将

数据规整为想要的格式。

处󰇹缺失数据

检测缺失数据

In [10]: string_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado'])

In [11]: string_data

In [12]: string_data.isnull()

Out[12]:

0 False

1 False

2 True

3 False

dtype: bool

在统计应󰉁中，NA数据可能是存在的数据或者虽然存在，但是没有观察到（如，数据采

集中发󰈿问题）。当进󰢩数据清洗以进󰢩分析时，最好直接对缺失数据进󰢩分析，以判断数

据采集的问题或缺失数据可能导致的偏差。

2 True

3 False

dtype: bool

滤除缺失数据

In [15]: from numpy import nan as NA

In [16]: data = pd.Series([1, NA, 3.5, NA, 7])

In [17]: data.dropna()

Out[17]:

0 1.0

2 3.5

2 3.5

4 7.0

dtype: float64

DataFrame对象，dropna默认丢弃任何含有缺失值的󰢩

In [19]: data = pd.DataFrame([[1., 6.5, 3.], [1., NA, NA],

....: [NA, NA, NA], [NA, 6.5, 3.]])

0 1 2

0 1.0 6.5 3.0

1 1.0 NaN NaN

2 NaN NaN NaN

3 NaN 6.5 3.0

In [22]: cleaned

Out[22]:

0 1.0 6.5 3.0

1 1.0 NaN NaN

3 NaN 6.5 3.0

In [24]: data[4] = NA

In [25]: data

Out[25]:

0 1 2 4

0 1.0 6.5 3.0 NaN

1 1.0 NaN NaN NaN

2 NaN NaN NaN NaN

3 NaN 6.5 3.0

In [27]: df = pd.DataFrame(np.random.randn(7, 3))

In [28]: df.iloc[:4, 1] = NA

0 -0.204708 NaN NaN

4 0.274992 0.228913 1.352917

5 0.886429 -2.001637 -0.371843

6 1.669025 -0.438570 -0.539741

In [31]: df.dropna()

Out[31]:

0 1 2

4 0.274992 0.228913 1.352917

5 0.886429 -2.001637 -0.371843

6 1.669025 -0.438570 -0.539741

# 删除于n个󰴬空值的󰢩

In [32]: df.dropna(thresh=2)

Out[32]:

2 0.092908 NaN 0.769023

填充缺失数据

fillna法是最主要的函数。通过个常数调󰉁fillna就会将缺失值替换为那个常数值

In [33]: df.fillna(0)

Out[33]:

0 1 2

1 -0.555730 0.000000 0.000000

3 1.246435 0.000000 -1.296221

5 0.886429 -2.001637 -0.371843

6 1.669025 -0.438570 -0.539741

0 1 2

0 -0.204708 0.500000 0.000000

4 0.274992 0.228913 1.352917

5 0.886429 -2.001637 -0.371843

6 1.669025 -0.438570 -0.539741

fillna默认会返回新对象，但也可以对现有对象进󰢩就地修改

In [35]: _ = df.fillna(0, inplace=True)

In [36]: df