python 数据清洗常用函数

数据清洗是数据分析中非常重要的一步，常用的Python数据清洗函数有：
1. drop_duplicates()函数：删除DataFrame中的重复行。

import pandas as pd
df = pd.DataFrame({'A': [1, 2, 2, 3], 'B': [4, 5, 6, 6]})
df.drop_duplicates(inplace=True) # inplace=True表示在原DataFrame上进行修改
print(df)

输出：

   A  B
0  1  4
1  2  5
2  2  6
3  3  6

2. fillna()函数：填充缺失值。

import pandas as pd
import numpy as np
df = pd.DataFrame({'A': [1, 2, np.nan], 'B': [4, np.nan, np.nan], 'C': [7, 8, 9]})
df.fillna(0, inplace=True) # 将缺失值填充为0
print(df)

输出：

     A    B  C
0  1.0  4.0  7
1  2.0  0.0  8
2  0.0  0.0  9

3. dropna()函数：删除缺失值所在的行或列。

import pandas as pd
import numpy as np
df = pd.DataFrame({'A': [1, 2, np.nan], 'B': [4, np.nan, np.nan], 'C': [7, 8, 9]})
df.dropna(axis=0, inplace=True) # 删除包含缺失值的行
print(df)

输出：

     A    B  C
0  1.0  4.0  7

4. np.where()函数：根据条件返回相应的值。

import numpy as np
a = np.array([1, 2, 3, 4, 5])
b = np.where(a > 3, 1, 0) # 将a中大于3的元素替换为1，否则替换为0
print(b)

输出：

[0 0 0 1 1]