数据预处理 Python

数据预处理是数据分析和机器学习中非常重要的一步，它包括数据清洗、缺失值处理、异常值检测、特征选择、特征缩放等操作。在Python中，有许多常用的库和工具可以帮助我们进行数据预处理。

下面是一些常见的数据预处理操作及其在Python中的实现方式：

1. 数据清洗：清洗数据是为了去除重复值、处理异常值、处理不一致的数据等。常用的库包括pandas和NumPy。

import pandas as pd

# 去除重复值
df.drop_duplicates()

# 处理异常值
df[df['column'] > 3]

# 处理缺失值
df.dropna()  # 删除包含缺失值的行
df.fillna(value)  # 用指定值填充缺失值

2. 缺失值处理：缺失值是指数据集中的某些项没有被记录或采集到。常用的库包括pandas和scikit-learn。

import pandas as pd
from sklearn.impute import SimpleImputer

# 使用均值填充缺失值
imputer = SimpleImputer(strategy='mean')
imputed_data = imputer.fit_transform(df)