数据预处理python代码

数据预处理的Python代码可以包括以下步骤：

1. 导入必要的库，例如 pandas 和 numpy。

import pandas as pd
import numpy as np

2. 读取数据集，例如从 CSV 文件中读取数据。

data = pd.read_csv('data.csv')

3. 处理缺失值，例如使用平均值填充缺失的数值数据。

data['age'].fillna(data['age'].mean(), inplace=True)

4. 处理分类变量，例如使用独热编码将分类变量转换为数值型数据。

data = pd.get_dummies(data, columns=['gender'])

5. 特征缩放，例如使用标准化将特征数据缩放到相同的尺度。

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
data[['age', 'income']] = scaler.fit_transform(data[['age', 'income']])

6. 划分数据集，例如将数据集划分为训练集和测试集。

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(data.drop('target', axis=1), data['target'], test_size=0.2, random_state=42)

7. 进一步处理数据集，例如使用 SMOTE 进行过采样等。

from imblearn.over_sampling import SMOTE

smote = SMOTE(random_state=42)
X_train_resampled, y_train_resampled = smote.fit_resample(X_train, y_train)

以上是数据预处理的一些基本步骤和示例代码。具体的数据预处理步骤会因数据集的不同而有所差异，需要根据实际情况进行调整。