给我数据预处理的代码

在数据分析或机器学习项目中，数据预处理是一个关键步骤，通常包括数据清洗、转换、标准化和特征工程等。以下是一个简单的Python示例，使用Pandas库进行数据预处理：

# 导入所需的库
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler

# 加载数据（假设是从CSV文件）
data = pd.read_csv('your_data.csv')

# 数据清洗
# 删除缺失值
data = data.dropna()

# 处理异常值
# 这里用中位数填充替换，可根据实际需求选择方法
data.fillna(data.median(), inplace=True)

# 数据转换
# 将分类变量（如性别）转换为数值变量
data['gender'] = data['gender'].astype('category').cat.codes

# 特征缩放
# 对数值特征进行标准化
scaler = StandardScaler()
numerical_features = data.select_dtypes(include='number')
scaled_data = scaler.fit_transform(numerical_features)
data[numerical_features.columns] = scaled_data

# 特征工程
# 根据业务需求创建新特征，如时间序列特征或交叉特征

# 划分训练集和测试集
train_data, test_data = train_test_split(data, test_size=0.2, random_state=42)

# 提前定义可能需要的预处理函数，这样可以在模型训练时统一应用
def preprocess(df):
    return df # 这里只做了基本的预处理，根据实际情况添加更多步骤

preprocessed_train_data = preprocess(train_data)
preprocessed_test_data = preprocess(test_data)