机械学习数据处理代码

在机器学习项目中，数据处理是一个关键步骤，通常涉及到以下几个主要环节的代码编写：

1. 数据加载：使用像pandas、NumPy或scikit-learn的load_data等函数加载数据集，可能需要读取CSV、JSON、CSV、Excel或数据库文件。

import pandas as pd
data = pd.read_csv('data.csv')

2. 数据清洗：检查并处理缺失值、异常值、重复值和不一致的数据类型。

data = data.dropna()  # 删除缺失值
data = data[data['column_name'] != 'outlier_value']  # 删除异常值

3. 数据预处理：这可能包括特征缩放（如归一化、标准化）、编码分类变量（one-hot encoding或LabelEncoder）、特征选择等。

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
data[['feature1', 'feature2']] = scaler.fit_transform(data[['feature1', 'feature2']])

4. 数据划分：将数据集划分为训练集、验证集和测试集，可以使用sklearn库中的train_test_split函数。

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

5. 特征工程：根据业务需求创建新的特征，比如从文本中提取TF-IDF向量或从时间序列中生成滑动窗口。

from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer()
X_train_text = vectorizer.fit_transform(X_train['text_column'])