jupyter数据预处理代码
时间: 2023-10-03 11:03:22 浏览: 86
数据预处理从CSV文件导入数据,python源代码
4星 · 用户满意度95%
以下是一个简单的 Jupyter Notebook 数据预处理代码示例:
```python
import pandas as pd
import numpy as np
# 读取数据
data = pd.read_csv('data.csv')
# 处理缺失值
data = data.dropna() # 删除包含缺失值的行
data = data.reset_index(drop=True) # 重置索引
# 处理异常值
data = data[data['age'] > 0] # 删除年龄小于等于0的行
# 处理重复值
data = data.drop_duplicates()
# 特征缩放
data['age'] = (data['age'] - data['age'].mean()) / data['age'].std()
# 特征编码
data = pd.get_dummies(data, columns=['gender'])
# 特征选择
features = ['age', 'gender_Male']
X = data[features]
# 目标变量
y = data['income']
# 数据集拆分
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
```
阅读全文