你能写一段数据预处理的代码示例吗
时间: 2023-05-24 13:07:13 浏览: 93
数据预处理代码_数据预处理_
5星 · 资源好评率100%
当然,以下是一个简单的数据预处理代码示例:
```python
import pandas as pd # 导入pandas模块,用于数据处理
# 读取数据集
data = pd.read_csv('dataset.csv')
# 删除缺失值过多的列
data = data.dropna(thresh=len(data)*0.7, axis=1)
# 将类别变量转换成数值变量
data['categorical_variable'] = pd.factorize(data['categorical_variable'])[0]
# 特征缩放
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
data['numeric_variable'] = scaler.fit_transform(data['numeric_variable'].reshape(-1,1))
# 将数据集分成训练集和测试集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(data.drop(['target_variable'], axis=1),
data['target_variable'],
test_size=0.2,
random_state=42)
```
阅读全文