使用pandas库对数据集预处理的代码
时间: 2023-10-11 18:09:53 浏览: 52
以下是对数据集进行预处理的示例代码,使用pandas库进行操作:
```python
import pandas as pd
# 读取数据集
df = pd.read_csv('dataset.csv')
# 删除重复行
df.drop_duplicates(inplace=True)
# 删除缺失值
df.dropna(inplace=True)
# 转换数据类型
df['age'] = df['age'].astype(int)
df['income'] = df['income'].astype(float)
# 标准化数据(使每个特征的平均值为0,方差为1)
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df[['age', 'income']] = scaler.fit_transform(df[['age', 'income']])
# 对分类变量进行独热编码
df = pd.get_dummies(df, columns=['gender', 'education'])
# 重命名列
df.rename(columns={'gender_Female': 'female', 'gender_Male': 'male'}, inplace=True)
# 保存处理后的数据集
df.to_csv('processed_dataset.csv', index=False)
```
在这个示例代码中,我们首先使用pandas库读取数据集。然后,我们删除重复行和缺失值。接下来,我们将数据类型转换为正确的类型。然后,我们使用StandardScaler对数值特征进行标准化。最后,我们使用get_dummies方法对分类变量进行独热编码,并重命名列。最后,我们保存处理后的数据集。