python数据预处理代码
时间: 2023-07-23 16:30:53 浏览: 62
好的,以下是一个简单的Python数据预处理代码示例:
```python
import pandas as pd
import numpy as np
# 读取数据
data = pd.read_csv('data.csv')
# 处理缺失值
data.fillna(method='ffill', inplace=True)
# 处理异常值
data = data[(np.abs(data['col1']-data['col1'].mean()) <= (3*data['col1'].std()))]
# 特征缩放
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
data[['col1', 'col2']] = scaler.fit_transform(data[['col1', 'col2']])
# 特征选择
from sklearn.feature_selection import SelectKBest, f_regression
selector = SelectKBest(f_regression, k=5)
X = data.drop('target', axis=1)
y = data['target']
X_selected = selector.fit_transform(X, y)
# 数据分割
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X_selected, y, test_size=0.2)
# 模型训练及预测
from sklearn.linear_model import LinearRegression
model = LinearRegression()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
# 模型评估
from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_test, y_pred)
print('MSE:', mse)
```
上述代码中,我们使用了pandas库读取csv格式的数据。接着,使用`fillna`方法填充了缺失值,使用numpy库的`abs`函数和标准差来处理异常值。然后,使用`StandardScaler`类进行特征缩放,使用`SelectKBest`类从所有特征中选择出最优的K个特征。接着,使用`train_test_split`方法将数据集随机分为训练集和测试集,最后使用`LinearRegression`类进行模型训练和预测,并计算了均方误差。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![txt](https://img-home.csdnimg.cn/images/20210720083642.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)