cols = train_corr.nlargest(k, 'target')['target'].index cm = np.corrcoef(train_data[cols].values.T) hm = sns.heatmap(train_data[cols].corr(),annot=True,square=True) threshold = 0.5 corrmat = train_data.corr() top_corr_features = corrmat.index[abs(corrmat["target"])>threshold] plt.figure(figsize=(10,10)) g = sns.heatmap(train_data[top_corr_features].corr(),annot=True,cmap="RdYlGn") corr_matrix = data_train1.corr().abs() drop_col=corr_matrix[corr_matrix["target"]<threshold].indextrain_x = train_data.drop(['target'], axis=1) train_x = train_data.drop(['target'], axis=1) data_all = pd.concat([train_x,test_data]) data_all.drop(drop_columns,axis=1,inplace=True) data_all.head() cols_numeric=list(data_all.columns) def scale_minmax(col): return (col-col.min())/(col.max()-col.min()) data_all[cols_numeric] = data_all[cols_numeric].apply(scale_minmax,axis=0) data_all[cols_numeric].describe() 解释每一句代码
时间: 2023-11-29 18:07:25 浏览: 134
1. `cols = train_corr.nlargest(k, 'target')['target'].index`:这行代码是找到与目标变量('target')相关性最高的k个特征,然后返回这些特征的列名,并将其存储在cols变量中。
2. `cm = np.corrcoef(train_data[cols].values.T)`:这行代码使用numpy库中的corrcoef函数来计算cols变量中特征之间的相关系数矩阵,并将其存储在cm变量中。
3. `hm = sns.heatmap(train_data[cols].corr(),annot=True,square=True)`:这行代码使用seaborn库中的heatmap函数来绘制相关系数矩阵的热力图,并将其存储在hm变量中。annot=True表示在热力图中显示每个格子的数值,square=True表示将每个格子绘制成正方形。
4. `threshold = 0.5`:这行代码设置相关系数的阈值为0.5。
5. `corrmat = train_data.corr()`:这行代码计算训练数据集中每个特征之间的相关系数矩阵,并将其存储在corrmat变量中。
6. `top_corr_features = corrmat.index[abs(corrmat["target"])>threshold]`:这行代码找到与目标变量相关性绝对值大于阈值的特征,并将这些特征的列名存储在top_corr_features变量中。
7. `plt.figure(figsize=(10,10))`:这行代码创建一个大小为10x10的新图形。
8. `g = sns.heatmap(train_data[top_corr_features].corr(),annot=True,cmap="RdYlGn")`:这行代码使用seaborn库中的heatmap函数来绘制与目标变量相关性绝对值大于阈值的特征之间的相关系数矩阵的热力图,并将其存储在g变量中。cmap参数指定了颜色映射。
9. `corr_matrix = data_train1.corr().abs()`:这行代码计算训练数据集中每个特征之间的相关系数矩阵的绝对值,并将其存储在corr_matrix变量中。
10. `drop_col=corr_matrix[corr_matrix["target"]<threshold].index`:这行代码找到与目标变量相关性小于阈值的特征,并将这些特征的列名存储在drop_col变量中。
11. `train_x = train_data.drop(['target'], axis=1)`:这行代码将训练数据集中的目标变量('target')删除,得到只包含特征的训练数据集train_x。
12. `data_all = pd.concat([train_x,test_data])`:这行代码将训练数据集train_x和测试数据集test_data竖直合并,得到包含所有数据的数据集data_all。
13. `data_all.drop(drop_columns,axis=1,inplace=True)`:这行代码删除与目标变量相关性小于阈值的特征,并将修改后的data_all数据集存储在原位置。
14. `cols_numeric=list(data_all.columns)`:这行代码获取数据集data_all中所有特征的列名,并将其存储在cols_numeric列表中。
15. `def scale_minmax(col): return (col-col.min())/(col.max()-col.min())`:这行代码定义一个名为scale_minmax的函数,用于将数据集data_all中的每个特征进行最小-最大缩放。
16. `data_all[cols_numeric] = data_all[cols_numeric].apply(scale_minmax,axis=0)`:这行代码使用apply函数将scale_minmax函数应用于数据集data_all中的每个特征,并将修改后的数据存储在原位置。
17. `data_all[cols_numeric].describe()`:这行代码计算缩放后的数据集data_all中每个特征的描述性统计,并将其返回。
阅读全文