pandas correlation函数批量删除

在pandas中，可以使用correlation函数来计算数据集中每对列之间的相关性。然而，并没有现成的方法来批量删除相关性较高的列。要实现批量删除相关性较高的列，可以采取以下步骤：

1. 使用correlation函数计算数据集中每对列的相关系数矩阵。该矩阵是一个对称矩阵，对角线上的元素为1。相关性越高，相关系数越接近于1或-1。

2. 创建一个空的布尔矩阵，大小与相关系数矩阵相同。将布尔矩阵中的元素初始化为False。

3. 遍历相关系数矩阵的每个元素，如果某个元素的绝对值大于设定阈值（比如0.8），则将对应的布尔矩阵元素设为True，表示相关性较高。

4. 对布尔矩阵进行操作，将具有True值的整列删除。

以下是一个简单的示例代码来批量删除相关性较高的列：

import pandas as pd
import numpy as np

# 创建一个示例数据集
data = pd.DataFrame({'A': [1, 2, 3, 4, 5],
                     'B': [2, 4, 6, 8, 10],
                     'C': [3, 6, 9, 12, 15],
                     'D': [4, 8, 12, 16, 20]})

# 计算相关系数矩阵
corr_matrix = data.corr()

# 创建布尔矩阵
bool_matrix = np.abs(corr_matrix) > 0.8

# 删除相关性较高的列
data = data.loc[:, ~bool_matrix.any()]

在这个示例中，相关系数矩阵将会是一个2x2的对角矩阵，因为没有相关性超过阈值的列对。删除相关性较高的列后，data将只剩下两列：'A'和'D'。