Permutation Importance实例

下面是一个使用Permutation Importance进行特征重要性分析的示例：

import numpy as np
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from sklearn.inspection import permutation_importance
import matplotlib.pyplot as plt

# 加载波士顿房价数据集
data = load_boston()
X = data.data
y = data.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练随机森林回归模型
model = RandomForestRegressor(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

# 使用Permutation Importance计算特征重要性
result = permutation_importance(model, X_test, y_test, n_repeats=10, random_state=42)

# 提取特征重要性和对应的特征名字
importance = result.importances_mean
feature_names = data.feature_names

# 绘制特征重要性条形图
plt.barh(range(len(importance)), importance)
plt.yticks(range(len(importance)), feature_names)
plt.xlabel('Importance')
plt.ylabel('Features')
plt.title('Permutation Importance')
plt.show()

这个示例使用sklearn库中的波士顿房价数据集，训练一个随机森林回归模型，并使用Permutation Importance计算特征重要性。最后，将特征重要性以条形图的形式进行绘制。

在示例中，我们使用`permutation_importance`函数来计算特征重要性，该函数需要传入训练好的模型、测试集数据、测试集标签，以及其他参数如`n_repeats`表示重复计算的次数。最后，我们提取平均特征重要性和对应的特征名字，然后使用Matplotlib库绘制条形图来展示特征重要性。

请注意，Permutation Importance是一种相对简单的特征重要性分析方法，它可以帮助你初步了解各个特征对模型的影响程度。然而，它并不适用于所有类型的模型和数据集，有时可能会有一些局限性。因此，在使用Permutation Importance之前，建议先了解你的模型和数据是否适合这种方法。