permutation_importance与model.feature_importances_
时间: 2023-10-22 21:03:22 浏览: 261
PyPI 官网下载 | permutation_test-0.1.tar.gz
permutation_importance和model.feature_importances_都是用来评估特征在机器学习模型中的重要性的方法,但它们的计算方式稍有不同。
首先,model.feature_importances_ 是一种常见的特征重要性评估方法,它主要用于基于树的模型(如决策树、随机森林、梯度提升树等)。它通过计算特征在树中被选择作为分割点的次数或者被使用来降低不纯度的程度来衡量特征的重要性。这个方法依赖于模型本身的属性,通常可以通过调用模型的 feature_importances_ 属性来获取特征重要性的值。
而 permutation_importance 是一种更通用的特征重要性评估方法,它适用于各种类型的模型。它的原理是对每个特征进行随机打乱,然后计算打乱后模型性能的变化。如果某个特征对模型的性能影响较大,那么在打乱该特征后,模型性能会显著下降;反之,如果某个特征对模型的性能影响较小,那么在打乱该特征后,模型性能变化会较小。通过对每个特征进行随机打乱并计算性能变化,可以得到每个特征的重要性得分。这个方法不依赖于具体的模型属性,可以通过调用特定库或模型的 permutation_importance 函数来计算特征重要性。
总结来说,model.feature_importances_ 主要用于基于树的模型,而 permutation_importance 则适用于各种类型的模型。它们的计算方式不同,但都可以用来评估特征在模型中的重要性。
阅读全文