LightGBM算法中特征重要性importance是如何计算出来的?
时间: 2024-05-20 11:15:21 浏览: 422
利用最大相关最小冗余mRMR算法对特征变量做特征重要性排序,实现特征选择 通过重要性排序图,选择重要的特征变量,以期实现数据降
LightGBM算法中的特征重要性importance是通过以下两种方式计算得到的:
1. 基于split的特征重要性:这种方法是通过计算每个特征在树的节点中被使用的次数来衡量特征的重要性。对于每个特征,LightGBM会计算出它在所有树的节点中被使用的总次数,然后将其除以特征被使用的总次数得到特征的重要性得分。
2. 基于gain的特征重要性:这种方法是通过计算每个特征对于模型的训练误差的贡献度来衡量特征的重要性。对于每个特征,LightGBM会计算出它在训练过程中所产生的信息增益(gain),然后将其除以所有特征的信息增益之和得到特征的重要性得分。
需要注意的是,这两种方法都是基于树模型的特征重要性计算方法,因此在其他类型的模型中可能不适用。此外,这两种方法并不一定能够准确地反映出每个特征对于模型的贡献度,因此在使用时需要结合实际情况进行分析和判断。
阅读全文