lightgbm的特征选择

LightGBM提供了两种特征选择方法：基于树的特征选择和基于统计学的特征选择。

1. 基于树的特征选择：该方法是在训练过程中自动选择重要的特征，通过特征重要性来衡量。在LightGBM中，可以通过设置参数“feature_importance_type”来选择采用哪种特征重要性的计算方法，包括“split”（分裂点增益）、“gain”（累计增益）、“weight”（特征被用到的次数），以及“total_gain”和“total_cover”等。可以通过访问模型中的“feature_importances_”属性来获取每个特征的重要性得分，然后根据重要性得分进行特征选择。

2. 基于统计学的特征选择：该方法是在特征选择之前，通过一些统计学方法来评估每个特征与标签之间的相关性。常用的统计学方法包括Pearson相关系数、卡方检验、互信息等。可以通过使用sklearn库中的相关函数来实现，例如“SelectKBest”、“SelectPercentile”、“SelectFpr”等函数。这些函数可以根据某种统计学方法来选择最优的特征，例如选择与标签相关性最高的前K个特征，或者选择与标签相关性超过某个阈值的特征等。然后，将选定的特征作为输入数据进行模型训练。