lightgbm中二分类模型的优化算法

在LightGBM中，二分类模型的优化算法有两种，分别是Gradient-based One-Side Sampling (GOSS) 和Exclusive Feature Bundling (EFB)。

1. GOSS算法

GOSS算法是LightGBM中的一种优化算法，它可以通过对梯度进行采样来加速训练过程。具体来说，GOSS算法会保留梯度较大的样本，而对梯度较小的样本进行随机采样。这样可以减少噪声对模型的干扰，同时加速训练过程。

GOSS算法的使用方法如下：

params = {
    'boosting_type': 'gbdt',
    'objective': 'binary',
    'metric': 'binary_logloss',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9,
    'bagging_fraction': 0.8,
    'bagging_freq': 5,
    'verbose': 0,
    'max_depth': -1,
    'min_data_in_leaf': 100,
    'min_sum_hessian_in_leaf': 10.0,
    'gooss': True, # 启用GOSS算法
    'top_rate': 0.2,
    'other_rate': 0.1
}

其中，`'gooss': True`表示启用GOSS算法，`'top_rate': 0.2`表示保留梯度较大的20%的样本，`'other_rate': 0.1`表示对梯度较小的10%的样本进行随机采样。

2. EFB算法

EFB算法是LightGBM中的另一种优化算法，它可以通过将特征进行组合来减少特征的数量，从而加速训练过程。具体来说，EFB算法会将一些高度相关的特征进行组合，形成新的特征，从而减少特征的数量。这样可以降低模型的复杂度，提高训练速度。

EFB算法的使用方法如下：

params = {
    'boosting_type': 'gbdt',
    'objective': 'binary',
    'metric': 'binary_logloss',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9,
    'bagging_fraction': 0.8,
    'bagging_freq': 5,
    'verbose': 0,
    'max_depth': -1,
    'min_data_in_leaf': 100,
    'min_sum_hessian_in_leaf': 10.0,
    'efb': True, # 启用EFB算法
    'max_bin': 255
}

其中，`'efb': True`表示启用EFB算法，`'max_bin': 255`表示特征离散化时使用的最大的bin数。