利用贝叶斯优化器优化LGBMOOST回归模型的python代码实例

下面是一个利用贝叶斯优化器优化LightGBM回归模型的Python代码示例：

import lightgbm as lgb
from bayes_opt import BayesianOptimization
from sklearn.metrics import mean_squared_error
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split

# 加载数据集
boston = load_boston()
X_train, X_test, y_train, y_test = train_test_split(boston.data, boston.target, test_size=0.2, random_state=42)

# 定义目标函数
def lgb_evaluate(num_leaves, learning_rate, feature_fraction, bagging_fraction, max_depth):
    params = {'num_leaves': int(num_leaves),
              'learning_rate': learning_rate,
              'feature_fraction': feature_fraction,
              'bagging_fraction': bagging_fraction,
              'max_depth': int(max_depth),
              'objective': 'regression',
              'metric': 'rmse',
              'seed': 42}
    lgb_model = lgb.train(params, lgb.Dataset(X_train, y_train), num_boost_round=1000)
    y_pred = lgb_model.predict(X_test)
    rmse = mean_squared_error(y_test, y_pred, squared=False)
    return -rmse

# 定义优化器
pbounds = {'num_leaves': (10, 100),
           'learning_rate': (0.01, 0.1),
           'feature_fraction': (0.1, 0.9),
           'bagging_fraction': (0.1, 0.9),
           'max_depth': (5, 20)}
optimizer = BayesianOptimization(f=lgb_evaluate, pbounds=pbounds, verbose=2, random_state=42)

# 进行优化
optimizer.maximize(init_points=10, n_iter=30)

# 输出最优参数
print(optimizer.max)

在上面的代码中，我们首先加载了波士顿房价数据集，并将其划分为训练集和测试集。然后，我们定义了一个目标函数 `lgb_evaluate`，它接受来自贝叶斯优化器的超参数，并返回使用这些超参数训练 LightGBM 模型的 RMSE 值的负数。

接下来，我们定义了一个优化器 `optimizer`，它将使用 `BayesianOptimization` 类，并设置了超参数搜索空间 `pbounds`。我们还指定了 `init_points` 和 `n_iter` 参数，它们分别表示初始化点数和迭代次数。

最后，我们调用 `optimizer.maximize` 函数来执行贝叶斯优化，并输出最优参数。