利用贝叶斯优化器优化XGBoost回归模型的python代码实例

好的，以下是一个利用贝叶斯优化器优化XGBoost回归模型的Python代码实例：

import xgboost as xgb
from sklearn.datasets import load_boston
from sklearn.metrics import mean_squared_error
from bayes_opt import BayesianOptimization

# 加载波士顿房价数据集
boston = load_boston()
X, y = boston.data, boston.target

# 定义XGBoost回归模型的参数空间
params = {
    'n_estimators': (50, 1000),
    'max_depth': (2, 10),
    'learning_rate': (0.01, 0.5),
    'subsample': (0.5, 1),
    'colsample_bytree': (0.1, 1)
}

# 定义贝叶斯优化器
def xgb_evaluate(n_estimators, max_depth, learning_rate, subsample, colsample_bytree):
    # 定义XGBoost回归模型
    model = xgb.XGBRegressor(
        n_estimators=int(n_estimators),
        max_depth=int(max_depth),
        learning_rate=learning_rate,
        subsample=subsample,
        colsample_bytree=colsample_bytree,
        objective='reg:squarederror'
    )
    # 训练模型并预测
    model.fit(X, y)
    y_pred = model.predict(X)
    # 计算均方误差
    mse = mean_squared_error(y, y_pred)
    # 返回负均方误差
    return -mse

# 运行贝叶斯优化器
optimizer = BayesianOptimization(xgb_evaluate, params)
optimizer.maximize(init_points=5, n_iter=25)

# 输出最优参数和最优负均方误差
print(optimizer.max)

在上述代码中，我们首先加载了波士顿房价数据集，然后定义了XGBoost回归模型的参数空间。接下来，我们定义了贝叶斯优化器xgb_evaluate()函数，该函数接收5个参数，分别是n_estimators、max_depth、learning_rate、subsample和colsample_bytree，这些参数都是XGBoost回归模型的超参数。在xgb_evaluate()函数中，我们先用这些超参数定义了XGBoost回归模型，然后训练模型并预测，最后计算均方误差，并返回负均方误差，这是因为贝叶斯优化器是在最大化目标函数的值，而我们希望最小化均方误差的值，因此需要返回负均方误差。

最后，我们利用BayesianOptimization类初始化了一个贝叶斯优化器optimizer，并调用其maximize()方法进行优化，其中init_points和n_iter分别表示初始化点和迭代次数。最后，我们输出了最优参数和最优负均方误差。