粒子群算法优化xgboost回归模型参数寻优代码

以下是使用粒子群算法（PSO）优化XGBoost回归模型参数的Python代码示例：

import xgboost as xgb
import numpy as np
from pyswarm import pso

# 定义XGBoost模型训练函数
def train_xgb(params, X_train, y_train, X_val, y_val):
    # 将参数转换为字典形式
    params_dict = {
        'max_depth': int(params[0]),
        'learning_rate': params[1],
        'n_estimators': int(params[2]),
        'min_child_weight': int(params[3]),
        'subsample': params[4],
        'gamma': params[5],
        'colsample_bytree': params[6],
        'reg_alpha': params[7],
        'reg_lambda': params[8],
        'objective': 'reg:squarederror',
        'eval_metric': 'rmse',
        'seed': 42
    }
    # 创建DMatrix数据集
    dtrain = xgb.DMatrix(X_train, label=y_train)
    dval = xgb.DMatrix(X_val, label=y_val)
    # 训练模型
    model = xgb.train(params_dict, dtrain, evals=[(dval, 'validation')],
                      num_boost_round=1000, early_stopping_rounds=20, verbose_eval=False)
    # 返回模型的RMSE评估指标
    return model.best_score

# 定义目标函数，即最小化RMSE
def objective(params):
    rmse = train_xgb(params, X_train, y_train, X_val, y_val)
    return rmse

# 加载数据
X_train, X_val, y_train, y_val = load_data()

# 定义参数范围
bounds = [(1, 10), (0.01, 0.5), (10, 200), (1, 10), (0.1, 1.0), (0, 10.0),
          (0.1, 1.0), (0, 10.0), (0, 10.0)]

# 使用PSO算法进行参数寻优
params, _ = pso(objective, bounds, swarmsize=50, omega=0.5, phip=0.5, phig=0.5, maxiter=100)

# 输出最优参数
print('最优参数:', params)

# 使用最优参数重新训练模型
best_params_dict = {
    'max_depth': int(params[0]),
    'learning_rate': params[1],
    'n_estimators': int(params[2]),
    'min_child_weight': int(params[3]),
    'subsample': params[4],
    'gamma': params[5],
    'colsample_bytree': params[6],
    'reg_alpha': params[7],
    'reg_lambda': params[8],
    'objective': 'reg:squarederror',
    'eval_metric': 'rmse',
    'seed': 42
}
dtrain = xgb.DMatrix(X_train, label=y_train)
model = xgb.train(best_params_dict, dtrain, evals=[(dtrain, 'train')],
                  num_boost_round=1000, early_stopping_rounds=20, verbose_eval=False)

# 对测试数据进行预测
X_test, y_test = load_test_data()
dtest = xgb.DMatrix(X_test)
y_pred = model.predict(dtest)

# 输出测试集RMSE评估指标
rmse = np.sqrt(np.mean(np.square(y_test - y_pred)))
print('测试集RMSE:', rmse)

在以上示例代码中，我们首先定义了一个XGBoost模型训练函数`train_xgb`，该函数使用给定的参数值训练XGBoost回归模型，并返回模型的RMSE评估指标。然后，我们定义了目标函数`objective`，即最小化RMSE。接着，我们加载数据，并定义了参数范围`bounds`。最后，我们使用PSO算法进行参数寻优，并输出最优参数和测试集RMSE评估指标。