R语言 lightGBM回归预测模型中，超参数寻优

在R语言中，使用lightGBM进行回归预测模型时，超参数优化是一个关键步骤，它能帮助我们找到最佳模型配置，提高模型性能。LightGBM的超参数主要包括：

1. `num_leaves` (叶子节点数)：影响树的复杂度和精度。
2. `max_depth` (最大深度)：限制了每个决策树的深度。
3. `learning_rate` (学习率)：控制模型每次迭代更新的速度。
4. `min_child_samples` (最小样本数)：决定一个叶子结点分裂所需的最小样本数。
5. `subsample` (特征采样比例) 和 `colsample_bytree` (列采样比例)：用于减少过拟合。
6. `reg_alpha` 和 `reg_lambda`：L1和L2正则化项，用于降低模型复杂度。

对于超参数寻优，R中有多种方法可以采用：

- **网格搜索**（Grid Search）：通过遍历预设的参数组合来寻找最优值，但计算成本较高。
- **随机搜索**（Randomized Search）：从给定的参数空间中随机选择一组参数组合进行评估。
- **贝叶斯优化**（Bayesian Optimization）：使用统计学方法构建一个函数来指导参数的选择，效率相对更高。
- **基于封装的工具包**如`tune()`函数（来自`mlr3`、`optuna`等库），它们提供了一套统一的API来进行自动调参。

使用R的`lightgbm`包配合上述优化工具，你可以编写类似下面的代码示例：

library(lightgbm)
library(tune)

# 定义参数范围
param_grid <- expand.grid(
  num_leaves = seq(20, 50),
  max_depth = seq(5, 20),
  learning_rate = c(0.01, 0.05, 0.1),
  min_child_samples = seq(50, 200),
  subsample = seq(0.5, 1),
  colsample_bytree = seq(0.5, 1),
  reg_alpha = seq(0, 1),
  reg_lambda = seq(0, 1)
)

# 定义模型和评估指标
model <- lightgbm(
    formula = target ~ .,
    data = train_data,
    params = params,
    objective = "regression",
    metric = "rmse"
  )
  return(lgb_model$booster$best_score["rmse"])
}

# 使用tune::tune()进行参数搜索
set.seed(123)
optimized_params <- tune::tune_params(model, param_grid, control = tune::control_grid())

# 使用最优化的参数训练最终模型
final_model <- model(optimized_params)