R语言 tune()函数包对LightGBM回归预测模型进行超参数寻优

R语言中的`tune()`函数是ranger包的一部分，用于对机器学习模型，如LightGBM（Light Gradient Boosting Machine），进行超参数调优。LightGBM是一个高效的梯度提升算法，而ranger是其在R环境下的封装。`tune()`函数通过Grid Search、Randomized Search等策略，帮助我们找到最优的超参数组合，以提高模型的性能。

在使用`tune()`优化LightGBM回归模型时，一般需要提供以下几个关键步骤：

1. 安装并加载必要的包：首先安装`ranger`和`mlr3tuning`（如果还没有安装）。

install.packages("ranger")
install.packages("mlr3tuning")
library(ranger)
library(mlr3tuning)

2. 准备数据：将数据分为训练集和验证集（或交叉验证）。

3. 定义模型：创建一个`ranger`对象，并设置默认的超参数。

lgbm_model <- ranger::ranger(
  data = train_data,
  target = "target_variable",
  type = "regression", # 回归任务
  num_trees = 50,      # 示例参数
  mtry = -1,           # 自动选择最佳特征数
  importance = "impurity"   # 特征重要性计算方式
)

4. 定义超参数空间：`tune()`需要知道哪些参数及其范围可以调整。

param_grid <- tunning::make_tune_params(
  list(
    num_trees = tune_seq(50, 500, length.out = 10),  # 调整树的数量
    mtry = tune_int(1:sqrt(ncol(train_data)), upper = ncol(train_data) - 1),  # 调整每棵树的特征数量
    learning_rate = tune_dbl(0.01, 0.1, logscale = TRUE)  # 学习率范围
  )
)

5. 开始调优：使用`tune()`函数运行超参数搜索，可以选择GridSearch或RandomSearch。

tuned_model <- tuning::tune(
  model = lgbm_model,
  resampling = rsmp_cv,  # 使用交叉验证
  grid = param_grid,
  control = make_tune_control(resampling = "cv")  # 控制参数
)

6. 评估结果：查看最好的超参数组合和相应的模型性能。

best_model <- tuned_model$best.model
performance(best_model, resample_results$tuning$iter_results)