R语言 lightGBM回归预测模型，进行十折交叉验证与超参数寻优

在R语言中，LightGBM是一个高效的梯度 boosting 分类和回归库。对于回归预测任务，我们可以使用它建立模型并通过十折交叉验证（k-fold cross-validation）来评估模型性能，并通过网格搜索（Grid Search）或随机搜索（Randomized Search）等方法来优化超参数。

以下是基本步骤：

1. **安装和加载包**：
首先需要安装`lightgbm`包，可以使用`install.packages("lightgbm")`，然后加载到工作环境中：

   library(lightgbm)

2. **数据准备**：
将数据集分为特征(X)和目标变量(y)，确保数据已经预处理好，例如填充缺失值、编码分类变量等。

3. **创建训练集和验证集**：
使用`createDataPartition()`函数将数据划分为训练集和验证集，如10折交叉验证：

   set.seed(123)
   indices <- createDataPartition(y, p = 0.9, list = FALSE, times = 10)
   train_data <- data[indices, ]
   valid_data <- data[-indices, ]

4. **构建模型**：
创建一个`LGBMModel`对象，并设置初始参数。比如：

   params <- list(
       objective = "regression",  # 回归任务
       num_leaves = 31,
       learning_rate = 0.05,
       n_estimators = 1000
   )
   model <- lgb.Dataset(train_data[, -ncol(train_data)], label = train_data[, ncol(train_data)]) %>%
     lgb.train(params, data, nrounds = 1000, early_stopping_rounds = 50, verbose_eval = 100)

5. **交叉验证**：
使用`cv.gbm()`进行10折交叉验证：

   cv_results <- cv.lgb(model, data, nfold = 10, metrics = 'rmse', quiet = TRUE)

6. **超参数优化**：
可以利用`tune()`函数进行网格搜索或随机搜索，寻找最佳的超参数组合：

   grid_params <- expand.grid(.param1 = c(val1, val2), .param2 = c(val3, val4))
   best_params <- tune.model(model, resample = "cv", grid = grid_params, metric = "rmse")