r语言中对xgboost模型做交叉验证和网格搜索

在R语言中，我们可以使用`caret`包来进行交叉验证和网格搜索。具体步骤如下：

1. 载入`caret`和`xgboost`包

library(caret)
library(xgboost)

2. 准备数据集

data(iris)
x <- iris[,1:4]
y <- iris[,5]

3. 定义模型和参数网格

比如，我们使用xgboost模型，并定义一些可能的参数组合：

model <- train(x, y, method = "xgbTree", tuneLength = 3,
               preProc = c("center", "scale"),
               tuneGrid = expand.grid(nrounds = c(10, 20, 30),
                                      max_depth = c(2, 4, 6)))

其中，`method`参数指定了使用的模型类型，`tuneLength`参数指定了交叉验证的折数，`preProc`参数指定了预处理方式，`tuneGrid`参数指定了参数网格。

4. 进行交叉验证和网格搜索

fit <- train(x, y, method = "xgbTree", trControl = trainControl(method = "cv", number = 5),
             tuneGrid = expand.grid(nrounds = c(10, 20, 30),
                                    max_depth = c(2, 4, 6)),
             preProc = c("center", "scale"))

其中，`trControl`参数指定了交叉验证的方式，`tuneGrid`参数指定了参数网格。

5. 查看最佳参数和模型性能

print(fit)

输出类似于：

eXtreme Gradient Boosting 

150 samples
  4 predictor
  3 classes: 'setosa', 'versicolor', 'virginica' 

Pre-processing: centered (4), scaled (4) 
Resampling: Cross-Validated (5 fold) 
Summary of sample sizes: 120, 120, 120, 120, 120 
Resampling results across tuning parameters:

  nrounds  max_depth  Accuracy   Kappa    
  10       2         0.9466667  0.9100000
  10       4         0.9466667  0.9100000
  10       6         0.9466667  0.9100000
  20       2         0.9533333  0.9200000
  20       4         0.9533333  0.9200000
  20       6         0.9533333  0.9200000
  30       2         0.9600000  0.9300000
  30       4         0.9600000  0.9300000
  30       6         0.9600000  0.9300000

Accuracy was used to select the optimal model using the largest value.
The final values used for the model were nrounds = 30 and max_depth = 2.

可以看到，最佳参数是`nrounds = 30`和`max_depth = 2`，模型的准确率为0.96。