R 双参数调参

R语言中常用的双参数调参方法有网格搜索和随机搜索。

1. 网格搜索：通过定义参数范围，对每个参数组合进行模型训练和交叉验证，得出每个组合的模型表现，最终选择表现最好的参数组合。例如，可以使用`expand.grid()`函数生成所有可能的参数组合，然后在每个组合上进行模型训练和交叉验证。

2. 随机搜索：与网格搜索不同，随机搜索不是遍历所有可能的参数组合，而是在定义的参数范围内随机选择一定数量的参数组合进行模型训练和交叉验证，得出每个组合的模型表现，最终选择表现最好的参数组合。例如，可以使用`randomSearch()`函数实现随机搜索。

无论是网格搜索还是随机搜索，都需要进行交叉验证来评估模型的表现。可以使用`caret`包提供的函数来实现交叉验证。具体实现方法可以参考以下代码：

# 网格搜索
library(caret)
library(rpart)

set.seed(123)
data(iris)

# 定义参数范围
grid <- expand.grid(cp = seq(0.001, 0.1, by = 0.001),
                    minsplit = seq(2, 10, by = 1))

# 交叉验证
ctrl <- trainControl(method = "cv", number = 10)
fit <- train(Species ~ ., data = iris, method = "rpart",
             trControl = ctrl, tuneGrid = grid)

# 输出最佳参数组合和对应的模型表现
fit$bestTune
fit$results

# 随机搜索
library(mlr)

set.seed(123)
data(iris)

# 定义参数范围
ps <- makeParamSet(
  makeNumericParam("cp", lower = 0.001, upper = 0.1),
  makeIntegerParam("minsplit", lower = 2, upper = 10)
)

# 定义搜索策略
ctrl <- makeTuneControlRandom(maxit = 100)

# 定义评估指标
measures <- list(mmce)

# 定义任务
task <- makeClassifTask(data = iris, target = "Species")

# 开始搜索
res <- tuneParams("rpart", task, resampling = makeResampleDesc("CV", iters = 10),
                  par.set = ps, control = ctrl, measures = measures)

# 输出最佳参数组合和对应的模型表现
getTuneResult(res)$best.parameters
getTuneResult(res)$performances