随机搜索结合贝叶斯优化MATLAB

### 如何在MATLAB中使用贝叶斯优化进行随机搜索

#### 使用场景与背景
贝叶斯优化是一种强大的全局优化技术，特别适用于处理昂贵的目标函数评估。该方法通过构建代理模型来近似目标函数，并基于此模型选择下一个采样点以最大化信息增益[^1]。

#### 创建可优化变量
定义待调参的空间是实施任何自动机器学习流程的第一步，在MATLAB环境中可以通过`optimizableVariable`对象完成这一过程。对于不同的超参数类型（连续型、离散型），需设置合理的边界范围及其变换方式：

vars = [
    optimizableVariable('numUnits',[10,100],'Type','integer'); % 定义隐藏层单元数为整数值域内的变量
    optimizableVariable('weightDecay',[-8,-2],'Transform','log')]; % 权重衰减系数采用对数尺度表示

#### 设定评价指标并封装成匿名函数
为了使贝叶斯优化器能够工作，必须有一个返回单一标量性能度量的标准作为反馈信号。通常情况下这将是交叉熵损失或错误率等形式的表现分数。这里假设已存在名为`trainNetworkAndEvaluateAccuracy.m`的脚本负责接收配置参数训练网络并给出最终得分，则可以如下创建适配器接口：

objectiveFcn = @(params) trainNetworkAndEvaluateAccuracy(params.numUnits,params.weightDecay);

#### 配置bayesopt选项
针对具体应用场景合理定制化一些高级属性有助于提升求解效率和质量。比如最大迭代次数(`MaxObjectiveEvaluations`)决定了整个探索过程中最多尝试多少次不同组合；而初始设计策略则影响着前期样本分布模式的选择等:

options = struct('AcquisitionFunctionName','expected-improvement-plus',...
                 'IsObjectiveDeterministic',false,...
                 'ExplorationRatio',0.5,...
                 'Verbose',1,...
                 'NumSeedPoints',10,...
                 'MaxObjectiveEvaluations',30); % 至少应保证有足够多轮测试机会以便充分挖掘潜在优质方案

#### 执行贝叶斯优化循环
最后一步就是启动实际寻优进程了——借助内置命令`bayesopt()`即可轻松达成目的。它会按照预定逻辑不断重复试验直至满足终止条件为止，并输出最优的一组设定连同对应的成绩记录下来供后续分析参考之用。

results = bayesopt(objectiveFcn,vars,options);

% 获取最佳结果
bestPoint = bestPoint(results)
disp(['Best Accuracy Found: ', num2str(bestPoint.Fun)])

上述代码片段展示了如何利用MATLAB中的贝叶斯优化工具箱来进行高效自动化调参操作。值得注意的是，尽管这种方法确实能有效缓解人工试错带来的负担，但在某些极端情形下仍可能存在局部极值陷阱等问题需要注意规避措施的应用[^2]。