贝叶斯框架下黑箱模型优化的神经过程

贝叶斯框架下黑箱模型优化的神经过程上官仲恺、林磊1、吴文成2、徐蓓蕾21 2罗切斯特数据科学联盟，罗切斯特大学，罗切斯特，纽约14604美国1zshangg2@ur.rochester.edu2{Lei.Lin，Wencheng.Wu，Beilei.Xu} @ rochester.edu摘要物理模型中存在大量的优化问题，其中模型参数和输出之间的关系是未知的或难以跟踪的。这些模型通常被命名为优化黑盒模型参数已经变得越来越昂贵和耗时，因为它们已经变得更加复杂。因此，开发有效的黑箱模型优化算法已成为一个重要的任务。贝叶斯优化算法是解决这类问题的一种有效算法，它能有效地估计出使模型性能最佳的模型参数，而高斯过程（GP）是贝叶斯优化中应用最广泛的代理模型之一。然而，GP的时间复杂度相对于观察到的模型输出的数量成三次方地缩放，并且GP也不能很好地与大的参数维度一起缩放。因此，优化需要查询许多观察和/或具有许多参数的黑盒模型对GP来说是一个挑战。为了克服GP的缺点，在这项研究中，我们提出了一个通用的贝叶斯优化算法，采用神经过程（NP）作为代理模型进行黑箱模型优化，即神经过程贝叶斯优化（NPBO）。为了验证NPBO的好处，我们比较NPBO与四个基准方法的电力系统参数优化问题和一系列的七个基准贝叶斯优化问题。 结果表明，该算法在电力系统参数优化问题上的性能优于其他4种基准算法，在7种基准问题上具有较强的竞争力。介绍复杂的物理模型可以被视为黑盒模型，因为当内部工作难以跟踪时，它只能根据其输入（参数）和输出（观察）来查看。 优化这种黑盒模型的参数是工程领域中的常见问题 （ Xiao et al. 2015; Cassioli 2013; Zhang 和 Zhang2010）。例如，电力系统模型需要定期校准，以版权所有© 2021，本文由作者所有。 允许在知识共享许可协议署名4.0国际（CC BY 4.0）下使用反映当前的电力系统状态，识别并缓解潜在问题（Lin等人2020）;天线的几何结构参数优化旨在达到工作频段的最佳增益（Gustafsson 2016）。在许多情况下，该优化过程由专家基于一系列实验手动完成。然而，该过程需要专家领域知识和要进行的许多实验，这可能既昂贵又耗时。为了减少人力和所需实验的数量，已经提出了具有不同计算复杂度和可扩展性的自动优化算法。常规的自动化黑盒模型优化算法包括网格搜索和随机搜索（Bergstra和Bengio 2012）。 在网格搜索中，问题被定义在高维网格空间中，其中每个网格维度对应于一个参数，并且每个网格点对应于一个参数组合。 然后，我们评估的所有参数组合的网格定义的模型，并选择参数组合，产生最佳性能的模型。网格搜索的一个缺点是网格点的数量随着参数的数量和值范围的增加而呈指数增长。另一方面，随机搜索方法可以通过在参数空间中随机生成参数组合来潜在地更广泛地探索参数空间。然而，这两种方法都没有利用先前的采样信息，使得搜索是盲目的。最近，已经引入了更先进的自动优化算法，包括进化优化（Cheng 2018）、基于群体的优化（Jaderberg etal. 2017）和贝叶斯优化（Frazier 2018）。这些算法建立了参数组合与黑盒模型性能之间的关系，为下一步选择参数组合进行评估提供了指导，使得这些方法能够更有效地找到全局最优的参数组合。在本文中，我们专注于贝叶斯优化框架。贝叶斯优化实现了一个代理模型，预测一个特定的参数组合的黑盒模型的性能;和一个采集功能，它权衡探索和开发，以查询下一个观察点。一个准确的代理模型，可以预测黑箱模型的性能以及测量啊··∈ X我的天N|{∈X}十R不确定性对于贝叶斯优化的性能是至关重要的 高斯过程（GP）由于其表达性、平滑性和模型响应的良好校准的不确定性估计而成为贝叶斯优化（Rasmussen和Williams2006）中最广泛使用的代理模型。然而，GP具有（N3）时间复杂度，其中N是训练样本的数量（Rasmussen和Williams2006），所以计算成本很GP的另一个缺点是其对高参数维度的可扩展性差（Liu et al. 2020），即， 随着参数维数的增加，GP的性能变差。因此，GP不能应用于需要查询许多观测和/或具有许多参数的问题。为了克服这些问题，我们提出了一种新的算法，黑盒模型优化采用神经过程，cess作为一个强大的和可扩展的代理模型下的贝叶斯优化框架，即贝叶斯优化神经过程（NPBO）。神经过程（NP）（Garnelo et al. 2018b）是一种使用神经网络（NN）模拟随机过程的算法。它结合了随机过程和神经网络的优点，使其具有捕捉不确定性的能力，同时准确预测黑箱模型所提出的算法的性能进行评估的电力系统参数优化问题和贝叶斯优化的七个基准问题（克莱因等人。2017）。结果表明，该算法在电力系统参数优化问题上的性能优于其他四种基准方法，包括基于GP的贝叶斯优化、基于随机森林的贝叶斯优化、全局深度网络优化（DNGO）和基于哈密顿蒙特卡罗人工神经网络的贝叶斯优化（BOHAMIANN），并在基准问题上具有竞争力。论文的其余部分安排如下。相关工作介绍了贝叶斯优化框架下的参数优化的最先进的方法。方法学中详细介绍了NPBO的方法学。在实验部分，我们对NPBO算法和基准算法的结果进行了比较和讨论最后，对本文的工作进行了总结，并对下一步的工作进行了展望。相关工作本节将介绍使用GP的贝叶斯优化的框架，然后讨论先前 提 出 的 方 法 （ Snoek et al. 2015; Springenberg 等 人2016），使用NN作为替代模型。贝叶斯优化框架贝叶斯优化是一种最先进的黑箱模型优化问题的优化框架。它在物理模型参数优化方面有很大的应用潜力Rd→R。它可以表示为（1）：f（x），（1）x∈ARd其中，d是x的维数，A是针对f（x）定义的约束，f（）是用于评估的非线性函数，并且x？是输入参数的估计。贝叶斯优化的一个假设是只能观察到输出f（x），而不能获得其导数。因此，f（）是黑盒模型，并且不能使用梯度下降算法来解决优化问题。 贝叶斯优化重复执行以下步骤直到找到满意的输入参数组合：（i）将代理模型拟合到当前观测值以获得先验分布;（ii）将先验分布转换为后验分布，并预测下一个中放置参数组合是通过最大化获取函数;（iii）获得关于所建议的参数组合的观测，并将结果添加到观测集合。第三步通常是最昂贵的步骤，因为它需要在昂贵的黑盒模型上生成观察结果。在贝叶斯优化中有两个主要组成部分：模拟黑盒模型的代理模型和权衡探索和利用以决定下一个查询输入的获取函数。GP模型是一个经典的模型，被广泛地用作贝叶斯优化的替代模型。GP被定义为由集合d索引的随机过程：f（x）：x使得任意有限数量的随机变量该过程的表具有联合高斯分布。GP可以用于直接推断函数上的分布，而不是推断参数上的分布。 例如，考虑到我们对有限集合D = X1，…xn，D，GP完全由其均值和协方差函数定义，如（2）所示p（f |D）= N（f |µ，K）（2）其中f=（f（xl），…f（xn））是黑盒模型上的分布; μ=（m（x1），...， m（xn）），其中m是均值函数，K=K（xi，xj）表示协方差函数（也称为核），如 径 向 基 函 数 k 内 核 （ Görtler ， Kehlbeck ，andDeussen2019）。因此，对于特定的x，GP预测完全定义f（x）上的高斯分布的均值和方差，即，f（x）（f（x）m（x），K（x））.期望改进（EI）是一种流行的学习方法。贝叶斯优化中的函数（Frazier 2018）。 EI被计算为相对于后验分布所取的期望。其定义为：αEI（x）：=（µ（x）− τ）Φ。µ（x）−τΣ+ σ（x）φ。µ（x）−τΣ（3）els（Duris et al.2020; Muehleisen和Bergerson 2016）和训练机器学习σ（x）σ（x）(ML)模型（Chen et al.2018）。详细的教程可以在（Archetti和Candelieri 2019）中找到。贝叶斯优化的目的是找到输入x，其最大化未知非线性函数f（x）：其中Φ和φ表示标准正态分布的累积分布函数和概率分布函数，τ是当前最佳观测结果，μ和σ是均值和方差。N你们|1：N1：N我我我贝叶斯神经网络优化为了解决标准GP的缺点，即，随着查询观测的数量的立方缩放，并且在高维数据中表现不佳，已经提出了基于稀疏GP近似的替代方法（Snelson和Ghahramani2006;La'zaro-Gredillaetal.2010;McIntire，Ratner和Ermon 2016）。 这些方法通过使用原始数据集的子集作为诱导点来构建协方差函数来近似完整GP。然而，它们在不确定性估计方面不准确，并且在高维参数空间中仍然具有差的可扩展性（Hebbal等人，2009）。2019年）。由于NNS是非常灵活的-贝叶斯优化的神经过程NP是一种基于神经网络的方法来表示函数上的分布。 它构建神经网络来将函数建模为随机过程f。给定一组观测值（（x1，y1），…，（xN，yN）），NP首先定义ρx1：N为（f（x1），...，f（xN）），即ρ χ1：N（y1：N）：= ρ χ1，…，XN（y1，…（4 ）假设样本和观测噪声之间存在独立性，即yi =f（xi）+ε i（f（xi），σ2（xi）），为了在⑷上建立模型，条件分布可以写为国简单且可扩展，使NN适应贝叶斯优化框架是非常可取的。然而，神经网络是决定性模型，不具有测量非线性的能力。p（y |x，f）= YN（y |f（x），σ2（x））（5）确定性因此，将灵活性和可扩展性相结合具有良好校准的不确定性估计的NN在此过程中至关重要。最近，已经提出了基于NN的贝叶斯优化方法。Snoek等人（2015）提出了一种全局优化深度网络（DNGO）框架，该框架使用NN作为特征提取器来预处理输入，然后采用贝叶斯线性回归（BLR）模型来获得不确定性。具体地，作者首先训练具有全连接层的确定性神经网络，其中倒数第二层的输出被认为是许多基函数，并且最后一层被认为仅是这些基函数的线性组合然后，它们冻结神经网络的参数，并将倒数第二层生成的基函数馈送到概率模型，即，BLR，以测量不确定性。 该方法成功地将神经网络嵌入到概率模型中，但不确定度测量在整个过程中只占很小的一部分，这使得它在不确定度估计中表现不佳。Springenberg等人（2016）应用贝叶斯神经网络（ BNN ） 作 为 代 理 模 型 ， 并 在 贝 叶 斯 优 化 框 架（BOHAMIANN）中使用随机梯度哈密顿Monte对其进行详细地说，他们将神经网络的权重视为概率分布，以便以概率方法对其进行建模在推理中，他们从概率模型中抽取几个模型来获得不确定性。该方法结合了神经网络和贝叶斯模型的优点，但在推理阶段需要多次采样以获得不确定性。因此，如果只采样几个模型，不确定性估计将是不准确的;另一方面，采样太多的模型将使算法耗时。其中p表示概率分布。然后，为了使用神经网络构建随机过程f，我们假设f（x）=g（x，z），其中z是足以表示f的潜在向量，并且g是为f定义的一般函数。假设p（z）服从多元标准范数，则随机过程f成为z的抽样。例如，假设f是GP，则z应该是包含可以完全定义GP的均值和方差的向量因此，可以采用NN来输出z，以便对随机过程f进行建模。将f（x）替换为g（x，z），我们有国p（z ，y）1 ：N|x1 ：N）=p（z）N（yi|g（xi ，z），σ2（xi））（六）i=1建模和培训为了对由（6）定义的随机函数上的分布进行建模，我们构建了包括三个组件的NPBO：概率编码器、确定性编码器和解码器。通过将从每个编码器提取的向量加在一起并取平均值，在概率编码器和确定性编码器两者之后应用均值函数我们的NP实现中的整体网络架构如图所示。1.可以看出，概率编码器用于生成z，z可用于定义随机过程f。在这个过程中，我们使用NN输出用于构建多元正态分布的μ和σ，然后从这个正态分布中采样z。具有结果r的确定性编码器有助于提高模型稳定性。最后，解码器将x、r和z作为输入并预测y=f（x）。NP修改证据下限（ELBO）（Yang2017年），设计损失函数。ELBO由下式给出log p（y1：N|x1：N）ΣΣNp（z）Σ方法≥Eq（z|x1：N，y1：N）i=1logp（yi*|fz（xi））+logq（z|十1：N，y1：N）（七）在本节中，我们将展示如何使用NP作为贝叶斯优化的替代模型。 我们首先总结NP背后的一般形式主义，然后推导出所提出的NPBO算法的训练过程。其中q（zX1：N，y1：N）是潜在向量z的后验。在训练过程中，我们对每一批{x1，…x n}分成两组：上下文点（X c，Y c）={（x1，y1），…（xm，ym）}和 目标 点（Xt，Yt）={（Xm+ l，ym+ l），… （xn，yn）}。上下文点被馈送到i=1|∼|∼∼|||Ⓧ|三三log p（y*|fz（xi））+log三三标记问题，包括基于GP的贝叶斯优化，图1：神经过程的流程图。确定性编码器产生R的全局表示，并且目标点被馈送到概率编码器以产生S，S产生Z。在这个过程中，我们假设我们只有上下文点的信息，并希望预测目标点。 在此数据拆分过程之后，ELBO变为：log p（Y t|X t，X c，Y c）未知参数的不确定性估计 NP还结合了神经网络的优点，使得其相对于观察的数量线性缩放。实验在这一节中，我们比较了NPBO在电力系统参数优化问题上的性能，并与ΣΣn≥E q（zXt，Yt）i=m+1p（z|X，Y）Σ（8）dom搜索，基于GP的贝叶斯优化，DNO和最终的损失函数由（8）定义的ELBO修改。由于不可能估计潜在向量的先验分布，即p（z），所以我们使用上下文点q（z|X c，Y c）来近似p（z|X c，Y c）：log p（Y t|X t，X c，Y c）基于随机森林的贝叶斯优化BOHAMIANN在七个贝叶斯优化基准问题上的应用。电力系统参数优化准确且经过验证的机器模型对于以下方面至关重要ΣΣn≥E|q（z|X，Y）Σ（9）可靠和经济的电力系统运行。机模型需要定期校准，以确保其准确性。q（zXt，Yt）我i=m+1q（z|X t，Y t）计划目的和实时操作的精确性（黄我们使用（9）的下界作为损失函数。 为了获得q（zXc，Y c），上下文点将被馈送到仅用于前向过程的概率编码器中。请注意，（9）包含两项。 第一个是目标点上的期望对数似然。 为了计算第一项，我们需要上下文参数r和来自潜在空间z q（z X t，Y t）的样本，然后将z、r和X t馈送到解码器以获得模型性能的预测以及其不确定性。第二项估计近似的负Kullback-Leibler（KL）散度（Joyce2011）为：因为我们将zp（z）的先验替换为后验zq（zXc，Yc）。在推理过程中，我们使用所有观察到的点作为上下文点，并使用此上下文点而不是目标点生成z;然后执行训练的向前步骤处理以得到将被馈送到Equ.（3）确定下一个要查询的点。与GP类似，NP对函数上的分布进行建模，并提供不确定性估计。因此，它非常适合作为贝叶斯优化框架下的代理模型。换句话说，NP直接从数据中学习隐式核，这减少了人类在GP中设计核函数的努力，并导致等人2017）。近年来，随着可再生能源和发电机的增加，发电正面临因此，对于系统操作员来说，具有有效的校准方法和工具以减少机器校准所需的时间和精力是至关重要的。 为了测试我们提出的NPBO方法，使用电力系统仿真工具PSSRE（We-ber2015）对具有14参数发电机模型（即图2所示的圆形转子发电机模型（GENROU））的IEEE 14节点系统（Yk 2020）进行仿真。模拟器将发电机模型的14维参数作为输入，其中它们的物理含义在表1中示出，以生成在连接到目标发电机的总线端子上测量的4维输出，即，母线电压幅值（电压）、母线电压频率（频率）、有功功率注入（P）和无功功率注入（Q）。 为了减少参数维度，已经应用实验设计（DOE）（一种成熟的统计方法）来选择14 个 参 数 中 的 四个 的子 集（ Gunawan ，Lau等人 ，2011）。 也就是说，我们的目标是优化选定的四个参数，使模拟输出匹配的目标观测。待优化的输入参数范围log p（y*|fz（xi））+log博哈米安我们进一步比较了NPBO和Bench-我q（z|Xt，Y t）ΣΣ1MSE=Tr×DΣT′dod轴OC瞬态时间常数T′′do次瞬态T′qo瞬变T′′qo次瞬态HH惯性DD速度大坪Xd直轴电抗Xq正交轴电抗X′d直轴瞬态电抗X′q交轴暂态电抗X′′d/X′′q瞬态电抗XI泄漏电抗S（1. 0）饱和度第一点S（2. 0）饱和度第二点表1：输入参数及其物理含义表2：电源系统的输入和输出范围分钟最大输入T′doXdXQX′ d5. 6251. 4251. 350。3159. 3752. 3752. 250。525输出普问频率电压-2。4612-0。5418-8。56150。99871. 80128. 31886. 83651. 0001并且观察结果示于表2中。我们使用估计参数的均方误差（MSE）来评估性能：Tr D图2：IEEE 14总线系统。表3：电力系统不同参数优化方法实验时间（s）中小企业随机搜索202. 0011. 759 ×10−11. 504 ×10−11. 758 ×10−12. 718 ×10−25. 182 ×10−3大奖赛349DNO409DNO（残留）997Bohamiann1672NPBO157i=1j=1-P（ij）2（10）（P艾湾其中Tr是试验次数（例如，每个试验用一组新的地面实况参数初始化），D是要优化的参数的数目，即， 参数维数Pij和Pij分 别表示第i次试验中的真实参数和估计的第j个参数。术语地面实况（ground-truth）指的是生成预期输出的参数组合在我们的实验中，需要最小化的目标函数定义为米直径=||Oi−Oi||第二章（十一）i=1其中m=4是输出的维度，Oi和Oii是长度为452的向量，其分 别 表 示 地 面 实 况 和 估 计 参 数 的 输 出 。 我 们 设 置Tr=100，并且在每次运行中，我们查询500个观察。实验在Intel i7- 9700 k上运行，结果如下所示表3所作为残余阻滞（He et al.2016）在NN中取得了巨大成功，我们重新实现了具有两个残差块的DNO并将其添加用于比较。如表所示，NPBO在所有模型中具有最准确的参数校准，执行时间非常短我们进一步比较了使用NPBO优化参数的电力系统的四维输出与图1中观察到的目标输出3.可以看出，在我们的优化输出和目标输出之间只有非常小的差异，这表明，仅用少量的观察，我们仍然可以获得准确和令人满意的参数值。七个基准问题为了证明我们的方法的有效性，我们比较NPBO的国家的最先进的贝叶斯优化方法使用不同的代理模型的一组合成功能（克莱因等人。2017）。除了基于GP的贝叶斯优化，DNGO和BOHAMIANN，我们还使用随机森林（Hutter，Hoos和Leyton-Brown 2011）作为比较的代理模型 目标是找到使合成函数最小化的参数。基于七个基准问题的结果（Eggensperger选择选择表4：在全局优化基准上对不同代理模型的评估实验高斯过程随机森林DNOBohamiannNPBOBraninCamelbackHartmann3ForresterGoldsteinPriceHartmann6SinOne0。3996-1。011-1。028-6。0214. 916-3。2550。042920。4562-0。8085-0。998-6。021二十七岁69-3。1320。064720。4019-1。026-3。862-5。8466. 379-3。2490。042920。3979-1。027-3。861-6。021十一岁39-3。2640。042920。3980-0。9999-3。498-5。3018. 654-3。2140。04292每个基准问题的前3个最佳算法以粗体显示。图3：校准模型的输出与目标输出的比较。（a）：有功功率注入;频率;电压。使用最小-最大归一化方法对输出进行归一化。等人2013年），见表4。这些基准问题是具有从一到六的参数数量范围的流行合成函数Branin和Hart-mann函数（Surjanovic和Bingham 2013）。 如表所示，采用贝叶斯优化的所有替代模型均达到了可接受的性能。总体而言，在七个基准问题中，NPBO在四个问题上与BO-HAMIANN，DNGO和基于GP的贝叶斯优化具有竞争力。我们进一步在图1中详细示出了Branin的优化过程4，其中表现是通过（12）定义的即时后悔来衡量的I=|fi− f opt|（十二）图4：在Branin基准上应用于贝叶斯优化的10次运行的平均结果。方法 NPBO算法能够有效地辨识黑盒模型的最优参数组合。 该模型保留了GP算法的灵活性和不确定度估计的优点，同时将时间复杂度从三次降为线性，提高了不确定度估计的精度。将NPBO算法应用于IEEE 14节点电力系统复杂的14参数发电机模型的参数优化，结果表明，NPBO算法优于其他基准算法，即，高斯过程，随机森林，全局优化深度神经网络（DNGO）和贝叶斯优化与汉密尔顿蒙特卡罗人工神经网络（BOHAMIANN）。我们进一步比较了NPBO在七个常见基准问题上的性能其中fi是在第i迭代中找到的最佳观测值，fopt表示理论最佳值。如可以看到的，NPBO与基于BOHAMI-ANN和GP的贝叶斯优化竞争性地执行，并且其性能超过随机搜索和基于随机森林的贝叶斯优化。结论和未来工作在本文中，我们提出了贝叶斯优化神经过程（NPBO）作为一个可扩展的参数优化结果表明，NPBO方法具有与基准方法相竞争的性能我们在未来的工作中考虑了三个方面：i）我们将在不同的场景中应用NPBO，例如， 加速物理科学中的实验（ Ermon 2020 ） ; ii ） 我 们 将 测 试 NP 变 体 作 为surrogate模型的性能，例如条件神经过程（Garnelo et al.2018a）和Attentive Neural Process（Kim et al.2019年）;iii）获取函数也可以由NN代替，以在贝叶斯优化框架下执行权衡策略。引用Archetti，F.;和Candelieri，A.2019年。贝叶斯优化和数据科学。斯普林格Bergstra，J.;和Bengio，Y.2012年。超参数优化的随机搜 索 The Journal of Machine Learning Research13（1）：281Cassioli，A. 2013.黑盒优化教程。【在线】。网址：https://www.lix.polytechnique.fr/dambrosio/blackbox material/Cassioli 1.pdf.Chen，Y.; Huang，A.; Wang，Z.;安东诺格鲁岛Schrit-twieser，J.; Silver，D.;和de Freitas，N. 2018. alphago中的贝叶斯优化arXiv预印本arXiv：1812.06855。Cheng，J. 2018.进化优化：几种算法的回顾和实现。【在线】。网址https：//www.strong.io/blog/evolutionary-optimization. 可 访 问 ：https://www.strong.io/blog/evolutionary-optimization [ 访问日期：2020年6月23日]。Duris，J.; Kennedy，D.; Hanuka，A.; Shtalenkova，J.;Ede-len ， A.;Baxevanis ， P.;Egger ， A.;Cope ，T.;McIntire，M.; Er-mon，S.; 等人2020年。自由电子激光 器 的 贝 叶 斯 优 化 。 Physical Review Letters124（12）：124801.Eggensperger ， K.;Feurer ， M.;Hutter ， F.;Bergstra ，J.;Snoek，J.; Hoos，H.;和Leyton-Brown，K.2013年。超参数贝叶斯优化评价的实证基础。在NIPS工作坊贝叶斯优化理论与实践，第10卷，3。Ermon，S.2020.贝叶斯优化和机器学习加速物理科学实验。【在线】。网址：https://www.youtube.com/watch? v=5n7UinKrMLk&列表=PL1e3Jic2DwwJQ528agJYMEpA00MaDSA9&索引=18。弗雷泽，私家侦探。2018. 贝叶斯优化教程。arXiv预印本arXiv：1807.02811。Garnelo ， M.; Rosenbaum ， D.; 麦 迪 逊 角 J.;Ramalho，T.; Saxton，D.; Shanahan ，M.; Teh，Y.W.; Rezende，D. J.; 和Eslami，S.2018年a。条件神经过程。 arXiv预印本arXiv：1807.01613。Garnelo，M.; Schwarz，J.; Rosenbaum，D.; Viola，F.; Rezende，D.J.; Eslami，S.;和Teh，Y.水渍2018年b。神经系统。arXiv预印本arXiv：1807.01622。Görtler，J.; Kehlbeck，R.; 和Deussen，O. 2019年。高斯过程的直观探索。蒸馏4（4）：e17。Gunawan，A.;Lau，H.C.; 等人2011年。使用实验设计方法微调算法参数在学习和智能优化国际会议上，278-292。斯普林格Gustafsson，M. 2016.天线电流优化与优化设计。2016年国际天线与传播研讨会（ISAP），132IEEE。He，K.; Zhang，X.; Ren，S.;和Sun，J. 2016。用于图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议论文集，770Hebbal，A.; Brevault，L.; Balesdent，M.; Talbi，E. G.;和Melab，N. 2019年。 使用深度高斯过程的贝叶斯优化。arXiv预印本arXiv：1905.03350。Huang，R.; Diao，R.; Li，Y.; Sanchez-Gasca，J.; Huang，Z.;Thomas，B.; Etingov，P.; Kinic，S.; Wang，S.; Fan，R.;等2017年。用改进的集合卡尔曼滤波器校正电力系统稳定模型参数。IEEE Transactions on Power Systems33（3）：2895Hutter，F.; Hoos，H. H.;和Leyton-Brown，K. 2011. 一般算法配置的基于序列模型的优化。在学习和智能优化国际会议上，507-523。斯普林格Jaderberg，M.;Dalibard，V.;Osindero，S.;恰尔内茨基湾M.; Donahue，J.; Razavi，A.; Vinyals，O.; Green，T.;邓宁岛Simonyan，K.;等2017年。基于种群的神经网络训练。arXiv预印本arXiv：1711.09846。Joyce ， J. M. 2011. Kullback-Leibler Divergence ， 720-722.柏林，海德堡：施普林格柏林海德堡。 ISBN 978-3-642-04898-2 。 doi ： 10.1007/978-3-642-04898-2327。网址https://doi.org/10.1007/978-3-642-04898-2327章.Kim ， H.; Mnih ， A.; Schwarz ， J.; Garnelo ， M.;Eslami，A.; Rosenbaum，D.;Vinyals，O.;和Teh，Y.水渍2019年。 专注的神经过程。arXiv预印本arXiv：1901.05761。Klein，A.; Falkner，S.; Mansur，N.;和Hutter，F. 2017.Robo：Python中灵活而健壮的贝叶斯优化框架在NIPS2017 Bayesian Optimization Work- shop中。La'zaro-Gredilla ，M.; Qui nonero-Candela，J.; 拉斯穆森梭E.;和Figueiras-Vidal，A.室 2010. 稀疏谱高斯过程回归。机器学习研究杂志11：1865Lin，L.; Wu，W.;上官、Z.; Wshah，S.; Elmoudi，R.;和Xu，B.2020年。HPT-RL：基于分层参数整定和强化学习的电力系统模型校准在IEEE机器学习应用上。Liu，H.; Ong，Y.- S.; Shen，X.;和Cai，J. 2020.当高斯过程遇到大数据：可扩展GP的回顾神经网络与学习系统汇刊。McIntire，M.;Ratner，D.;和Ermon，S.2016年。贝叶斯优化的稀疏在UAI。米莱森河T.;和Bergerson，J. 2016.贝叶斯校准-什么，为什么和如何。国际高性能建筑会议。Rasmussen，C.;和Williams，C.2006年机器学习的高斯。自适应计算和机器学习。美国马萨诸塞州剑桥：北京：清华大学出版社.Snelson，E.;和Ghahramani，Z. 2006.使用伪输入的稀疏高斯过程。神经信息处理系统的进展，1257Snoek，J.; Rippel，O.; Swersky，K.; Kiros，R.; Satish，N.; Sundaram ， N.; Patwary ， M.; Prabhat ， M.; 和Adams，R. 2015. 使用深度神经网络的可扩展贝叶斯优化。国际机器学习会议，2171-2180。Springenberg，J. T.; Klein，A.; Falkner，S.;和Hutter，F. 2016.贝叶斯优化与鲁棒贝叶斯神经网络。神经信息处理系统进展，4134Surjanovic，S.;和Bingham，D. 2013.模拟实验虚拟库：测试函数和数据集。加拿大卑诗省本拿比市西蒙弗雷泽大学，5月13日访问：2015.Weber，J.2015年。机器型号GENROU、GENSAL、GENTPF和GENTPJ。【在线】。可用网址：https：//www.powerworld.com/files/GENROU-GENSAL-GENTPF-GENTPJ.pdf。Xiao，J. - k.; Li，W.- m.; Li，W.;和Xiao，X.-室2015.黑箱函数优化问题的优化。2015年工程中的数学问题Yang，X. 2017.理解变分下界。Yk，B. 2020. IEEE 14总线系统【在线】。可用：https：orks.com/matlabcentral/fileexchange/46067-ieee-14-bus-system。Zhang，P.;和Zhang，P. 2010.工业控制系统仿真例程。先进工业控制技术Elsevier：Oxford，UK 781-810.