基于贝叶斯优化的集成学习管道提升点击预测性能

智能系统与应用17（2023）200185基于贝叶斯超参数优化集成学习管道的点击预测提升ag AylinTokuZurc，AhmetTezcanTekinda伊斯坦布尔技术大学计算机工程系，Maslak，34467 Sarıyer，伊斯坦布尔，土耳其Donders Institute for Brain，Cognition and Behaviour，Kapittelweg 29，Nijmegen，6525 EN，Netherlandsc土耳其伊斯坦布尔卡迪尔哈斯大学计算机工程系d土耳其伊斯坦布尔伊斯坦布尔技术大学管理工程系A R T I C L E I N F O A B S T R A C T关键词：机器学习Ensemble learningMeta Regressors贝叶斯优化元搜索引擎在线旅行社在线旅行社（OTA）在元搜索竞价引擎上为他们的网站做广告。预测酒店在给定出价金额下的点击数是OTA在元搜索引擎上管理广告活动的重要一步，因为出价乘以点击数定义了要产生的成本。在这项工作中集成了各种回归量，以提高点击预测性能。经过预处理后，整个特征集被分成5组，在时域上训练集先于测试集，并应用多集验证。然后，每个验证集的训练数据进行特征消除，然后基于测试预测的平均值和加权平均值，使用单独的集成模型对所选模型进行验证。此外，设计并测试堆叠的元回归器，以及完整的训练集，其点击预测值根据折叠外预测原理提取。然后将原始特征集和堆叠的输入数据组合，并再次训练1级回归量以形成混合元回归量。然后将所有单独训练的模型与它们的总体变化进行成对比较。调整后 2 评分被选为主要的评价指标。与独立版本相比，具有基于树的集合1级回归器的元模型不提供任何性能改进，而具有所有其他非基于树的集合的堆叠和混合集合模型与独立版本相比，作为1级回归的模型显著提高了点击预测（0.114和0.124）。此外，统计证据支持贝叶斯超参数优化的重要性，以提高性能的水平-1回归。1. 介绍每年有数以百万计的旅行者通过互联网预订酒店住宿。现代旅行者依赖同行选择、电子口碑（eWOM）和同行评论。流行的在线旅游网站提供可靠的评论和价格（Casaló等人，2015年）。因此，客户在预订他们的住宿之前，会选择在元搜索网站（如Kayak.com、Trivago和TripAdvisor）上查看和比较不同的选择。在线旅行社（OTA）在元搜索竞价引擎上为他们的网站做广告。如果OTA选择进行每次点击费用（CPC）广告活动，OTA承诺在预定条件下为某家酒店从平台获得的每次点击支付一定金额。每次点击支付的金额是OTA���������的预测酒店对于某个出价金额将获得的点击数的问题是OTA在元搜索引擎上的广告凸轮管理中的重要步骤���������������������������������������������������预测酒店搜索、点击和预订是一项具有挑战性的任务，因为有许多外部因素，如季节性、事件、位置和酒店属性。捕捉这些属性增加了预测模型的准确性。由于每日OTA数据的高方差，在尝试预测元搜索竞价平台中的每个酒店的每日客房销售的工作中采用了非线性预测方法和使用时间延迟数据预处理方法创建相关特征（Aras等人，2019年）。许多回归模型是在作为复杂特征工程的结果而收集的大数据集上训练的，并且数值预测是通讯作者：Donders Institute for Brain，Cognition and Behaviour，Kapittelweg 29，Nijmegen，6525 EN，Netherlands。电子邮件地址：cagatay. donders.ru.nl（电子邮件地址：Demirel）。https://doi.org/10.1016/j.iswa.2023.200185接收日期：2022年7月30日;接收日期：2022年12月7日;接受日期：2023年1月14日2023年1月18日在线提供2667-3053/© 2023作者。爱思唯尔有限公司出版 这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表智能系统及其应用杂志主页：www.journals.elsevier.com/intelligent-systems-with-applications*- 是的Demirel，A.A.Tokujiang和A.T.Tekin智能系统与应用17（2023）2001852然后做。尽管用作独立集成模型的基于树的提升回归器提供了高性能，但是集成学习的性能提升效应（Lei等人，2010年，越来越多的人开始关注。它是一种机器学习模型组合，可以从各种模型中获得决策，以提高整体性能。集成方法提供了机器学习算法的稳定性和低多样性预测。它建立了一组决策者，即分类器和回归器，使用各种技术，即装袋，提升或贝叶斯平均作为最终决策（Dietterich，2000）。尽管集成被用作一个总括术语， 从一般的观点来看，为了在不同的数据域中成为性能提升器，由于其对在其自身内可行的尽可能多的不同的基于流水线的设计的包容性，它是一种对研究开放的结构。特别是，替代的中间层特征工程，以及1级模型特征的实质性和超参数对元模型预测的影响有待进一步研究。拟议的研究集中在基于回归的元模型，因为它预测了广告将获得多少点击。从广泛的角度检查了各种集成模型用于点击预测增强;比较了作为1级训练的回归器与其独立版本的性能，并且发现基于树的集成模型（作为内部集成本身）和非基于树的模型作为1级回归器的有效性是高度不同的。此外，观察了一级模型关于超参数优化（HPO）的预测性能，并对点击预测元回归的贝叶斯优化的有效性进行了分析。已核实。2. 相关工作在文献中，研究集中在预测与查询相关的搜索引擎上显示的赞助显示广告的点击率（CTR）的问题上点击和点击率预测是工业界和学术界正在进行的研究（Fain Pedersen，2006，Jansen Mullen，2008，Ghose Yang，2009）。预测的点击数作为一个目标的建议的研究是高度相关的点击率预测问题。Etsy是一个在线电子商务平台，它显示了推广搜索结果，这与赞助搜索结果和我们的元搜索竞价引擎问题相似。在系统中利用CTR预测2017年）。作者发现，不同的特征捕捉不同的方面，所以他们将这些特征归类为基于历史和内容的特征。它们分别基于历史和基于内容的特征训练单独的CTR预测模型。然后，将这些单独的模型与逻辑回归模型相他们报告了AUC、平均印象对数损失和归一化交叉熵指标，以将模型与Etsy的大规模真实世界数据集上的非平凡基线进行比较，证明了拟议研究中特征工程的有效性。此外，在基于机器学习的点击预测文献中可以看到许多方法。在一项研 究中， 执行最 先进的 预测 算法， EX treme Gradient Boosting（XGBoost）（Chen Guestrin，2016）回归器和最小冗余-最大相关性（mRMR）（Torralba Oliva，2002）特征选择算法，以预测每家酒店的每日点击量，美国使用来自土耳其的大型OTA的数据（Cakmak等人，2019年）。从元搜索竞价引擎接收的数据集包含数字和分类特征。点击次数是预测点击率（CTR）和预测酒店印象的乘积。在预测基于单个酒店的CTR和印象值时获得的最高R平方值都是使用XGBoost实现的。另一项研究旨在预测一家酒店将获得多少印象和点击，以及通过Meta搜索竞价引擎出售多少房间（Tekin Cebi，2020）。该模型预测OTA的酒店第二天能赚多少钱。作者证明，通过将OTA特定信息纳入预测模型，模型的泛化能力得到改善，并获得更好的结果。他们应用了XGBoost，随机森林，梯度提升，深度神经网络（DNN）和广义线性模型（GLM）（Nelder Wedderburn，1972）。预测预订的最成功的模型是梯度提升，应用于由可以很好地总结目标变量趋势的特征丰富的数据集。2002-2013 年 土 耳 其 酒 店 业 对 酒 店 客 房 的 需 求 是 使 用EfendiogluanddBulkan （ 2017 ） 的自 回 归 综合 移 动平 均 （ ARIMA ）（BoXPierce，1970）在他们的研究中，他们根据未售出客房的成本和ARIMA分布来确定酒店客房容量。他们还报告说，该国的酒店客房需求可能会受到政治危机和恐怖主义警告等外部因素的影响。这项工作显示了酒店客房需求的不确定性，以及不可预测的因素如何突然影响点击预测问题。为了预测广告点击，Google利用逻辑回归，并在传统监督学习的背景 下 进 行 了 改 进 ， 该 方 法 基 于 FTRL-ProX Leader 在 线 学 习 算 法（McMahan等人，2013）以获得更好的稀疏性和收敛性。微软的Bing搜索引擎提出了一种新的贝叶斯在线学习算法，用于赞助搜索的CTR预测（Grae-pel等人，2010），其基于概率单位回归模型，该模型映射离散或实值输入特征以用于概率估计。算法的可扩展性通过一个原则性的权重修剪过程和一个适当的并行实现来保证。雅虎采用基于贝叶斯逻辑回归的机器学习框架来预测点击率和转化率（Chapelle等人，2015年），这是简单的，可扩展的，有效的。Facebook将决策树与逻辑回归相结合（He等人，2014），与其他方法相比，在点击预测方面产生了3%的好结果。Wang等人提出了一种集成模型来预测搜索引擎上广告的CTR（Wang等人，2012年）。首先，他们尝试了几种基于最大似然估计（MLE）的方法来利用训练集;包括在线贝叶斯概率回归（BPR）（Smith LeSage，2004），支持向量机（SVM）和潜在因素模型（LFM）（Agarwal Chen，2009），并通过选择最具描述性的特征对其进行优化。他们使用BPR，SVM和MLE的输出创建了一个基于排名的集成模型。结果使用调和平均值进行综合，以生成最终混合提交。所提出的模型0.013比个别型号的改进。由King等人实施的包围学习技术调查他们是否可以增加点击付费（PPC）活动的盈利能力2015年）。他们将投票，自举聚合（Bagging）（Breiman，1996），堆叠泛化（或堆叠）（ZirpeJoglekar，2017）和Meta成本（Domingos，1999）技术应用于四种基本分类器：朴素贝叶斯，逻辑回归，决策树和支持向量机。本研究分析了Google搜索引擎上的PPC广告数据集，旨在对PPC活动的成功进行分类。他们使用平均准确率、召回率和精确度指标来衡量基本分类器和集成模型的性能。他们还介绍了总活动组合利润的评估指标，并说明了依赖整体模型准确性可能会产生误导。他们的结论是，在PPC营销活动中应用增强学习技术可以实现更高的利润。在另一项研究中，Bisht和Susan（2021），使用基于投票软的集成模型训练概率图形模型（如决策信念）来预测点击预测。据观察，基于投票的模型优于单个模型的性能Ling等人提出了八种集成方法来准确估计赞助搜索广告中的CTR（Ling等人，2017年）。单一的模型会导致次优的精度，回归模型都有不同的优点和缺点。整体模式-- 是的Demirel，A.A.Tokujiang和A.T.Tekin智能系统与应用17（2023）2001853Fig. 1. 系统概述。主训练集分为两个子集（训练和测试），以评估特征的重要性。这些用于通过使用应与实际测试集隔离的单个数据集进行测试来确定最具代表性的特征子空间。因此，应用贝叶斯HPO通过使用子训练集进行训练来对每个单独的模型进行建模。主测试集的维数在预定义的特征子空间上降低，并且模型是测试了五个不同的模型管道，包括十个回归模型，简单平均和加权平均集成模型，以及堆栈和混合集成管道。EL是通过装袋、提升、堆叠和级联来创建的。训练数据是从历史广告的印象和相应的点击收集的根据测试数据计算受试者工作特征曲线下面积（AUC）和相对信息增益（RIG）指标，他们得出结论，对于给定的问题，升压比级联更好。使用梯度提升决策树提升神经网络被证明是给定设置中的最佳模型。模型集成是CTR预测的一个很有前途的方向，同时，领域知识也是集成设计的必要条件。3. 建议的系统和方法在拟议的系统中有五个主要组成部分。完整系统总之，查询用于从数据库中检索数据集。预处理用于提取时域季节分解特征，并在下一阶段进行适当的数据清洗。个别回归，然后进行超参数调整。在将整个训练数据分成子训练子测试并选择根据其验证分数排名的一些模型之后，训练和测试集成模型以生成针对总验证集的每个验证集的点击预测。数据从35个回归器中提取多个评价指标，并将调整后的 2分作为集成模型的评价指标。3.1. 数据集生成和数据预处理数据来自土耳其的一家大型OTA公司。元搜索平台每日报告的内容该数据集包含的特征包括出价、平均预订价值、酒店印象、顶级位置份额、每次点击成本、酒店星级数、评级、总收入作为数字，以及酒店区域和酒店类型作为分类特征。某些列在数据分析阶段被删除，因为它们包含高比例的缺失值。在这项研究中，我们已经取代了缺失值的最常见的值和平均值的相关特征的分类和数值特征，分别。除了OTA一些简单的外部数据示例是每日天气信息和每日汇率。数据丰富提高了数据集的质量。相关日期的接近程度，- 是的Demirel，A.A.Tokujiang和A.T.Tekin智能系统与应用17（2023）2001854[客户端]搜索有一个概率模型，旨在利用它来决定下一个表演者下一个公众假期和假期的长度也作为额外的数字变量被添加。为了提高预测模型的准确性和泛化能力，根据滑动窗口（时间延迟）方法从数据中生成附加特征。多个统计值：计算某些特定时间段（如过去3天、7天和30天）数值的最小值、最大值、平均值、标准差和偏度，并将其添加这些特征的目的是提高预测模型的准确性和泛化能力。特征空间被一些时间序列特征的季节分解所丰富。季节分解是一种朴素的分解模型通过打破原始的有限元分析来生成附加组件在每次迭代中随机选择（在大特征空间内）。由于这个原因，它在所提出的系统中不是优选的。算法1：递归XGBoost降维算法Rithm。数据类型：=_(_)2_测试结果：_for100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000_=_(0 )2_真的变成三个。算法的输出是T：趋势，S：季节性，如果2 2_,_)和e：残差，其中，k [k]=k[k]+k[k]+k[k]。季节成分_）首先通过对数据应用卷积滤波器来去除。每个时期的平滑序列的平均值是返回的季节分量（Avazov等人，2019年）。分解的季节性、趋势和残差值作为新特征添加到数据集中。作为最后一步，特征独热编码提出了一些字符串为基础的功能和二进制化。在最后一步中，使用最小-最大缩放将特征集归一化，以强制值介于0和1之间。3.2. 基于XGBoost的递归特征消除XGBoost是梯度提升决策树的一部分，它通过树框架的正则化来通过使用梯度提升来创建提升的树并以有效的方式收集特征分数，指示每个特征2017年）。每个特征的特征重要性的计算���在等式中示出。（一）.return（返回）其他2_结束结束3.3. 贝叶斯HPOHPO是一些机器学习模型的基本方法 以增强预测性能。有几种算法可用于调整超参数。其中之一是网格搜索（Bergstra等人，2011），其尝试模型的给定超参数候选的每个组合。另一种优化算法被称为随机搜索（Karnopp，1963），其随机地提取超参数组合并试图达到性能分数的局部最优。然而，它们都不能在短时间内成功地达到性能的局部最优。贝叶斯HPO（Nguyen，2019）是一种相对√√���更强大和高效的超参数调整算法它������������（目标是在比网格更短的时间内达到全局最优对于每个特征，每个节点在每个节点处被细分为两个区域，作为 来自给定的单个决策树的特征空间的一部分。������最大预测分数提升率为0.002，表示成本函数的平方误差偏移的度量，来自加法树递归的给定XGBoost回归结果。所有树的平方重要性的总和 提出了给定特征的平方重要性的总结 。因此，根功能这个过程有助于在几个时期内找到非凸函数的最小值通过输入数据对超参数组合进行排序的评估度量是−（2）���������������������。������������������������是一种统计度量，表示因变量的方差比例用回归模型中的一个或多个自变量解释。2的公式 如Eq. （二）、均方重要性表示特征的绝对重要性因子。这种改进的估计取决于更换22=1 −（1−2）（− 1）���在空间中用实际特征值与随机噪声确定相对最终回归性能的幅度变化。运行多个���������������������������=1 −���−��� −1（三）树同时提供了对特征的平均重要性的更好理解在下一步中，使用定制的递归特征消除算法来最小化特征空间（YanZhang，2015）。算法1示出了该流程的过程。 目标是以降序覆盖最能代表特征重要性级别的特征（特征优先级_特征优先级）。为了避免传统的基于递归的特征消除由于大的特征空间而导致的复杂性，初始特征重要性值被认为是特征的偏置因子。考虑到所选的随机化因子特征将在子空间中自动偏置，这样的专门化显著地减少了消除过程。2_���������������新的价值在每次迭代中计算_，直到出现收敛（ 2_值不再超过 2_）。再次选择XGBoost回归量作为特征子空间赋值器。经典重现-也尝试了静态特征消除（RFE）（Misra Yadav，2020）技术。但是，由于要素子集调整后 的1002（Leach Henson，2007）（如公式2所示）（3））是2的修改版本 ，其中分数根据特征的数量 和样本大小进行调整 。考虑到每个模型的平均 2值是通过多集验证提取的，因此选择调整后的 2作为评价度量，以提取更稳健的���2值，因为-假设每个集合具有不同的特征空间大小（特征选择对于每个验证文件夹是独立的）。3.4. 基于验证评分的模型选择总共选择了11个不同的回归模型作为集合管道的候选模型，包括Lasso（Tibshirani，1996）、Lasso Lars（Efron等人，2004）、Ridge（Hoerl Kennard，1970）、Bayesian Ridge（Shi 等人，2016），Huber（Sun等人，2020）、Elasticnet（Zou Hastie，2005）、线性回归（Su等人，2012）、XGB、LGBM（Ke等人，2017）、Catboost（Dorogush等人，2018）和Randomforest（Cutler等人，2012年）。（二=1- 是的Demirel，A.A.Tokujiang和A.T.Tekin智能系统与应用17（2023）2001855选择的模型包括自己- 是的Demirel，A.A.Tokujiang和A.T.Tekin智能系统与应用17（2023）2001856∑∑基于bagging和gradient boosting，以及线性回归及其正则化变体。此外，还选择了一个使用概率方法来解决回归问题的模型，例如贝叶斯岭模型。然而，由于建议的系统不是以实时估计为中心，因此不包括在线学习模型。每个训练集被划分为训练集和测试集的子集，并且每个回归模型的验证分数被排名。调整后的型号2选择高于0.5的分数作为总体模型的输入。选择的模型从头开始使用整个训练集进行训练，并作为输入添加到集成模型中通过这种方式，无法以一定程度的成功进行训练的模型将被自动淘汰。3.5. 合奏如果有M个模型具有从相同数据集提取的与它们不相关的误差，则通过简单地平均模型输出，模型的平均误差在理论上减少了某个因子另一方面，如果某些模型输出的性能较低，并且不适合预测结果以及其他结果，则在某些情况下，整体误差可能不会减少甚至增加。3.5.1. 模型输出的平均加权平均数第一种也是最基本的集成方法是取各种模型输出的平均值。有两种不同的平均技术用于集成。第一个是取预测值的平均值。它提供了预测值的较低方差，因为不同的算法继续预测输入数据集的各个方面模型输出的平均值的公式（4）、∑������������将各个预测值叠加可以分析中间回归量模型。后者又用于结果的线性权重，以创建通过每个输入数据样本提供总体集合模型变化以及它们之间的关联在图23.5.3. 混合系综模型堆叠集成方法和混合集成算法（Xie等人，2013年，有类似的设计。回归模型的单独结果在第一阶段组装。此外，各个模型结果与维度缩减的特征集（特征混合）合并，其添加了作为预测点击提取的介导特征，在这方面，随后使用混合数据集为每个模型独立地训练1级回归量。4. 分析和结果4.1. 列车试验分区由于季节分解特征，整个数据集在时域中具有语义连接，因此，测试数据集在训练集之后应用。这是一种替代交叉验证的多集验证，因为它被认为是由于时间序列的性质而给出更真实的结果。因此，使用整个数据集的55%的窗口大小将整个数据集分成5个子集，并且在每个子集内，不同的数据用作测试集和紧接在测试集之前的恒定大小的训练集=（四）独立验证。列车试验划分方案如图三.整个数据集涵盖了36天的OTA数据。其中，R1是随机���抽样样本，R2是回归模型，������R3是个体概率，给定回归量的bility和bability是使用的模型的数量。然而，一些机器学习模型在预测方面比其他模型表现得更差，最终导致整体集成预测性能比一些个体回归量预测性能更差。其根本原因是，弱回归变量与其他提供体面个人表现的回归变量具有相同的权重。因此，在对所有估计取平均值的同时，本研究还利用加权平均值来消除低性能模型的不利影响重量是亲-使用每个模型���1来标准化每个回归变量的权重，确保所有权重之和为1。该方法允许预测较高性能的模型对最终预测的影响大于预测较低性能的模型。模型输出的加权平均值公式如等式所示。（五）、���������������=������ ∗���������,4.2. 验证结果总共选择了11个不同的回归模型，其中4个是基于决策树的集成基线模型，它们是XGB，LGBM，Cat- boost和Randomforest。35个不同回归模型的表现是针对五个验证集进行测量的，并据此得出评估指标并进行平均。在表1中，评估指标（ RQ2，调整后的���RQ2，所有模型 的均方根误差（RMSE）、平均绝对误差（MAE））基于调整后的RMSE 2值的5组平均值以降序列出。所选数据集的平均测试点击值具有高标准差（41.55），这使得RMSE和MAE错误似乎有所增加。然而，通过使用���W2和相应的调整W2去除变异分量来提取简化结果。因此，混合集成与Huber作为一个级别-1回归提供了最高的性能（0.610）等。这些模型结果之后是加权平均和平均值。���������������������������∈1个（五）年龄集成模型，Lasso与混合集成，Huber堆叠集成，Ridge，Elasticnet和线性回归作为1级回归的混合集成模型，Ridge和Bayesian Ridge其中，R1是所选回归模型， R2是归一化个体 R2回归器的性能。���是第“个样本的回归量的预测结果��� ���， 是 使 用 的模 型 数 。3.5.2. 叠加集成模型堆栈集成算法将不同模型的各个结果组合在一起，以形成中间输入数据集，最终模型用于创建最终回归结果。在所提出的方法中，选择的模型被训练以堆叠其提取的预测，并且对于每个验证集，所有堆叠的输入进一步用1级回归器训练。在每个模型被独立训练为一级估计器之后，为每个验证集创建11个不同的堆栈集成模型。与 XGB （ 0.610 ， 0.602 ， 0.602 ， 0.600 ， 0.593 ， 0.593 ， 0.592 ，0.590，0.589和0.587）。13个表现最好的模型都是集合回归，XGB以0.582紧随其后。从这里可以看出，集合回归从第14个最高性能模型开始失去了主导地位。使用基于树的1级回归器（XGB，LGBM，Randomforest和Catboost）的堆栈和混合集成模型的点击预测率与其独立版本相比无当被雇佣为一级-1回归，Catboost模型的表现优于堆栈和混合集成模型（0.374，0.426），特别是在其独立版本（0.456）。将它们的独立性能与它们的增强型同行进行比较，LGBM、XGB和Randomforest都排在它们的组的中间。- 是的Demirel，A.A.Tokujiang和A.T.Tekin智能系统与应用17（2023）2001857图二. 包围模型管线。通过对从验证分数中选择的模型的结果进行平均和加权平均来构建集成模型。 模型的点击预测是用折外预测提取的，并堆叠起来，以便能够作为训练集馈送1级回归量。堆叠的数据然后，将集合与降维的训练集合混合，并用于训练混合的元回归器。图三. 每个验证集的时间敏感训练-测试分割方案。4.2.1. 此外，所有选择的模型被分成两组（基于树的集合和非基于树的模型），并且调整后的WEB2验证每个模型的得分分布如图所示四、当使用见图4。 调整后 2 各型号性能比较作为1级回归器，可以看出，所选择的所有非基于树的模型都比它们的独立等效模型表现得更好。然而，任何基于树的模型的整体变化都不遵循这种模式。由于这一点，两组-基于树和非基于树的模型-的集合变化进行统计比较独立。为了检查每种模型类型（基于树的，非基于树的）的整体性能，应用受试者内的单向重复测量ANOVA（RMA）来分离每个值的调整后的Δ2值。将每个型号的验证设置为3组，RMA结果见表2。在每种模型类型中，在RMA之前使用球度检验，但由于发现组内方差值不同，因此对显著性值进行了Greenhouse-Geisser（GG）校正因此，堆叠或混合集成模型与基于树的模型类型的独立模型之间没有统计学显著差异（p=.119）。然而，集成模型组和非基于树的独立模型彼此不同gressor。白色圆圈定义了多组验证分数的平均值。黑点代表离群值。（第<001页）。为了确定各组是否彼此不同，对非基于树的模型的调整后的2个评分进行Bonferroni校正的事后分析 。表3表明，尽管在统计上没有显著差异，在堆叠和混合集成模型之间（p= 1），独立模型的性能显著差于堆叠和混合集成模型的结果（堆叠集成与独立：p 0.001<;混合集成与独立：p0.001<）。图5比较了配对组设置中所有验证集的基于树和非基于树的模型的回归分数分布。可以看出，基于树的模型作为1级回归量对模型性能没有贡献。然而，在比较模型上下文中，具有非基于树的1级回归量的每个模型的平均得分为- 是的Demirel，A.A.Tokujiang和A.T.Tekin智能系统与应用17（2023）2001858表1每个回归量模型的平均验证结果。加权平均投票数0.609 0.608 26.619 3.082 0.454平均投票率0.606 0.605 25.737 3.804 0.454混合合奏套索0.603 0.602 25.481 4.358 0.762堆叠整体胡贝尔混合总体岭混合集成Elasticnet 0.594 0.593 25.748 4.436 0.766混合系综线性回归0.593 0.593 25.999 3.889 0.768叠加整体脊0.593 0.592 25.903 5.271 0.761叠加集成贝叶斯岭0.592 0.590 25.905 4.530 0.975混合集合贝叶斯岭0.590 0.589 26.095 4.053 0.776叠加集成线性回归0.590 0.589 25.931 4.624 0.777混合系综XGB 0.588 0.587 27.327 3.292 0.816独立XGB 0.583 0.582 27.534 3.263 0.038堆叠合奏套索0.571 0.570 26.319 4.832 0.768堆栈集成Elasticnet 0.565 0.564 26.511 4.608 0.761混合集合随机森林0.555 0.554 27.508 3.368 1.000独立脊0.552 0.551 26.888 3.973 0.001贝叶斯岭0.539 0.538 27.165 3.966 0.001独立线性回归0.539 0.537 27.170 3.967 0.001堆栈集成XGB 0.536 0.535 29.380 3.358 0.789独立随机森林0.529 0.527 28.571 3.388 0.016堆栈集成Randomforest 0.509 0.508 29.736 3.491 0.776独立Lasso 0.502 0.501 29.207 4.081 0.001堆栈合奏套索拉尔斯0. 484 0. 483 30. 091 4. 975 0. 771混合合奏套索拉尔斯0. 473 0. 472 30. 807 4. 255 0. 777独立Catboost 0.457 0.456 31.356 3.567 0.089独立激光器混合合奏Catboost 0.426 0.424 31.940 3.588 0.873混合系综LGBM 0.420 0.418 31.636 3.748 0.779独立LGBM 0.416 0.415 31.731 3.973 0.004堆栈总体LGBM 0.408 0.407 32.962 3.721 0.768堆栈集成Catboost 0.375 0.374 33.627 3.670 0.827独立式胡贝尔独立Elasticnet 0.266 0.264 36.659 5.989 0.001表2RMA受试者内调整的 1级基于树和非基于树的回归量的集成和独立模型之间的模型类型SSDFMSFGG校正p值基于树的模型0.0200.3321.3431.2570.0150.2652.48218.847p= 0.119p.001<表3事后检验，用于在非基于树的1级学习器和非基于树的独立模型之间进行进一步的模型类型比较。CI是置信区间。组1组2平均差异平均差异降低上部SE不堆栈集成独立0.1140.059 0.1690.0225.087p.001<叠加总体混合总体-0.010-0.065 0.045 0.022-0.434 p= 1独立混合集成-0.124-0.179-0.069 0.022-5.521 p.001<优于单机版。JASP图形统计软件（Love等人，2019a）用于统计检验。4.2.2. HPO应用于一级回归对集合模式性能的影响进一步研究了HPO对1级回归量（仅限于叠加和混合模型）的影响。因此，在所有模型中，选择可以调整多个超参数的模型（XGB，LGBM，Catboost，Randomforest，Elastic net和Bayesian Ridge）用于Bayesian和Randomsearch HPO之间相同的迭代次数（n=80）用于两个HPO。此外，没有任何HPO作为基线因子的1级回归因子性能也是提取。为了比较的有效性，将相同的堆叠输入层用于所有三个组的1级模型训练如表4所示，通过在贝叶斯HPO、随机搜索HPO和无HPO组之间应用单向RMA受试者内比较，可以观察到，1级学习者对HPO的总体管道性能具有统计学显著影响（球形度失败，GG校正p=.003）。在同一表的下半部分，采用事后检验对各组进行事后分析，并提取Bonferroni校正的显著性值。虽然平均增加了0.041，但在没有HPO的1级学习者和使用随机搜索HPO训练的1级模型之间没有统计学差异（p= 0.354）。然而，贝叶斯HPO的表现明显优于没有HPO的1级学习者和1级回归器回归量类型型号名称2调整后的2002年RMSEMae培训时间[0-1]混合系综Huber0.6110.61026.5143.0740.789- 是的Demirel，A.A.Tokujiang和A.T.Tekin智能系统与应用17（2023）2001859图五. 基于树和非基于树的分组模型在模型类型中的性能比较。虽然每个模型的所有验证集都包含在分布中，但当调整后的 2 的树为基础的验证进行了比较成对的立场和混合合奏模型，其中使用相同的模型作为第1级学习者（a）。但是，堆栈和混合管道都使用了所有非基于树的独立模型作为第一级学习者，取得显著更高的平均成绩（b）。然而，对于非基于树的1级学习器，在堆栈和混合集成管道之间没有发现差异。表4RMA受试者内比较 堆栈混合集成模型中HPO类型的1级回归变量之间的调整后的R2，并进行额外的事后检验。RMASSDFMSFGG校正p值0.1971.3820.1438.007P=.003第1组第2组平均差异平均差异SE的95% CI降低上部无HPO随机检索0.041-0.023 0.105 0.026 1.583 p=.354随机搜索贝叶斯优化-0.065-0.128-0.001 0.026-2.490 p=.045无HPO贝叶斯优化-0.106-0.169-0.042 0.026-4.073 p.001<见图6。HPO对堆栈混合集成模型性能的影响类型。使 用 Randomsearch HPO 进 行 训 练 （ Randomsearch 与 贝 叶 斯HPO：p=0.045;无HPO与贝叶斯HPO：p<0.001）。一级学习者的HPO利用率之间的绩效分布的直观表示如图所示。第六章根据这一点，平均102组分布-从左到右分别给出了无HPO、随机搜索和贝叶斯优化HPO的第一级学习者的成绩，组平均值分别为0.453、0.494和0.559，表现出上升的趋势。4.2.3. 从实用性角度对培训时间进行评估每个模型的归一化训练时间也在表1中列出（所有训练时间秒数除以最大值）。因此，所有独立模型的训练速度都比整体增强模型快得多。在训练整个训练数据集之前，首先计算每个模型的单个验证分数。只有选定的模型才能用整个训练集单独训练。集合模型正在等待必要的输入数据在这个时间框架。平均和加权平均集成模型比堆叠和混合集成模型花费相对较少的时间来预测结果，因为它们可以直接基于所选择的模型预测来达到结果。除了1级回归量的堆叠预测输入之外，原始特征集和输入空间在混合过程中增长因此，混合集成模型通常比堆栈变体花费稍长的时间来训练。5. 讨论在这项工作中，形成了各种可以增强点击预测的元回归修正，多个统计特征被添加到所提取的数值特征中，从而大大扩展了特征向量，并且在特征消除期间需要更快的收敛。然后将完整的特征集划分为五个验证集。在每个验证集内，应用基于XGB特征排序的递归降维来选择具有理想时间帧的大特征向量中的最优特征。- 是的Demirel，A.A.Tokujiang和A.T.Tekin智能系统与应用17（2023）20018510通过基于验证的模型排序选择次优模型，并提取所选模型的点击预测值。为了估计基于投票的性能，采取平均和加权平均。此外，堆叠的元回归器通过折叠外预测构建，然后将其应用于几个1级回归器的训练。为了产生混合元回归量，相同的堆叠输入数据另外与原始维度缩减的特征集混合，并用作1级模型的训练数据。所有的模型性能的变化进行比较。因此，在堆栈和混合集成模型中，基于树的装袋和提升回归量不会提高1级的性能，但其他模型与其独立版本相比显着提高然而，它也被发现，贝叶斯HPO优于随机搜索或非优化模型的水平-1回归性能。总的来说，结果表明，使用L1 L2正则化器的线性回归变量提高了1级性能。从具有Lasso和Ridge模型的顶级混合集成可以看出，正则化线性