有效的异构集成分类

⃝可在www.sciencedirect.com在线获取ScienceDirectICTExpress 7（2021）342www.elsevier.com/locate/icte有效的异构集成分类：一种选择基分类器的替代方法Esra’a AlshdaifataHashemite大学Al-Hussein Bin Abdallah II王子信息技术学院计算机信息系统系，P.O.Box 330127，Zarqa 13133，Jordanb约旦大学阿卜杜拉二世国王信息技术学院信息技术系，安曼11942，约旦c Hashemite大学Al-Hussein Bin Abdallah II王子信息技术学院计算机科学及其应用系，P.O. Box 330127，Zarqa 13133，Jordan接收日期：2020年8月21日;接收日期：2020年10月31日;接受日期：2020年11月21日2020年12月2日在线发布摘要在本文中，提出了一种替代方法来选择基分类器形成一个并行异构集成。其基本概念是修剪表现不佳的分类器，因此，可以生成更有效的异构集成。更具体地说，所提出的修剪方法找到一个最佳的分类器子集，以形成所需的异构合奏。主要的挑战是如何检测性能差的分类器。为了解决这个问题，在有效性之间的差异基本分类器形成的 集成被用于发现弱分类器。为了评估所提出的方法，十八个基准数据集用于生成进行了异质集成分类并与现有方法进行了比较。实验分析表明，所提出的方法相比，其他国家的最先进的方法的有效性和优越性c2020年韩国通信与信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：分类;并行集成;异构集成;性能差1. 介绍在数据挖掘中，分类任务包括构建预测模型，并利用它们来预测新的不可见观测的类别（类别标签）。根据所考虑的数据集中的标签数量，分类情况可以分为两个主要组;二进制和多类分类。关于二进制分类，分类器被训练以区分两个类别标签。相比之下，在多类分类的情况下，分类器被训练来区分几个类标签（两个以上的类）。此外，分类案例可以根据分配的标签数量分为两类对每个观察结果，单标签分类与多标签分类。关于单标签分类，分类器被学习为仅预测给定观察的一个类别标签。然而，在这方面，∗ 通讯作者。电子邮件地址：esraa@hu.edu.jo（E.Alshdaifat），m_alhassan@ju.edu.jo（M.Al-hassan），aloqaily@hu.edu.jo（A.Aloqaline）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2020.11.005在多标签分类情况下，可以为单个观察预测几个类别标签。生成预测模型是通过利用分类算法来实现的;许多选项可用于此目的。根据文献，没有单一的因此，一些研究人员试图通过利用一组分类器而不是使用单个分类器来提高分类的有效性[2]。利用分类器的集合来预测类别标签被称为整合几个分类模型被认为是一个有吸引力的研究课题，由于潜在的性能改善超过一个单一的分类。集合分类有两大类：（i）均匀集合和（ii）异质集合。在同质集成中，形成集成的所有分类器使用相同的分类算法生成;Bagging是该类别的一个示例，其中形成集成的所有基础分类器使用决策树算法生成。关于异构集合，形成集合的分类器通过以下方式产生：2405-9595/2020韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。E. Alshdaifat，M.Al-hassan和A.阿洛克尔ICT Express 7（2021）342343利用几种分类算法[3]。异构集成的一个例子是由Caruana等人[4]构建的模型，其中支持向量机，人工神经网络，基于记忆的学习，决策树，Bagged决策树，Boosted决策树和Boosted Stumps算法用于构建集成分类模型。同构和异构集成已被用于几个应用领域。已采用同质集成来生成所需预测模型的领域的样本包括生物信息学[5]，文本分类[6]，制造业[7]，医疗诊断[8]和电子学习评估系统[9]。另一方面，异构集成分类已应用于场景分类[10]，软件故障预测[11]，文本分类[12]，离群点检测[13]，情感分析[14]。本文主要研究了并行异构集成通常，根据所提出的模型的一般性，关于异构集成的研究工作可以分为两组：（i）可以应用于大多数问题（数据集）的通用异构集成[15]和（ii）可以应用于特定问题（数据集）的专用异构集成[11]。此外，关于异质系综的研究工作也可以根据是否采用修剪方法来区分。更具体地说，选择基本分类器的最佳比例来表示最终的异质集合。实现这一点的一种策略另一种策略是通过从构建的同质集合中汇集分类器来构建异质集合，并根据最小验证误差选择最终的异质模型[16]。本文提出了一种通用的异构集成，采用了一种新的修剪方法。所提出的工作的主要目的是通过消除性能差的分类器来提高异构集成模型的有效性。为了实现这一目标，利用“最佳”分类器和形成集成的其余分类器之间的以ROC曲线下的面积（AUC）测量的有效性的差异来识别表现不佳的分类器。因此，所提出的工作的主要贡献是一种新的算法（最优分类器选择（OCS）），以区分和修剪性能差的分类器，降低异构集成分类的整体有效性。本文的主要工作如下：第二部分详细介绍了异构集成的背景和相关工作。第3节说明了所提出的修剪方法。第4节显示了进行的实验和报告的结果。最后，第5节提出了结论和未来工作的方向。2. 背景本节概述了异构集成分类方法及其在修剪异构集成方面的相关工作。正如所认识到的，没有一种分类算法被认为是对所有情况都是最佳的[1]。因此，结合各种分类算法可以提高分类性能。异构系综是使用各种分类算法训练的一组分类模型，并且被组合以输出比使用单个分类时可以产生的结果更有效的预测结果。由于分类算法的数学基础不同，生成的基本分类器具有不同的数据视图[17]。因此，可以获得更好的分类效果。根据文献，两大类异质系综可以区分为：（i）选择异质和（ii）融合异质。在选择异构集成的情况下，只有一个分类模型从几个训练模型中选择出来用于预测。更具体地，采用各种分类算法来为给定数据集构建若干分类模型。然而，仅选择“最佳”分类器来进行预测。许多研究人员提出了几种措施，以确定一组备选方案中的“最佳”分类器。准确性、训练时间、分类时间和储存是所采取措施的例子。虽然选择方法看起来非常简单，但它被认为是产生异质集成分类模型的有效方法[18]。此外，一些研究人员将其用作比较他们新提出的方法的基线[18，19]。关于融合异构集成，利用几种分类算法来生成分类模型。然后，利用所有生成的模型来预测特定观察的标签。最常用的方法来组合来自集合成员的输出结果是多数投票和概率度量（例如最大概率和最大平均概率）[19]。此外，可以采用加权投票来组合结果，其中基于个人的有效性。为了对观察进行分类，每个分类模型投票，但是投票与不同的权重相关联。为了提高异质集成的性能，研究人员试图在集成中找到一个分类模型的“子集”，以产生最有效的分类。如果分类模型的相同子集用于预测任何给定观察的类别标签，则修剪过程被称为“静态集合”。 ble然而，如果分类模型的子集基于待预测的给定观察而改变，则修剪过程被称为从文献中，我们可以找到一些有意义的工作，而不是寻找一个子集的分类模型所有人从卡鲁阿纳开展的工作开始，等人[4]，其中采用贪婪爬山方法来构建和修剪系综。更具体地说，E. Alshdaifat，M.Al-hassan和A.阿洛克尔ICT Express 7（2021）342344如果分类模型基于所考虑的误差度量提高了系综的性能，则将分类模型从模型库添加到系综。Caruana等人[4]进行的工作类似于Margineantu和Dietterich [21]进行的工作，后者被认为是最早的集成修剪研究，但是，它适用于同质而非异质集成。所提出的方法从与最小验证误差相关联的分类器开始。然后将分类器添加到集合中，因此产生的验证误差尽可能小[21]。Tsoumakas，et al.[19]提出利用统计过程来选择分类模型的最佳子集，该方法被称为更多的例子可以在Britto Jr等人的研究中找到。本文的研究工作是提高静态异构集成分类的性能。下一节将解释建议的外大陆架做法。3. 基于最优分类器选择（OCS）方法的本节将介绍如何使用建议的OCS方法生成异构环境。如前所述，主要思想是修剪性能较差的分类器;因此，只有能够生成有效分类的最佳分类器才会被保留。通过考虑在“最佳”分类器和形成集合的其余分类器之间以AUC测量的有效性的差异来实现识别集合内的表现不佳的分类器。如果差异高于预定义的“阈值”，则分类器被分类为低性能分类器，并且因此应当被排除。这里重要的是要注意，训练集用于训练基本分类器，而验证集用于评估和选择基本分类器。一旦选择了基本分类器，它们将使用整个训练数据集[4]进行重新训练，因此不会发生样本丢失。毫无疑问，确定显著性差异阈值具有挑战性且不简单。因此，已经使用18个基准数据集进行了几个实验来识别它（这将在实验部分中显而易见）。选择（AUC）测量的原因是Dems Escherar [23]进行的综合研究为了识别AUC测量，需要对受试者工作特征曲线ROC进行简要描述。ROC曲线是给定分类模型的真阳性率TPR和假阳性率的图形表示[1]。利用ROC曲线比较分类模型的有效性。更确切地说，给定一组分类模型，计算每个分类器的AUC，与最高AUC值相关联的分类器被认为是最佳分类器。因此，AUC被认为是评估分类模型准确性的指标[1]。注意，TPR是被分类模型正确预测为阳性的阳性样本的比率，FPR是被分类模型错误预测为阳性的阴性样本的比率。从理论上讲，建议的OCS方法可以导致有效的分类，这是由于：（i）使用采用各种数学基础的不同分类器，因此每个分类器都有一个特殊的策略来处理所考虑的数据集[17]，这可以降低给定观察的最终错误分类（ii）修剪弱分类器将消除预测冲突，因此，可以获得更好的有效性，以及（iii）通过将较差有效性分类器的有效性与关联于最高AUC值（在验证集上）的分类器进行比较来识别较差有效性分类器将减少对来自若干弱分类器的可能导致错误预测的投票进行计数或对概率进行平均。所提出的OCS方法在算法1中示出。该算法有两个输入：（i）一组分类器（C1，C2，.. .，Cn）使用不同的分类算法构建并存储在InitialClassifiersSet中;每个分类器与基于验证集评估的AUC值相关联，以及（ii）用于排除弱分类器的阈值x的值。最初，最优分类器集合包括存储在InitialClassifiersSet（第2行）中的所有候选分类器。该算法从寻找代表最佳分类器的最高AUC值开始（第3行）。然后，计算给定分类器的AUC值与最高AUC值之间的差，并与值x进行比较（第5-6行如果差值大于或等于x，则从集合中删除分类器（第7行）。OptimalClassifiersSet是算法的输出，它只保留将形成所需异构集成的最佳性能分类器。对于预测，分类器可以使用任何组合方法进行组合，例如多数投票和概率度量（如前一节所述）。实验中主要采用了多数表决法和平均概率法进行实验和评价科.4. 实验和结果本节详细解释了所提出的方法的实验过程和报告的结果。为了构建基本分类器，使用了六种分类算法：（i）朴素贝叶斯（NB），（ii）决策树（DT），（iii）规则库（RB），（iv）k最近邻（kNN），（v）人工神经网络（ANN）和（vi）支持向量机（SVM）。关于产出组合方法，采用了多数表决和平均概率。因此，检查了四种不同的组合：（i）所有基本分类器的多数投票，（ii）OCS方法的多数投票(iii)所有基本分类器的平均概率和（iv）OCS方法的平均概率。此外，使用静态最佳分类器选择方法作为用于比较目的的基线。E. Alshdaifat，M.Al-hassan和A.阿洛克尔ICT Express 7（2021）342345表1评价数据集的描述为了评估生成的分类模型，使用了从著名的加州大学欧文分校（UCI）机器学习库收集的18个基准数据集[24]。评估数据集代表不同的学科，由不同数量的观察、标签和特征组成。表1显示了所用数据集的主要特征。所有实验均使用Weka数据挖掘工具进行[25]。在Weka中，所使用的基本分类器的名称是Simple Naive Bayes、J48、JRip、IBK、Multilayer Perceptron和SMO。回想一下，所提出的OCS方法利用阈值x来排除性能差的分类器。通常，识别分类算法的阈值被认为是关键问题。关于在所提出的OCS方法中考虑的阈值X值，将X设置为相对高的值将防止修剪许多性能差的分类器。另一方面，将x设置为相对较低的值将修剪几个性能良好的分类器，甚至在分类器集中仅保留一个分类器（最佳分类器）。因此，我们采用了一种实验方法来确定x的最佳值。更具体地说，已经测试了一组阈值，并记录了每个考虑的数据集的AUC结果。在所进行的实验中，所有阈值在0.1和0.01之间，已经评估了0.01的步长。这意味着，我们测试了0.1，0.09，0.08，0.07，0.06，0.05，0.04，0.03，0.02和0.01.然后，产生特定数据集的最高AUC结果的阈值被标记为“最佳”。表2列出了在使用提议的OCS方法的多数投票时，每个考虑的数据集的最佳x值。此外，该表还显示了每个最佳x值处的修剪分类器。表3列出了在使用平均概率和建议的OCS方法时，每个考虑的数据集的最佳x值。同样，该表显示了每个最佳x值的修剪分类器。因此，对于每个数据集，x的值已经通过实验确定。这里请注意，x可以由用户在处理特定数据集时确定由于OCS方法被认为是对多数投票和平均概率方法的增强，因此我们首先对它们进行了比较。图图1展示了基于所有基分类器的多数投票和基于OCS的多数投票方法的评估结果。表2当将多数投票与提议的OCS方法一起使用时，关于每个数据集的阈值x数据集x的最佳值 修剪分类器鲍鱼0.04 IBK JRip J48 SMO Naïve自动0.1疾病气缸0.1大肠杆菌0.1玻璃0.06HCC生存率0.05虹膜0.03乳腺摄影0.1在线购物者0.01 SMO IBK多层JRip J 48页面块0.01 SMO IBK朴素JRip多层钢笔数字0.1地震颠簸0.03如图1所示，很明显，OCS方法显著增强了传统的多数投票，其中所有基本分类器用于大多数使用的数据集。地震颠簸数据集是当使用所提出的OCS方法时呈现显著性能改进的示例之一，其中使用具有所有分类器的多数投票获得的AUC值为0.518，并且当使用具有多数投票的OCS方法时变为0.777。图图2示出了具有所有基本分类器的平均概率与具有OCS方法的平均概率之间的比较。如图2场演出，我们可以观察到，OCS方法稍微增强了传统平均概率方法的性能。数据集示例#课程编号特性编号区域鲍鱼4178288野生动物汽车205425生活慢性肾脏400224医学疾病气缸带540235物理皮肤科366634医学Ecoli33687生物学玻璃21469物理HCC-生存期165249生活/医学肝炎155219医学虹膜15034生活乳房摄影96125医学质量网购者12 330217业务意图页面分块5473510计算机笔数字10 9921016计算机地震隆起2584218地质甲状腺（患病）3772229医学车辆846418计算机波形5000321物理E. Alshdaifat，M.Al-hassan和A.阿洛克尔ICT Express 7（2021）342346表3图1.一、 基于所有基分类器的多数投票与基于OCS的多数投票的比较。分类器产生的AUC值最低，因为当使用平均概率和建议的OCS方法时，相对于每个数据集的阈值x的最佳值。数据集x的最佳值修剪分类器鲍鱼0.04IBK JRip J48 SMO Naïve汽车0.1-0.01简单多层SMOJ48突击步枪慢性肾病0.1-0.01IBK气缸0.1-0.07IBK JRip皮肤科0.1-0.01无或JRIP或 JRIPIBK或 JRip IBK J48Ecoli0.1-0.07IBK玻璃0.06-0.05JRIP SMOHCC生存期0.05-0.01SMO J48 JRip IBK多层肝炎0.09-0.01SMO IBK JRip J48虹膜0.04-0.01SMO IBK J48乳房X线检查肿块0.06-0.02SMO IBK多层膜网购者0.1-0.09SMO IBK页面分块0.02SMO IBK Naïve笔数字0.1-0.02无或多层地震颠簸0.03-0.01SMO IBK JRip J48多层生病0.04SMO IBK J48 Naïve车辆0.1Naïve IBK JRIP J48波形0.08-0.04IBK J48 JRIP使用以下方法获得的结果：（i）所有基本分类器的多数投票，（ii）OCS方法的多数投票(iii)所有基础分类器的平均概率（iv）OCS方法的平均概率和（v）静态最佳分类器选择显示在表4中（最高AUC值使用粗体字标记）。如表4所示，利用所提出的OCS方法和平均概率方法，对于大多数考虑的数据集产生了最高的AUC值。更具体地，当OCS方法与平均概率方法一起使用时，产生了实验中考虑的18个数据集中的15个的最高AUC值。然而，这15个数据集中的5个数据集（鲍鱼、肾脏疾病、皮肤病学、HCC存活和笔指）的相同AUC值是通过使用一种或多种所考虑的方法获得的。另一方面，多数人投票与所有基础性能差的基本分类器的投票。使用平均概率结合OCS方法的优越性背后的原因是：（i）仅使用最佳分类器而不是所有基础分类器，以及（ii）使用平均概率而不是简单的投票方法来组合基础分类器的结果。因此，通过将它们的有效性与与最高AUC值（在验证集上）相关联的分类器进行比较来识别较差有效性分类器，提高了分类有效性。其中，减少对投票的计数或对由几个弱分类器产生的概率进行平均增强了总体预测结果。例如，如果与最佳分类器相关联的AUC值约为0.900，而集合中的几个分类器分配了0.700的AUC值，则这些分类器将对最终的预测结果产生负面影响。为了评估分类模型的效率，可以利用模型构建时间（训练时间）和模型评估时间（预测时间）。关于五个考虑的模型报告的训练和预测时间结果如表5所示。如表中所示，当使用多数投票OCS和平均概率OCS时，报告了最高训练时间结果，其中需要使用训练数据构建和评估所有基础分类器，然后使用所有训练示例重建最佳选择的分类器。最佳选择方法还需要生成和评估所有基本分类器，然而，使用所有训练示例仅重建一个分类器。另一方面，需要 构 建 基 础 分 类 器 的 Majority Voting All 和 AverageProbability All都报告了较低的训练时间结果。注意，形成异构集合模型的基分类器是独立的，因此可以并行执行构造过程。关于预测时间结果，正如预期的那样，静态最佳选择方法产生了最低的预测时间结果，其中只有一个分类器进行预测。此外，使用OCS方法来修剪性能差的分类器，导致减少了投票和平均概率方法的预测时间结果。E. Alshdaifat，M.Al-hassan和A.阿洛克尔ICT Express 7（2021）342347图二、 所有基分类器的平均概率和OCS 方法的平均概率的比较。表4所获得的AUC的结果从使用所有考虑的方法来生成的异质集成分类模型。数据集多数表决多数表决OCS平均概率所有平均概率OCS静态最佳选择鲍鱼0.5650.7660.7360.7660.766汽车0.7810.8830.8910.8830.883慢性肾病1.0001.0001.0001.0001.000气缸0.7600.7280.8310.8340.763皮肤科1.0000.9951.0001.0000.997Ecoli0.9110.8930.9620.9630.960玻璃0.7760.7430.8860.8950.837HCC生存期0.5970.6730.6120.6730.673肝炎0.8520.7800.9300.8970.919虹膜0.9710.9850.9971.0000.993乳房X线检查肿块0.8190.8440.8950.9080.852网购者0.7210.8340.8970.9070.834页面分块0.8810.9350.9880.9890.935笔数字0.9950.9951.0001.0000.970地震颠簸0.5180.7770.7870.7770.777生病0.8230.9380.9590.9800.938车辆0.8580.9420.9410.9440.942波形0.8900.8910.9650.9700.9655. 结论最优分类器选择（OCS）的方法选择基分类器形成异构集成的概念，排除性能差的分类器已被认为是建立在。所提出的方法是一种修剪方法，它修剪分类器被归类为低性能分类器。它的优点是产生比使用所有基类更有效的分类。要在所需异构集成分类模型采用NB、DT、RB、kNN、ANN和SVM六种分类算法。采用多数投票和平均概率的方法对基分类器的输出进行组合。为了评估所提出的方法，与用于生成异构集成分类的最新方法进行了比较，即：（i）所有基分类器的多数投票，（ii）所有基分类器的平均概率和（iii）静态分类器。E. Alshdaifat，M.Al-hassan和A.阿洛克尔ICT Express 7（2021）342348表5所获得的训练和预测时间结果（以秒为单位）来自使用所有考虑的方法来生成异构集成分类模型。数据集静态最佳选择多数投票所有平均概率。所有多数投票OCS平均概率。OCS火车测试火车测试火车测试火车测试火车测试鲍鱼161.270.03115.951.20114.371.05161.270.73161.270.13汽车23.070.0111.450.0213.010.0323.070.0123.070.01肾病4.030.014.020.033.710.037.730.037.730.03气缸25.700.0225.690.0925.150.0549.480.0350.200.03皮肤科7.450.027.440.077.520.1214.720.0415.060.03Ecoli1.870.001.870.021.740.023.600.013.500.01玻璃2.060.001.130.011.070.011.910.001.980.00HCC生存期4.100.014.090.034.530.024.100.024.100.02肝炎1.060.001.060.060.960.021.130.101.040.10虹膜0.300.000.300.010.320.010.540.000.550.00乳房X线检查肿块3.060.013.030.073.180.053.260.023.330.20网购者809.050.11809.0113.32779.9010.10809.050.02781.810.11页面分块21.680.0221.491.1920.210.6621.680.4342.020.10笔数字224.400.01116.135.69118.766.08127.865.42130.725.99地震颠簸18.440.0318.430.2918.750.3218.440.0418.440.04生病42.870.0142.610.4116.360.3242.870.0760.660.07车辆10.520.015.010.055.360.0810.520.0111.110.01波形68.980.0436.772.5034.152.2272.090.1371.690.12最佳分类器的选择，被认为是。实验结果表明，所提出的OCS方法，加上多数投票，显着优于传统的多数投票，认为所有基分类器内的异构集成。此外，对于大多数使用的数据集，OCS方法往往比所有基本分类器的平均概率方法和静态最佳分类器选择方法表现得更好。总体而言，优越的结果，得到了利用所提出的OCS方法来选择基分类器形成异构集成和平均概率的方法来结合结果从基分类器。总之，考虑所有基本分类器以形成异构集成模型可能会由于包括性能较差的分类器而降低分类有效性。另一方面，只考虑一个分类器可能会失去集成分类的潜在优势。因此，一种方法，如建议的OCS方法，用于消除性能不佳的分类器，应采用构建一个有效的异构集成模型。在未来的工作中，作者打算investi门替代方法，以排除性能差的类sifiers，以提高性能的异构集成分类。此外，将采用并行处理，以提高构建异构集成模型的效率。CRediT作者贡献声明Esra’a Alshdaifat: Malak Al-hassan：数据管理，数据分析，软件，写作-评论编辑。AhmadAloqirs：概念化，形式分析，验证，写作-评论编辑.竞合利益作者声明，他们没有已知的可能影响本文所报告工作确认第一位和最后一位作者感谢哈希姆大学的无尽支持。引用[1] 约翰·汉，M. Kamber，J. Pei，数据挖掘概念和技术，第三版，Morgan Kaufmann Publishers，Waltham，Mass，2012.[2] E. Alshdaifat ， F. Coenen ， K. Dures ， A Directed Acyclic Graph（DAG）Ensemble Classification Model：An Alternative ArchitectureforHierarchicalClassification ， Int.J.DataWarehous.Min.（IJDWM）13（3）（2017）73-90.[3] L. Breiman，Bagging predictors，Mach.学习. 24（2）（1996）123[4] R. Caruana，A. Niculescu-Mizil，G. Crew，A. Ksikes，Encourageselection from libraries of models，in：Proceedings of the Twenty-firstInternational Conference on Machine Learning，2004，p.十八岁[5] P. Yang，Y.杨华，B. B. Zhou，A.Y. Zomaya，生物信息学集成方法综述，Curr。生物信息。5（4）（2010）296-308。[6] L. Moreira-Matias ， J. Mendes-Moreira ， J. Gama ， P. Brazdil ，Textcategorization using an ensemble classifier based on a meanco-association matrix ， in ： International Workshop on MachineLearningandData Mining in Pattern Recognition，Springer，2012，pp.525-539[7] O.迈蒙湖Rokach，挖掘制造业数据集的决策树，Mach。Eng. 4（1[8] P. Srimani，M.S. Koti，使用集成分类器的医学诊断-一种新的机器学习方法，J。Adv. Comput. 1（1）（2013）9[9] L. Kai ， Z. Zhiping ， Using an Ensemble Classifier on LearningEvaluationfor E-learning System，in：2012 International Conferenceon ComputerScienceand Service System，IEEE，2012，pp. 538-541[10] S. Alyahyan ， M. Farrash ， W. Wang ， Heterogeneous ensembleforimaginary scene classification，2016。[11] J. Goyal，B. Kishan，异构集成学习用于软件故障预测的比较分析，Int. J. Sci.技术研究8（2019）1296-1300。E. Alshdaifat，M.Al-hassan和A.阿洛克尔ICT Express 7（2021）342349[12] Y.-- S.东，K.- S.几种集成方法的比较关于文本分类，见：IEEEInternational Conference On ServicesComputing，2004。(SCC 2004年）。诉讼2004，IEEE，2004，pp. 419 -422[13] H.V. Nguyen ， H.H. Ang ， V.Gopalkrishnan ， Mining outlierswithensemble of heterogeneous detectors on random subspaces，in：InternationalConferenceonDatabaseSystemsforAdvancedApplications，Springer，2010，pp. 368-383.[14] S.康，S. Cho，P. Kang，通过单类分类器的异构集成进行多类分类，Eng. Appl. Artiff.内特尔43（2015）35-43。[15] L. Nanni，S. Brahnam，S. Ghidoni，A. Lumini，Toward a General-purpose Heterogeneous Ensemble for Pattern Classification ， in ：Computational Intelligence and Neuroscience ， vol.2015 ， 2015 ，[Online]. 可用：http：//dx. 多岛或g/10。1155/2015/909123.[16] M.萨布泽瓦里湾Martínez-Muñoz，A. Suárez，Pooling homogeneousensembles to build heterogeneous ones，2019，arXiv preprint arXiv：1802. 07877，编。[17] A. Narassiguin ，Ensemble Learning Comparative Analysis and Fur-ther Improvements with Dynamic Ensemble Selection（PhD diss.），里昂大学，2018年。[18] S.泽罗斯基湾将分类器与堆叠相结合比选择最好 的一个更好吗？马赫学习. 54（3）（2004）255[19] G.楚马卡斯湖安吉利斯岛Vlahavas，异质分类器的选择性融合，Intell。数据分析9（6）（2005）511[20] N. Li ， Y. Yu ， Z.- H. Zhou ， Diversity regularized ensemblepruning ， in ： Joint European Conference on Machine Learning andKnowledgeDiscoveryin Databases，Springer，2012，pp. 330-345[21] D.D. Margineantu，T.G. Dietterich，修剪自适应增强，在：ICML，卷。97，Citeseer，1997，pp.211-218[22] A.S.小布里托R. Sabourin，L.E. Oliveira，分类器的动态选择-一个全面的评论，模式识别。47（11）（2014）3665-3680。[23] J. Demšar，多个数据集上分类器的统计比较，J. 马赫学习. Res. 7（2006）1[24] D.杜阿角Graff，UCI机器学习库，加州大学信息与计算机科学学院，[在线]。Available：http：//archive. ics. 乌奇岛埃杜湖[25] M. Hall，E.弗兰克，G。霍姆斯湾Pfahringer，P. Witten，TheWEKA data mining software：an update，ACM SIGKDDExplor. 新闻11（1）（2009）10