基于混合神经网络的RF模型在医学数据集上的性能分析及比较

沙特国王大学学报一种新的基于混合神经网络的轮换森林模型RF（ScPSO-NN）Rahime Ceylan，Hasan Koyuncu土耳其，科尼亚，塞尔丘克大学，电气阿提奇莱因福奥文章历史记录：2017年7月25日收到2017年10月30日修订2017年10月31日接受2017年11月4日在线发布保留字：轮伐林粒子群优化人工蜂群优化侦察粒子群优化混合分类器A B S T R A C T神经网络、混合神经网络方法和旋转森林集成分类器因其能有效地解决不同问题而在模式分析中受到青睐。NN architec- ture通常包括反向传播型算法，其中误差暴露于波动。混合神经网络方法通常是为了提高神经网络的分类性能而设计的。侦察粒子群优化算法（Scout Particle Swarm Optimization，ScPSO）是集粒子群优化算法（Particle Swarm Optimization，PSO）和人工蜂群优化算法（ArtificialBee Colony此外，RF算法通常表明在混合NN方法相同的性能，虽然它是由决策树（DT）分类器。在这一点上，我们的论文研究RF使用混合神经网络是否可以优于其他集成分类器在二进制医学模式分类，或没有。为此，将PSO，ABC和ScPSO放置在NN算法中，而不是反向传播，并实现混合方法（PSO-NN，ABC-NN和ScPSO-NN）。在此基础上，得到了RF（PSO-NN）、RF（ABC-NN）和RF分类准确度（CA），曲线下面积（AUC），灵敏度，特异性，F-测量，G均值和精度指标用于统计性能比较，并在5个医学数据集上实现了基于2倍交叉验证方法的测试©2017作者。制作和主办：Elsevier B.V.代表沙特国王大学这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍乳腺癌（BC）仍然是女性中最常见的基于肿瘤的疾病（Li等人，2014年）。 出于这个原因，乳腺癌的诊断必须在其早期阶段检测到，以防止患者死亡（Shieh等人， 2014年）。帕金森病（Parkinsondisease，PD）是老年人第二大神经退行性疾病。根据早期临床前阶段的诊断，可以控制PD的进展（Triple和Riedere，2008）。源自糖尿病的危害在疾病的初始阶段缓慢增加，但如果不发生早期诊断，则可能导致并发症（Castro-Rios等人， 2014年）。以肝脏为基础的疾病导致死亡率在世界范围内增加。在此，酒精消费与肝脏循环完全相关*通讯作者：Selçuk大学，工程学院，电气电子工程系，42250科尼亚，土耳其。电子邮件地址：rpektatli@selcuk.edu.tr（R.Ceylan），hasankoyuncu@selcuk.edu. tr（H. Koyuncu）。沙特国王大学负责同行审查rhosis和肝癌（Alfrem等，2013年）。与酒精性肝病相关的死亡率可以降低，如果早期发现这种疾病。此外，心脏病会引起心脏病发作，导致死亡。上述信息只是拯救生命的一个重要解决办法这种解决办法是疾病的早期诊断在此，计算机辅助诊断系统（CAD），揭示了疾病，建立在医疗决策阶段的重要地位。因此，软件专家试图提供新的算法和系统来诊断各种疾病。生物医学模式分类在CAD系统中具有重要作用。在生物医学模式分类中，可以通过混合架构进行充分的分类过程。在文献中发现了许多熟练的分类器系统，但是通常通过利用复杂或混合的分类结构来获得更高的分类性能。Je和Je（2011）生成了基于基因表达式编程GEP-B通常在各种试验中领先于其他人，达到97.21%（WBC）和78.12%（PID）的分类准确性。Kim等人（2011）为分类器集成生成了一个权重调整的投票算法。在他们的研究中，整个架构被命名为WAVE，它由分类器的权重向量和https://doi.org/10.1016/j.jksuci.2017.10.0111319-1578/©2017作者。制作和主办：Elsevier B.V.代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.com236R. Ceylan，H.Koyuncu/沙特国王大学学报.ð Þ实例. WAVE在WBC和HS数据集上的分类准确率分别为96.24%和82.71% Li等人 （2011） 提出了 一种基于模糊 的非线性变换 方法（Proposed Method？PM），并将其放置到支持向量机（SVM）架构。PM-SVM（Gauss）对PID和BLD的分类准确率分别为75.36%和70.85%Ozcift和Gulten（2011）使用不同的分类器作为旋转森林算法的基础分类器。使用WEKA，30种不同的分类器（NN，logistic，朴素贝叶斯等）。在RF中表示。平均而言，RF集成成功的PID，HS和PD数据集的分类准确率分别为74.47%，80.49%和87.13%。Aldape-Pérez等人（2012）生成了基于联想记忆的分类器（AMBC），包括学习阶段，学习强化阶段和分类阶段。在他们的研究中，WEKA模拟程序被用来比较所提出的方法与其他方法。采用50%-50%的训练-测试分割，AMBC获得了65.40%（BLD），70.57%（PID）和83.33%（HS）的分类准确率。Couellan和Wang（2015）提出了一种用于训练SVM的双层随机梯度算法。在他们的研究中，通过使用5倍交叉验证，将双水平SVM与PID和WBC数据集上的交叉验证SVM两层支持向量机分类正确率分别为96.50%（WBC）和75.07%（PID）。Hsieh et al.（2014）设计了一种基于PSO的模糊超矩形复合神经网络（PFHRCNN），该网络在稳定的识别性能期间应用PSO来调整由训练的HRCNN形成的规则。PFHRCNN对PD的分类准确率为82.4%，对WBC的分类准确率为96%。Tan等人（2014）采用改进的微遗传算法（MmGA）作为集成优化器，设计了基于MmGA的集成优化器。该方法对WBC和HS的分类准确率分别为97.21%和83.68%。Zhang和Suganthan（2014）用集成修改了随机森林算法的特征空间。因此，提出的结构获得了更好的分类性能更大的多样性。在WBC数据集上，随机森林集成获得了97.16%的分 类 准 确 率 。 Li 和 Leng （ 2015 ） 提 出 了 支 持 交 替 多 约 束 算 法（SAMA），该算法源于SVM。为了更好地进行线性分类，在SAMA中使用了交替的多个卷积器。在他们的研究中，Li和Leng使用10倍交叉验证在HS，PID和PD数据集上测试了SAMA结果，分类准确率分别为66.96% （ HS ） ， 81.84% （ PD ） 和 68.57% （ PID ） 。 Shi 等 人（2015）处理了核熵分量分析（KECA），并通过使用模糊集理论改进了KECA。在此基础上，得到了模糊鲁棒KECA（FR-KECA），其分类精度在BLD上为70.44%，在PID上为78.12%。Tao等人（2015）设计了比SVM更有效的最小类扩展约束SVM（MCSSVM）。MCSSVM在BLD和PID数据集上进行了测试，分别获得了69.52%和76.11%的分类准确率。 Xiang等（2015）A2. 方法2.1. 粒子群优化粒子群优化算法是一种著名的启发式算法，其灵感来自于鸟群的觅食行为（Kennedy和Eberhart，1995）。在PSO中，每只鸟都构成特征空间中的一个解，这些个体被称为“粒子”。粒子试图迭代地向全局最小点或最大点以及向食物源前进。为此，速度和位置算子被用于粒子的更新。等式（1）和（2）分别表示速度和位置现象。Vit1xVitc1r1Xpbestit-Xitc2r2Xgbestt-Xitð1ÞXit1XitVit12由方程式x是限制步长的惯性权重Vi（t）是当前速度（步长）。r1和r2系数是在范围[0，1]内随机产生的值。c1和c2系数是加速常数引导粒子朝向全局点。在此，这些系数的值通常可以使颗粒加速或减速，其中系数的总和等于“4”。X i（t）是当前位置，X pbest（i ）（t）表示i的最佳个体位置。th个粒子，Xgbest（t）代表整个群体中的最佳位置。由方程式在等式（2）中，Vi（t+1）是新生成的速度，其将通过与旧位置（Xi（t））相加而形成新位置（Xi（t+12.2. 人工蜂群优化人工蜂群优化（ABC）模拟蜜蜂的觅食行为（Karaboga和Akay，2009）。在ABC中，四个阶段被积极用于更新头寸。在迭代开始时，初始化阶段操作Eq. （3）为了生成粒子。xmlirand0; 1ωui-li 3由方程式（3），L1和U1分别成为位置的下边界和上边界。rand（0，1）是在范围[0，1]内生成的固定参数，作为PSO中的r1和r2系数。在初始化之后，循环部分从所采用的蜜蜂阶段开始，其中等式（4）和（5）用于将旧位置与新位置进行比较，作为Eq.（四）、vmi¼xmi/mixmi-xki4基于引力搜索算法和k-最近邻（k-NN）用于特征选择。在他们的研究中，分类准确率为77.9%（BIGSA-KNN），适合mxm¼1= 0.1fmxm;fmxm>051 jfmx mj;fmxm0<76.3%（BGSA-KNN）、76.1%（QBPSO-KNN）、75.5%（BPSO-KNN）和74.9%（GA-KNN）PID数据集。众所周知，旋转森林集成结构通常由DT基分类器组成。在这项研究中，我们处理RF架构，并修改它与混合神经网络（PSO-NN，ABC-NN，ScPSO-NN），以获得更强大的集成分类器（RF（PSO-NN），RF（ABC-NN），RF（ScPSO-NN））。在这一点上，有两个目标：文献中使用RF（混合NN）与检查ScPSO比PSO和ABC算法更兼容的主题，以便与复杂的分类架构一起工作。由方程式在公式（4）中，xmi指定第m个位置，f是范围[-1，1]内的常数，i代表[1，维数]中随机生成的数。vmi象征着新生成的位置，与旧的比较（xm）。在这一点上，重要的一点是k不能与m具有相同的值，否则，（xmi-xki）将等于“0”。由方程式（5），fm（xm）保持目标的结果功能此外，本发明还的健身值（fitm（xm））是通过检查目标函数的条件获得。因此，在更好的适应度值的情况下，vmi被替换为xm。旁观者蜜蜂阶段使用Eq. （4）用于生成新粒子和Eq.（5）比较它们的适应度值。首先，Eq。(6) 被操作以选择要在等式（1）中使用的位置值（m）。（四）、由方程式Pm是xm的概率选择，并且Pm与范围[0，1]内的随机生成的值进行比较以实现多样化选择。●●R. Ceylan，H.Koyuncu/沙特国王大学学报237我我一LSNi;1i;1i;165I ... . ;Pm¼Xfitmxmm¼1ÞMMð6Þ1. 设Xi，j为Fi，j中要素的数据集X2. 从Xi，j中消除类3.从Xi，j物体的75%如果在用户定义的迭代次数（称为limit）中无法实现进度，则会激活侦察蜂阶段（Karaboga和Akay，2009）。根据等式（3）侦察蜂再生新的溶液（无效位置的再生）。2.3. 侦察粒子群算法在Xi，j中的数字。表示由Xi，j'生成的新集合4. 对Xi，j'进行PCA-安排C i，j，其中j = 1，. . .，K在旋转矩阵Ri中，如在等式（七）侦察粒子群算法是一种改进的粒子群算法2a1; a2;.. . ：a1美元半0].. .半0]3由Koyuncu和Ceylan（2015）提出。在ScPSO中，侦察蜂阶段R[001pdf1st-31 files]一个101磅;一个102磅;。. . ;aM2.. .半0]7添加标准PSO算法在为了提升1/6i;2i;2i;27性能.... . ...... .半0]半0].. .一个100磅;一个200磅; . . ;aMkPSO使用位置和速度概念更新粒子 通过激活侦察机蜜蜂阶段，ABC再生不足的颗粒被阻止i;ki;ki;kð7Þ从推进其对全球区域的立场PSO不包括一个稳定的或可变的参数，控制更新的效率考虑到这些信息，ScPSO是通过在基本PSO算法中添加侦察蜂阶段而形成的（Koyuncu和Ceylan，2015）。根据Koyuncu和Ceylan（2015）的研究，由于更好的收敛性，ScPSO表现出比PSO更具挑战性的性能。图1显示了ScPSO算法的流程图。2.4. 轮伐林旋转森林（RF）是Rodriguez等人（2006）提出的一种基于决策树（DT）的集成分类器系统。RF采用一组分类器，用从原始数据形成的改进的数据集进行训练。在此，多样性在分类性能中起着重要作用。通过分集，RF旨在产生与其他集成架构相比的先前性能。为此，RF通过两个不同的步骤（引导方法和特征向量的位置改变过程）来确保多样性。为了实现最佳性能，需要在多样性-准确性之间进行权衡，并调整基本分类器和子集数量。在RF的第一部分中，改变特征向量的位置，并将整个矩阵划分为子矩阵。然后，以75%的速率对所有子矩阵进行自举。然后，主成分分析（PCA）应用于子矩阵，以获得特征向量。此后，本征向量在称为“旋转矩阵”的矩阵中被规定为对角的因此，产生与原始数据相乘的系数。在乘法处理之后，获得改进的和旋转的数据。对于RF，Rodriguez等人（2006）提出了如下所示的伪代码：训练部分● X：训练数据集中的对象（Nxn矩阵）● Y：训练集的标签（Nx1矩阵）● L：集合中分类器的数量● K：子集的数量● {W1，W2，...，W c}：类标签的集合对于i= 1：L● 旋转矩阵Ri的制备- 将F（特征集）拆分为K个子集：Fi，j（对于j = 1：K）- 对于j = 1：K- 通过重新排列列以匹配F中特征的顺序来构造Ra。- 使用（X Ra，Y）作为训练集构建分类器Di分类部分● 对于给定的x，设di，j（xRi）是分类器Di，j为x来自类Wj的假设分配的概率。通过平均组合方法计算每个类别的置信度Wj（8）。x1天xR aj1c8jL;i1/1● 将x分配给具有最大置信度引导程序通过替换和从原始数据集中选择模式来生成更小的数据集。特征向量位置的改变不应该忘记的是，所有分类器都是用改进的数据集（不同的训练数据集）训练的。然而，在测试中，不需要多样性（引导和特征向量位置的变化2.5. 该方法RF在其分类器单元中由DT分类器组成在这项研究中，我们修改了RF算法，其中的混合神经网络被用作基础分类。为此，选择完全优化的NN是因为它们能够实现比简单的基本分类器（NN、DT、SVM等）更好的分类性能。在这一点上，优化算法直接解决在更新部分的神经网络，而不是反向传播算法。因此，一个强大的RF结构产生的二进制医学模式分类，挑战的DT为基础的RF和大多数集成分类器的方法建议在文献中。图2示出了混合NN的操作。图 二、第一个过程代表NN的权重和偏置值的生成。在这一点上，粒子值（权重偏置向量的值）可以被限制在由用户指定的边界中。第二步，实现神经网络的训练以产生系统的输出，并通过将获得的输出与目标进行比较来获得均方误差（MSE）一●●配 阿克4238R. Ceylan，H.Koyuncu/沙特国王大学学报图1.一、ScPSO算法流程图在第三部分，根据错误率更新权重和偏置向量。在这里，更新过程是通过使用优化算法中的现象来实现的在PSO-NN中，等式（1）和(2) 用于重新生成矢量值。在ABC-NN中，Eqs.（3）在ScPS 0-NN中，方程（1）─(3) 用于分配向量的新值。在第四部分，确定最大迭代次数和最小错误率，以决定训练过程的终止最后，利用权值和偏置向量进行测试，以达到最小错误率。图3示出了基于混合NN的RF集成分类器的操作。图 3;前三个过程（改变特征向量在本文中，特征向量的位置的对于所有多样化的数据，将数据分成子集（子集数量）是固定的。在获取子集时，将数据矩阵划分为包含不同特征的子集。●●●●R. Ceylan，H.Koyuncu/沙特国王大学学报239图二.混合神经网络的操作。图3.第三章。RF（混合NN）集成分类器的操作对每个包含随机选择的模式的子集执行Bootstrap，并将模式的数量保持为如RF的原始伪码中的整个子集的75%（Rodriguez等人， 2006年）。利用主成分分析方法获得特征向量系数，用于获取多样化的数据。在这一点上，PCA是执行到所有的引导应用的子集，并获得平方矩阵的特征数量的大小为所有的子集。●●240R. Ceylan，H.Koyuncu/沙特国王大学学报¼ð在系数相乘之前，将每个方阵作为对角矩阵分解为零值矩阵，形成对角矩阵。在得到对角矩阵后，矩阵中的特征应恢复到原始数据中的初始顺序（与原始数据中的顺序相同）。通过将对角矩阵的系数与原始数据相乘来执行乘法过程，以获得多样化的数据到被使用在混合NN. 本文中，四个过程（特征向量的位置的改变混合神经网络用于训练和测试阶段。在训练阶段，不同的RF数据作为混合神经网络的输入。在测试阶段，保持混合神经网络的最佳运行条件稳定，并使用混合神经网络用不同的多样化数据训练。在最后一部分，混合神经网络的输出被加权为相等，并且通过使用具有最大置信度的类来实现协作输出（RF集合的输出）（等式2）。（8））。在此，应当规定，每个部分（特征的向量位置的改变、数据到子集的分离、自举、PCA、数据与PCA系数的相乘）被单独地应用于每个分类器，因为它们彼此不同。因此，多样性在分类过程中是有效的。在这一点上，如果满足多样性与准确性（参数的改变）之间在RF（混合神经网络）技术中，整个结构根据所使用的混合神经网络的类型而改变和命名。换句话说，RF系综的类型与所使用的混合NN相关联。因此，可以获得三种RF系综：1-RF（PSO-NN）、2- RF（ABC-NN）、3- RF（ScPSO-NN）。3. 实验结果在实验中，不仅检查了与RF的混合神经网络的一致性因此，详细分析了混合方法和更复杂的算法实现的任务模式分类。在这项研究中，分类器结构（混合神经网络）进行了实验检查，这些方法是否按照多样性算子（改变特征向量的位置）BLD数据集是血液中质量体积和化学测量的组合 帕金森数据集（PD）由来自31人的一系列生物医学语音测量组成，其中23人患有帕金森病（Little等人， 2009年）。PD中的每一列是特定的语音测量，每行对应于来自这些个体的195个语音记录作为分离器特征，PD包含各种频率测量和一些统计度量。PID数据集主要基于血液结果。HS数据集包括血液检查、心电图（ECG）信号部分、胸部检查等。在WBC中，样本由Wolberg博士从其临床病例中制备。WBC使用基于细胞的特征对模式进行分类（Wolberg和Mangasarian，1990）。3.2. 通过7种不同的统计指标进行三种交错的性能比较在文献中，大多数研究用分类准确度（CA）评价其方法，一些研究用ROC曲线下面积（AUC）评价其方法，少数研究用特异性和敏感性评价其方法，还有一些研究用其他方法评价其方法。通常，CA被选为性能的描述性度量，但在某些情况下，CA不被视为确定良好性能的充分统计度量（Huang和Ling，2005;Tang等人，2009年）。因此，为了衡量实际业绩，其他统计指标的重要性变得很重要。在其他基于模式分类的研究中，AUC是CA之后第二个最常用的统计参数。ROC图是二维图，其中真阳性（阳性，正确分类为阳性）率位于Y轴，假阳性（实际为阴性，分类为阳性）率位于X轴.该图揭示了收益（真阳性）和成本（ 假阳 性 ）之 间的 相 对权 衡 。此 时 ，AUC 表 示ROC 曲 线下 面 积（Fawcett，2006）。除了CA和AUC指标，其他统计测量可以一起用于更敏感的分析。在这学习，我们使用7不同统计度量（方程式（9）- （Sensitivity¼TP= ΔTPΔFNΔ9Ω专属性<$TN=<$TN ≤FP≤10μ g精密度¼TP= 10TP/10FPF-测量<$2ω½精度ωrecall=精度recall]12以及将数据分离成子集（bootstrap），以及与其它子集一起或不与其它子集一起，如在利用DT的一般RF方法中那样。最后，利用7个度量指标对算法的性能进行了评价，这些度量指标构成了最佳的测量方法。换句话说，G-平均值：¼pSensitivityωSpecificityCATPTNTPTNFPFNð13Þ14Þ为了对所设计的技术进行详细的分析，希望实现方法的客观比较。3.1. 使用的医学数据集RF（混合NN）结构通过从UCI机器学习库（Lichman，2013）获取的5个知名医学数据集进行测试。Bupa肝脏疾病（BLD）、心脏Statlog（HS）、帕金森（PD）（Little等人，2009）、Pima IndianDiabetes（PID）和Wisconsin Breast Cancer（Original）（Wolberg和Mangasarian，1990）数据集被用作NN、混合NN、RF（NN）和RF（Hybrid NN）分类器的输入信息。这些数据集的特征如表1所示。为了增强多样性并提供客观的观点，通过7个统计指标将三步比较应用于分类器系统。此外，总统计成功（TSS）值用于衡量分类器的成功。在此，TSS被定义为最佳性能（或获得的第一行的数量）。TSS（7个指标）是比较的基础，因为它象征着完全的成功，并确保平衡的视线。● TSS比较基于7个指标（灵敏度，特异性，F-测量，G-均值，精密度，AUC和CA）？TSS（7个指标）● 基于CA的TSS比较？TSS（CA）● 基于AUC的TSS比较？TSS（AUC）●●●●●●R. Ceylan，H.Koyuncu/沙特国王大学学报241表1使用的医学数据集（续）。数据集属性信息模式数/属性数（包括类）Bupa肝脏疾病● 平均红细胞体积● Alkphos碱性磷酸酶● 丙氨酸氨基转移酶● 谷草转氨酶● γ-谷氨酰转肽酶● 每天饮用的半品脱酒精饮料当量345/7心脏状态日志●年龄● 性● 胸痛类型（4个值）● 静息血压● 血清胆固醇（mg/dl）● 空腹血糖> 120 mg/dl● 静息心电图结果（值0、1、2）● 达到的最大心率● 运动引发的心绞痛● Oldpeak =运动相对于休息诱导的ST段压低● 运动峰值ST段● 荧光透视染色的主要血管数量（0● Thal：3 =正常; 6 =固定缺损; 7 =可逆缺损Parkinson● MDVP：Fo（Hz）● MDVP：Fhi（Hz）● MDVP：Flo（Hz）● MDVP：抖动（%），MDVP：抖动（绝对值），MDVP：RAP，MDVP：PPQ，抖动：DDP-● MDVP：Shimmer，MDVP：Shimmer（dB），Shimmer：APQ 3，Shimmer：APQ 5，MDVP：APQ，Shimmer：DDA● NHR，HNR● 状态● RPDE，D2● DFA● spread 1、spread 2、PPE270/13197/23皮马印第安人糖尿病● 怀孕次数● 口服葡萄糖耐量试验● 舒张压（mm Hg）● 三头肌皮褶厚度（mm）768 /8● 2-小时血清胰岛素（μU/ml）2威斯康星州乳腺癌● 体重指数（体重（kg）/（身高（m））● 糖尿病家系功能● 年龄● 团块厚度● 细胞大小● 细胞形状● 边缘粘连● 单个上皮细胞大小● 裸核● 布兰德染色质● 正常核仁第683 /10号决议●有丝分裂第一步，根据TSS（7个指标）找到最佳操作条件，并重新排列表4在这方面，表9是通过在其最佳操作条件下比较根据TSS（7个度量）的分类器而获得的在此过程之后，通过7个度量获得基于CA和AUC根据上述三步比较，显示最佳分类结构的结果见表10。2-在所有试验中使用折叠交叉验证方法对所提出的技术进行性能评价3.2.1. 最佳操作条件根据Koyuncu和Ceylan（2015）研究中的建议调整NN、PSO-NN和ScPSO-NN分类器的参数值。此外，ABC-NN参数是稳定的，在其最佳条件下确定的试验和错误。在混合神经网络（PSO- NN，ABC-NN和ScPSO-NN）架构中，唯一变量是根据输入节点的数量（数据集的特征数量）而改变的隐藏节点数量。在试验中，隐藏节点选择达到最高TSS（7个度量）值的数目作为分类器的最佳隐藏节点数目。RF（PSO-NN）、RF（ABC-NN）和RF（ScPSO-NN）结构包含两个可变参数：基本分类器数和子集数。这些参数根据系统的输出而改变。首先，基于RF（ABC-NN）结构获得子集数。然后，选择具有最高TSS（7个度量）的最佳子集数目作为其他RF的最佳选择。这里，RF（ABC-NN）的使用作为提供客观操作条件的结果而实现。换句话说，没有选择RF（ScPSO-NN），因为确保公正性。此外，ABC算法表现出与PSO和ScPSO方法不同的算法。其次，根据TSS（7个度量）的成功率来选择基分类器数目。在所有的RF系统中，混合神经网络的隐藏节点数保持不变，根据混合神经网络的试验中发现的最佳节点数。 表2显示了最佳操作条件和变化-able参数。242R. Ceylan，H.Koyuncu/沙特国王大学学报表2分级机系统的最佳操作条件。分级系统稳定参数值可变参数NN H = 10lr = 0.1PSO-NN Maxiter = 500Pop-size = 5c1 = 2.08 c2 = 1.92惯性w = 0.9？ 0.4● HABC-NN Maxiter = 500Pop-size = 5ui= 10li =- 10限值= 100ScPSO-NNMaxiter = 500 Pop-size = 5c 1=2 &c 2= 2inertia_w = 0.9？0.4限制= pop-size * dim/12RF（NN）H = 10lr = 0.1使用RF（PSO-NN）PSO-NN参数使用RF（ABC-NN）ABC-NN参数使用RF（ScPSO-NN）ScPSO-NN参数● 基本分类器编号● 子集号（maxiter =最大迭代次数，pop-size =种群大小，H =隐藏节点数，inertia_w =惯性权重，lr =学习率，dim =维数）。表3RF集成分类器的最佳子集数量。数据集子集号234BLD（Sub_num = 4）灵敏度51,7247,5948,28特异性56,0062,5080,00Gmean53,8254,5462,15精度46,0147,9263,64F-measure48,7047,7554,90AUC53,8655,0464,14CA54,2056,2366,67HS（Sub_num = 6）子集号234567灵敏度71,6779,1780,0080,8376,6773,33特异性82,6780,6784,6783,3390,6788,67Gmean76,9779,9182,3082,0783,3780,64精度76,7976,6180,6779,5186,7983,81F-measure74,1477,8780,3380,1781,4278,22AUC77,1779,9282,3382,0883,6781,00CA77,7880,0082,5982,2284,4481,85PD（Sub_num = 2）子集号234567灵敏度97,9697,2892,5298,6495,2494,56特异性60,4254,1750,0039,5860,4256,25Gmean76,9372,5968,0162,4975,8572,93精度88,3486,6785,0083,3388,0586,88F-measure92,9091,6788,6090,3491,5090,55AUC79,1975,7271,2669,1177,8375,40CA88,7286,6782,0584,1086,6785,13PID（Sub_num = 4）子集号234灵敏度54,1041,0458,21特异性87,2091,6085,80Gmean68,6961,3270,67精度69,3872,3768,72F-measure60,8052,3863,03AUC70,6566,3272,00CA75,6573,9676,17WBC（Sub_num = 4）子集号23456灵敏度95,8296,6597,9194,9895,82特异性96,6296,6295,9596,6296,85Gmean96,2296,6496,9295,8096,33精度93,8593,9092,8693,8094,24F-measure94,8295,2695,3294,3995,02AUC96,2296,6496,9395,8096,33CA96,3496,6396,6396,0596,49(The最佳结果以粗体数字表示，sub_num =子集数）。表4可变参数的最佳值（在BLD上）。分类器H34568101214161820PSO-NN（H = 18）灵敏度28,9730,3437,2452,4142,0750,3452,4137,9342,7646,2145,52特异性90,0077,5085,0071,5077,5075,0070,5073,5071,5083,5077,50Gmean51,0648,4956,2661,2257,1061,4560,7952,8055,2962,1259,39精度67,7449,4464,2957,1457,5559,3556,3050,9352,1067,0059,46F-measure40,5837,6147,1654,6848,6154,4854,2943,4846,9754,6951,56AUC59,4853,9261,1261,9659,7862,6761,4655,7257,1364,8561,51CA64,3557,6864,9363,4862,6164,6462,9058,5559,4267,8364,06ABC-NN（H = 18）灵敏度24,8356,5544,1442,0746,9048,2852,4157,2433,1064,8343,45特异性85,5070,0070,0053,0080,5080,0082,5071,5081,0072,0083,00Gmean46,0762,9255,5847,2261,4462,1565,7663,9751,7868,3260,05精度55,3857,7551,6139,3563,5563,6468,4759,2955,8162,6764,95F-measure34,2957,1447,5840,6753,9754,9059,3858,2541,5663,7352,07AUC55,1663,2857,0747,5363,7064,1467,4664,3757,0568,4163,22CA6064,3559,1348,4166,3866,6769,8665,5160,8768,9966,38ScPSO-NN（H = 20）灵敏度54,4841,3829,6653,1035,8633,1048,2835,8648,2849,6651,03特异性70,0078,5081,0071,0083,0080,5068,5089,0080,5073,0082,00Gmean61,7656,9949,0161,4054,5651,6257,5156,5062,3460,2164,69精度56,8358,2553,0957,0460,4755,1752,6370,2764,2257,1467,27F-measure55,6348,3938,0555,0045,0241,3850,3647,4955,1253,1458,04AUC62,2459,9455,3362,0559,4356,8058,3962,4364,3961,3366,52CA63,4862,9059,4263,4863,1960,5860,0066,6766,9663,1968,99分类器BCN 510152025303540RF（NN）（BCN = 20）灵敏度20，6948,9748,9744,1428,2851,7241,3835,86特异性95.5063,0068,0084,0090,0054,0077,5077,50平均值44，4555,5457,7060,8950,4552,8556,6352,72精密度76.9248,9752,5966,6767,2144,9157,1453,61F度32.6148,9750,7153,1139,8148,0848,0042,98AUC 58.0955,9858,4864,0759,1452,8659,4456,68CA 64.0657,1060,0067,2564,0653,0462,3260,00RF（PSO-NN）（BCN = 10）灵敏度44.8332,4131,0326,9020,0031,7234,4831,03特异性65.5092,5088,5091,5096,5091,5089,0092,00Gmean 54，1954,7652,4149,6143,9353,8855,4053,43精密度48.5175,8166,1869,6480,5673,0269,4473,77F-measure 46.5945,4142,2538,8132,0444,2346,0843,69AUC 55，1662,4659,7759,2058,2561,6161,7461,52CA 56，8167,2564,3564,3564,3566,3866,0966,38RF（ABC-NN）（BCN = 5）灵敏度48.2843,4548,9743,4532,4143,4543,4544,83特异性80.0067,5063,0067,5085,0081,5078,0079,50平均值62.1554,1555,5454,1552,4959,5158,2159,70精密度63，6449,2248,9749,2261,0463,0058,8861,32F度54.9046,1548,9746,1542,3451,4350,0051,79AUC 64，1455,4755,9855,4758,7162,4760,7262,16CA 66，6757,3957,1057,3962,9065,5163,4864,93RF（ScPSO-NN）（BCN =25）灵敏度47.5930,3464,8348,9755,1751,7243,4530,34特异性55.5082,5059,0063,0083,0079,5077,5087,50Gmean 51，3950,0361,8555,5467,6764,1358,0351,53精密度43.6755,7053,4148,9770,1864,6658,3363,77F-测量45，5439,2958,5748,9761,7857,4749,8041,12AUC 51，5456,4261,9155,9869,0965,6160,4758,92CA 52.1760,5861,4557,1071,3067,8363,1963,48(The最佳结果以粗体数字表示，H =隐藏节点数，BCN =基本分类器数）。R. Ceylan，H.Koyuncu/沙特国王大学学报243表5可变参数的最佳值（在HS上）。分类器BCN510152025303540RF（NN）（BCN = 35）灵敏度78,3375,0074,1775,0074,1777,5080,0078,33特异性83,3384,0084,6782,6788,6785,3385,3384,