基于APSO算法的函数连接神经网络连接权优化" - 沙特国王大学学报

沙特国王大学学报基于APSO算法的函数连接神经网络连接权优化Abdullah Khan，Junaid Bukhari，Javed Iqbal BangashKhan，Asfandyar Khan，Muhammad Imran，Muhammad Asim，Muhammad Ishaq，Arshad Khan计算机科学和信息技术研究所（ICT/IT），管理和计算机科学学院（FMCS），农业大学，白沙瓦，KPK，巴基斯坦阿提奇莱因福奥文章历史记录：收到2020年2020年9月24日修订2020年10月22日接受2020年10月28日网上发售保留字：分类高阶神经网络函数链接神经网络加速粒子群算法A B S T R A C T分类问题是生活各个领域中普遍存在的问题，也是数据挖掘中具有挑战性的关键任务。分类过程的主要目标是将给定的数据集分类到所有数据的定义类标签中。许多研究论文在医学领域广泛使用分类法。已经进行了各种研究来使用不同的技术对医学数据进行分类，例如高阶神经网络（HONN）结合反向传播神经网络（BPNN）作为学习算法。由于数据复杂度的增加，反向传播算法面临收敛速度慢的问题。使用梯度下降技术的反向传播（BP）有可能陷入局部极小值。因此，BP算法在寻找误差函数的全局最小值时可能会造成困难提出了一种高阶函数链接神经网络（FLNN）。建议FLNN模型集成了一种基于元分析的搜索算法，称为加速粒子群优化（APSO）。提出的加速粒子群优化功能链接神经网络（APSOFLNN）模型的性能进行了验证与各种医疗数据集和com-probability到传统的技术，如加速粒子群优化功能链接反向传播（APSOFLBP），人工蜂群功能链接神经网络（ABCFLNN）。仿真结果表明，所提出的APSOFLNN算法使用的基准数据集显示出良好的效果，在均方误差（MSE）和精度相比，传统的©2020作者由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍数据挖掘是最常见的实践，近年来在许多领域得到了应用。在数据挖掘中，数据分类是一项重要的任务分类过程的主要目标是在所有数据的定义类标签中对给定数据集进行分类。许多分类方法，包括支持向量机，决策树和神经网络，用于*通讯作者。电子邮件地址：javad. aup.edu.pk（J.I. Bangash），asfandyar@aup.edu. pk（A.Khan ） ， mimran@aup.edu.pk （ M.Imran ） ， muhammad.aup.edu.pk（M.Asim），drmishaq@aup.edu.pk（M. Ishaq），arshadkhan@aup.edu.pk（A.Khan）。沙特国王大学负责同行审查分类目的对基于相似特征将数据分类为相似类别的可靠且有效的技术的需求有所增加。在这些分类器中，神经网络近年来取得了巨大的成功。在 现代 ，人 工神 经网 络（ANN ） 是最 有吸 引力 的分 类模 型 之一（Karegowda和Prasad，2013）。ANN架构由称为节点或神经元的计算单元组成，这些计算单元通过链路互连（Kuan，1989）。它的灵感来自大脑处理信息的自然工作。它人工模仿人脑的自然计算过程，为此目的，神经元被训练以产生与人脑相似的期望目标（Agrawal和Agrawal，2015）。对数据管理和相关数据的记录保存分类的需求增加已成为一个主要问题（Al-Jumeily等人， 2014年）。人工神经网络是易于实现的有吸引力的分类技术之一，并且已经用于各种现实世界的应用，例如卫生部门（Lisboa，2002）、科学https://doi.org/10.1016/j.jksuci.2020.10.0181319-1578/©2020作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comA. Khan，J.Bukhari，Javed Iqbal Bangash等.沙特国王大学学报2552-& 技术、预测（ Callen 等人， 1996 ）、模式识别（ H. Gish ，1990）和商业。 ANN是一种用于噪声数据的更强大的技术，具有更少的信息处理时间和准确性的优点（Nawi等人，2010年a、2010年b）。有各种类型的神经网络，例如。 前馈神经网络、递归神经网络 、 概 率 神 经 网 络 和 高 阶 神 经 网 络 （ Al-Jumeily 等 人 ， 2014;Karegowda和Prasad，2013; Nayak等人，2016; Fallahnezhad等人，2011; Liang等人， 2015年）。常见的ANN架构之一是多层感知器（MLP）（Hornik，K.，例如， 1989年），它锻炼了监督学习技术。训练MLP的最常见的学习算法是反向传播，其被用于大量的非线性应用中MLP是一种复杂的结构，它由两个以上的层组成，例如一个输入层、一个或多个隐藏层和一个输出层。它使用反向传播（Durbin和Rumelhart，1986）作为学习技术，这会导致局部极小值以及收敛速度慢的问题。 为了克服传统算法的这些问题，（Pao和Takefuji，1992）提出了消除ANN结构中隐藏层的函数链接神经网络（FLNN）算法（Ghazali等人，2011年a、2011年b）。然而，这种新方法不仅有助于降低复杂性，而且还提供了一个复杂的结构来执行非线性可分离分类模型。在这些类型的网络中，高阶网络如Pi-Sigma神经网络（PSNN）（Nanda和Tripathy，2011; Shin和Ghosh，1995），函数链接人工神经网络（FLANN）具有处理非线性数据的能力（Goel等人，2008年）。该算法具有鲁棒性好、收敛速度快等优点，可以解决传统神经网络收敛速度慢的问题.在神经网络设计中，层数和权值的初始化是一项非常重要的工作。这些因素在高阶神经网络中不起重要作用，该网络不使用多个层，并且输入元素用相乘的输入组合来绘制（Sun等人，2009年）。在这项工作中，高阶神经网络称为功能链接人工神经网络（FLANN）已建模使用的优化方法称为全局群优化算法，例如加速粒子群优化（APSO）算法。所提出的方法的性能进行了测试与各种公开可用的数据集。本文从提高分类能力的角度对FLNN和提出的APSO算法进行了研究。本文的主要贡献如下。I. 提出了一种新的基于加速粒子群优化的函数链接神经网络（ APSOFLNN）混 合算法， 该算法利 用APSO算法 提高了FLNN算法的训练效率。II. 通过仿真比较了APSOFLNN和APSOFLBP算法的性能，并与人工蜂群算法的性能进行了比较，结果表明，采用FLNN技术可以降低FLNN算法的计算量，加快学习过程。第二部分重点介绍了前人的相关工作.第3节解释了本研究中使用的训练算法，如函数连接神经网络（FLNN），人工神经网络和加速粒子群优化（APSO）。在第4节中详细阐述了用于训练FLNN的拟议优化技术。用于执行模拟的机器在第5节中讨论最后，在第6节中讨论了本文的结论。2. 相关工作Goel等人（2008年）提出了一种用于水浴系统和连续搅拌罐加热器SCTH的改进型函数链接神经网络。在MATLAB仿真器上进行了仿真 为了检验该算法的性能，将其结果与传统的MLP、DFLNN和FLNN算法进行了比较。结果表明，M FLANN的速度和收敛性远优于 简 单 的 函 数 连 接 神 经 网 络 （ FLNN ） 、 多 层 感 知 器 和 直 接FLANN。类似地，Sun et al. （2009）提出了一种支持向量机，并与各种类型的神经网络进行了比较，评估了其性能和精度。采用癌症、1型糖尿病、2型糖尿病基因数据集仿真结果与各种其他现有的模型进行了比较，得出的结论是，支持向量机的精度相比，FLNN和MLP，但FLNN是更快的计算时间比支持向量机（SVM）和MLP。此外，Mili和Hamdi（2012）研究了三种优化技术，即（遗传算法，粒子群和微分方程）算法。类似地，作者使用混合函数链接神经网络来解决分类问题。所提出的混合技术的结果进行了比较，使用反向传播算法的功能链接神经网络。结果表明，该方法对网络的训练效果明显优于反向传播算法。类似地，Parhi et al. （2012）提出了一种用于数据分类的粒子群优化-函数连接神经网络（PSO-FLANN）混合模型。模拟结果在三个比较数据集上进行。作者比较了该模型与传统的统计技术进行了判别分析。最后，该算法给出了80%的准确率。Bhuyan和Sarma（2014）研究了一种算法来描述神经网络，并将其与传统的人工神经网络模型在自回归平均值、自回归移动平均值和非线性自回归平均值方面进行了比较。已经观察到，修改后的神经网络的链接更好地执行自动校正和序列评估的非线性自回归移动平均线。Bhuyan等人（2017）提出并修改了一种基于神经的功能链接，该链接与修改后的非线性扩展结合使用。所提出的模型被用来提高移动连接设备的接收和频谱效率。仿真结果表明，该方法提高了精度，降低了MSE的成本。算法操作进行了比较，传统的FLNN，FLNNFB，FTDNN的前向和后向扩展算法。提出的前馈方法不仅改善了设计和性能，而且还导致更好的频谱效率。在Deepa等人（2017）中，提出了基于发光蠕虫群优化的高阶神经网络生物优化算法，用于多模态癌症数据的分类。 高阶神经网络使用用于对多模态肿瘤数据集进行分类的基本方法。从仿真结果可以看出，函数连接人工神经网络-萤火虫群优化（FLANN-GSO）和PI-西格玛神经网络-萤火虫群优化（PSNN-GSO）方法提供了比主要PSNN和FLANN更高的精度。A. Khan，J.Bukhari，Javed Iqbal Bangash等.沙特国王大学学报2553不不不3. 训练算法3.1. 人工神经网络人工神经网络（ANN）是一种受生物神经系统研究启发的互连元素网络（Haykin，1999）。人工神经网络是一种设计机器的尝试，与反向传播（Jumeily等人，2014年）。与MLP不同，FLNN模型可以快速训练，而不会影响计算效率。同时，遗传的不变性特性驱动FLANN只拾取期望的信号，这产生更好的系统识别。图2说明了二阶FLNN结构，它由三个输入x1， x2，x3和一些高阶组合组成。与人类大脑系统的工作方式相似。这些模仿生物神经元功能的人工机器被称为节点或神经元。这些节点或单元就是建筑物这是神经网络的一部分人工神经网络是一种实现计算机辅助决策的技术是的。WXwj xjJXj;kwjk xj xk Xj：k：lwjklxjxkxl！ð1Þ非线性环境中的复杂任务（Zachary等人， 2015年）。神经网络的基本功能是在输入模式的同时产生输出模式。它具有通过将模式分类到一组或另一组中来进行模式分类的能力。人工神经网络有各种各样的变体，其中最著名的是MLP.它由输入、输出和隐藏层组成，这些层通过权重值相互连接，如图1所示。隐藏层可以是一个或多个层。 隐藏层使ANN能够控制非线性输入输出映射。多个隐藏层有助于大量输入的高阶统计（Haykin，1999）。3.2. 高阶神经网络高阶前馈神经网络是一种具有扩展输入容量的单层神经网络模型。它由两个单位组成：求和，乘积单位。最新的单位援助在良好的近似能力的分类精度（沙欣，1994年）。HONN仅通过调整单层权重来执行非线性映射（Misra和Dehuri，2007）。类似于多层感知器（MLP）的ANN不能克服学习缓慢的问题，特别是在处理高度复杂的非线性问题时（Nawi等人，Wo是可调阈值，r是非线性传输功能3.4. 加速粒子群算法（APSO）加速粒子群算法是一种基于种群的搜索技术。对APSO技术的探索归功于Yang（2010 b）。粒子群优化（PSO）有许多变体; APSO包含在其升级的变体中（Yang，2010 a）。 标准PSO通过考虑局部最佳值和全局最佳值来加速收敛（Prajna等人， 2014年）。而APSO仅计算全局最佳值以提高收敛性，除非面临高度非线性的多模态（Yang et al.，2011年）的报告。APSO用于以下等式。Vtk1Vtka 2b.gbest-xtk2其中，2n起着重要的作用，以取代下一项，n通常在[0，1]之间。否则，b控制收敛速率，随着迭代的进行，a减少了移动粒子的随机性。K是迭代次数粒子位置由以下等式更新（3）：2010年a、2010年b）。这就需要高阶神经网络作品（HONNs）（Chen等人，1987年）。xk1xkVk1ð3Þ3.3. 函数连接神经网络最常见的HONN类型之一是FNN。FLNN是无隐层前馈神经网络的一个分支。它通过扩展单元使其输入结构具有非线性（Durbinand Rumelhart，1986）这些单位作为网络的附加输入，这些单位的总和在输出层计算（Funahashi，1989）。网络的扩展输入降低了计算成本，另一方面，它提高了近似性能（Fei和Yu，1994），4. 提出的APOSFLNN训练模型本研究提出了APSO算法作为学习方案的实现，以克服反向传播在功能链接神经网络训练中所造成的缺点拟议的培训流程图如图所示。下面三个。在第一步中，初始化APSO参数。然后向FLANN架构提供输入权重和偏置，这些权重和偏置与训练的预处理数据集一起转换为目标函数。这一目标函数将在图1.一、 具有前向传递的MLP结构（Kaytez等人， 2015年）。A. Khan，J.Bukhari，Javed Iqbal Bangash等.沙特国王大学学报2554¼···-¼······X1显示屏：显示屏pXX我J我JX1X2X3x1x2x1x3x2x3x x x1 2 3网络输入连接（重量）∑Tf（非线性）σ求和输出单位∑图二. 高阶FLNN从而找到最优的权重参数。然后，APSO算法根据计算出的误差（目标数据与模型输出之间的差异）调整权重的变化。图3详细说明了下面给出的所提出的模型的训练方案。基于APSO算法，每一个单独的粒子都用一组特定的权向量来表示解。用于训练FLNN的APSO算法总结如下：1. 开始2. 读取数据DiD1;D2;D3;D4;D5：Dm其中Di是长度为M的向量和阶数为N*1的类标签。3. 规范数据。4. 4.70%数据用于训练，30%数据用于测试5. 使用随机解初始化粒子群Xi1; 2; 3; 4; 5：Xn6. 计算每个数据集的每个群体的适应度7. 随机地为每个FLNN连接链路分配权重Wx。8. 初始化参数位置Xt，加速度系数a;以及b，速度更新Vtk9. While（TM iter）10. 使用等式计算FLNN的输出。（四）Zi¼r.WoXWiyiXWjyjXWi jyiyj！ð4Þ11. 根据每个群的性能评估错误和g最佳错误：Ti=Zi=5其中Ti是实际值，Zi是输出值。RVx错误错误621/1Vpx是术语更多类的性能值12. 使用公式图三. APSOFLNN的训练方案Wn1Wn-DVtk1ð7ÞX2x1x2x1xn第0周 w1∑wnNT =M-iterY端更新新职位每个人开始初始化APSO参数性能评价每个颗粒计算适应度值X1选择新的g-bestA. Khan，J.Bukhari，Javed Iqbal Bangash等.沙特国王大学学报2555不不不n不XXX13. 更新Swarm新的粒子速度和位置是由方程每个试验被设置为500个时期。自选定算法验证开始以来，每个数据集每次试验总共运行10次。对于每个试验，历元数、RMSE、MAE、MSE和平均准确度记录在不同的文件中。xtk1xtkVk1ð8Þ表2显示了参数的描述。使用的算法是APSOFLNN、APSOFLBP和ABCFLNN。的目标误差Vk1Vka2b.gbest-xk所有三种算法都是0.00001，APSOFLNN和APSOFLBP为20，而ABCFLNN为50。14. Error（i）= Mean（error）;Wn Wn-Wnð10Þ所有三种算法的最大历元均为500和UB而LB的范围为[5，-5]。15. 计算gbest= maxZi16. End while//第9步结束17. 端流程5. 仿真结果5.1. 预赛为了进行本文的模拟，机器使用了4 GHz处理器，6 GB RAM。而操作系统使用的是微软视窗10。实验使用的工具是MATLAB R2018b。使用不同的医学分类数据集，这些数据集为了分析所使用的模型对不同数据集的性能，本研究重点关注不同的参数，如准确度，均方误差（MSE），均方根误差（RMSE）和平均绝对误差（MAE）。从UCIML存储库获取的数据集被安排成两个子集。70%的数据集用于训练目的，而剩余的30%的数据用于测试所提出的模型。所用数据集的详细描述详见表1。基于上述数据集，计算以下算法。a. 提出了一种基于函数连接神经网络的加速粒子群算法（APSOFLNN）b. 加速粒子群优化函数链-反向传播算法（APSOFLBP）.c. 人工蜂群函数连接神经网络d. 随机森林（RF）、随机向量函数链接模型（RVFL）和异质倾斜随机森林（HObRF）。网络的参数，如输入中的节点数、连接节点的权重值和偏差是随机设置的。FLNN通用模型的两层用于训练和测试模型。除了函数链接神经网络之外，输入和输出都基于给定的数据，函数链接神经网络在输出层使用通用扩展函数。该算法的其余部分使用对数S形激活函数。每个算法都经过训练，并在Meta分析选择的[5，-5]范围的局限性5.2. 乳腺癌数据集从加州大学欧文分校机器学习库收集的关于乳腺癌的数据，这是微观研究信息（Wolberg和Mangasarian，1990）。该数据集表明肿瘤是良性还是恶性阶段，为此选择了连续变量。选择的输入数量为7，有2个输出。所选病例数为699例。而0.00001被选择为目标误差。对于每种情况，选择的输入属性是单个上皮细胞大小、细胞大小均匀性、裸核频率、团块厚度、细胞形状、淡染色、边缘粘连量、正常核和有丝分裂。该数据集通过将乳腺癌分类为非报警肿瘤来区分乳腺癌的痕迹和症状，或者可能危险地依赖于持续的临床就诊。所提出的APSOFLNN模型的效率在表3中突出显示，并且它证明了与APSOFLBP和ABCFLNN算法相比，所提出的模型在均方误差（MSE）、平均绝对误差（MAE）、均方根误差（RMSE）和准确度方面的生产率提高。该模型还比较了RF，RVFL和HObRF的MSE和精度。表3说明了所提出的算法和传统算法在每个算法运行500个历元时的准确度。可以清楚地看出，所提出的APSOFLNN是最有效的，具有99.91% 的 高 准 确 率 ， 并 且 对 于 70% 的 训 练 数 据 集 具 有 低 MSE0.00167，MAE 0.00298和RMSE 0.01282。此外，ABCFLNN在精度和MSE方面落后于而ABCFLNN的准确率为93.819%，训练数据集的MSE为0.3090，MAE为0.452，RMSE为0.5462。APSOFLBP达到了98.70，同一数据集的MSE 0.259，MAE 0.426和RMSE 0.1589。而对于测试数据集，该算法的准确率为98.653%，MSE为0.0269， MAE为0.120，RMSE为0.176。同样，APSOFLNN实现了99.98%的高准确率，并且对于30%的测试数据集具有低MSE0.0020，MAE 0.026和RMSE 0.0152 此 外 ， ABCFLNN 在 精 度 和 MSE 方 面 落 后 于APSOFLNN而ABCFLNN对同一数据集的均方误差为0.2627，平均误差为0.3853，均方根误差为0.5077，准确率为94.74%。本文还将APSOFLNN与随机森林（RF）、随机向量函数连接（RVFL）和异质斜向随机森林（HObRF）在精度和均方误差方面进行了比较。所提出的模型也优于这些模型。在开始APSOFLNN，ABCFLNN，APSOFLBPFR，RVFL，表1医学分类数据集描述。数据集实例总数测试样本训练样本属性乳腺癌699百分之三十百分之七十75糖尿病768百分之三十百分之七十9乳腺组织106百分之三十百分之七十10皮肤科366百分之三十百分之七十34冷冻疗法90百分之三十百分之七十7心303百分之三十百分之七十75A. Khan，J.Bukhari，Javed Iqbal Bangash等.沙特国王大学学报表22556参数说明。APSOFLBP0.00001 20 500 300 [5，-5]ABCFLNN0.00001 50 500 300 [5，-5]表3乳腺癌数据集的建议算法和其他算法的性能算法/参数癌症数据集APSOFLNNABCFLNNAPSOFLBP训练数据集精度99.916593.819398.7038MSE0.001670.3090360.02592Mae0.002980.4529990.04268RMSE0.012820.5462410.15891测试数据集精度99.899194.744398.6533MSE0.002010.2627850.026933Mae0.026860.3853630.120121RMSE0.0152030.507750.17606RF RVFL HObRF测试数据集精度91.799194.262093.2233MSE0.305710.399120.385651而 HObRF 的 变 化 趋 势 与 此 相 似 ， 均 为 逐 渐 升 高 。 然 而 ，APSOFLNN的均方误差低于其余的算法在相同数量的时期。图图4描绘了500个时期的MSE收敛的变化率。5.3. 糖尿病数据集从加州大学机器学习库中提取的包含多变量特征的糖尿病数据集包含768个成年女性样本。这描绘了导致糖尿病的女性身体中从初始阶段到高峰阶段发生的化学变化（Smith等人， 1988年）。表4说明了每种算法在500个历元内运行的建议算法和传统算法的准确度、MSE、MAE和RMSE。可以看出，所提出的APSOFLNN是最有效的，具有93.195%的高准确率，并且具有最低的MSE为0.1360，MAE为0.136087，RMSE为0.049101，对于70%的训练数据集，而对于测试数据集，准确率达到93.612%，MSE 为 0.1277 ， MAE 为 0.224926 ， RMSE 为 0.0357035 。 此 外 ，ABCFLNN在精度和MSE方面而ABCFLNN的准确率为90.906%，MSE为0.4546，MAE为0.573083，RMSE为0.669954。对于测试数据集，该 算法的准 确率达到90.349% ，均方 误差为0.4825 。最后 ，APSOFLBP 在 准 确 性 和 MSE 方 面 也 落 后 于 所 提 出 的 训 练 算 法 。APSOFLBP的训练数据集的MSE为0.155589，MAE为0.273886，RMSE为0.431937，达到92.220%的准确率。而对于测试数据集，该算法获 得了91.8888% 的准 确率和0.162224 MSE 0.127748 ，MAE 为0.224926，RMSE为0.0357035。与RF、RVFL算法和HObRF算法在精度和均方误差方面进行了比较从整体仿真结果来看，本文提出的APSOFLNN克服了样本FLNN算法收敛速度慢的缺点，同时也表现出比本文所用的其他模型更好的性能。图5显示了所用算法在测试0.60.50.40.30.20.10乳腺癌数据集APSOFLNNAPSOFLBPABCFLNNRFRVFLHObRF0 50 100 150 200 250 300 350 400 450500时代数据集。从收敛性能来看，该算法明显优于其他算法。5.4. 心脏数据集该数据库包括76个性状，但其中14个子集被所有已发表的研究提到使用。Cleveland数据库主要由ML研究人员使用，特别是到目前为止。主题是指出患者的心脏病。它是从0（不存在）到4的整数值。实验的重点是试图区分存在（值1，2，3，4）和不存在（值0）0.1 id：患者识别号2 ccf：社会安全号（我用虚拟值0替换了它）3年龄：4岁时的年龄性别：性别（1 =男性; 0 =女性）。表5显示了每种算法在500个历元内运行的建议算法和传输算法的准确度MSE、MAE和RMSE。从表5中可以看出，所提出的APSOFLNN达到了92.60%的高准确率，并且对于70%的训练数据集，最低MSE约为0.1478，MAE约为0.204051，RMSE为0.044984图四、癌症数据集所用算法的MSE收敛性MSE为0.01337， MAE为0.019171，RMSE为0.011465。算法目标误差人口规模最大历元尺寸数量UB和LBAPSOFLNN0.0000120500300【5，-5】MSEA. Khan，J.Bukhari，Javed Iqbal Bangash等.沙特国王大学学报2557表4糖尿病数据集的建议算法和其他算法的性能算法/参数糖尿病数据集APSOFLNNABCFLNNAPSOFLBP训练数据集精度93.1957290.906692.2205MSE0.1360870.4546680.155589Mae0.2399020.5730830.273886RMSE0.0491010.6699540.431937测试数据集精度93.6126390.349391.8888MSE0.1277480.4825330.162224Mae0.2249260.6212180.266133RMSE0.03570350.7103010.365253RF RVFL HObRF测试数据集精度91.6216392.3249392.8528MSE0.2050540.212250.232340.60.550.50.450.40.350.30.250.20.150.1糖尿病数据集APSOFLBPABCFLNNRFRVFLHBRF0 50 100 150 200 250 300 350 400 450500时代该算法的准确率为92.9838%，均方误差为0.140324，最大似然误差为0.196226，均方根误差为0.364825在精度和均方误差方面，与RF、RVFL算法和HObRF算法进行了比较。从整体仿真结果来看，本文提出的APSOFLNN克服了样本FLNN算法收敛速度慢的缺点，同时也表现出比本文所用的其他模型更好的性能图6显示了训练和测试数据集所用算法的收敛性能。从收敛性能来看，该算法明显优于其他算法。5.5. 乳腺组织数据集该数据集可用于预测原始6类或4类的分类，通过合并鉴别不重要的乳腺腺瘤、乳腺病和腺体类（它们无法以任何方式准确鉴别）。这些在（实，虚）平面上绘制的测量值构成了阻抗谱，从阻抗谱中可以计算出乳房组织的特征。 该分类数据集的客观误差设定为0.00001下表6图五.糖尿病数据集所用算法的MSE收敛。此 外 ， ABCFLNN 在 精 度 和 MSE 方 面 落 后 于 APSOFLNN 而ABCFLNN对训练数据集的MSE 为0.339048，MAE为0.507154，RMSE为0.42657，准确率为90，219%对于测试数据集，该算法的准确率 为 93.7773% ， 均 方 误 差 为 0.3111340.503378 ， RMSE 为0.566348。最后，APSOFLBP在精度和MSE、MAE和RMSE方面也落后 于 所 提 出 的 训 练 算 法 。 APSOFLBP 的 训 练 数 据 集 的 准 确 率 为78.767%，MSE为0.42466，MAE为0.203590，RMSE为0.425657。另一方面，对于测试数据集，在对每个算法运行的500个epoch上，验证了所提出的算法和传统算法的准确性。从表中可以看出，所提出的APSOFLNN是最有效的，具有99.9246% 的 高 准 确 率 ， 并 且 对 于 70% 的 训 练 数 据 集 具 有 低 MSE0.00150，MAE为0.0385，RMSE为0.03878，而对于测试数据集，APSOFLNN实现了99.9273%的准确率，MSE为0.001453，MAE为0.03812，RMSE为0.03711。毛皮-然而，ABCFLNN在训练和测试数据集的准确性和MSE MAE和RMSE方面落后于APSOFLNN。而ABCFLNN的准确率为94.5663%，MSE为0.271686，MAE为0.5187，RMSE为0.52424。对于测试数据集，该算法在均方误差分别为0.381809、0.6628和0.6674时，准确率达到92.3638%，表5心脏病数据集的拟议算法和其他算法的性能算法/参数心脏数据集APSOFLNNABCFLNNAPSOFLBP训练数据集精度92.6056790.21978.767MSE0.1478820.3390480.42466Mae0.2040510.5071540.203596RMSE0.0449840.5509740.425657测试数据集精度99.041493.777392.9838MSE0.013370.3111340.140324Mae0.0191710.5033780.196226RMSE0.0114650.5663480.364825测试数据集RF RVFLHObRF精度88.6056794.322191.563MSE0.255840.191320.13547MSEA. Khan，J.Bukhari，Javed Iqbal Bangash等.沙特国王大学学报25580.450.40.350.30.250.20.150.10.05心脏数据集0.70.60.50.40.30.20.1乳腺组织数据集00 50 100 150 200 250 300 350 400 450 500时代00 50 100 150 200 250 300 350 400 450 500时代见图6。用于心脏病数据集的算法的MSE收敛性。见图7。乳腺组织数据集所用算法的MSE收敛性。MAE和RMSE。最后，APSOFLBP在准确性和MSE方面也落后于所提出的训练算法。因为APSOFLBP达到了98.8873%的准确率，训练数据集的MSE为0.02225，MAE为0.112626，RMSE为0.146685。而对于测试数据集，该算法的准确率为98.9273%，MSE为0.00145，MAE为0.03812，RMSE为0.038123。同样，对于该数据集，所提出的模型在测试数据集的MSE和准确性方面也优于RF，RVFL和HObRF模型 图图7示出了针对乳房组织问题所使用的算法的500个时期的MSE收敛的变化率。该图还示出了均方误差从0.004到0.001的逐渐减小，直到达到总迭代，并且其次示出了所提出的用于训练和测试乳腺组织数据集的算法的最佳改进。5.6. 冷冻疗法数据集该数据集包括关于使用冷冻疗法的90名患者的肿块治疗结果的材料，这些材料是从UCI机器学习库收集的。该数据集的模拟结果在下面的表7中讨论，表7示出了针对每个算法运行的500个时期内所提出的算法和传统算法的准确度。从表中结果可以看出，对于70%的训练数据集，所提出的APSOFLNN是最有效的，其准确同样 ， ABCFLNN 的 准 确 率 为 93.7401% ， 训 练 数 据 集 的 MSE 为0.312993，MAE为0.435501，RMSE为0.569056对于测试数据集，该算法的准确率达到95.1106%，MSE为0.244468，MAE为0.350928，RMASE为0.503311。最后，APSOFLBP在准确性和MSE方面也落后于所提出的训练算法 因为APSOFLBP达到了99.9752%的准确率，训练数据集的MSE为0.000496，MAE为0.000917，RMSE为0.001194。而对于测试数据集，该算法的准确率为99.9891% ， MSE 为0.000218 ， MAE 为0.000904，RMSE为0.001482。在精度和均方误差方面，该模型也优于RF，RVFL算法和HObRF。从整体仿真结果来看，本文提出的APSOFLNN克服了样本FLNN算法收敛速度慢的缺点，同时也表现出比本文所用的其他模型更好的性能从整体仿真结果来看，在相同的迭代次数下，APSOFLNN的均方误差明显低于其他算法 图图8描绘了训练和测试冷冻疗法数据集的500个时期的MSE收敛的变化率。表6乳腺组织数据集的拟议算法和其他算法的性能算法/参数乳腺组织APSOFLNNABCFLNNAPSOFLBP训练数据集精度99.924694.566398.8873MSE0.001500.271680.02225Mae0.038750.518740.112626RMSE0.038780.524240.146685测试数据集精度99.92792.363898.9273MSE0.001450.3818090.00157Mae0.038120.6628860.03812RMSE0.037110.6674540.038123测试数据集RF RVFL HObRF精度93.352794.243595.4263MSE0.1038550.081590.10298APSOFLNNAPSOFLBPABCFLNNRFRVFLHBRFAPSOFLNNAPSOFLBPABCFLNNRFRVFLHBRFMSEMSEA. Khan，J.Bukhari，Javed Iqbal Bangash等.沙特国王大学学报2559表7冷冻治疗数据集的建议算法和其他算法的性能。算法/参数冷冻疗法APSOFLNNABCFLNNAPSOFLBP训练数据集精度99.983793.740199.9752MSE0.000320.3129930.00049Mae0.0009850.4355010.000917RMSE0.0023100.5690560.001194测试数据集精度99.97895.110699.9891MSE0.000440.2444680.000218Mae0.000950.3509280.000904RMSE0.016660.5033110.001482测试数据集RF RVFL HObRF精度93.457896.133694.5831MSE0.0165790.019340.0209520.30.250.20.150.10.050冷冻治疗数据集APSOFLNNAPSOFLBPABCFLNNRFRVFLHBRF0 50 100 150 200 250 300 350 400 450500时代皮脂皮炎和银屑病。通常，培养在诊断中非常重要，但不幸的是，这些疾病也有许多共同的组织病理学特征这些疾病很难诊断，因为在开始阶段，疾病可能会显示出另一种疾病的症状。患者首次接受临床评估，有12个特征。然后，为了评估22个组织病理学特征，采集皮肤样本通过显微镜下的样品分析，确定组织病理学特征的值下面的表8示出了针对每个算法运行500个时期的所提出的算法和传统算法的准确度。可以看出，所提出的APSOFLNN是最有效的，具有97.8432%的高准确率和低MSE 0.183136，MAE为0.292005，RMSE为0.42504，对于70%的训练数据集。而对于测试数据集，所提出的模型实现了95.9367%的准确率和0.221265 MSE，MAE为0.357634和RMSE 为 0.469738 。 而 ABCFLNN 的 准 确 率 为 94.731% ， MSE 为0.26345，MAE为0.40039，RMSE为0.522208。训练数据集。对于测试数据集，该算法的准确率达到93