没有合适的资源?快使用搜索试试~ 我知道了~
沙特国王大学沙特国王大学学报www.ksu.edu.sawww.sciencedirect.comJournal of King Saud University一种基于TLBO的梯度下降学习-函数连接高阶ANN:一种有效的非线性数据Bighnaraj Naika,*,Janmenjoy Nayakb,H.S.贝赫拉aa Veer Surendra Sai University of Technology(前身为University College of Engineering)计算机科学工程信息技术系,Burla 768018,Odisha,印度bDST INSPIRE研究员,印度接收日期:2015年5月24日;修订日期:2015年12月11日;接受日期:2016年2016年3月28日在线发布摘要高阶神经网络(HONN)包括函数连接神经网络(FLANN)都对权值的随机初始化敏感,并依赖于所采用的学习算法。虽然选择有效的学习算法的HONN有助于提高性能,另一方面,初始化的权重优化的权重,而不是随机的权重也发挥重要作用,其效率。本文利用基于教学的优化(TLBO)的问题求解方法,结合梯度下降学习(GDL)的学习能力,得到FLANN学习模型的最优权值集。TLBO不需要任何特定的参数,而是它只需要一些常见的独立参数,如种群数量,迭代次数和停止标准,从而消除了选择用于调整FLANN模型的权重集的算法参数的复杂性。在MATLAB中实现了TLBO-FLANN,并与GA-FLANN 、PSO-FLANN和HS-FLANN进行了比较。在来自UCI机器学习库的各种5倍交叉验证的基准数据集上测试TLBO-FLANN,并通过使用Fried-man检验、Holm©2016沙特国王大学.制作和主办:Elsevier B.V.这是一篇开放获取的文章,CC BY-NC-ND许可证(http://creativecommons.org/licenses/by-nc-nd/4.0/)。1. 介绍*通讯作者。联系电话:+91 9439152272。电子邮件地址:bnaik_mca@vssut.ac.in(B. Naik)。沙特国王大学负责同行审查http://dx.doi.org/10.1016/j.jksuci.2016.01.001分类和预测任务是数据挖掘领域中从数据中学习和发现知识的典型过程。近年来,已经从科学和工程的新兴领域报道 了 分 类 任 务 的 许 多 应 用 ( Yang 等 人 , 2013;Hajmohammadi 等 人 , 2014; He 等 人 ,2014; Uysal 和Gunal , 2014; Tolambiya 等 人 , 2010; Mei 等 人 , 2014;Kianmehr等人,2010年; Gillies1319-1578© 2016沙特国王大学。制作和主办:Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。制作和主办:Elsevier关键词Teaching–learning basedoptimization;梯度下降学习;分类;数据挖掘一种基于TLBO的梯度下降学习函数连接高阶神经网络121表1基于教学的优化(TLBO)。参考Togelan(2012)Niknam et al.(2013)Royet al.(二零一三年)第60集9.4TheFamous(2013)第50集9.6大明星的秘密(2013)Roy和Bhui(2013)Singh等人(2013)Satapathy等人(2013a)Satapathy等人(2013 b)Tuo等人(二零一三年)Theja等人(2013年)贡献TLBOMOTLBOTLBOQOTLBOQOTLBOMTLBOTLBOQOTLBOTLBOWTLBOOTLBOHSTLTLBOTLBO基于梯度的黑洞修正TLBOTLBOTLBOSTLBOFuzzy-TLBOTLBO TLBOGBTLBOITLBOTLBOITLBO应用领域工程设计经济调度多目标优化水火电调度电力调度分布式发电机加工过程调度问题负荷分配电 力系 统优化 优化 电力系统优化火电系统年201220122013201320132013201320132013201320132013201320132014201402 The Dog(2014)Khalghani和Khoob(2014)Niu et al. (2014年)第60集9.4第60集9.4第60集9.4第60集9.4第60集9.5第60集9.6Barisal(2015)Ghasemi et al.(2015a)Chen et al.减载电能质量燃料电池和太阳能电池模型能量损耗最小化温度计算负载频率控制功率分配问题优化电力系统潮流2014201420142014201420152015201520152015例如,2013; Lai和Garibaldi,2013),其为分类任务在数据挖掘中的应用提供了动力和方向。尽管许多研究人员提出了大量的传统分类方法(Quinlan,1993; Yung和Shaw,1995; Hamamoto 等 人 , 1997 年 ; Yager , 2006 年 ) , 张(2000年)第一次意识到人工神经网络(ANN)模型是替代品各种基于统计的传统分类方法。人工神经网络能够在输入和输出空间之间产生复杂的映射,因此它们可以形成任意复杂的非线性决策边界。在这一过程中,已经有几个人工神经网络,每一个都利用不同的学习或混合形式。与高阶神经网络相比,经典神经网络(例如:MLP)收敛速度慢,无法自动确定分类预测的最佳模型。 在过去的几年中,为了克服传统ANN的局限性,一些研究人员已经专注于高阶神经网络(HONN)模型(Redding等人,1993;Goel等人,2006年,取得更好的成绩。本文基于一种新的元启发式优化算法,设计了一种基于竞争学习的HONN模型,用于对来自著名机器学习数据库的基准数据集进行分类。令人鼓舞的结果和最近开发的TLBO算法的典型算法相关参数的缺失(Rao等人,TLBO-FLANN:一种基于TLBO的混合梯度下降学习-函数链接高阶ANN(FLANN)模型,用于从非线性数据中学习。2. 文献调查近年来,有关FLANN模型及其在分类、预测和预报中的应用的研究文献很多。通过使用各种优化技术,也做出了出色的努力,以提高这些FLANN模型的性能。本节介绍了在数据挖掘中的分类,预测和预测的FLANN模型报告的各种以前的工作。Mishra和Dehuri(2007)提出了一种使用具有最小复杂度结构的FLANN与多层感知器相比的分类方法,并且发现所提出的方法在通过增加输入空间的维度来处理线性不可分类的能力方面是有效的。在大多数情况下,FLANN模型的性能和处理时间被发现优于其他模型。对FLANN进行了综述,Dehuri和Cho(2009)提出了基于PSO的反向传播学习。本文讨论了FLANN的基本概念、相关的基函数、学习方案以及随着时间的推移FLANN的发展。作者还提出了一个Chebyshev-FLANN与混合PSO-反向传播学习分类。通过对基准数据集的测试,该模型被证明比FLANN更好。Patra等人(2009)提出了一种有效的FLANN模型来对美国股票的收盘价进行股价预测,并通过几个实验将该模型与基于MLP的预测模型进行了比较。这种三角函数FLANN通过对股票价格进行更准确的预测,表现出优于MLP的性能。FLANN在基因疾病致病基因预测中的应用122B. Naik等人图1功能链接高阶人工神经网络架构。表2算法中使用的各种符号和符号建议方案的设计。使用的符号Xxiwi; jRMSEFxiXmeanxteacherTF X(i)埃什卡什U不lYktk下一页DW意义权重集的总体每个单独的重量-在X第i个权重集的第j个权重值(xi)均方根误差xi(X中第i个权集)总体均值的适应度X选择权集作为教师教学因子总体X的第i个权重集下一个总体的第i个权重集X函数扩展输入值目标值梯度下降学习参数FLANN模型输出第k个模式的目标值第k个模式的误差值网络的模 型是 由Sun 等 人( 2009 ) 提 出的 ,并 与 多层 感知 器(MLP)和支持向量机(SVM)进行了比较。在这项研究中,三个分类器(即MLP,SVM,FLANN)已经实现,并发现FLANN分类器的性能优于MLP和SVM。Chakravarty和Dash(2009)提出了函数连接神经模糊(FLNF)模型来预测股市指数,并与FLANN模型在均方根误差方面进行了比较。仿真结果表明,FLNF的性能优于FLANN。利用粒子群优化算法解决了反向传播学 习 算 法 中 可 能 出 现 的 局 部 极 小 问 题 。 Majhi et al.(2009)采用了一种基于FLANN的最小均方和递归最小二乘学习算法的模型来预测股票市场。在基于最小均方学习的FLANN和递归最小二乘学习的FLANN之间,递归最小二乘学习的FLANN被发现是有效的,并且具有较小的计算复杂度。Dehuri和Cho(2010)提出了一种紧凑而准确的混合FLANN分类器(HFLNN),通过消除具有较少或没有预测信息的特征来选择有利输入特征Mishra等人(2012)使用并测试了MLP、FLANN和PSO-FLANN分类模型,用于生物医学数据的分类。在本文中,一个有效的动态分类器融合(DCF)已经提出了随着主成分分析(PCA)计划,用于提取重要的输入功能。提取的特征,然后提供给LMS分类器,学习基于反向传播和PSO算法。虽然MLP是一个传统的人工神经网络,令人惊讶的是,在这个一种基于TLBO的梯度下降学习函数连接高阶神经网络123图2拟议方案的工作程序。研究发现,MLP比FLANN和PSO-FLANN更好。Dehuri等人 (2012 ) 提 出了 一 种基 于 改进PSO ( 改 进PSO ) 的FLANN分类器(IPSO-FLANN),并与MLP,支持向量机(SVM),RBFN,FLANN与梯度下降学习和模糊群网络(FSN)模型进行了比较。最初,使用IPSO优化FLANN的权重值集,然后将其与功能扩展(使用三角基函数)的输入模式一起提供给FLANN分类器进行分类。ISO-FLANN结 构 简 单 , 性 能 优 于 MLP 、 SVM 、 梯 度 下 降 学 习 的FLANN 和 FSN 。 Naik 等 人 ( 2015 a ) 提 出 了 一 种 基 于FLANN的有效分类方法和一种基于PSO和GA的混合学习方案,与其他替代方案相比,它的性能相对更好。采用粒子群优化算法、遗传算法和梯度下降搜索算法对FLANN的参数进行迭代调整,直到误差小于要求值,FLANN模型,以获得更好的分类精度。 Naik等人(2015b ) 为 FLANN 分 类 器 设 计 了 一 种 基 于 蜜 蜂 交 配 优 化( HMBO ) 的 学 习 方 案 , 并 与 FLANN 、 基 于 GA 的FLANN、基于PSO的FLANN和基于HS的FLANN分类模型进行了比较。该方法模拟了蜜蜂的迭代交配过程,选择合适的雄蜂用于交配过程,选择FLANN分类器的最佳权重。Naik等人(2014)提出了一种新的基于和声搜索(HS)算法的GDL方法的FLANN,与其他类似方法相比,该方法需要更少的数学计算。基于HS的FLANN(HS-FLANN)比基于PSO的FLANN和基于GA的FLANN能够更有效地分类数据。在本文中,FLANN模型与混合TLBO基于梯度下降学习(GDL)方法从非线性数据的分类任务的学习已被提出,并与以前可用的替代品相比。124B. Naik等人表3 用于实验的数据集的详细信息数据集Number数量的特征Number模式(不包括类别标签)的类酒1781303虹膜1500403海斯罗特1600403和尚22560602电离层3513302肝炎801902皮马7680802新甲状腺2150503保柏3450602皮肤科2563406心脏27013023. 设计问题识别在文献调查中讨论的所有FLANN模型都实现了某种形式的学习方法,这些方法在数据挖掘的预测和分类任务中从过去的数据中学习。几乎所有的HONN,包括FLANN是敏感的随机初始化的权重,并依赖于所采用的学习算法。虽然选择一个有效的学习算法的HONN有助于提高性能,初始化的权重与优化的权重,而不是随机的权重也发挥重要作用,在HONN的效率升-例如,2014),这些实现的一些弱点是需要各种算法控制参数,如:(i)GA-FLANN中GA中的变异率和交叉算子类型的选择,(ii)在PSO-FLANN和IPSO-FLANN中选择PSO中惯性权重(k)、系数c1和c2的适当值,(iii)在HBMO-FLANN中HBMO中交叉算子选择的类型和选择雄蜂和工作者比率,以及(iv)在HS-FLANN中HS中音高调整率、和声记忆考虑率和带宽的选择。这些模型的性能取决于这些控制参数,这些参数的任何变化不仅会导致开发程序的工作量增加,而且会增加算法的考 虑 到 这 一 点 , 在 具 有 梯 度 下 降 学 习 ( GDL ) 的FLANN 学 习 模 型 中 使 用 了 一 种 新 的 教 学 启 发 算 法(TLBO)(Rumelhart et al.,1986年)的分类。本文试图通过使用适当的学习算法来解决调整FLANN模型的权重集的复杂性。在这里,TLBO的问题解决方法以及GDL的学习能力被用来获得FLANN模型的最佳权重集。本文用TLBO算法设计了一个FLANN模型,该模型不需要任何算法参数,而只需要一些常见的独立参数,如种群数、通过对FLANN中权值随机初始化问题的研究,发现几乎所有的文献都是通过各种优化算法来解决的。里茨姆斯 像 遗传 算法 (GA)(荷兰, 1992年;表5基于适应度的GA-FLANN、PSO-FLANN、HS-FLANN和TLBO-FLANN模型通过各种混合模型获得的数据集适应度Goldberg,1989),粒子群优化(PSO)GA-PSO-HS-TLBO-(Kennedy等人, 1995)、和声搜索(HS)(Geem等人,FlannFlannFlannFlann2001年), 蜜蜂 配合 优化 (HBMO)(Abbass酒2.4623982.4623982.5340433.057658例如, 2001年)等。在这些论文中,虹膜5.9726795.972685.972689.411738(GA、PSO、改进PSO、HS、HMBO等)用于选择海斯罗特1.8882521.8696181.8952583.118014各种应用的FLANN模型的最佳权重集-和尚22.0247352.0333612.0371163.057657例如预测、分类和预测。虽然电离层1.6772681.6967731.677272.382388据报道,这些优化技术被成功地用于FLANN模型中,以在改进的模型如基于GA的FLANN(GA-FLANN)中实现( Dehuri 等 人 ,2012 ) 、 基 于 PSO 的 FLANN ( PSO-FLANN)(Dehuri等人,2012)、基于IPSO的FLANN(IPSO-FLANN)(Dehuri等人,皮肤科1.8889671.9819512.2679073.6906522012年)、HBMO基于Flann (HBMO-FLANN)(Naik例如,2015 b)和基 于 HS的FLANN(HS-FLANN)(Naik心脏2.1281212.1272752.1281242.696475表4 在5倍交叉验证中为训练和测试阶段准备数据集数据集数据文件数量任务个图案个图案个图案图案一年级在二年级三年级新甲状腺Newthyroid-5-1tra.dat172培训1202824Newthyroid-5-1tst.dat43测试300706Newthyroid-5-2tra.dat172培训1202824Newthyroid-5-2tst.dat43测试300706Newthyroid-5-3tra.dat172培训1202824Newthyroid-5-3tst.dat43测试300706Newthyroid-5-4tra.dat172培训1202824Newthyroid-5-4tst.dat43测试300706Newthyroid-5-5tra.dat172培训1202824Newthyroid-5-5tst.dat43测试300706肝炎2.583312.8138393.2760942.349537皮马2.2163612.2164742.2172412.220777新1.8882521.8696182.6758063.118014甲状腺保柏1.546921.5471161.5484192.162731一种基于TLBO的梯度下降学习函数连接高阶神经网络125GA-FLANNPSO-FLANN HS-FLANNTLBO表6 基于11个数据集的平均适应度比较GA-FLANN、PSO-FLANN、HS-FLANN和TLBO-FLANN模型。各种混合动力车型GA-FLANNPSO-FLANNHS-FLANNTLBO-FLANN11个数据集的平均RMSE0.4733490.4683620.4421280.345602表7 弗里德曼通过各种混合模型获得的数据集适应度GA-FLANNPSO-FLANNHS-FLANNTLBO-FLANN酒2.462398(3)2.462398(3)2.534043(2)3.057658(1)虹膜5.972679(3)5.97268(2)5.97268(2)9.411738(1)海斯罗特1.888252(3)1.869618(4)1.895258(2)3.118014(1)和尚22.024735(4)2.033361(3)2.037116(2)3.057657(1)电离层1.677268(4)1.696773(2)1.67727(3)2.382388(1)肝炎2.58331(3)2.813839(2)3.276094(1)2.349537(4)皮马2.216361(4)2.216474(3)2.217241(2)2.220777(1)新甲状腺1.888252(3)1.869618(4)2.675806(2)3.118014(1)保柏1.54692(4)1.547116(3)1.548419(2)2.162731(1)皮肤科1.888967(4)1.981951(3)2.267907(2)3.690652(1)心脏2.128121(3)2.127284(4)2.128124(2)2.696475(1)弗里德曼3.455321.2723.232.82.62.42.221.81.61.40 10 20 30 40 50 60 70 80 90 100世代号图3在Wine数据集上的各种迭代中对种群适应度的改善的观察迭代和停止标准(如其他优化技术)。从TLBO的开发开始,它就引起了各种研究人员的浓厚兴趣,并已用于各种现实生活应用中 (Vedat TogJolan,2012;Niknam 等人,2012 年 ; Zou 等 人 , 2013; Roy 等 人 , 2013 年 ;Mandal 和Roy , 2013 年 ;GarcRao 和 Mena , 2013 年 ;VenkataRao 和Kalyankar , 2013 年 ; Roy , 2013 年 ; Roy 和 Bhui , 2013年;Singh 等人,2013; Satapathy 等人,2013 a,b; Tuo 等人 , 2013;Theja 等 人 , 2013; Sultana 和 Roy , 2014;Azizipanah-Abarghooee 等人,2014; Arya和Koshti,2014;Khalghani和Khoob ,2014; Niu 等人,2014; Moghadam 和Seifi,2014; Cheng,2014; Barisal,2015; Ghasemi等人,2 0 1 5 年a;Chen等人,2015; Sahu等人,2016; Ghasemi等人,2015年b)(表1)。 虽然C.Repin s.Reheketal. (2012年)提出了一些与《防止贿赂条例》的表现有关的问题,例如:(i)不正确使用公式评估各种适应度函数,(ii)控制参数,(iii)不适当的实验设置等;后来,Waghmare(2013)正确地重新审视、评论和测试了上述提出的关于TLBO的问题。他不仅通过考虑一个数字来测试算法,对约束函数和无约束函数的性能进行了比较,发现该算法优于现有的其他进化算法算 法 , 但 他 也 已 经 能 够 证 明 的误解和 误 解所造成的Crepinsek方案的适用性126B. Naik等人GA-FLANNPSO-FLANN HS-FLANNTLBO等关于TLBO的理解观点。此外,他还适当地证明了TLBO所需的控制参数较少;事实上,在TLBO的实验分析过程中只需要普通的控制参数,这是通过测试功能及其改进结果来声明的。然而,在本文中,经过所有所需的实验设置,适当调整的共同参数和从实验结果,它被发现TLBO优于其他一些现有的技术。第四节介绍了TLBO算法、FLANN和GDL的概念。第5节包括所提出的TLBO-FLANN学习模型。第6节包含实验设置数据准备。第七章对所提出的方法进行了实验研究和结果分析。第8节概述了不同的统计检验。第9节给出了时间复杂度分析。第10节总结了我们的工作与未来的发展方面,其次是参考。4. 预赛本节介绍了TLBO、FLANN和GDL的基本概念,这些概念是所提出的模型的开发背景。4.1. 基于优化的教学TLBO(Rao等人,2011)是最近开发的并且胜任的优化技术,其受到教育系统中的自然教-学过程的启发。TLBO模仿了教师有效地教授一组学生的策略,并捕捉了教师对学生学习过程的影响。Rao等人提出的TLBO 工作程序,2011年可以实现如下:109876543210 10 20 30 40 50 60 70 80 90 100世代号图4在Iris数据集上的各种迭代中对群体适应度的改善的观察恩福尔学生阶段第五步。通过比较旧群体X和新群体Xnew中学生的适应度来更新学生X的群体。对于i= 1:1:人口中的学生人数X如果(Xi(旧)Xi(新))Xi= Xi(新)<其他Xi= Xi(旧)恩迪夫第六步。随机选择两个不。从人群中挑选学生,然后即兴创作。从人群中随机选择第i个和第j个学生Xi和Xj。如果(fitness ofXi fitness ofXj)<教师阶段步骤-1.随机初始化学生群体X(候选解决方案)。第二步。计算人口中每个学生的平均值(Xmean)。第三步。计算群体中每个学生的适应度,并找出最佳解决方案(Xteacher)。第四步。根据最佳解(教师)、群体中学生的平均值(平均值)和教学因子TF,通过修改初始群体中的解来生成新的群体。对于i= 1:1:人口中的学生人数XiXi新Xi旧 Xj- Xi其他伊芬德第七步。检查终止条件。如果到达停止。否则转到步骤2。第八步。出口Xj新Xj旧Xi- XjP o p u la tio n的有效性一种基于TLBO的梯度下降学习函数连接高阶神经网络127GA-FLANNPSO-FLANN HS-FLANNTLBOGA-FLANNPSO-FLANN HS-FLANNTLBO54.543.532.521.510.500 10 20 30 40 50 60 70 8090世代号100图5在Hayesroth数据集上的各种迭代中对群体适应度的改善的观察32.82.62.42.221.81.61.40 10 20 30 40 50 60 70 80 90 100世代号图6在Monk2数据集上的各种迭代中对种群适应度的改善的观察4.2. 函数链人工神经网络FLANN(Pao,1989; Pao and Takefuji,1992)是一类高阶神经网络,它利用了输入的更高组合。即使它具有单层网络,与MLP相比,它仍然能够处理非线性可分离分类任务。根据网络输出和给定的目标值计算FLANN的误差。可以采用合适的学习方法来基于网络的误差调整FLANN的权重值。图1描述了FLANN的基本架构。FLANN的完整概念及其应用可以从最近公布的相关工作(Naik等人,2015 a,b,2014)。4.3. 梯度下降学习梯度下降学习(GDL)(Rumelhart等人,1986)是最常用的训练方法,其中以尽可能快地降低网络误差的方式改变权重。用于FLANN的GDL的完整实现可以从最近出版的相关工作中找到(Majhi等人,2009; Naik等人,2015 a,b,2014)。基本上,P opula tion的拟合方案的适用性128B. Naik等人GA-FLANNPSO-FLANN HS-FLANNTLBO2.42.32.22.121.91.81.71.60 10 20 30 40 50 60 70 80 90 100世代号图7在电离层数据集上的各种迭代中观察到人口适应度的改善54.543.532.520 10 20 30 40 50 60 70 80 90 100世代号图8肝炎数据集上不同迭代中群体适应度改善的观察结果更好的学习算法有助于ANN模型更快地收敛。此外,竞争优化技术的使用可以在ANN模型的快速收敛和准确性方面5. 该方法本文 采用一 种新 的元启 发式算 法TLBO 来获 得更好 的FLANN学习模型。采用TLBO和梯度下降学习相结合的问题求解策略,为FLANN模型寻找最佳的权值集,用于分类任务。目的是研究TLBO的性能,以提高FLANN分类模型的学习能力相比,GA,PSO和HS。的本节介绍了在实现基于TLBO的FLANN(TLBO-FLANN)期间开发的伪代码。在本文中,这些混合FLANN模型(GA-FLANN,PSO-FLANN,HS-FLANN和拟议的TLBO基于FLANN(TLBO-FLANN))的仿真结果和性能比较的代表和讨论。表2表示用于描述所提出的方案和设计算法的各种符号。5.1. 基于TLBO的梯度下降学习FLANN最初,权重集合的群体X(学生群体)用FLANN的‘n’个权重集合初始化。总体X中的每个权重集是权重向量GA-FLANNPSO-FLANN HS-FLANNTLBOF itn es s of the P o p u la tin财富的匮乏一种基于TLBO的梯度下降学习函数连接高阶神经网络129GA-FLANNPSO-FLANN HS-FLANNTLBOGA-FLANNPSO-FLANNHS-FLANNTLBO-FLANN-ð×þÞB2.32.22.121.91.81.71.60 10 20 30 40 50 60 70 80 90 100世代号图9在Pima数据集上的各种迭代中对群体适应度的改善的观察3.532.521.510 10 20 30 40 50 60 70 80 90 100世代号图10在New Thyroid数据集上的各种迭代中对群体适应度改善的观察在1和1之间随机初始化,这是特定数据集的FLANN模型的潜在候选权重集。X中的每个单独的权重集可以定义为:Xi 四分之一wi; 1;wi; 2. wi;m×a× 2 ×k11X ¼英寸x1;x2. xn2由方程式其中,2k1是输入模式中单个值的函数扩展值的数量(对于k的选定值), 单个输入模式,模型是用特定的数据集训练的。根据FLANN的输出和给定的目标值,得到了模型的误差。对于一个特定的数据集,均方根误差(RMSE)(方程。使用FLANN的输出和给定的目标值来计算每个权重集xi 的(算法(3))。 基于RMSE的,通过使用Eq. (四)、如下针对“n”个不同预测计算目标变量yi的预测输出值yisPn-^2集合,而'n'是总体X中权重集合的数量。X中的权重集的集合表示为等式(1)。(二)、在这里,目标是修剪出最佳的权重集,RMSE¼11/1我我nð3ÞFLANN模型,以获得更好的分类精度。每个Fxi ¼RMSEð4Þ重量设定xi单独设置为FLANN,并且FLANN人口健康人口健康130B. Naik等人GA-FLANNPSO-FLANN HS-FLANNTLBOGA-FLANNPSO-FLANN HS-FLANNTLBO2.52.42.32.22.121.91.81.71.61.50 10 20 30 40 50 60 70 8090世代号100图11在Bupa数据集的各种迭代中观察到的群体适应度的改善由方程式(4),xi是群体中的第i个权重集,RMSEi是X中的权重集的适应度,并且X是下一个(Algoritm-1的是第i个权重集的均方根误差,Fxi第i个权重集的适应度xi.是权重集X的最终总体。经过即兴创作步骤(Algoritm-1的步骤6),其中两个在对X中的每个权重集的适应度值进行评估之后,选择具有最大适应度的权重集作为教师(x教 师)。从X的总体中,通过计算X中所有权重集的平均值来计算权重集的平均值(Xmean)。在计算教学因子(TF)(算法-1)之后,从X、Xmean、xteacher和TF生成下一个群体Xnext(算法-1的步骤-4)。然后,通过比较初始种群X中的权重集,从群体X中随机选择权重集合,并且通过比较它们的适应性,选择其中最好的作为下一代X的权重集合,从而为下一代提供更多的机会来迁移更好的权重集合。这些过程继续进行,直到达到最大迭代或X中权重集的适应度增加不显著。完整的执行流程可以在图中实现。 二、54.543.532.521.510 10 20 30 40 50 60 70 80 90 100世代号图12在皮肤病学数据集的各种迭代中对群体适应性改善的观察产品的适用性本项目的功能一种基于TLBO的梯度下降学习函数连接高阶神经网络131其中L是模式是表示函数展开式集合、误差如果u ≠u1; u2.. . uL,e e1; e 2.. . e L and d ¼d1; d2.. . dL和误差项的集合,则w ' D W '的权重因子计算如下:DWq¼.PL 21/1×l×u×我我DL计算均方根误差(RMSE)使用方程。(3)从目标向量将FLANN模型的网络实例的适应度“F”计算为F = 1/RMSE(等式2)。(4))。端Σ6. 实验装置数据准备在本节中,将介绍模拟环境、用于训练测试阶段的数据集以及模拟期间所提出方法的参数设置。所有的混合模型( GA-FLANN 、 PSO-FLANN 、 HS-FLANN 和 TLBO-FLANN)都是在Windows XP操作系统下用MATLAB(9.0版)实现的。在得到模拟结果后,使用SPSS统计工具(16.0版)进行了统计分析。用于分类的训练和测试阶段的基准数据集(表3)源自UCI机器学习库(Bache et al.,2013)并由KEEL软件处理(Alcala′-Fdez等人, 2011)。关 于 所 有 这 些 数 据 集 的 详 细 描 述 可 以 在“www.example.com”和“www.example.com”上获得http://archive.ics.uci.edu/ml/http://keel.es/。6.1. 交叉验证在本文中,通过使用5重交叉验证技术(Larson,1931;Mosteller等人,1968年)。在5折交叉验证的数据集准备过程中,创建了5对数据集样本,每对样本包含用于训练和测试阶段的数据集。例如(表4),由于采用了5折交叉验证,新甲状腺数据集包含5对这样的数据集样本,用于训练和测试算法。新甲状腺数据集的5倍交叉验证数据集见表4。所有其他数据集以相同的方式准备用于5重交叉验证,并从KEEL数据集储存库中收集。在训练和测试阶段期间,其各自的RMSE对5倍交叉验证数据集的最大拟合列于 表 5 中 。 通 过 各 种 算 法 对 训 练 阶 段 的 训 练 数 据( “newthyroid-5 - 1tra.dat” 、 "newthyroid-5-2tra.da t ' 、“newthyroid-5 - 3tra.dat”、" newthyroid-5 - 4tra.dat“和”newthyroid-5 - 5tra.dat“ ) 和 测 试 阶 段 的 测 试 数 据 ( ”newthyroid-5-1tst.dat“ 、 "newthyroid-5-2tst.dat” 、 "newthyroid-5-3tst.dat"、"newthyroid-5-4tst.dat“和”newthyroid-5 - 5tst.dat“)获得的最大适应度值对表3中的所有其他数据集重复该过程,并在表5中列出最大适应度。算法1.基于TLBO的梯度下降学习FLANN(TLBO-FLANN)1.初始化n个权重集(学生群体)。X= {x1,x2,.. . ..2. 计算群体中所有权重集的平均值(x平均值)X.3. 使用算法2(fitfromtrain过程)计算X中所有权重集的适应度,并选择具有最大适应度的权重集作为最佳权重集(x教师)。4. 接下来通过使用旧群体X、X均值、x教师和TF中的权重集来生成下一个群体X:对于i=1:1:总体XTF¼round1000兰特1000磅xi¼ xirand1 x教师- TFω X平均值xi¼ fwi; 1;wi; 2;. ;wi;m×a× k 2 ×k1 ×g.结束下一页5. 通过比较X和X中的权重集next:对于i= 1:1:总体X中权重集的数量如果(X(i)Xnext(i))X(i)=Xnext(i)<恩迪夫6. 从人群中随机选择两个权重集并即兴发挥:对于k =1:1:总体中的权重集数量X从以下随机选择第i个和第j个权重集xi和xj人口X.使用算法2计算x i的适应度为Fi=fitfromtrain(u,xi,t,l)。使用算法2计算xj的适应度,Fj=fitfromtrain(u,xj,t,l).If(Fi Fj)
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- SSM动力电池数据管理系统源码及数据库详解
- R语言桑基图绘制与SCI图输入文件代码分析
- Linux下Sakagari Hurricane翻译工作:cpktools的使用教程
- prettybench: 让 Go 基准测试结果更易读
- Python官方文档查询库,提升开发效率与时间节约
- 基于Django的Python就业系统毕设源码
- 高并发下的SpringBoot与Nginx+Redis会话共享解决方案
- 构建问答游戏:Node.js与Express.js实战教程
- MATLAB在旅行商问题中的应用与优化方法研究
- OMAPL138 DSP平台UPP接口编程实践
- 杰克逊维尔非营利地基工程的VMS项目介绍
- 宠物猫企业网站模板PHP源码下载
- 52简易计算器源码解析与下载指南
- 探索Node.js v6.2.1 - 事件驱动的高性能Web服务器环境
- 找回WinSCP密码的神器:winscppasswd工具介绍
- xctools:解析Xcode命令行工具输出的Ruby库
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功