全局最优和声搜索的梯度下降学习在数据挖掘中的分类任务中优于其他方案

埃及信息学杂志（2016）17，57开罗大学埃及信息学杂志www.elsevier.com/locate/eijwww.sciencedirect.com全长文章一种基于全局最优和声搜索的梯度下降学习FLANN（GbHS-GDL-FLANN）数据分类Bighnaraj Naik*，Janmenjoy Nayak，Himansu Sekhar BeheraVeer Surendra Sai University of Technology，Burla 768018，Odisha，India接收日期：2014年12月4日;修订日期：2015年6月17日;接受日期：2015年2015年10月23日在线发布摘要在使用ANN处理真实世界的数据进行分类时，通常很难确定具有快速收敛的最佳ANN分类模型。此外，通过使用适当的学习算法来调整ANN的权重集以获得更好的分类是费力的精度在本文中，Harmony Search（HS）的一种变体，称为全局最佳Harmony Search以及梯度下降学习，与函数链接人工神经网络（FLANN）一起用于数据挖掘中的分类任务全局最优和声搜索算法（GbHS）利用群智能中的粒子群优化算法来提高和声质量利用全局最优和声搜索的求解策略和梯度下降搜索的搜索能力，得到FLANN的最优权值集在MATLAB中实现了该GbHS-GDL-FLANN通过使用5折交叉验证技术在UCI机器学习库的基准数据集在零假设条件下，采用Friedman检验、Holm和Hochberg检验和事后方差分析（Tukey检验和Dunnett检验）对该方法进行统计分析，验证了结果的有效性仿真结果表明，所提出的GbHS-GDL-FLANN的性能优于其他方案，且具有统计意义©2015制作和主办由Elsevier B.V.代表计算机与信息学院开罗大学。 这是一篇基于CC BY-NC-ND许可证的开放获取文章（http：//creativecommons.org/licenses/by-nc-nd/4.0/）。*通讯作者。联系电话：+91 9439152272。电子邮件地址：mailtobnaik@gmail.com（B. Naik）、gmail.com（J.Nayak）、mailtohsbehera@gmail.com（H.S.Behera）。开罗大学计算机和信息系负责同行审查。制作和主办：Elsevier1. 介绍数据分析是检查数据以发现有用信息并得出有助于决策的结论的分析过程。它集成了统计，工程和科学下的多种技术。自1990年以来，该地区的http://dx.doi.org/10.1016/j.eij.2015.09.0011110-8665© 2015由Elsevier B. V.代表开罗大学计算机与信息学院制作和主办。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词分类;函数链人工神经网络;梯度下降学习;和声搜索;全球最佳和声搜索58B. Naik等人Web、商业管理、电子商务、遥感器、微阵列基因表达、科学模拟、生产控制和工程设计、交易、股票和生物信息学等。这些数据收集的爆炸性增长以及从大型数据库中的数据自动提取新颖、有效、未知和潜在有用信息的需求催生了许多数据分析方法，其中包括数据挖掘和商业智能。数据挖掘是识别数据中新颖的、可理解的和以前未知的模式的过程，有助于决策。在人类日常生活中，最棘手和最具挑战性的决策过程是分类，这有助于根据过去的经验做出决策。在数据挖掘中，分类被定义为各种数据分析过程，可用于将重要类别分配给未知模式。分类任务预测定义的类标签，并基于用于分类匿名模式的训练数据集构建模型。近年来，在科学和工程的新兴领域中提出了许多分类任务，包括文档分类[1虽然许多研究人员提出了许多传统的分类方法[31人工神经网络（ANN）能够在输入和输出空间之间生成复杂的映射;因此，它们可以形成任意复杂的非线性决策边界。在此过程中，已经有几个人工神经网络，每个都使用不同形式的学习或杂交。与高阶神经网络相比，经典神经网络（例如：MLP）收敛速度慢，无法自动确定最佳分类模型。在过去的几年里，为了克服传统ANN的局限性，一些研究人员专注于高阶神经网络（HONN）模型[36，37]以获得更好的性能。2. 文献调查在本文中，它是一种尝试，设计高阶神经网络模型的竞争学习的基础上，新的元启发式优化算法的分类基准数据集从著名的机器学习数据库。在 此 之 前 ， Patra 等 人 提 出 了 用 于 预 测 金 融 指 数 的Chebyshev多项式函数展开的Chebyshev函数链接人工神经网 络 模 型 （ Chebyshev-FLANN ） 。 [38] 。 FLANN 和chFLANN的性能几乎相等，并且FLANN和chFLANN的训练时间几乎是MLP的一半。在MLP、FLANN和Chebyshev-FLANN中，chFLANN的性能最好。还观察到FLANN和chFLANN是有效的，并且与MLP相比具有较不复杂的架构Misra 和 Dehuri[39] 提 出了 一 种 使用 FLANN 的 分类 方法，仿真结果表明，所提出的FLANN模型能够通过函数扩展增加输入空间的维数该模型的执行时间和准确性被认为是优于其他替代品。Dehuri等人提出了一种基于遗传算法（GA）的混合函数连接人工神经网络（HFLANN），通过使用函数扩展的选择特征进行最优输入特征选择[40]它解决了分类问题的非线性性质。通过实验结果，HFLANN被证明是更好的最佳集特征选择相比，RBFN和FLANN与反向传播学习。对FLANN进行了全面的调查，Dehuri和Cho[41]提出了一种有效的基于PSO的反向传播学习。本文讨论了FLANN的基本概念、相关的基函数、学习方案以及随着时间的推移FLANN的发展。此外，作者还使用基于PSO的反向传播学习方案在Chebyshev-FLANN上进行分类，通过与基准数据集的测试，证明所提出的方法优于FLANN。Patra等人[42]提出了一种有效的FLANN，用于预测美国股票的股票价格，并发现在更准确的股票预测方面表现更好。在本文中，一个三角函数扩展的FLANN（三角函数FLANN）的使用和被证明是更好的结果相比，基于MLP的预测模型。Sun等人提出了一种基于FLANN的预测模型，用于预测基因疾病中的致病基因。[43]。在这项研究中，三个分类器（即MLP，SVM，FLANN）已经实现和比较。FLANN分类器的性能优于MLP和SVM。为了更好地预测股票市场指数，Chakravarty和Das[44]提出了一种函数连接神经模糊（FLNF）模型，并在均方根误差方面与基于FLANN的预测模型进行了比较。仿真结果表明，FLNF的性能优于FLANN。此外，作者还解决了在反向传播学习的情况下落入局部极小值粒子群优化算法。Majhi等人[45]实现了一种基于FLANN的分类方法，用于在线印度客户行为的分类，并且发现所提出的FLANN模型在分类准确性方面优于其他统计方法（判别分析）。作者还建议使用心理和文化信息，以进一步改进所提出的方法。Dehuri和Cho[46]通过选择有利输入特征的最佳子集提出了一种精确的混合FLANN分类器（HFLNN）这通过消除具有较少或没有预测信息的特征来实现该方法被认为是更好的FLANN和RBFN相比。Nayak等人[47]使用基于遗传算法（GA）的FLANN模型实现了股票汇率预测，并将所提出的方法与MLP、基于GA的MLP和基于GA的FLANN模型进行了比较。作者声称，FLANN-GA在几乎所有情况下都更好。基于全局最优和声搜索的梯度下降学习FLANN59Bebarta等人。[48]已经实现了FLANN模型的几个变体（Power FLANN，Legendre FLANN，Cheby-shev FLANN和Laguerre FLANN）用于预测股票价格指数，并根据标准偏差误差，平方误差等衡量性能。所有四种提出的方法都得到了实现，并被发现简单有效地预测各种印度股票数据。Mishra等人提出了一种基于蝙蝠启发优化的FLANN分类方法。[49]。该方法与FLANN和基于混合PSO的FLANN分类方法进行了比较。本文采用蝙蝠算法对FLANN的权值进行有效调整，提高了分类精度。仿真结果表明，该方法优于FLANN和基于混合粒子群算法的FLANN分类器。Mahapatra等人[50]为Chebyshev FLANN分类器预测了各种降维策略，并已用于癌症分类。其基本思想采用PCA、FA、DFT和DCT技术对数据进行降维处理，然后采用Chebyshev FLANN分类器进行分类。据观察，DCT特征缩减技术与Chebyshev FLANN分类器的组合优于其他可能的替代方案。Mishra等人[51]开发了MLP、FLANN和PSO- FLANN分类模型，用于生物医学数据的分类。在本文中，提取重要的输入特征，一个有效的动态分类器融合（DCF）提出了主成分分析（PCA）计划。在提取最佳输入特征之后，LMS分类器与基于PSO的反向传播学习算法一起执行。虽然MLP是一个传统的人工神经网络，令人惊讶的是，在这项研究中，基于PSO的反向传播学习-MLP被发现是更好的相比，FLANN和PSO-FLANN。Dehuri等人[52]提出了一种基于改进PSO（IPSO）的FLANN分类器（IPSO-FLANN），表1近年来用于各种应用的FLANN模型和学习方法。作者模型使用采用的学习方法应用[244]第244话Flann反向传播模式识别[242]第242话切比雪夫·弗兰反向传播系统识别[第247话]Flann反向传播齿轮故障Patra等人[38个]Flann反向传播预测Patra等人[38个]切比雪夫·弗兰反向传播预测[39]第三十九话Flann反向传播分类Dehuri等人[第四十届]FlannGA+反向传播分类Patra等人[第四十二届]Flann反向传播股票价格预测[41]第四十一话FlannPSO+反向传播分类阿巴斯[250]Flann反向传播系统识别Sun等人[四十三]Flann反向传播疾病基因预测Nanda等人[二百五十一]Flann反向传播MIMO设备[44]第四十四话FLNF反向传播股票指数Majhi等人[77个国家]Flann梯度下降库存预测Majhi等人[77个国家]Flann递推最小二库存预测Emrani等人[第253话]FlannPSO+反向传播系统识别Majhi等人[45个]Flann反向传播消费者行为分类[46]第四十六话FlannGA+反向传播分类[56]第五十六话Flann反向传播噪声控制Nayak等人[47个]FlannGA+反向传播预测Bebarta等人[48个]Flann反向传播预测和分类Bebarta等人[48个]电源法兰反向传播预测和分类Bebarta等人[48个]Laguerre FLANN反向传播预测和分类Bebarta等人[48个]Legendre FLANN反向传播预测和分类Bebarta等人[48个]Chebyshev FL ANN反向传播预测和分类Mishra等人[49个]FlannBO+反向传播微阵列数据Mahapatra等人[50个]Chebyshev FL ANN反向传播癌症数据Mishra等人[五十一]FL ANN反向传播生物医学数据Dehuri等人[五十二]FL ANNIPSO+梯度下降分类Sicuranza。和卡里尼[59]递归FLANN反向传播噪声控制乔治和熊猫[57]Flann反向传播噪声控制米利和哈姆迪[53]FlannPSO+反向传播分类米利和哈姆迪[53]FlannDE+反向传播分类Parija等人[58个]Flann反向传播位置管理阿里和哈威尔[60]Legendr-FLANN反向传播信道均衡[61]第六十一话Flann反向传播风电功率预测[61]第六十一话Legendre-Flann反向传播风电功率预测[61]第六十一话切比雪夫-弗兰反向传播风电功率预测Cui等人[六十二]Flann反向传播模型识别Naik等人[五十四]FlannPSO+ GA+梯度下降非线性数据分类Naik等人[55个]FlannHMBO+梯度下降非线性数据分类Naik等人[63个]FlannHS+梯度下降非线性数据分类60B. Naik等人与MLP、支持向量机（SVM）、RBFN、梯度下降FLANN和模糊群网络（FSN）模型进行了比较。最初，IPSO用于优化函数链接ANN的权重值，最后，函数扩展（使用三角基函数）的输入模式被提供给FLANN进行分类。与MLP、SVM、FLANN梯度下降学习和FSN相比，该方法简单，效果更好。Mili和Hamdi[53]已经开发了大量基于FLANN的分类器，例如基于PSO的FLANN，基于GA的FLANN和基于差分进化（DE）的FLANN用于分类任务。这些分类器与各种扩展函数进行了比较和测试。在他们的研究中，作者得出结论，所提出的方法在准确性和收敛性方面表现更好，与传统的Flann相比。Naik等人[54]提出了一种基于FLANN的有效分类方法和一种基于PSO和GA的混合学习方案，与其他替代方案相比，它的性能相对更好。该算法采用粒子群优化算法、遗传算法和梯度下降搜索算法对FLANN的参数进行迭代调整，直到误差小于要求值，从而提高了FLANN模型的分类精度。Naik等人[55]为FLANN分类器设计了一种基于蜜蜂交配优化（HBMO）的学习方案，并与FLANN、基于GA的FLANN和基于PSO的FLANN分类器进行了比较。所提出的方法模仿蜜蜂的迭代交配过程和策略，以选择合格的雄蜂进行交配过程，为FLANN分类器选择最佳权重。除 了 这 些 应 用 外 ， 表 1 还 列 出 了 2000-2015 年 期 间FLANN模型与各种混合学习方案的许多最新应用表1展示了FLANN模型的各种最新应用，以及各种混合学习方法来解决现实生活中的应用。3. 拟议工作从文献调查中讨论的所有FLANN模型（表1）来看，很少有模型（表2）实现了某种形式的学习方法，从数据挖掘中的分类任务中的过去数据中学习。几乎所有的高阶神经网络（HONN），包括功能链接高阶神经网络（FLANN）是敏感的随机初始化的权重，并依赖于所采用的学习算法。虽然选择有效的HONN学习算法有助于提高性能，但使用优化权重而不是随机权重初始化权重也对HONN的效率起着重要作用。在相关的工作（表2）中，注意到，所有大多数先前发表的工作都通过使用各种优化算法，如遗传算法（GA）[64 ， 65] ， 粒 子 群 优 化 （ PSO ） [66] 和 蜜 蜂 交 配 优 化（HBMO）[67，68]，解决了FLANN中权重随机初始化的问题。在这些论文中，各种优化算法（GA，PSO，改进PSO，HMBO等）。用于选择FLANN模型的最佳权重集，用于各种非线性数据分类。虽然据报道，这些优化技术已成功地用于FLANN模型的改进模型，如基于GA的FLANN（ GA-FLANN ） [40] ， 基 于 PSO 的 FLANN （ PSO-FLANN）[41]，基于IPSO的FLANN（IPSO-FLANN）[52]、基于HS的FLANN（HS-FLANN）[63]和基于HBMO的FLANN[55]（HBMO-FLANN），这些实现的主要负面方面是需要各种复杂的数学运算符，例如（i）GA-FLANN中GA中的Mutation和Crossover运算符，（ii）PSO-FLANN和IPSO-FLANN中PSO中的位置和速度计算，以及（iii）HBMO-FLANN中HBMO中的Crossover和Mutation。这些模型的性能取决于这些数学操作（如交叉操作、变异操作和变异率的选择）的实现方式，这些因素的任何变化都可能导致算法的时间和空间复杂度的增加。考虑到这些，Harmony Search[69]在FLANN学习模型中使用梯度下降学习方案进行分类。由于和声搜索算法与早期的元启发式优化算法相比，对算法的复杂性要求低，易于求解优化问题，因此和声搜索算法及其应用的研究吸引了许多研究者。我们调查了大约170篇已发表的论文表2近 年 来 用 于 数 据 分 类 的 各种FLANN模型和学习方法。作者模型使用采用的学习方法应用[39]第三十九话Flann反向传播分类Dehuri等人[第四十届]FlannGA+反向传播分类[41]第四十一话FlannPSO+反向传播分类Majhi等人[45个]Flann反向传播消费者行为[46]第四十六话FlannGA+反向传播分类Bebarta等人[48个]Flann反向传播预测和分类Nayak等人[47个]Flann反向传播股票预测Mishra等人[49个]FlannBO+反向传播微阵列数据Mahapatra等人[50个]Chebyshev FL ANN反向传播癌症数据Mishra等人[五十一]FL ANN反向传播生物医学数据Dehuri等人[五十二]FL ANNIPSO+梯度下降分类Dehuri等人[五十二]MLP反向传播分类Dehuri等人[五十二]SVM反向传播分类Dehuri等人[五十二]FSN反向传播分类Naik等人[55个]FlannHMBO+梯度下降非线性数据分类Naik等人[63个]FlannHS+梯度下降非线性数据分类基于全局最优和声搜索的梯度下降学习FLANN6139和声搜索算法的各种应用调查：2004 - 2015工程55跨应用程序别人39功率和能量21水系治理7医疗4机器人3控制20204060图1和声搜索算法应用的各种贡献。在Elsevier，IEEE和Springer的科学数据库发现在HS的不同应用领域已经发表了各种论文（图1），其中包括工程（32.353%），水系统管理（4.118%），医疗（2.353%）、机器人（1.765%）、控制（1.176%）、电力和能源（12.353%）、交叉应用（22.941%）和其他（22.941%）。从HS的开发开始，它就引起了各种研究人员的浓厚兴趣，并已用于各种实际应用[70受和声搜索算法成功应用的启发，本文尝试通过使用适当的学习算法来解决FLANN模型的权值调整的复杂性。利用全局最优和声搜索的问题求解方法和梯度下降学习（GDL）的学习能力，得到FLANN模型的最优权值集。我们的目标是设计一个易于使用的FLANN模型与全球最佳和谐搜索技术，需要很少的数学运算相比，其他元算法。本文尝试设计一种基于全局最佳和声搜索（GbHS）和梯度下降搜索的混合学习方法的FLANN模型进行分类。将该方法的分类精度与现有的一些流行方法如MLP，SVM和FSN进行了比较，发现结果优于其他方法。表3和声搜索算法的各种应用。应用领域[2019-07- 17][79]，Parizad et al.[80]，Wei et al.[81]，Verma et al.[2019 -04-19] [2019 -[89]，Erdal et al.[90]，Srinivasaet al.[91]，Kudikala et al.[92]，Mehdizadeh et al.[93]，Kermani等人[94]，Gao等人[95]，Bekda和Nigdeli[96]，Harrou和Zeblah[97]，Del Ser等人[98]，Fesanghary等人[99]，Kaveh和Ahangaran[100]，Shariatkhah等人[101]。[101]，Degertekin[102]，Askarzadeh and Rezazadeh[103]，Landa-Torres et al.[104[108，109]，Gil-Lopez等人[110]，Del Seret al.[111]，Manjarres et al.[112]，Yoo et al.[113]，Huang et al.[114]，Niu et al.[115]，Askarzadeh和Masoud[116]，Liet al.[117]，Akin and Saka[118]，Wang et al.[119]，Zhai et al.[120]，George et al.[121]，Ouyang et al.[122]，Wang etal.[123]，Tarkeshwar et al.[第124话]工程[125]，Ayvaz[126，127]，Geem[128]，Geem et al.[129][130][131][132][133][134][135][136]Panchal[132，133]，Gandhi et al.[134]，Landa-Torres et al.[135]医疗Tangpattanakul等人[136]，Yazdi et al.[137]，Xu et al.[138]第一百三十八话Coelho等人[139]，Das Sharma等人[140]控制[141][142][143][144][145][146][157]，Sirjani and Mohamed[158]，Sirjani et al.[159]，Javaheri and Goldoost-Soloot[160]，Mukherjee[161]Geem[162]，Alexandre et al.[163]，Geem[164]，Wang et al.[165]，Diao[166]，Cobos et al.[167]，Sarvari et al.[168]，Hoang et al.[169] ， Alia et al.[170]， Mandava et al.[171]， Forsati and Mahdavi[172]， Kaizhou et al.[173] ， Gao etal.[174]，Han等人[175]，Yadav等人[176]，Wang等人[177]，Ayachi等人[178]，Ramos等人[179]，Navi等人[180]，[181][182][183][184][185][186][187][189][190][191][192][193][194][195][196][197][198][199][188][189][190][191][192][193][194][195][196][197][198][199] Ezhilarasi和Swarup[194]，Li et al.[195]，Hua et al.[196]，Ahmad et al.[197]，Habib et al.[198]，Salcedo-Sanz et al.[199]，Gao et al.[200][2019 -05 - 25] [2019 - 05[220]，Kayhan et al.[221]，Wang et al.[222]，Kulluk et al.[223]，Kendi和Abdullah [224]，Alsewari和Zamli [225]，Taleizadehetal. [226]，Landa-Torresetal. [227]，Kulluketal. [228]，Salcedo-Sanzetal. [229]，Garc-Torres等人。[230]，Plasstrometal. [231]，Turkyetal. [232]，Valian etal. [233]，Yuanetal. [234]，Kongetal. [235，236]，Goükce和Ayvaz[237]，Gupta和Jain[238]，Salman et al.[第239话]功率和能量交叉应用别人62B. Naik等人（1）（1）函数表达式：（1功能拓展（1）函数表达式（1）（2）（2（2）第二章功能拓展Sy丹湾sinnx（2）cosnx（2）x（n）sinx（n）x（n功能拓展cosx（n）误差sinnx（n）cosnx（n）学习算法ðÞ本文的其余部分组织如下：第4节中的术语表，第5节中的建议方法，第6节中的实验装置，第7节中的模拟结果和性能比较，第8节中的统计显著性证明，第9节中的结论和参考文献。4. 预赛4.1. 函数链接人工神经网络结构功能链接人工神经网络（Functional LinkArti ficial[240]是一类高阶神经网络，利用其输入的更高组合[241，242]，并已成功用于许多应用，如模式识别[243，244]，分类[245即使它有一个单层网络，与MLP相比，它仍然能够处理非线性可分离分类任务在FLANN中，输入模式的维数通过函数扩展而人为地增加，然后用扩展和变换后的输入数据训练前馈网络。在函数扩展过程中，各种数学函数（如正弦、余弦和对数）用于将原始输入模式转换为其扩展版本。在函数展开过程中，输入项的数目取决于输入模式的属性的数目。FLANN的基本结构如图所示。 二、数据集x的函数扩展值可以通过使用等式（1）生成。其中xi j代表第i个模式的第j个阶m× n。uxij;cosPxij; sinPxij; cos 2Pxij;sin2 Px ij. cos nPx ij;sin nPx ijg1为模式xi，intern的输入属性值xi，intern，生成总共2n+1个函数扩展值，w1，1w1，2w1，3w1，2nw1，2n+1w2，1w2，2w2，3w2，2nw2，2n+1wn，1wn，2wn，3wn，2nwn，2n+1权重更新图2函数链接人工神经网络架构基于全局最优和声搜索的梯度下降学习FLANN63不不.用于计算误差项dk×ek，¼1¼ ðÞ1112M我i1i我L（n*（2n+1））个扩展值被生成用于单个输入模式xi。由方程式（1），i和j的值可以从i= 1，2.. . m和j= 1，2.n，其中m和n分别是输入模式的数量和除了类级别（可能是数据集x的最后一列）之外的每个输入模式的属性值的因此，数据集x的完整函数扩展值使用等式表示。（二）、uff ux 1; ux2.. . ux ngT;● 最 后 ， 权 重 更 新 被 完 成 为 w 新 的 1/4w=W ， 其中w 1/4w1;w2. . wL×102 n101和DW×104DW1;DW2。 . .DWL×2 n1。基本上，更好的学习算法有助于ANN模型快速收敛。此外，竞争优化技术的使用不仅可以改善学习算法的收敛性，而且可以提高人工神经网络基于分类器。在下一小节中，一个新的元启发式f ux21; ux22. ux2ng.f ux m1; ux m2.. . ux mng 2FLANN的权重在上述函数扩展值“f”输入到FLANN类量化器之前随机设置当每个输入模式被变换为n *（2n+1）个函数扩展值时，为每个单独的模式设置总共n*（2 n+每个单独模式的权重集的随机初始化可以被可视化为等式：（三）、W i¼ fw i;1;w i;2;. w i;2 n= 1g;对于i 1; 2. n3其中Wi是针对单个输入模式随机初始化的权重向量。因此，数据集“X”的输入模式的权重集合的初始化可以被视为权重向量. W gT，其中W是第 i个已经描述了被称为和声搜索技术及其变体的优化技术。4.3. Harmony Search和声搜索（HS）[69]是一种元启发式算法，灵感来自于寻找完美和声形状的音乐过程。该算法基于自然的音乐过程，其中音乐家通过调整每个乐器的音高来搜索更好的和谐状态，例如爵士乐即兴表演。和声搜索中通过音高调整的音乐即兴创作类似于任何优化技术中的局部和全局搜索4.3.1. 和声搜索本节简要回顾和声搜索算法一般来说，和声的基本步骤数据集中的模式x。将数据集用函数展开值“f”表示，● 首先，S的值被计算为S^uXW^fs1;s2.. s mg。● 然后，净输出Y被计算为Y<$fS<$fs1;fs2. fsmg=fy1;y2.ymg=ftanhs1;tanhs2... tanhásmárg.这里tanh被用作激活函数，净输出yi用于输入模式xi。根据网络输出 yi和给定的目标值 ti，计算FLANN的误差，并采用适当的学习方法调整FLANN的权值4.2.梯度下降学习方案梯度下降学习是最常用的训练方法，其中权重以尽可能快地降低网络误差的方式改变。下面描述使用具有网络误差的梯度下降法的FLANN模型的学习● 第k个输入模式的误差被生成为ek1/2Yk-tkK2对于k= 1，2... m，其中m是数据集中输入模式的数量。然后，重量因子的‘可以被计算为. PL2×l×u×dQ搜索可以表示如下：步骤1用随机生成的解向量（Harmonies）步骤2重复步骤3和步骤4，直到注意到解向量的拟合度没有进一步显著增长或达到第3步改进HM以获得新和声记忆（NHM）第4步根据HM和NHM的解向量在拟合度方面的比较来更新HM。如果任何和谐HM比NHM中的和谐更不适合，那么HM中的和谐通过添加NHM5.退出基本上，和谐记忆（HM）是一组预定义数量的解向量，类似于PSO中的粒子群或GA中的染色体。最初，HM用随机解向量初始化，并且逐渐地，HM中的解向量通过使用和声搜索过程的步骤3（称为HM即兴步骤）来改进。这一步完全由参数控制：和声记忆考虑率（HMCR），音高调整率（PAR）和带宽（bw）。在HS中，HMCR控制勘探和开采之间的平衡，它被设置在0和1之间。搜索过程表现为纯随机搜索，如果HMCR设置为0，并且HMCR的值为1，则下一个考虑HM的100%先前解向量。这意味着，没有机会改善哪里uu1;u2.. . UL，e1;e2.. . e和dd1;d2. DL是的向量 这 代表 函数展开集、误差集和误差其中L是输入模式的数量。和谐来自外部这样，HMCR在勘探和开发之间保持平衡。另一个参数PAR基于通常是变量的带宽（bw）确定解向量的调整速率，并且表现为步长。DW=、 为 q¼ 1; 2.. . L×102N×101 N。●64B. Naik等人.lnN（a）该人的姓名或名称─我JJ（）下一页IjHMCR和PAR确定存储器考虑概率（MCP）、音调调整概率（PAP）和随机概率（RP）如下：MCP 1/4HMCRω1-PARK ω 100BW的迭代是从动态降低神经网络学习率的策略中得到的启发[256]。与HS不同，BW和PAR不是固定的，并且该值根据HS迭代而变化，这是通过使用等式（5）和（6）。PAP¼ HMCRωPAR ω 100RP¼ 100- MCP- PAP基本上，HM的即兴创作是由这些参数控制的带宽单位最大带宽×有效带宽体重最小值体重最大值Nð5Þ测试（MCP、PAP和RP）。示例：如果HMCR= 0.99且PAR= 0.45，则MCP= 0.9 *（1- 0.45）* 100= 49.5且PAP= 0.9 *0.45 * 100= 40.5，RP= 100- 49.5- 40.5= 10。这由方程式 （5），bwk是特定迭代‘iter’,这意味着，在和声即兴创作阶段（步骤3），49.5%的解向量从联系我们min 最大吸收峰面积 -PAR最小值×iter 100从先前和声记忆（HM）到新和声记忆（NHM），40.5%的解向量经过音高调整，然后包含到NHM中，10%的解向量通过将随机生成的值与HM中的现有解向量在HS中，bw和PAR是固定的，并且根据等式进行音高调整。（4）、HMit1HMit1 HMjt-rand1 ω bw ifrand1 0： 5<如果random 1 ω>0： 5，则<$HM不应忽略random 1 ωð4Þ由方程式HMit 1是在时间t+ 1的下一个第i个和声，并且HMjt是在时间t的用于音高调整的第j个随机选择的和声。近年来，研究人员通过对原始HS算法进行一些修改，提出了许多Harmony Search变体（图3）[69]。此外，这些变体是HS的三个主要变体的一些修改，这些变体是改进的HS，全局最佳HS和自适应HS。这些变体有一些共同的步骤，但在求解优化问题的策略上有所不同。和谐搜索的这些变体所涉及的总体策略和步骤已在图中展 示 。3.第三章。4.3.2. 改进的和声搜索改进的和声搜索（IHS）[255]是HS的初始变体，它采用了一种新的策略来生成新的解向量，不仅提高了准确性，而且提高了基本HS算法的收敛速度。通过消除HS算法中的常数参数（bw，PAR），并加入PAR和bw随迭代次数的动态变化，IHS的性能优于IHS算法不受HS算法中PAR和bw固定值的限制，而是通过减少bw和增加PAR的迭代次数，对解的质量有很大的影响。动态递减由方程式PAR最小值和PAR最大值是最小和最大音调调整率，N是总体中4.3.3. 全球最佳和声搜索受 PSO 在 众 多 应 用 中 成 功 使 用 的 启 发 ， Omran 和Mahdavi[257]开发了全局最佳谐波搜索（GbHS），该搜索借用了PSO的概念以增强HS优化的性能。作者建议采用较小的恒定PAR，而不是动态增加PAR，这可能会防止IHS中通常发生的过冲和振荡在GbHS中，它通过直接采用和声存储器中的当前最佳音高（全局最佳）并调整其他解向量来改善HM中的质量，而无需音高调整步骤，从而消除了选择适当带宽（bw）的困难。HM即兴创作的这个过程类似于从群体中选择局部最佳（LBest）和全局最佳（GBest）粒子（在PSO中），基于此，获得粒子位置的变化。在解的质量和收敛速度方面，GbHS的性能明显优于HS和IHS。4.3.4. 自适应和声搜索在SAHS[258]中，通过根据HM中的最大值和最小值更新新和声，IHS中的音高调整步骤已被修改，以更好地利用其自身的经验。这里，目的是通过引入一种新的策略来简化音高调整步骤，该策略通过使用到目前为止在HM中遇到的最大值和最小值来调整新的和声，从而从HS过程中完全消除bw。与IHS一样，SAHS的BW和PAR也随HS的升高而变化。SAHS与IHS的不同之处在于如等式（1）所示的俯仰调整机制。（七）、令minHM和maxHM分别表示HM中第i个变量的最低值和最高值，然后通过以下等式进一步调整HM中的我不知道HMt1 HMtmax HM HMtrand 1 if rand 1 0： 5HM0：5 HM t最大值HM t最小值HM t最小值HM t最大值HM trand 1ð7Þ第二代！基于全局最优和声搜索的梯度下降学习FLANN65Harmony Search变体HarmonySearch（HS）计算MCP，HM的200个中的200个中的200个。HMS&HMCRPAR BW。PAP&RP.检查终止更新HM。标准的即兴发挥嗯改进的HarmonySearch（IHS）增加PAR&计算MCP，HM。HMS HMCR。降低BW。PAP&RP.检查终止更新HM。标准的即兴发挥嗯全球最佳和谐搜索（GbHS）是HM的计算MCP的最大值，HMS HMCR。PAR&BW。PAP&RP.检查终止更新HM。群智能（PSO）标准。基于HM的即兴表演自适应和声搜索在PAR计算MCP，HM中更改的时间表。HMS&HMCR。with iterations迭代.PAP&RP.使用最小（HM）标准检查终止更新即兴HM。嗯&最大值（HM）。图3Harmony搜索变体。其中HMit1是在时间t+1的下一个第i个和声，HMjt是在时间t用于音高调整的第j个随机选择的和声，min（HM）和max（HM）是整个和声记忆（HM）的最小值和最大值，并且rand(1)是在[0，1]范围内不含1的均匀数5. 该方法在本节中，我们考虑了四个FLANN分类器，它们基于四种不同的Harmony Search算法进行梯度下降学习。本文对Harmony Search算法及其不同变体（改进的HS、全局最佳HS和自适应HS）进行了深入的实验分析，并尝试利用这些变体的问题求解策略来提高FLANN分类器的性能。这里的目标是从一组随机选择的权重（Weight-set）中选择最佳的权重集合。用于分类任务的FLANN模型的权重集（总体）本文主要研究了基于全局最佳