工程科学与技术，国际期刊19（2016）197全长文章一种新的高阶神经网络自然启发火灾算法：性能分析Janmenjoy Nayak*，Bighnaraj Naik，H.S. 贝赫拉Veer Surendra Sai University of Technology（VSSUT），Burla 768018，Odisha，IndiaA R T I C L E I N F OA B S不 R 一C T文章历史记录：收到日期：2015年3月28日收到日期：2015年7月1日2015年7月7日接受2015年8月28日在线发布保留字：高阶神经网络（HONNs）Pi-Sigma神经网络遗传算法粒子群优化算法（PSO）前馈神经网络和多层感知器的应用是非常广泛和饱和的。但前馈网络的线性阈值单元导致学习速度快，但能力有限，而多层网络的误差反向传播导致训练速度慢。因此，可以通过输入变量之间的相关性来构造高阶网络，以使用单层输入单元进行非线性映射，以克服上述缺点。本文提出了一种基于Fire神经网络的高阶神经网络用于数据分类，以保持快速学习并避免处理单元的指数增长。大量的文献调查已经进行了审查，以前开发的模型的艺术状态。在UCI机器学习数据库的多个基准数据集上对该方法的性能进行了测试，并与其他模型的性能进行了比较。实验结果表明，该方法快速、稳定、可靠，分类精度优于其他方法。© 2015 ， Karabuk University. Elsevier B. V. 制 作 和 托 管 这 是 CC BY-NC-ND 许 可 证 下 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍数据分类一直是数据挖掘研究人员的浓厚兴趣，以及其他数据挖掘任务。分类涉及一些基本步骤，例如为未知对象分配不同的类，并确定合适的模型来分析它们。分类模型基于训练数据集，目标是分配一个与其他不同类别区分开的唯一类别标签有一些成熟的早期分类模型[1-14]，这些模型已经通过使用一些传统的神经网络如多层感知器（MLP），反向传播神经网络（BPNN），前馈网络等开发出来。在各种不同的分类应用领域。但由于其存在训练速度慢、收敛滞后、非线性映射能力差等缺点，使得该算法在实际应用中受到限制.在一些基本的神经网络中，高阶神经网络（HONN）在实际应用的发展中变得更加流行。例如，使用单层阈值逻辑单元，MLP的训练速度比前馈网络和使用感知器，ADALINE或Hebbian学习规则慢得多[15，16]。此外，在解决典型的复杂和非线性问题时（因为数据挖掘的分类任务是高度非线性的），这些网络的收敛速度很慢，并且无法随问题大小扩展* 通讯作者。联系电话：+91 9439400784，传真：0663-2430204。电子邮件地址：mailforjnayak@gmail.com（J.Nayak）。由Karabuk大学负责进行同行审查[17]第10段。此外，MLP需要严格的重复训练算法，并且容易过度拟合数据[18]，这会导致训练时间长并陷入局部极小值[19]。与反向传播神经网络不同，HONN巧妙地提供了一个有效的开盒模型来映射非线性通过保留隐藏层的必要性，HONN结构变得比FNN更简单，并且学习参数（权重）的初始化不会是灾难性的。一些HONN使用不同的自适应激活函数，如Sigmoid，Sine，Cosine等，以适应网络的具体要求。此外，HONN的运行速度比普通前馈网络、MLP等快得多[21，22]。通过保持与前馈神经网络的等效结构，HONN通过增加输入单元来扩展其容量，同时网络中的其他神经单元具有更强的功能他们利用不使用一些复杂的数学函数，由于输入单元的隐藏和其他层的容易transformation- tions的优势。HONN的乘积已经开发了各种高阶神经网络，例如Sigma Pi神经网络（SPNN）[23]，产品单元神经网络（PUNN）[24]，高阶处理 单 元 神 经 网 络 （ HPUNN ） [25] ， 函 数 链 接 人 工 神 经 网 络（FLANN）[26]，它们执行非线性映射。它们已成功地用于各种实际应用中（表1），如分类、函数近似、预测、时间序列预测、噪声控制、位置管理、信道均衡等。http://dx.doi.org/10.1016/j.jestch.2015.07.0052215-0986/© 2015，Karabuk University.由Elsevier B. V.制作和托管。这是CC BY-NC-ND许可证下的开放获取文章（http：creativecommons.org/licenses/by-nc-nd/4.0/）。出版社：Karabuk University，PressUnit ISSN （印刷版）：1302-0056 ISSN（在线）：2215-0986 ISSN（电子邮件）：1308-2043主 办可 在 www.sciencedirect.com上 在 线ScienceDirect可在ScienceDirect上获得目录列表工程科学与技术国际期刊杂志主页：http://www.elsevier.com/locate/jestch198J. Nayak等人/工程科学与技术，国际期刊19（2016）197表1不同应用领域的不同类型的HONN。作者类型HONN应用程序域年参考Mahapatra等人切比雪夫·弗兰分类2012[27日]Naik等人HMBO-GDL-FLANN分类2015[28日]Mishra等人PSO-FLANN分类2012[29日]Dehuri等人IPSO-FLANN分类2012[30个]米利和哈姆迪DE-FLANN分类2013[三十一]Naik等人CRO-FLANN分类2015[32个]申和高希PSNN分类和1991[33个]功能近似Patra等人Flann预测2009[34个]Bebarta等人Flann预测2012[35]第三十五届杜尔加·格涅什Flann预测2014[三十六]Reddy和TarunVarmaGhazali等人RPNN预测2006[37个]Hussain等人RPNN预测2008[38个]乔治和熊猫Flann噪声控制2012[39]第三十九章Parija等人Flann位置2013[第四十届]管理Sicuranza和Flann噪声控制2012[41]卡里尼阿里和哈威尔Flann信道2013[四十二]均衡当网络的阶数变得异常高并影响网络的复杂性时，网络需要一些高阶项Shin和Ghosh开发了一种HONN，称为Pi-Sigma神经网络（PSNN），它避免了随着处理单元的数量呈指数增长的权重向量。PSNN使用具有单个隐藏层的线性和的输入分量的和与输出层处的处理单元的乘积的乘积，而不是像其他网络那样使用输入的乘积的和几十年来，不同的研究人员针对不同的应用领域开发了几个版本的PSNN。A. J. Hussain和P. Liatsis[43]介绍了一种递归π-Σ神经网络（RPSN），用作差分脉冲编码调制系统中的预测器结构，该系统利用图像形成过程的时间动力学和像素之间的多线性相互作用进行1D/2D预测图像编码。Chien-Kuo Li[44]提出了一种基于记忆的Sigma-Pi-Sigma神经网络，用于实现出色的学习收敛，同时减少内存大小并克服可能存在的大量内存需求问题。R. Ghazali等人。[37]通过添加不同程度的Pi-Sigma神经网络，提出了一种用于金融时间序列预测的岭多项式网络（RPN）该方法能够对各种混沌金融时间序列数据找到合适的输入输出映射，具有良好的学习速度和泛化能力。Cornelius Weber和Stefan Wermter[45]提出了一种使用在线学习算法训练的sigma-pi网络，用于解决参考系转换问题。X. Kang等人[46]。Xiu Jie和Chang-Liang Xia[47]开发了一种基于Pi-Sigma神经网络的开关磁阻电机模型，实验结果表明该模型精度高、泛化能力强、计算速度快Yong Nie和Wei Deng[48]实现了混合遗传算法可以搜索基于π-sigma网络，采用分布式进化算法和全局优化方法进行训练，M.G. Epitropakis等人[50]。提出了一种新的用于处理分类问题的混合高阶神经分类器，M. Fallahnezhad等人[20]通过考虑许多基准数据集来获得改进的准确性结果。Xin Yu和青峰Chen[51]用具有同步更新规则和惩罚项的梯度算法训练了岭多项式神经网络。他们声称所发展的方法具有单调性和强收敛性。Xin Yu等人提出了训练脊多项式神经网络的异步梯度法的单调性定理和两个收敛性定理[52]进行有效的培训。Nayak等人[53]提出了一种标准的基于反向传播梯度下降学习的Pi-sigma神经网络，用于具有全局搜索能力的数据分类。在这项研究中，一类高阶神经网络称为Pi-Sigma神经网络的性能已经通过使用最近开发的自然启发式元启发式算法，如火焰算法（FFA）进行了测试。为了研究FFA的性能，我们考虑了一些标准的典型基准数据集，并在相同的数据集上与其他优化算法如GA，PSO和混合GA-PSO的本文的其余部分组织如下。第二节介绍了几种基本的算法，如Pi-Sigma网络、火算法、粒子群优化算法和遗传算法。在第3节中，提出了基于FF的PSNN。实验设置和结果分析分别见第4节和第5第6节是专门的交叉验证和第7的结论与一些未来的方向工作。2. 预赛2.1. Pi-sigma神经网络网络的输出由输出层的输入单元的和运算的乘积计算。网络的输出由输出层的输入单元的和运算的乘积计算。更少的权重向量和处理单元能够快速学习，这使得它们比其他网络更准确从输入层连接到隐藏层的权重在训练期间被定制，并且将隐藏层连接到输出层的权重被固定为1。由于这个原因，隐藏层的复杂性可以通过可调权重的数量来显着降低，因此模型可以很容易地实现和加速[54，55]（图10）。①的人。设输入x =（x0，x1. . ......、xj.. .xn）T是（n +1）维输入向量，其中附加Bj是偏置单位，并且xj表示X的第j个分量。（n + 1）k维权重向量使得wij=（wij 0，wij 1，wij 2. . .wijn）T，i = 1，2。. .k在k个求和单元的层处求和，其中k是网络的相应阶。隐藏层hj处的输出可以通过等式（1）来计算。（一）.（1）第一章：我的世界（1）其中wij表示从输入到求和单元的权重。 由于隐藏层到输出层的权重被固定为1，因此输出O可以通过等式2来计算（二）、比遗传算法更快地搜索出全局最优解，奥拉夫·阿克 （二）他们提出的混合遗传算法训练的Pi-Sigma网络被用来解决函数优化问题。Ge Song et al.j1[49] 提出了一种新的基于π-sigma神经网络的一般访问结构的视觉密码方案，为视觉密码学的研究注入了新的活力。一个特殊的HONN类其中f（.）是合适的激活函数。PSNN的阶数可以通过隐藏层中处理神经元的确切数量来计算。网络的结构可以是有规律的，J. Nayak等人/工程科学与技术，国际期刊19（2016）197199f（f）n维输入向量x1个x2x第1章1H21激活函数阿托洛x输入层可训练重量1输出层的产品单元HJ1固定权重设置为单位一HK隐藏层线性的求和单元Fig. 1. Pi-sigma神经网络的基本结构。通过在隐藏层中添加一个或多个额外的求和单元来扩展，而不妨碍PSNN的结构。2.2. 火灾探测算法（FFA）Fire算法（由Xin-She Yang提出）是一种多模态算法[56] 自然启发的超启发式算法的基础上，对火灾的搜索。几乎每一种萤火虫都会产生独特的小而有节奏的荧光，而荧光是通过生物发光过程产生的。根据杨[57]的说法，火灾是基于三个理想化的原则：（一）由于中性的性质在所有的火焰中，一个火焰会被另一个火焰吸引，不管它们的性别如何。(ii)由于吸引力与火焰的亮度特性成正比，所以总是不太明亮的火焰会被最明亮的火焰所吸引。(iii)火焰的亮度由目标函数的背景计算。如果两个火焰之间的距离增加，那么吸引力和亮度都会急剧下降[58如果火在它的周围找不到任何人，火烈鸟无法区分最强和最弱的火灾算法有两个阶段，如下所述。(i) 亮度取决于火焰发出的光的强度[70]。假设存在一个由n个函数组成的群，第i个函数的解是wi，其中f（wi）表示其拟合值。现在，选择火焰的亮度B以反映其适合度值f（w）的当前位置wBi w，其中1n（3）(ii) 所有的萤火虫都有其独特的吸引力B，这表明它能吸引群中的其他成员吸引力B将在两个相应的火点i和j之间的位置xi和xj处随着其距离因子dij发散，由下式给出：会向任意方向移动火的主要属性是，dijwiwj（四）租m是它的照明灯[63]，负责吸引交配的萤火虫，并警告可能的捕食者。同样，在规则的时间间隔内，火焰会使光充电和放电，这看起来就像一个振荡器。通常，萤火虫在夏天的夜晚最活跃[64当一个火团遇到另一个相邻的火团时，两个火团之间会发生相互耦合。男性萤火虫试图通过他们的信号吸引地面上没有光的女性萤火虫[67，68]。作为对雄性萤火虫信号的回应，雌性萤火虫释放出闪烁的灯光。火焰的吸引力函数B（r）计算如下：第102章：第二次（5）其中b是在r = 0时的吸引力和光吸收系数。亮度较低的火焰向亮度最高的火焰的运动计算如下：因此，雄性和雌性的离散的双斑模式br2n（六）产生伙伴用于编码信息，如物种i i性别与性别[69]一般来说，女性更容易被吸引到j i2雄性有更亮的闪光灯灰化强度随源距的变化而变化但在某些特殊情况下，其中，rand是随机化参数，rand是在区间[0，1]之间随机选择的数字。200J. Nayak等人/工程科学与技术，国际期刊19（2016）197FIREFLY算法步骤1：随机生成萤火虫的初始种群XX ={w1，w2，步骤2：通过使用目标函数f（wi）计算每个萤火虫的亮度，B = {B1，B2步骤3：设置光吸收系数λ。第4步：While（max迭代）对于i=1到n对于j=1到i如果（Ij> Ii）使用eq将萤火虫i移动到萤火虫j。（6）.End if吸引力随距离r变化，公式为：评估新的萤火虫和更新亮度使用方程。（三）、End for结束t = t+1结束，同时第五步：根据萤火虫的适应度对它们进行排名，并找到最好的一个。步骤6：如果达到停止标准，则转到步骤7。否则转到步骤4。步骤7：停止。2.3. 遗传算法遗传算法是由密歇根大学的John Holland[71]和Goldberg[72]引入的进化和随机搜索技术。与梯度搜索方法相比，遗传算法在局部最优处表现良好，并且在局部最小值位置捕获的机会较小。基本上，GA是基于达尔文根据染色体群体的随机选择，GA总是允许最合适的染色体在群体中的一些连续世代中存活。染色体也可以选自已知样品。染色体将通过三个基本步骤如选择、交叉和突变进行迭代循环。每个染色体都代表了问题的一个单一的可想象的解决方案[74]，并将竞争资源和配偶。最强的成功染色体将能够产生更多的后代比弱性能染色体. 表现良好的染色体将在整个群体中传播基因，对于两个好的亲本染色体，将产生比它们自己更好的后代，并且下一代将更好地适应环境。2.4. 粒子群优化算法Kennedy和Eberhart[75]开发了基于鸟类行为的它是一种流行的PSO主要基于动态稳定性理论[76]，由于其快速收敛特性，具有处理大型多维问题的能力粒子群优化算法的参数调整次数少，计算复杂度低，在搜索空间内搜索最优解。PSO的发展原理是假设一个没有质量或体积的位置，像鸟一样在多维空间中飞行，不仅调整自己的位置，而且根据自己的早期经验和邻居的经验交换关于搜索空间中当前位置的信息[77]。鸟类、昆虫和鱼类等的出现表明了它们之间不冲突的性质的一个独特标志，当它们通过调整它们的位置和速度来成群旅行以获得食物或住所时。在这种机制中，群的成员交流他们的信息，并根据群当前运动中出现的最佳位置使用他们的组信息修改他们的位置和速度[79]。的遗传算法伪码1. 随机生成染色体种群2. 计算每个染色体的适应度。3. 选择足够数量的染色体进行繁殖。4. 执行交叉染色体的繁殖。5. 如果达到最大迭代或其他指定的停止标准，则转到步骤6。否则转到步骤2。6.Stop.J. Nayak等人/工程科学与技术，国际期刊19（2016）197201群体中的粒子会逐渐接近这个位置，并最终通过它们的交互合作找到最佳点[80]。每个粒子必须在所有粒子中保持其局部最佳位置lbest和全局最佳位置gbest[81，82]。PSO算法中的数据传输是一种单向信息流机制[83]。从较低级别的搜索空间中新生成的解的数量中获得最佳拟合解，并且由于随机化性质，该算法不会陷入局部最小值。此外，直到候选解中的最佳改进，局部搜索尝试改进相应的解。另一方面，firefront是一种基于种群的算法，其中通过交叉操作来实现解的搜索。这意味着V t c11 lbest X c2排名 1排名最佳排名X排名X1 X V1（七）（八）在搜索空间中，如果父母将共享任何变量的相同值，那么孩子将共享相同的值。然而，在基于种群的算法中，适当的参数调整有助于产生良好的参数值，并能够保持勘探和开采之间的稳定性。当量（7）控制粒子的认知和社会行为并且使用Eq.（8）其中Vi（t）和Vi（t + 1）分别是群体中第i个粒子在时间t和t + 1的速度，c1和c2是加速度系数，通常设置在0和2之间（可以相同），Xi（t）是第i个粒子的位置，lbesti（t）和gbest（t）表示第i个粒子的局部最佳粒子和在时间t的局部最佳中的全局最佳粒子，rand（1）生成0和1之间的随机值2.5.混合粒子群算法粒子群优化算法和遗传算法都是基于种群的进化算法，已经成功地应用于许多现实生活中的应用。但是在对这两种算法进行了成熟的实验之后，开发人员对这些算法的性能提出了一些重要的问题。在优化问题中，由于算法的有效性损失，在遗传算法中，有一些可控制的参数，如种群大小，变异率和交叉，并且它非常接近具有超大数量变量和约束的多变量问题的最优解[84]。另一方面，粒子群算法依赖于惯性权重、最佳位置、位置、速度、速度等社会参数。早熟收敛是粒子群算法的一个主要问题因此，我们努力将这两种方法混合起来，以获得最佳结果，而不是仅应用单一优化技术（PSO或GA）的结果种群分布的特征在整个PSO搜索过程中随代而变化在搜索的初级阶段，粒子可以散布在整个搜索空间上。因此，人口分布是分散的。PSO-GA-PSNN算法使用标准的反向传播梯度学习（BP-GDL）算法[85]进行训练。最初，随机生成的小值被分配为权重集。粒子的局部最优（lbest）被视为初始种群。3. 该方法在这一节中，使用火焰的散列行为来计算PSNN的最佳权重，这反过来有助于提高FFA-PSNN的分类精度。Fire启发式算法是一种随机元启发式算法。由于其随机性，该算法能够通过随机化搜索一组解只有两个主要的参数，如吸引力和光强度的变化，在火灾算法需要调整。强度指的是火的绝对量度，而吸引力是光的相对量度，它是在旁观者的眼睛中看到的，并由其他火来判断[70]。在算法的每一步成功之后，火焰将朝着搜索空间中最有吸引力的解决方案 在算法-1中，术语“权重集”已被用于表示PSNN模型在特定时刻的权重集。最初，随机生成火焰的总体，其中每个火焰表示PSNN的权重集。此外，火焰的初始亮度初始化为0.4，吸收系数设置为0.5. 然后，使用算法2计算每个火灾的适合度，并将其用作火灾的强度。在算法2中，在PSNN上设置权重集合w，并且RMSE 通过用特定数据集训练PSNN来计算。然后，权重集w的拟合度由从数据集的每个实例获得的均方根误差之和计算为1/RMSE。在总体中，每个火焰都根据它们的适合性（强度）与另一个火焰进行比较，不太明亮的火焰会被吸引到最好的火焰，并通过使用等式改变它们的位置（6）.由方程式在等式（6）中，随机化参数rand被设置为0.5，并且rand是区间[0，1]之间的随机数。均方根误差（RMSE）在等式中给出（九）、（九）RMSE误差该网络是用误差的产生来训练的，并且总体估计误差函数E可以如等式（1）中所示来计算（十）、EjdOt（ 10）其中dj（t）表示在时间（t-1）的最终期望输出。在每个时刻（t-1），计算每个Oj（t）的输出。用于分类的FFA-PSNN算法在算法1中示出，其产生具有某些优化权重集的网络的输出。在拟合度计算过程中，使用标准的反向传播梯度下降学习（BP-GDL）权重变化和权重值的更新可以通过等式2来计算。（11）和（12）。m在启发式算法中，问题的解是通过试错基和获得最优解的机会来jj1（十一）元启发式搜索方法依赖于两个概念的适当调整，如：开发和探索[86]。剥削就是寻找其中，hji是求和层的输出，并且h ji是学习速率。最好的解决方案之间的邻居提取信息，而探索是搜索不同的解决方案的过程wiwi（十二）在搜索空间中。由于火算法本质上是元启发式的，所以它的搜索过程克服了局部搜索和随机化在更高层次上的一些陷阱，即。该算法产生为了加速误差收敛，动量项并且权重连接值可以如等式（1）中那样计算。（十三）、n 阿吉岛ˆ第一 n2202J. Nayak等人/工程科学与技术，国际期刊19（2016）197nM cm算法输入：具有目标向量“t”的数据集输出：具有优化权重设置“w”的PSNNFFA-PSNN-分类（x，P，t，B）步骤1：随机生成萤火虫的初始种群X。X={w1，w2，.，wn}步骤2：随机生成种群中萤火虫的初始亮度b={b1，b2，...，bn}。第三步：计算萤火虫的初始光照强度。I = {f（w1），f（w2），.，f（wn）}，其中f（wi）（算法2）是计算权重集wi的适应度的目标函数。步骤4：设置光吸收系数λ。步骤5：While（t max iteration）（其中max iteration是最大数量。对于i=1到n对于j=1到i如果（Ij> Ii）使用eq将萤火虫i移动到萤火虫j。（6）.End if两个对应的萤火虫i和j之间的距离rij（4）.吸引力随距离r而变化，公式为：使用等式（5）.使用算法2评估新萤火虫使用e q更新亮度。（三）、端结束时间t =t+1End while步骤-6：排名萤火虫根据他们的健身和找到最好的一个。步骤7：如果达到停止标准，则转到步骤8。否则转到第5步。步骤8：停止。wii wi分类的准确性计算公式如下：（十四）、（十三）在这里，SGDL算法中的学习速率相对于批量梯度下降学习较小，这是由于更新中的较大方差。学习率的值设置为0.12。i4. 实验设置准确度100%（14） 年，i 2011 j 2011其中cm是混淆矩阵。在改变它们的位置期间，如果第i个亮度y和第j个亮度y之间的距离增加或减小，则通过考虑先前的亮度和它们的距离来更新它们的亮度4和5）。使用算法2评估消防队的新位置，并从当前种群中选择最佳位置。类似地，在每一代中，每一个火都被吸引到最佳邻居的火上，并改变它们的位置。如果这个过程继续下去，最好的火力也不会有进一步的提高。3.1.随机梯度下降学习算法在批量学习中，在算法的每次迭代期间，样本的完整训练集用于计算下一个参数更新，并且非常适合收敛于局部最优值[87]。而随机梯度下降学习（SGDL）方法具有训练样本少、学习成本低、收敛速度快等优点。此外，它有助于减少更新参数的方差，从而实现稳定收敛[88]。因此，SGDL算法计算Gra-所提出的方法已被设计为正确分类的数据具有大量的特征集和各种类标签。数据集来自加州大学欧文分校（UCI）机器学习库[89] 。 将 FFA-PSNN 与 PSNN 、 GA-PSNN 、 PSNN-PSO 、 PSO-GA-PSNN等分类方法进行了比较分析该方法已通过使用MATLAB 9.0在具有Intel Core 2 Duo CPU T5800 、2GHz 处理器、2GB RAM 和Microsoft Windows-2007操作系统的系统上实现。数据集通过将其分成5倍来准备，其中4倍用于训练，1倍用于测试。4.1. 参数设置每一次射击的质量通过其对应的适合度值来表示在实验期间设定的参数在表2中给出。表2参数设置。PSNN参数FFA参数通过更新如等式（1）中的梯度下降学习（15）.权重向量的最小值，除了输出层：介于-1和1之间的值权向量的平方.初始亮度：b = 0.4随机化参数≥0.5wt1 wtw f wt; x， （十五）输出层：1循环次数：1000光吸收系数 500万其中，x，yi是数据集中的训练样本对，f是目标函数。停止条件：最大迭代J. Nayak等人/工程科学与技术，国际期刊19（2016）197203算法1. 函数F=训练健身（x，w，t，B）2. 对于i = 1到n，n是数据集3.使用等式计算隐藏层的输出（一）4.使用等式计算网络的输出（二）、5.使用等式计算误差项（10）并计算适应度F（i）=1/RMSE。6. 端7.计算均方根误差（RMSE）使用方程。（9）从目标值和产量8.通过使用BP-GDL算法的权重变化可以通过使用等式来计算（十一）、9.使用eq更新权重（12）.10. 权值可以在加上动量项后使用等式计算（十三）、11. 如果停止标准，如训练误差或最大数量。的时代是满意的，然后停止。否则重复步骤2至11。12. 端4.2. 数据集信息关于实验分析中使用的数据集的简要描述如下：Pima数据集：该数据集是Pima印第安遗产中21岁以上女性的集合它由768个特征、9个属性和2个类别标签组成。此数据集没有缺失值。5. 成果分析和分析性讨论提出的FFA-PSNN方法已经实施并测试了11个数据集（表3），采用5倍交叉验证技术。标准的最小-最大归一化技术，数据集v到v'在范围内属性A的[new_maxA to new_minA]已被用于对数据进行归一化（等式2）。（16））。平衡数据集：该数据集用于模拟心理实验结果。平衡刻度可以向左或向右移动或平衡。它是基于平衡秤的测量-vv-谷氨酰胺A最大值最小值最大值Anew_minnew_minA（十六）有625种模式，4种模式。属性和3个类。它没有缺失值。心脏数据集：该数据库与人类心脏相关，其属性包括年龄、性别、胸痛类型、静息血压等，包括256个模式、14个属性和2个类别标签。它是多变量类型，没有缺失值。Hayes-Roth数据集：该数据集由5个数值属性组成，车辆数据集：该数据集用于使用从剪影提取的一组特征将给定的剪影分类为四种它基于具有846种模式、18种属性和4种类别的车辆分类。它没有缺失值。WBC（P）数据集：它有194个模式，32个属性和2个班级数目帕金森数据集：它有196个模式，23个没有。属性和2个类。肝炎数据集：该数据集用作肝炎患者的信息它有155个模式，19个属性和2个类。它没有缺失值。WBC（D）数据集：它有569个模式，30个没有。属性和2个类。Ecoli数据集：该数据集是一个利用细胞质、脂蛋白等指标预测蛋白质定位位点的数据集，共有336个模式，其中7个属性，8个特征。的阶级。它没有缺失值。声纳数据集：该数据集用于预测不同角度的物体。它有208个图案，60个属性和2个属性。的阶级。它没有缺失值。表3总结了有关数据集的详细信息表中的第一列显示数据集的相应名称。其他信息，如属性数量、类别标签数量等。已在某些列的其余部分中指出每项试验均进行了10次单独单倍 。 为了计 算学习 模型 的广义 无偏性 能， 使用 交叉验 证（Larson）[90]，通过将数据分为两组（如训练集和测试集）来比较学习算法，这两组分别用于训练和评估模型。平衡数据集（表4）已通过使用5重交叉验证（由KEEL数据挖掘软件工具处理）进行交叉验证（Alcalá-Fdez等人）。[91]其他数据集也以同样的方式编制。表5显示了5折天平数据集的分类准确度。所有数据集的训练和测试中所有模型的平均分类准确度见表6。所提出的方法得到的结果进行了比较，与其他开发的 知 名 的 方 法 ， 如 PSNN ， GA-PSNN ， PSO-PSNN 和 PSO-GA-PSNN。此外，所提出的FFA-PSNN已经训练与随机梯度下降学习更好地分析算法的收敛性。数据样本是在表3数据集信息。数据集个图案数量的属性班数皮马7680902平衡6250403心脏2561402海斯-罗斯1600503车辆8461804白细胞（P）1943202帕金森1962302肝炎1551902WBC（D）5693002ECOLI3360708声纳2086002204J. Nayak等人/工程科学与技术，国际期刊19（2016）197表4五重交叉验证平衡数据集。数据集数据文件个图案任务类别中的图案数类别中的模式数类别中的图案数平衡Balance-5-1trn.dat500培训39230231余额-5-1tst.dat125测试105857余额-5-2trn.dat500培训39230231余额-5-2tst.dat125测试105857余额-5-3trn.dat500培训39230231余额-5-3tst.dat125测试105857余额-5-4trn.dat500培训39230231余额-5-4tst.dat125测试105857余额-5-5trn.dat500培训39230231余额-5-5tst.dat125测试105857SGDL算法的迭代过程。学习率被指定为一个小的常数值，例如0.12，它能够给出稳定的收敛。使用该算法的优点之一是即使数据是冗余的或随机的，也能更快地收敛。通过考虑一些训练样本，它能够估计整个样本上的良好梯度。但SGDL算法的局限性在于，全局梯度解会导致目标函数过早收敛到局部此时，算法无法摆脱这些局部极小值。但在实际应用中，梯度下降学习能够摆脱这种局部极小的情况。FFA-PSNN和FFA-SGDL-PSNN的比较结果示于表7中。结果表明，无论是训练还是测试，该模型的平均分类准确率都优于其他模型平衡数据集97.107获得了FFA-PSNN的最高平均分类准确度通过考虑号的历元和RMSE（方程。 9）已显示在图。 2-6个数据集。6. 统计分析和交叉验证通过统计分析，可以实现所提出的方法相对于实验方法的改进性能。分析有助于分析数据的性质在分类准确性、误差测量或分类问题中的任何其他标准方面，改进所提出的算法（从现有算法（ 如 果 有 的 话 ） ） 或 全 新 算 法 的 性 能 应 具 有 统 计 学 意 义Demšar[92]审查了许多统计检验及其分析措施以及不同的实验验证。我们考虑了方差分析、Friedman检验、Tukey检验、Dunnett检验和Post Hoc检验等统计检验来衡量所提出的算法与其他现有算法的统计正确性。表5平衡数据集上的分类准确性性能数据集任务分类准确性（%）数据五折FFA-PSNNPSNN-PSOGA-PSNNGA-PSO-PSNNPSNN平衡余额-5-1trn.dat培训97.26695.03294.02896.15289.128余额-5-1tst.dat测试97.11095.00094.34596.12289.091余额-5-2trn.dat培训97.02895.28994.22596.10089.302余额-5-2tst.dat测试97.09095.01194.22296.05289.028余额-5-3trn.dat培训97.03895.30094.19296.26289.000余额-5-3tst.dat测试97.03595.04993.09796.23389.000余额-5-4trn.dat培训97.16895.30294.00096.15589.200余额-5-4tst.dat测试97.08995.17794.11196.12388.201余额-5-5trn.dat培训97.03895.11194.20196.15289.026余额-5-5tst.dat测试97.00995.23393.20096.12689.209表6FFA-PSNN与其他模型的平均性能比较。数据集平均分类准确度（%）FFA-PSNNPSNN-PSOGA-PSNNGA-PSO-PSNNPSNN列车试验火车测试火车测试火车测试列车试验皮马94.23594.22091.27391.31590.24489.38292.33291.56388.21487.508平衡97.10797.06695.20695.09494.12993.79596.16496.13189.131 88.905心脏92.43092.00990.23191.14889.20390.12891.66990.73287.295 88.288海斯-罗斯92.22691.29290.27890.20090.23491.21791.63389.151 89.312车辆93.62393.00891.60791.55290.33390.39891.56391.23887.100白细胞（P）91.22590.00686.35285.12782.00781.83286.99285.03376.651帕金森96.42295.21694.36294.82491.76992.38395.00395.23288.521 88.502肝炎91.27082.02182.01880.07179.05884.36385.00974.388WBC（D）95.50094.03194.03890.04291.34895.06995.63388.30487.103ECOLI94.92394.86691.00391.01890.36590.33392.02292.00688.00188.101声纳95.66595.00391.67791.32291.23991.85593.00293.14889.511 89.336J. Nayak等人/工程科学与技术，国际期刊19（2016）197205表7FFA-PSNN和FFA-SGDL-PSNN之间的性能比较。数据集平均分类准确度（%）6.1. ANOVA检验在本节中，进行了单因素ANOVA检验（Fisher）[93]，目的是检验零假设，以评价模型性能的变异性。通过ANOVA将总变异性分为分类器间变异性、数据集间变异性和残差（误差）变异性我们可以拒绝零假设，并根据分类器之间与误差变异性相比的一些边际更好的变异性，在分类器之间获得一些差异。采用单因素方差分析在邓肯多重检验范围内进行检验，置信区间为95%，显著性水平为0.05，线性多项式对比，结果见图。 7和图 8和事后检验的结果如图所示。9.第九条。图二. RMSE与车辆数据集上的历元。图三. RMSE与Epoch on Parkinson数据集。FFA-PSNNFFA-SGDL-PSNN火车测试火车测试皮马94.23594.22094.24994.217平衡97.10797.06697.11297.105心脏92.43092.00992.41692.014海斯-罗斯93.00592.22692.99692.219车辆93.62393.00893.63293.042白细胞（P）91.22590.00691.18490.024帕金森96.42295.21696.41495.196肝炎91.42191.27091.40891.246WBC（D）96.68695.50096.67295.612ECOLI94.92394.86694.89094.858声纳95.66595.00395.53195.016206J. Nayak等人/工程科学与技术，国际期刊19（2016）197见图4。RMSE与平衡数据集的历元。6.2. Tukey-Dunnett检定事后检验用于拒绝ANOVA中的零假设用于比较所有分类器的性能Tukey检验（Tukey[94]）和Dunn
