混合分类算法综述及机器学习应用的确定性优化技术

埃及信息学杂志22（2021）185审查数据分类应用中的混合分类算法综述F. 谢瓦尼·A，B.S.K.K.Ibrahimb，Muhammad Mujtaba Asadca计算机科学系，FAST-国家计算机和新兴科学大学，卡拉奇，信德省，巴基斯坦b英国考文垂大学机械、航空航天和汽车学院，工程、环境和计算学院，Priory St，CoventryCV1 5FBc巴基斯坦信德省苏库尔市机场路苏库尔国际工商管理大学教育系阿提奇莱因福奥文章历史记录：收到2019年2020年2月27日修订2020年7月24日接受2020年8月20日网上发售保留字：递归神经网络算法反向传播神经网络（BPNN）确定性算法机器学习Levenberg-Marquardt（LM）A B S T R A C T基于机器的分类通常涉及一些计算机程序，称为算法，使用几个数学公式来加速自动分类过程。随着当今数据的大小和计算复杂性的指数级增长，需要这样的优化的、鲁棒的、敏捷的和可靠的计算算法，其可以有效地执行这些符合分类任务。在这篇综述论文中，分析了有效用于机器学习应用的确定性优化技术。本文采用系统文献综述的方法，从200篇文献中选取100篇最新的神经网络研究文献，并根据神经网络研究中最常用的技术进行分 类 此 外 ， 已 报 道 的 基 于 反 向 传 播 神 经 网 络 （ BPNN ） 、 递 归 神 经 网 络 （ RNNs） 算 法 和 Levenberg-Marquardt（LM）的神经网络技术与基于优化技术的几种混合分类算法已被指出通常用于优化和有益于分类过程。©2021 THE COUNTORS.由Elsevier BV代表计算机和人工智能学院发布开罗大学法律系这是一篇CC BY-NC-ND许可证下的开放获取文章（http：//creative-commons.org/licenses/by-nc-nd/4.0/）上提供。内容1.导言. 1852.反向传播（BP）神经网络算法3.递归神经网络（RNN）算法1884.Levenberg-Marquardt（LM）神经网络算法5.讨论1906.结论190鸣谢191参考文献1911. 介绍机器学习（ML）是人工智能（AI）的一个子分支，处理将原始数据解释为有意义的信息[1，2]。随着当今可用数据量的巨大增长，需要设计和实施这样的兼容数据分类技术，以解决和促进电子邮件地址：fahad. nu.edu.pk（M.M. 阿萨德）开罗大学计算机和信息系负责同行审查。相应地进行有效和胜任的数据分析用于实现上述系统的一些最常见的现有技术包括支持向量机（SVM）、人工神经网络（ANN）等[3大多数先进的分类技术与当今的优化方法相结合或混合，以进一步提高分类精度并减少此类分类系统中的计算时间[6，7]。从拓扑学上讲，在计算场景中探索任何给定问题的最佳解决方案类似于在黑暗的房间中寻找一根小针[1，2]。虽然，这种搜索可以是高度https://doi.org/10.1016/j.eij.2020.07.0041110-8665/©2021 THE COMEORS.由Elsevier BV代表开罗大学计算机和人工智能学院出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表埃及信息学杂志杂志主页：www.sciencedirect.com186F. Sherwani等人/Egyptian Informatics Journal 22（2021）185X2概率和重要的，它也可能是计算上非常昂贵的[8，9]。然而，如果已知该引脚可能位于该房间中的某些特定区域中，则可以很好地降低整体计算成本并增加找到对象的概率[10，11]。这种情况符合梯度上升或梯度下降技术。这种技术允许计算算法识别潜在的搜索区域，并在这些区域中进行搜索，以确保每次运行期间的对称结果[3，4]。BPNN、ERNN和LM算法是神经网络中最常用的梯度下降算法2. BP神经网络算法反向传播（BP）神经网络算法可以被称为广泛采用的流行优化算法之一，其应用于神经网络（NN），旨在加速神经网络收敛到全局最优值[8BPNN继承了人工神经网络（ANN）的基本原理，遵循人类的学习过程和认知技能[12BPNN算法的结构类似于ANN，包括一层输入神经元，单个或多个隐藏层和一个输出层[10，14，16]。它的结构是一种完全连接的体系结构，其中一层中的每个节点连接到后续层中的所有其他节点，如图1所示。基于BP的神经网络通过反向传播输出层中的误差来学习，以便测量隐藏层中的误差。BPNN由于其高度的弹性和学习能力而被广泛应用于各种应用中[6，10，14，17]。原则上，学习过程的基本目的是通过优化网络中的权重w* 来减小预测输出Ok与实际输出tk之间的差异。误差函数定义为[7，18nE¼tk-OkK-1其中：n：输出神经元tk：期望的第k输出Ok：实际的第k输出图2展示了权重空间中误差函数的3D可视化。如图2所示，误差函数最高的点（a）被称为全局最大值，误差函数最小的点（c）被称为全局最小值。Fig. 1.反向传播神经网络的基本结构。图二. 误差函数的3D可视化。最小值，而每隔一个最小值称为局部最小值。误差函数可以被定义为网络中超过一层的权重的非线性函数，并且它可能具有许多局部极小值。总误差函数E相对于权重的梯度可以通过使用以下等式来表示：rEx¼02当量（2）可以通过将网络的实际输出与预期输出之差相等来计算网络误差[21误差在计算后作为参考通过网络传播回来，以执行权重调整[24这一过程一直持续到最大历元或者通过网络实现目标误差[26虽然BPNN采用了局部学习梯度下降技术，但它容易出现学习速度慢甚至网络停滞等问题。因此，初始参数（如权重和偏差、网络拓扑结构、激活函数、学习率和动量系数）的确定非常关键，应相应地计算[30这些参数可能会导致网络收敛速度减慢，如果选择不当，还可能导致网络停滞[33为了克服上述问题，在文献中已经提出并报道了许多技术和概念表1中突出显示了与BPNN相关的一些文献。适当选择权重的初始值对于BPNN算法表现更好并在网络收敛到全局最优值时引入灵活性至关重要[36动量系数是另一个BPNN参数，用于通过诱导一部分先前的重量变化来最小化轨迹中的振荡[39包含动量系数有助于通过避免由于局部不规则性引起的变化来调节梯度下降的路径[42因此，最大限度地减少因误差表面而产生的任何变化至关重要[45]。90年代初，固定动量反向传播算法（BPFM）表现出收敛到全局最优解的能力，但后来发现当误差梯度与权值的最后一次变化并行时，BPFM的收敛性能会下降，导致网络停滞甚至失效。因此，得出结论并建议动量系数特征中应存在自适应现象[46，47]。根据上述发现，以往的文献中提出了各种诱导自适应动量的方法，如动量步长和动态选择动量率以克服固定动量问题F. Sherwani等人/Egyptian Informatics Journal 22（2021）185187X表1反向传播神经网络简介。年份作者贡献1989Lari-Najalan等人，表示使用较大的初始权重，提高了BPNN网络的学习速度1990Kolen Pollack证明了BPNN对初始权重的敏感性并建议使用以小的随机值初始化的权重。1992Qiu等人，提出了几种适应性动量克服静态动量问题的技术方法，如动量阶跃和动量的动态选择。搜索[53，54]。为了避免网络训练的更多尝试和错误，Yu和Liu（2002）引入了具有自适应动量和学习率的反向传播和加速学习方法（BPALM）来解决固定学习率的问题[55，56]。最近，Hamid引入了自适应动量和学习率来加速传统BPNN的收敛。实验结果表明，学习率过小会降低网络收敛速度，而学习率过大则会导致网络收敛速度降低。因此，应该非常仔细地选择学习率，以使网络有效地执行[57，58]。除此之外，FAC-影响BPNN性能的因素，激活函数代表，1994斯旺斯顿，米切尔1996蒂姆、莫兰德、菲斯勒为了进一步提高BP神经网络的性能，提出了简单自适应动量法绘制了学习率、动量和激活函数之间的关系表示一个输出节点显示了一些突触或什么都没有。它的基本功能是限制输出神经元的范围它为预定义范围内的节点生成输出值，闭单位区间[0，1]或可选地[-1，1]，其可以是2008Mitchell通过调整动量来改进SAM，考虑多层感知器（MLP）的每个部分中的所有权重。已经观察到这种方法可以提高全局最小值的收敛速度（Mitchell，2008）。2009Shao Zheng介绍了一种新的反向传播势头算法（BPAM）与动态动量系数。2001叶烨声称，不断的学习是无法回答搜索最优权值导致的盲目搜索。2002Yu Liu介绍反向传播和加速线性或非线性函数[17]。在这项研究中，使用了logistic sigmoid激活函数，它将输出的幅度限制在[0，1]的范围内。第j个节点的激活函数在下面的等式中给出：1网wijOihj31/11自适应动量和学习率的学习算法（BPALM）2007Nawi提出的自适应学习率，Oj½1e-cjanet;jð4Þ动量和自适应增益参数。2012Hamid提出了新的自适应学习率和自适应动量技术，以加快传统的BP神经网络的收敛速度。2015Wang等人，提出了一种混合BPNN，针对传统BPNN算法容易陷入局部极小的问题，提出了一种自适应差分进化（ADE）算法，利用ADE优化BPNN算法的初始权值和阈值，然后由BPNN搜索最优权值和阈值Oj：第j个单元的输出。Oi：第i个单元的输出。wij：从单元i到单元j的链路权重。anet;j：第j个单元的net输入激活函数。hj：第j个单元的偏差cj：激活函数的增益在早期的研究中，功能已固定。但后来，人们意识到增益参数可以极大地影响激活函数的斜率。1996年，研究人员绘制了学习率、动量和激活函数之间的关系图[57]。在他们的研究结果中，指出学习速率和激活函数的增益是可交换的，并且可以通过2018昭阳业&金文根提出了一个结合莱文伯格Marquardt和反向传播（LM-BP）神经网络通过结合梯度下降法和拟牛顿法来提高预测精度，从而使收敛速度敏捷，整体性能得到提高。它是通过调整最速梯度下降法和高斯-牛顿法之间可变增益参数。Thimm改变激活增益的理论等价于学习率，Edom，Jung和Alfressena在2003年用模糊逻辑自动调整增益参数时进一步验证了动量。[58，59]在共轭梯度法的反向传播中使用自适应增益参数。在此基础上，提出了一种基于自适应动量和自适应学习率的自适应增益参数改进方法。所提出的具有自适应增益、自适应动量和自适应学习的反向梯度下降（BPGD-AGAMAL）算法在分类数据集上显示出BPNN性能的显著增强[60尽管继承了最稳定的多-[48、49]。 Swanston，Bishop和Mitchell提出了简单自适应动量（SAM）进一步提高BPNN[50]1994年在这种技术中，如果权重的变化方向相同，则增加动量项SAM大大提高了传统BP算法的整体性能，它的计算开销较低，收敛迭代次数明显在2008年，Mitchell在分析了多层感知器（MLP）网络的每个部分的所有权重后，通过缩放动量来这种方法被发现有助于提高收敛到全局最小值的速度[51，52]。除了动量外，另一个影响BPNN性能的参数是学习率。在早期的研究中，学习率的通常值保持恒定。2001年，叶先生声称，不断的学习是无法回答搜索最优权重导致的盲目性分层架构，BPNN算法不适合处理时间数据集，因为它的静态映射例程[63，64]。为了在BPNN上使用时间数据集，模式向量的小维必须相等，否则BPNN将变得无用。[36]提出了一种结合自适应差分进化（ADE）算法的混合BPNN，并将其命名为ADE-BPNN。该算法首先利用ADE优化BPNN的全局初始连接权值和阈值，然后利用BPNN进行全局搜索，解决了传统BPNN容易陷入局部极小的问题。[65-它是通过最陡梯度之间的自适应调整来实现的，188F. Sherwani等人/Egyptian Informatics Journal 22（2021）185我 我纪J我 我HHJHKJ我KJ图三. 递归神经网络架构。并采用最优下降法和3. 递归神经网络（RNNs）算法递归神经网络（RNN）算法可以被称为ANN的一个子类，其基于如图3所示的沿着节点的有向图序列架构来结构化。RNN以其表现出时间序列的动态时间行为的能力而闻名。RNN可以映射时间和空间数据集，并且具有短期记忆来记住过去的事件，从而高度影响输出向量[38，68]。这意味着，RNN具有存储对网络层中任何节点所做的先前更改的能力，这些更改可以在以后使用。由于这种学习弹性，RNN已被部署在几个领域，例如：简单序列识别，图灵机学习，模式识别，预测，优化，图像处理和语言解析等[39，69]。在ANN诞生的早期，完全递归神经网络非常流行。通常，RNN根据其功能分为完全递归或部分递归。一些例子是通过时间的反向传播（BPTT ）和递归反向传播（RBP）。BPTT的基本工作原理是展开[70]，它是一种完全递归网络的训练方法，允许反向传播训练原始网络的展开前馈非递归版本。一旦训练完成，来自展开网络的任何层的权重都会传递到递归网络上进行暂时训练[71]。BPTT在训练长序列时效率很低。此外，误差增量在它们被折回后对每个权重产生很大的变化，这需要更大的内存需求。如果使用更大的时间步长，则会减小称为消失梯度，从而使其完全不可行的应用图四、Elman递归神经网络[35]。[75]. Elman递归神经网络（ERNN）是Elman提出的一种相对简单的结构，用于训练网络，该网络的连接主要是前馈的，并仔细选择反馈上下文层上下文层节点将先前的输入存储到隐藏层的节点。上下文值用作隐藏层的额外输入，导致一次性延迟的开放内存[76]。 三层ERNN结构用于本研究中，如图所示。 四、在ERNN中，每个层都有自己的索引变量：任何数据集[72]。 与BPTT不同，递归反向传播(RBP)具有与主网络或从网络的相似性，净流量Xnxtv拉克什ð5ÞLapedes和Farber，不同之处在于它在建筑方面很简单[27]。在RBP网络中，直接对反向传播进行延拓，训练全递归神经网络。在这种方 法 中 ， 假 设 所 有 单 元 都 具 有 不 断 演 化 的 状 态 [73] 。 Pineda（1987）在200个模式的时间XOR上使用了RBP，发现它消耗了很多时间。此外，BPTT和RBP是脱亚麻训练方法，不适合-由于更多的时间消耗，能够用于长序列一九八九年其中，n是输入的数量，hj是偏置。在ERNN中，输入向量以类似于前馈网络的方式传播，该前馈网络通过具有某些权重的每一层传播。然而，输入向量通过额外的递归权重层U与RNN中的先前状态激活相结合;yj t fnetjt6净流量Xnxtv Xmy 拉克什ð7Þ在网络运行时进行更新，并且错误最小-在每个时间步之后而不是在序列完成时进行。因此，递归网络能够学习那些涉及固定或不确定持续时间的信息保留的任务[74]。在部分递归神经网络中，前馈递归其中，f表示网络输出函数，m表示状态数。网络输出由当前状态和输出权值W得到;yk t gnet kt通过对网络输出进行作为附加输入单元[10]或延迟隐藏单元输出净流量2000X2000-1000W拉克什ð9Þ我Williams使用RNN的在线训练，其中权重为纪JKF. Sherwani等人/Egyptian Informatics Journal 22（2021）185189不6××@t1@t2@tn@vnt7@vnt·· ·@vnt我2i¼1eR联系我们ðÞðÞr其中，g表示网络输出函数，Wkj表示从隐藏层k到输出层j的权重。在90年代初，ERNN被发现具有足够的泛化能力，并成功地预测了东京证券交易所的股票点位。ERNN还利用了并行硬件架构，并且它已经显示出更快的学习复杂模式的能力，例如自然语言处理[19]。在 医 学 领 域 ， 发 现在 临 床 试 验 期 间 以 高 精 度动 态 映 射 脑 电 图（EEG）信号分类是有益的[77]。后来，类似的ERNN技术被用于多普勒超声信号分类，使用李雅普诺夫指数，并再次即使在高度复杂的优化问题[81]。LM算法的基本工作原理是在等待适当的局部曲率以计算二次近似的同时，它不断地转换到最速下降算法之后，它转换为非常类似的Gauss-Newton 算法形式LM 采用Hessian矩阵逼近误差曲面。假设误差函数为：最大值1XN2吨1 0吨第11章我的世界（11）准确度很高[78]。基于优化pro-2T由ERNN提供，（Xing，2015）最近应用ERNN解决了电网中的实时价格估计问题，并取得了巨大成功[79]。尽管取得了这些成就，但ERNN算法仍面临初始权重困境，陷入局部极小或收敛速度慢。为了避免人工神经网络的局部极小和收敛速度慢，(LM)算法被引入[80]。[9]提出了一种混合的其中，E（t）i表示梯度下降，E（t）;表示E（t）l（t）的Hessian矩阵;符号化Jacobian矩阵在GN方法中，rw¼-½ITtJt]-1ITtet（13）2@v1t@v1t···@v1t3Elman神经网络与遗传算法的结合@v2t@v2···@v2t7(GA)用于预测公共建筑的能源消耗。采用遗传算法对ERNN中的权值矩阵进行优化结果表明，该方法在能耗预测的优化方面具有较好的效果。表2列出了与ERNN相关的文献。日本语简体中文64@t1：：：@t1@t2：：：@t2@tn：：：75@tnð14Þ4. LM神经网络算法BPNN算法通常被称为最速下降法，但它也存在收敛速度慢的问题。因此，引入了利用梯度下降和高斯-牛顿（GN）方法的中间算法。该算法被称为Levenberg-Marquardt（LM），由于其收敛表2关于Elman递归神经网络的简要文献。年作者贡献1987Pineda Pineda在200个模式的时间XOR上使用RBP发现它消耗了很多时间。19891989年，Williams使用RNN的在线训练，在网络运行时更新权重，并且在每个时间步之后而不是在序列完成时使误差最小化。1990一个ERNN网络是一个相对简单的结构Elman提出了一种训练网络的方法，该网络的连接在很大程度上是前馈的，并仔细选择反馈上下文层的隐藏单元。而对于作为GN的一种变型的LM算法;Wk1wk-hjTtJtkIi-1jtet15其中k是阻尼因子，k> 0且是常数，I是单位矩阵。该算法将模仿高斯-牛顿方法，以确保快速收敛到全局最小值。然而，当参数k较大时，方程（15）实现梯度下降（学习率为1/k）。尽管如此，LM分别继承了Gauss-Newton和BPNN方法的速度和稳定性。然而，传统上，LM算法保持计算昂贵，因为逆Hessian矩阵需要在单个时期内重复计算以更新网络权重。因此，LM通常被认为对于大型数据集是不切实际的，因为Hessian矩阵求逆的计算成本可以呈现为CPU开销。此外，需要存储用于计算的雅可比矩阵是PM N维的因此，存储雅可比矩阵的内存成本可能太大，实际上无法用于涉及大量数据集的应用程序[44]。1994年提出了非线性最小二乘的Marquardt算法，并将其与后验方法相结合1990神条和谷川已经发现ERNN具有足够的泛化能力，并已成功预测在东京证券交易所的股票点。传播算法进行前馈神经网络该算法在优化函数问题上进行了测试1991Jordan等人，前馈神经网络是通过前馈将网络输出作为额外的输入单元。2008多普勒超声采用Übeyli信号分类使用李雅普诺夫指数，并再次实现高精度。2014Cho等人，学习短语的RNN用于统计机器翻译的编码器-解码器。2015He等人，Xing（2015）最近应用ERNN来解决实际问题。在电网实时电价估算问题上取得了巨大的成功。Lems并以共轭梯度算法为基准和可变学习率算法。在仿真过程中发现，当网络权重限制在几百个时，Marquardt算法被证明比任何其他技术更有效[83]。2002年，两个二阶前馈神经网络的训练用于非线性最小二乘问题的LevenbergMarquardt（LM）方法引入了一个附加的自适应动量项.模拟-在大规模数据集上的实验结果表明，2018LGB Ruiz例如，提出了一种结合遗传算法的混合Elman神经网络用于公共建筑能耗预测。采用遗传算法对ERNN中的权值矩阵进行优化。模型的成功率优于传统的LM和其他梯度下降方法[84]。2005年晚些时候，LM算法实现，通过使用电子鼻来确定嗅觉他们的研究表明，LM算法是一种190F. Sherwani等人/Egyptian Informatics Journal 22（2021）185该算法比传统的BP算法具有更好的分类效果。[84]通过直接计算准Hessian矩阵和梯度向量优化了LM算法，从而消除了存储雅可比矩阵的需要，因为它被替换为向量运算。在大数据集的仿真中，雅可比矩阵的去除仿真结果表明，这种非传统的LM算法比简单的LM算法具有更好的性能和更少的硬件和CPU开销。[85]通过直接计算拟Hessian矩阵和梯度向量，而不考虑Jacobian矩阵的乘法和存储，解决了LM训练中的内存限制问题[86]提出了一种新的通过时间的前向累积（FATT）算法，以便计算LM算法中的雅可比矩阵乘法，[89-在所提出的研究中已经观察到，基于TSVD的LM算法收敛到适当的估计，因为它逐渐解决了真实模型的重要特征。最近，已经提出了另一种解决传统LM算法中的平坦点问题的技术，通过压缩神经元权重，随后将神经元激活从饱和区域推向线性区域[93，94]。该算法（LM-WC）通过自适应压缩参数的调整，避免了训练失败，保证了网络的收敛性一些与LM相关的文献在表3中突出显示。表3关于Levenberg-Marquardt神经网络的年份作者贡献1944Levenberg该算法被称为Levenberg-Marquardt(LM)由于其即使在高度复杂的优化问题中也能收敛的能力，所以其比GN技术相对更鲁棒1994非线性最小问题的Marquardt算法提出了一种新的训练前馈神经网络的算法，并将其与反向传播算法相结合。5. 讨论人工智能（AI）和机器学习（ML）是当今最活跃的研究领域之一，因为控制系统和机器人领域的工业需求类似地，AI和ML研究领域正在进行调查，以提供这种可以使计算机科学领域受益的改进技术。AI和ML的应用范围从基本的机器人技术到基于技术需求的高度复杂的行业有各种基本的方法，形成这些智能系统的基础，这已经在评论文章中讨论。然而，在这样的系统中，每个任务的优化是此外，确定性算法是这样的数学程序，其允许系统识别优化问题内的最优搜索区域，以便基于工业需求确保对称结果以执行特定信息或功能。此外，数据分类领域是机器学习技术中最重要的类型，它处理大型计算的分类，并处理复杂的工业和组织数据集。使用现有技术对这些庞大的数据集进行分类导致更高的计算时间和降低的准确性，这也是处理此类数据集时的主要挑战之一。近年来，提出了几种基于优化技术的混合分类算法，并普遍用于优化和有益的分类过程。生物启发式算法是最常用的杂交技术，因为它们的通用的探索和利用能力。因此，本文讨论了在第四次工业革命的现代时代，用于在ML应用程序、工业和组织环境中实现数据分类的主要和主要实施和利用的确定性优化技术。 这些技术包括BPNN，ERNN和LM算法，这些算法是目前基于其性质和特定工业需求在神经网络中使用的一些最广泛的梯度下降技术。然而，在这篇评论文章中也讨论了对这些技术从传统形式中所做的最突出的改进为了对复杂的数据集进行有效的分类，发展这样的分类技术是非常重要的2002安帕齐&佩兰托尼斯提出了两种二阶算法，前馈神经网络可以减少计算时间并提高分类精度为了减少计算量，2005Kermani等人，实施LM算法以确定通过使用电子鼻来感知气味倍和提高分类精度，使用优化算法的混合分类技术已被观察到，2007Wilamowski等人，2010维拉莫斯基湾M.，&Yu，H.通过直接计算拟海森矩阵和梯度向量对LM算法进行了优化，从而消除了存储雅可比矩阵的需要，因为它被替换为向量运算。通过在计算拟Hessian矩阵和梯度向量时忽略Jacobian矩阵的乘法和存储，解决了LM训练中的内存限制问题直接.最合适的。6. 结论这篇简短的文献综述还强调了基于确定性优化的梯度下降系统被认为是实现基于神经网络的数据分类的有效方法2014Xingand Fu等人，一种新的前向时间累积FATT算法由[31]提出，以便计算LM算法中的雅可比矩阵乘法，从而使用LM算法有效地训练ML应用程序中。此外，得出的结论是，虽然，已经提出了在以前的文献中的这些技术的许多改进，即使这样，仍然有很大的范围和需要进一步改进这些技术，以便以应对日益增长的高度复杂的数据供应2016希兰吉&Alexandre2018James S. Smith等，介绍了一种基于截断奇异值分解（TSVD）的LM算法的改进实现，该算法用于生成以生产数据为为了解决典型LM算法中的平坦点问题，保证神经网络的早期收敛，提出了带权值压缩的Levenberg-Marquardt算法这些天基于机器的混合分类技术中普遍存在的问题限制了自动分类系统在高维分类问题中的潜力为了执行和辅助对这样的数据集的有效分类，开发这样的分类技术是至关重要的，其可以显著地减少计算时间并提高这样的应用的分类精度。因此，为了减少混合分类技术中的计算时间，F. Sherwani等人/Egyptian Informatics Journal 22（2021）185191为了提高优化算法的性能，提高整体分类精度，提高传统优化算法的优化能力是必然的。确认这项工作得到了马来西亚教育部（MoE）下的马来西亚国际奖学金（MIS）的支持。引用[1] 放大图片作者：J.次模极大化问题的确定性算法。 ACM Trans Algorith（TALG）2018年6月16日;14（3）：32。[2] Sergeyev YD，Kvasov DE，Mukhametzhanov MS.比较元启发式和确定性一维全局优化算法的操作区。数学计算模拟2017年11月;1（141）：96-109。[3] Socher R，Manning CD，Ng AY.用递归神经网络学习连续短语表示和句法分析In： Proceedings of the NIPS-2010 deep learning and unsupervised featurelearning workshop 2010 Dec 10，Vol. 2010，p.一比九[4] Chan TM.改进的低维线性规划确定性算法。 ACM Trans Algorith（TALG）2018年6月16日;14（3）：30。[5] 杨文伟，杨文伟.概率链接，以增强确定性算法，减少医院管理数据中的数据链接错误。 J Innov Heal Informat 2017;24（2）：234-46。[6] 王X，彭Y，陆L，陆Z，Bagheri M，Summers RM.chestx-ray 8：医院级胸部x射线数 据 库和 常 见 胸部 疾 病 弱监 督 分 类和 定 位 的 基准 。In ： Computer Vision andPattern Recognition（CVPR），2017 IEEE conference on 2017 Jul 21，p. 3462[7] 王刚，郭玲，段华.多小波函数小波神经网络在目标威胁评估中的应用。Sci WorldJ2013;2013.[8] Rumelhart DE ， Hinton GE ， Williams RJ. 通 过 反 向 传 播 错 误 来 学 习 表 示 。Nature1986;323（6088）：533.[9] 张平，杨杰，杨杰，游泰.基于粒子群优化和反向传播神经网络的呼吸信号预测。In：AIP conference proceedings 2017 Apr 28，Vol. 1834，No. 1，p. 040049 ，AIPPublishing.[10] Nawi NM，Khan A，Mr.一种新的优化布谷鸟搜索递归神经网络（CSRNN）算法。In ： The 8th international conference on robotic ， vision ， signal processingpower applications 2014，p. 335[11] Wang B，Hobbs BF.实时操作的斜坡市场设计：它能接近随机优化理想吗？In：Power and Energy Society General Meeting（PES），2013 IEEE 2013 Jul 21，p. 1[12] 龚强，李英，彭志.基于神经网络行程建模的插电式混合动力电动汽车功率管理。在：美国控制会议，2009。ACC'09。2009年6月10日，第4601-6页[13] DasD，Pratihar DK，Roy GG，P. 基于唯象模型对电子束焊接过程进行了研究，并利用反向传播算法、遗传算法、粒子群优化算法和蝙蝠算法训练的神经网络进行了输入输出建模。Appl Intell 2018 Sep 1;48（9）：2698-718.[14] Nawi NM，Ghazali R，Salleh MN.用改进的反向传播算法预测心脏病患者。JComput 2011;3（2）：53-8.[15] Nawai N，Shariff MN.个人贷款方式下小额信贷项目还款问题的定性分析。[16] Nawi NM.使用历史数据进行过程优化的计算问题斯旺西大学（联合王国）; 2007年。[17] Nawi NM，Ransing RS，Ransing MR.一种改进基于梯度的搜索方向以提高基于反向传播的神经网络算法的计算效率的新方法。In：Modeling Simulation，2008. AICMS 08.第二届亚洲国际会议，2008年5月13日，第546-52页[18] Nawi NM，Mizzman MZ，Ghazali MI.使用梯度下降和自适应动量算法预测马来西亚产业工人的噪声性听力损失Int Rev Comput Softw 2011年9月;6（5）：740-8。[19] 阿卜杜勒·哈米德自适应参数对反向传播性能的影响，博士论文，马来西亚敦侯赛因大学。[20] Hamid NA，Nawi NM，Ghazali R，Salleh MN.利用自适应增益、自适应动量和自适应学习率解决BP算法在分类问题中的局部极小问题In：Internationaljournal of modern physics：conference series 2012，Vol.9，p.448[21] Fkirin MA，Badwai SM，Mohamed SA. Toshka地区利用神经网络进行变化检测。在：无线电科学会议，2009年。NRSC 2009年。National 2009年3月17日，第1-10页[22] 邱G，Varley MR，Terrell TJ. 利用自适应动量步长加速反向传播网络的训练。 电子通讯1992年2月13日;28（4）：377-9。[23] 放大图片作者：J.反向传播类神经网路学习率与增益之可互换性。神经计算1996年2月15日;8（2）：451-60。[24] 张D，Martinez N，Lindholm G，Ratnaweera H.使用水力模型和递归神经网络管理下水道在线存储控制。水资源管理2018;32（6）：2079-98.[25] ZhangH，Liu F，Zhaikumar MS，Meerschaert MM. 时变分数阶可动-不动对流-弥散模式的一种新的数值方法。Comput Math Appl2013;66（5）：693-701.[26] 张丽，胡新，王正，孙芳，多瑞尔. 超级电容器的分数阶建模和荷电状态估计。JPower Sources 2016;15（314）：28-34.[27] 张 丽， 杨婷 ， 金荣 ， 何晓 .光 滑和 强凸 函数 随 机优 化的 O （ logT ） 投影 。In ：International conference on machine learning 2013 Feb 13，p. 1121[28] 张松，余英，王宏.分数阶Hopfield神经网络的Mittag-Leffler稳定性非线性肛门混合系统2015;1（16）：104-21.[29] 张英，王松，季刚.粒子群优化算法及其应用综述。 Math Probl Eng 2015;2015.[30] Wilamowski BM ， Yu H. 改 进 Levenberg-Marquardt 训 练 的 计 算 。 IEEE TransNeural Networks2010;21（6）：930-7.[31] 傅X，李S，费正清M，Wunsch DC，Alonso E.用Levenberg-Marquardt算法训练递归神经网络用于并网变流器的最优控制。IEEE Trans Neural Networks Learn Syst2014;26（9）：1900-12.[32] Shirangi MG，Emerick AA.一种改进的基于TSVD的Levenberg-Marquardt历史匹配算法及其与Gauss-Newton算法的比较。J PetrolSci Eng 2016;143：258-71.[33] Smith JS，Wu B，Wilamowski BM.使用Levenberg- Marquardt和自适应权重压缩进行神经网络训练。IEEE Trans Neural NetworksLearn Syst 2018;30（2）：580-7.[34] Ruiz LGB，Rueda R，Cuéllar MP，Pegalajar MC.基于进化优化Elman神经网络的能源消费预测。专家系统应用2018;92：380-9.[35] 博登湾递归神经网络和反向传播指南。达拉斯项目; 2001年。[36] 王丽，曾毅，陈涛.基于自适应差分进化算法的BP神经网络时间序列预测。专家系统应用2015;42（2）：855-63.[37] Ye Z，Kim MK.使用优化的反向传播和Levenberg-Marquardt反向传播神经网络预测建筑物的用电量：中国购物中心的案例研究。Sustain Cities Soc2018;42：176-83.[38] Maru A，Dutta A，Kumar KV，Mohapatra DP.基于反向传播神经网络的有效软件故障定位。In：Computational Intelligence in Data Mining，p. 513[39] Mukherjee A，Jain DK，Goswami P，Xin Q，Yang L，Rodrigues JJ. 智能交通系统MIMO传感器网络中基于BP神经网络的簇头识别。 IEEE Access 2020.[40] Park D，Cha J，Kim M，Go JS. 基于CFD、响应面、GMDH-神经网络、BP-ANN和遗传算法的旋风分离器分离性能代理模型的多目标优化与比较。工程应用计算流体机械2020;14（1）：180-201.[41] LiQ，Wang J，Tao H，Zhou Q，Chen J，Fu B，et al. 基于BP神经网络的心脏瓣膜置换术患者华法林个体维持剂量预测模型。临床药物投资2020;40（1）：41-53。[42] Das SR，Mishra D，Parhi P，Debata PP.基于递归反向传播神经网络的共同基金投资方法In：Advances in Intelligent Computing and Communication，p.330[43] 余亮，靳伟，周军，李新，张勇.用R语言实现BP神