没有合适的资源?快使用搜索试试~ 我知道了~
细胞遗传算法优化医学数据分类
数组14(2022)100173通过用于医学数据分类的细胞马蒂亚斯·加布里埃尔·罗哈斯a,*,安娜·卡罗琳娜·奥利维拉a,b,巴勃罗·哈维尔·维达尔a,b大学信息和通信技术研究所,国家科学和技术研究委员会,库约国立大学,Padre Jorge Contreras 1300,Mendoza,M5502JMA,Mendoza,Argentinab阿根廷门多萨大学中心库约国立大学工程学院,M5502JMA,门多萨A R T I C L E I N F O关键词:多层次感知器训练方法细胞遗传学算法的元启发式研究医学数据分类A B S T R A C T在过去的几年里,由于人工智能的出现,医学技术取得了重大进展。 一个做出准确医学诊断的框架。像多层感知器(MLP)这样的模型可以检测数据中的隐式模式,允许识别不容易看到的患者状况。 MLP由排列在层中的偏置神经元组成,通过加权连接连接。它们的有效性取决于找到最佳的权重和偏置,以减少分类误差,这通常是通过使用反向传播算法(BP)的一个例子。但英国石油公司有几个不利因素,可能导致MLP不学习。元启发式是BP的替代方案,可以在不使用大量计算资源的情况下实现高质量的解决方案。在这项工作中,细胞遗传算法(CGA)与一个专门设计的交叉算子称为阻尼交叉(DX),提出了优化权重和偏置的MLP分类医疗数据。当与最先进的算法进行比较时,配置了DX的CGA在五个考虑的医学数据集中的三个中获得了最小均方误差值,并且是最快的算法。四个数据集,显示了耗时和优化性能之间的更好平衡。此外,[编辑]它在提高分类质量方面具有竞争力,用两个数据集达到最佳准确度,用两个保留数据集达到第二佳准确度。1. 介绍性今天,如果不谈论人工智能,就不可能想象医学的进步。来自不同来源的令人难以置信的大量数据,如医学图像、临床检查数据、传感器和许多其他数据,远远超出了人类处理和分析它们的能力[1]。例如,一位放射技师平均在大约40年内分析了大约215,000张放射照片,而人工智能方法的处理时间约为一小时[2]。毫无疑问,人工神经网络(ANN)是对医学领域做出最大贡献的人工智能方法之一[3]。人工神经网络在医学中的应用实例包括:疾病诊断[4,5]、治疗行为预测[6多层感知器(Multilayer Perceptron,MLP)是一种人工神经网络,其计算单元(称为神经元)分为三种类型的层。 每个神经元都连接到下一层的所有神经元,数据从第一层流向最后一层。神经元之间的联系一个权重,表示链接的强度此外,两者都有。隐藏的和输出的神经元有一个偏置,它作为神经元激活的阈值。MLP的吸引力在于它能够成为一个通用的分类器,能够适应数据的不同分布、特征和复杂性[12]。考虑到医学数据可能存在噪声、分类分布不平衡以及可能存在配准错误,这种质量在医学领域是非常需要的[13]。MLP的有效性取决于它的学习过程,它定义了权重和偏置值,使训练样本的分类误差最小化。 反向传播算法(BP)是使MLP学习的标准方法。然而,BP有几个弱点,可能导致MLP学习过程中的分歧,因此,倾向于陷入局部最优或依赖于初始。超参数的值[14,15]。近年来,元启发法作为BP方法的替代方法受到了越来越多的关注。它们是能够在合理的时间内找到高质量解的迭代算法。它们的一个突出特点是,它们可以应用于不同种类的问题,而不需要特定的知识[16,17],这使得它们成为可能。* * 通讯作者,通讯作者。电子邮件地址:mrojas@mendoza-conicet.gob.ar(M.G.Rojas),acolivera@conicet.gov.ar(公元前Olivera),pjvidal@conicet.gov.ar(P.J.维达尔)。https://doi.org/10.1016/j.array.2022.1001732022年1月24日收到;2022年4月22日收到修订后的表格;2022年4月23日接受2022年4月30日在线提供2590-0056/© 2022作者。由Elsevier Inc.出版。这是CC BY-NC-ND许可证(http://creativecommons.org/licenses/by-nc-nd/4.0/)下的开放获取文章。ScienceDirect上提供的内容列表数组期刊主页:www.elsevier.com/locate/arrayM.G. Rojas等人数组14(2022)10017321���������1命名法������隐藏或输出层的神经元的偏差。���分布指数。B整个MLP的偏差L给定数据集的一组训练样本。W整个MLP的权重集。埃���、���,1MLP中从输入神经元到隐藏神经元的权重MLP中从隐藏神经元到输出神经元的���������人口中最佳解的元素。������Lower variables boundary.���隐藏神经元的数量。输入神经元的数量������1��� Element��� of the first offspring of the crossover operator.������2��� Element��� of the second offspring of the crossover operator.1交叉运算符的第一个父项2交叉运算符的第二个父项���随机数。通过算法找到一个候选解。������������+1������������������������������������解的位置在赋值+1时的���解的位置在赋值时的值。���输出神经元的求和运算的结果是什么?隐藏神经元的总结性操作的结果。���要进行的健身评估总数。进行体能评估的次数。������Upper variables boundary.������An input to the MLP.���MLP的二进制输出CGA,因为它们有助于更好的勘探和开发。埃���������隐藏神经元的输出。���来自唯一输出神经元的输出。搜索空间[23]。以前的工作表明,当优化过程应用于连续搜索空间时,CGA获得了与最先进算法相比具有竞争力的结果[24,25]。������Expected输出 为 A样品���的训练集。ABC人工蜂群。ALO蚂蚁狮优化器。人工神经网络人工神经网络。AX调整交叉。Bat Bat算法。BBO基于生物地理学的最优算法。BOA Butterfly优化算法。它适用于解决复杂优化问题,如MLP的学习过程[18,19]。研究表明,元启发式可以很好地训练MLP模型,即使必须优化大量的权重和偏差[20,21]。细胞遗传算法(Cellular Genetic Algorithm,CGA)是一种基于经典遗传算法(Canonical Genetic Algorithm,GA)的元启发式算法,它适用于分散的群体,其中遗传操作员每次作用于小的重叠子群体。这些功能增强了系统的性能。然而,进化出的高维解可能会给遗传操作者带来挑战,导致优化器出现分歧。为了解决这个问题,有必要设计新的遗传算子,通过使用这样的外部信息作为进化过程的阶段,这些遗传算子可以加快速度并增强算法的收敛性[26]。在本文中,CGA被用作寻找医学数据分类的MLP的最佳权重和偏倚的替代方法。提出了一种新的交叉算子,称为阻尼交叉算子(DX),以提高CGA在穿越搜索空间时的性能。其目的是获得一种可靠的方法来培训MLP和提高分类质量。这项工作的主要贡献可以总结为以下几点:1. CGA用于MLP的权重和偏置的最佳化。2. 介绍了一种新的遗传交叉算子--阻尼交叉算子(DX)。它使用受影响的谐波振荡函数和与最佳电流解和进化过程的阶段相关的信息来确定重组的方向和幅度。[10]英国石油公司C9CGACSDEDXEOESFWAGAGWOIMGWOLOAMFOMLPMPAMSEMVONUMPBILPM PSORM SBXSCASNSpSSATDE乌姆韦沃亚WOA反向传播算法的一个例子。《邻里契约》第9类。细胞遗传学算法的研究。布谷鸟搜索。差异化进化。阻尼交叉点。Equilibrium优化器。进化论战略。Fireworks算法。遗传算法[编辑]灰狼优化器。惯性动机灰太狼乐观主义。Lion优化器算法。Moth-Flame优化器。多层 感知器。海洋捕食者的算法。均方误差。多节优化[编辑]非均匀突变的一种形式。基于人口的渐进式学习。多态性突变。粒子群最优化。随机突变。模拟二进制交叉。Sine–Cosine敏感性。特异性。Salp Swarm算法。三角形突变差异进化(TrigonometricMutation Differential Evolution)均匀突变。速度增强型鲸鱼最佳化Al- gorithm。Whale Optimization算法的一个例子。���������M.G. Rojas等人数组14(2022)1001733������+1∑11{0}如果<0. 5=L1、∑���、评估分类质量的实验和度量标准的应用1,1���L3. 针对CGA的众所周知的遗传操作符对DX的不同配置进行了评估。五项医疗激活功能。最常用的是S形函数,它是通过方程1为给定神经元���(2)。考虑将数据集用于实验。������=���(���������)=1(二)4. CGA与最先进的算法进行了更深入的比较���以前用于MLP的最佳化比较是做出来的1+������������看看每个人如何在很大程度上提高MLP的分类本文档按以下方式组织。 第2节介绍了MLP,Being是隐藏神经元的最终输出。������该输出可以馈送到隐藏层或输出层的另一个子层中的另一个。���如果存在单个输出神经元,如图1所示。在图1中,求和运算由等式1穿孔。(3),其中是神经元的输出������给予 A notion 关于 The 传统的 方式 的 培训、 定义了的隐藏层,和 是之间连接的权重之间的权重问题的形式,并提出了相关的作品在文学。第3节隐藏神经元���和t h���,e1输出神经元。这是偏见。描述了CGA、解的表示和DX。 第4节是关于实验设置、用于测试的数据集、最先进的算法和用于测试的遗传运算符。输出神经元。���������=×+���+1(3)���结果及其分析如第5节所示。最后,第6节介绍了结论和未来工作。=0最后,从MLP到数据集的给定实例的结果由输出神经元的激活操作确定(参见等式1)。(4))。2. 多层感知器������������=(4)1多层感知器(MLP)是一种人工神经网络(NN)。11 +��� −������这是一个很好的例子,属于前向神经网络家族。 MLP有一组称为神经元的处理单元,用于转换数据以获得预期输出[27]。在内部,神经元由三个分化良好的层组成。第一层包含输入神经元,它接收输入信号,并将输入信号传递给第二层。当MLP用于分类时,MLP的输出必须是可在类之间区分的离散值。二进制输出是常用的。转换由Eq.获得的实际输出。(4)对于在两个类之间进行区分的最终二进制输出,等式。(5)已使用。数据并将其重定向到下一层。 输入神经元的数量通常与特征的数量相同,而特征的数量通常与输入神经元的数量相同。第二个层,称为隐藏层,包含使用数据绘制地图的神经元。11如果≥0.5���(5)和数学函数中的函数。根据问题的复杂性,MLP可以配置有一个或多个隐藏层。最后,输出层接收由隐藏层转换的数据,并返回一个结果。输出层中神经元的数量取决于对预期结果进行编码的MLP是层次性的和完全连接的,意味着一层的神经元通过加权连接与下一层的所有神经元相互作用,例如,每个输入神经元都连接到隐藏层中的所有神经元。每个连接的权重()表明两个给定神经元之间的连接有多强。���此外,隐藏和输出...2.1. 问题的定义设W神经元之间的连接权重为一组,B神经元之间的连接权重为一组,B神经元为隐藏神经元和输出神经元。目标是找到权重W和偏置B的最佳组合,以最小化MLP的均方误差(MSE)。因此,这个问题的一个解是一个实向量,其长度等于W中的权重和B中的偏置的总数之和,其中它的每个元素都是要优化的权重或偏置。解决方案的适应度函数用公式表示。(6)。它被计算为MLP使用中的配置返回的输出的MSE。神经元有一个叫做偏置()的元素,它是一个调整的阈值1×2通过调节神经元的输出来预测依赖于值,神经元的反应将是兴奋性的(阳性)或���������������������() =���=|| ���=1(−������1,)(六)抑制性(阴性)[28,29]。MLP consist在哪里|L|是训练 样本 的总数量,��� 是预测的求出权重和偏置的最佳集具有输入神经元的MLP的结构,一个具有输入神经元的隐藏层���神 经 元和一个输出神经元如图1所示。 1. 重量为对于训练集L中的第个训练sam1 p,le,在范围[0,1]中的实际值,由等式获得。(4)。������is the expected binary output for the��� th training sample.连接器 从输入到 隐藏层由下式表示:������ 和MSE经常被用来评估回报率。[10]但是,在上下文中从隐藏层到输出层的连接的权重为show���,���edas在分类中,它提供了一个度量标准,说明当,其中������������偏置显示为with预测浮点输出 (上一页将其转换为二进制)近似值,1预期的二进制输出。���这个想法是,对于阴性样本���������={1���对于接近0的阳性样本,对于接近1的阳性样本[15]。1、隐藏神经元通过执行两个操作来转换数据:求和mation和激活。前者是介于两者之间的乘积之和。 来自前一层的神经元的输出和连接的权重,被添加到相应的偏置。Eq. (1)用于将求和应用于隐层的给定神经元簇上。������������=������×��� +������(1)由于MSE是一个二次函数,因此当MLP输出偏离预期时,它会受到很大的惩罚。这就是为什么MSE被广泛用作通过元启发法优化权重和偏置的适应度函数的原因[14,30]。2.2. 培训MLP的���=0���、学习是人工神经网络获取知识的过程,也就是说,学习是人工神经网络获取知识的过程。其中是输入神经元之间连接的权重。���������输入层和隐藏层中的神经元。������是供给神经元������������激活运算应用一个数学函数来映射求和运算的结果,这是一个简单的数学运算这个函数被称为。这就是为什么他们能够在分类和回归任务中进行训练并取得成效。在MLP中,学习是通过训练神经网络来实现的,这是一个迭代过程,用于确定最佳权重和偏差,以减少获得的输出和预期输出之间的误差。M.G. Rojas等人数组14(2022)1001734图1。 多层感知器(MLP)的结构示例。MLP最常用的训练方法之一是反向传播(BP)[31]。它从设置权重和偏置的随机值开始。将分类样本(作为训练集引用)提交给MLP,以获得输出值。然后,计算获得的值和期望的值之间的误差,并将其反向传播到正确的权重和偏差。重复这些步骤,直到达到可接受的错误[29]。基本的BP算法使用一阶梯度下降来进行MLP的最优化。 其他现有的优化MLP的方法是共轭梯度[32],其基于二阶最小化方法,准牛顿方法[33],虽然传统的方法在它们所应用的大多数问题中被证明是有效的,但在某些情况下,它们要么在延长的周期内停留在MLP的相同误差值上,要么甚至停留在局部最优值上。此外,它们的成功很大程度上取决于权重的初始值、动量的初始值和学习率,如果它们没有正确定义,这可能会导致发散[14]。最后,常规方法通过只关注权重值来搁置偏倚[15,36]。考虑到传统分类方法的缺点,本文提出了一种基于细胞遗传算法的MLP优化器,以确定权重和偏置值的最佳组合,从而提高分类质量。2.3. 相关作品近年来,人们已经证明,元启发法可以应用于训练MLP,甚至达到比传统数学方法更好的结果[37]。[38][39]这促使不同的作者用元启发法训练MLP,以解决现实生活中的不同问题,并获得了特色结果。Kaveh等人[38]的工作使用了基于生物地理学的Op定时算法(BBO)来训练MLP,该算法将声纳数据分类为三个不同的类别:噪声、混响和杂波。本文引入了一种新的突变算子,以提高BBO的探索能力。结果表明,新运算符的提议可以对算法的行为产生积极的影响,从而提高结果的分类性能。 Qiao等人[39]也使用声纳数据,提出了一种改进的鲸鱼优化方法。一种算法(WOA),用于训练实时分类声纳信号的MLP。本文介绍了利用数学函数在进化过程中控制探索与开发之间平衡的新方法,并对该方法进行了改进。这种方法显示了数学方法是如何帮助指导元启发式在大搜索空间中的搜索过程的......结果表明,该命题在分类准确性和收敛速度方面都优于文献算法,但在分类准确性和收敛速度方面都优于文献算法。Jalali等人[40]将其应用于机器人领域,他们比较了一组自然启发的算法,以确定用于自主机器人导航的MLP的最佳权重和偏置。所考虑的算法是Moth-Flame算法(MFO)、粒子群优化(PSO)、灰狼光学模拟器(GWO)、布谷鸟搜索(CS)和多诗句优化器(MVO)。评估的算法超越了传统的BP和Mansouri等人[41]实现了一种与进化策略(ES)算法混合的GWO,以训练人工神经网络检测异常传感器网络行为。当准确性至关重要时使用GWO,当首选ES来穿透快速检测时使用ES。 结果表明,两种方法都如预期的那样工作,并且人工神经网络能够准确地识别工业传感器网络中的异常。它还表明,不同的元启发式可以提供不同的行为,定制的特定背景下的问题。对于能源生产问题,Aladejare等人[42]开发了一种基于PSO的人工神经网络训练器,用于预测煤炭、生物质和其他固体燃料的最高热值,以确定它们的能源消耗。与文献中的多线性和多非线性模型相比,由PSO训练的人工神经网络表现出令人满意的预测能力。文献中的几个建议通过使用元启发法解决了不同规格的医学数据集上的分类问题。[10]用于训练人工神经网络。在[43]中,使用蝴蝶优化算法(BOA)来训练MLP。结果显示,BOA达到了类似的性能对现有方法的回应。测试仅集中在帕金森氏症和脊柱数据集上,这表明需要考虑数据的不同复杂性和分布,以确认该方法可以在复杂情况下有效地训练MLP。此外,作者使用了BOA的规范版本,该版本建议,如果对算法进行特定修改,则将获得更好的结果。M.G. Rojas等人数组14(2022)1001735这是建议。文献中的另一个生物启发算法是Das等人[44]提出的,其中速度增强型鲸鱼优化算法(VEWOA)训练人工神经网络来对与乳腺癌、宫颈癌和肺癌相关的数据进行分类。VEWOA提出,每一条鲸鱼都必须有一个速度,在PSO中计算,其中考虑粒子的最佳位置和先前位置。结果与不同的机器学习方法和规范的WOA进行了比较,这使得很难观察到这种方法在多大程度上提高了专门为MLP训练设计的元启发法的性能。Kumar et al. [45]提出了一种惯性动机灰狼优化算法(IMGWO),该算法训练MLP对乳腺癌、心脏病、肝炎和帕金森病相关数据进行分类。IMGWO引入了一种新的方法,使用非线性函数计算勘探和开发之间的平衡。它也倾向于使用类似于PSO的速度概念。IMGWO收敛所需的eval-uations数量明显高于文献中使用的eval-uations数量,这表明这些更改可能已经发生。这对算法的收敛能力有很大的负面影响。IMGWO比GA、PSO和GWO的规范版本表现得更好。尽管如此,比较并没有与准备Sharifi等人[46]比较了 GA 和 The PSO 在 定义MLP的初始权重和偏倚,以检测甲状腺功能性疾病(Thyroid functional disease)。在初始化阶段之后,通过Levenberg-Marquardt方法训练MLP。结果表明,遗传算法和粒子群优化算法都有助于准确诊断,在提高分类质量方面,遗传算法优于粒子群优化算法。Salman等人[47]比较了GA、PSO和焰火算法(FWA)在优化MLP的权重和偏倚方面对五个基准医疗数据集进行分类。在不同的MLP体系结构上尝试了元启发式,这有助于理解人工神经网络体系结构决策和不同参数配置对元启发式性能的影响。结果表明,体系结构的变化并没有显著影响算法的性能,但这并没有影响算法的性能然而,每一个元启发式报告的分类质量的改进所带来的迭代次数都在增加。简单地说,元启发法本质上即使在必须优化许多权重或偏差的情况下也能很好地工作。Bhattacharjee在[48]中提出GA和PSO之间的五种不同杂交,以训练MLP,该MLP根据分子脑肿瘤数据对人类神经胶质瘤进行分类。本文提供了一个有趣的观点,如何PSO和GA可以结合,以及什么组合提供了最好的结果。这项工作确定了PSO和GA之间的杂交可以报告良好的结果,因为产生的协同效应。在[49]中,作者比较了11种最近提出的元启发式方法,用于训练人工神经网络对50个不同的医学数据集进行分类。实验中包括的算法有人工蜂群(ABC)、蚂蚁狮子优化器(ALO)、BBO、平衡光学导弹(EO)、MFO、海洋捕食者算法(MPA)、PSO、正弦-余弦算法(SCA)、Salp蜂群算法(SSA)、三角变异差分进化(TDE)、WOA、SSA与PSO的混合算法、一个混合SSA与SCA和确定性方法训练人工神经网络Levenberg-Marquardt。 评估集中在七种不同的分类质量指标上。元启发法已被证明在训练人工神经网络方面是高效的。然而,该评估没有考虑BP,忽略了用于训练人工神经网络的广泛使用的选项之一。作者强调了元启发法中的EO,当考虑所有分类指标时,元启发法获得了更好的值。在此基础上,选择了EO的参数 通过观察哪个配置提供了最佳结果。另一种算法是由文献中使用的自适应方法或设置配置的,这表明比较可能是不公平的。Orozco等人[50]应用多目标CGA优化了MLP。多目标方法的重点是对体系结构进行优化。MLP连接的权重,但不是偏置的权重。该方法在两个乳腺癌医学数据集上进行了测试,并使用标准遗传学运算符配置了CGA。这个命题已经达到了与文献中的算法相似的结果。然而,自从 由于算法没有考虑到偏差,因此应该提出新的方法来优化所有的MLP参数。[10]在分析了所有这些贡献之后,似乎很清楚,很少有方法设计和评估新的运算符,以在数字上改进搜索,并与问题空间保持一致。在本文中,CGA方法 本研究旨在解决MLP的权重和偏置的最优化问题。这个想法是为了利用CGA的财产的优势。为了更好的勘探和开发,就像最好的解决方案和开发在社区中的缓慢传播一样。此外,还提出了一种新颖的专门设计的交叉算子。我们的目标是使进化过程在运行时更加精确,并考虑在没有进化过程的社区中的最佳解决方案。据我们所知,没有提交的工作包含本文的组成部分。3. 一种细胞遗传学算法细胞遗传算法(Cellular Genetic Algorithm,CGA)[22]是一种基于经典遗传算法(Canonical Genetic Algorithm,GA)[51]的去中心化进化算法,其不同之处在于如何管理种群。在CGA中,个体分布在环形网格上,其中列或行中的边界个体连接到对面边界上的那些个体。在进化过程中,在应用遗传操作符的地方,个体只能与他们的邻居进行互动。邻居是由一种类型的邻居决定的最接近的个体,考虑到曼哈顿的距离。通过使用neighbou-hoods,CGA能够在每个人内部进行本地搜索过程,这有助于发现更好的近距离解决方案(搜索空间的利用)。这是可能的,因为遗传算子是应用的。社区,因为他们是孤立的,从整个人口。[10]此外,邻里关系是重叠的,这意味着一个人比一个邻里关系更能发挥作用。因此,一个个体将其基因中的改进传播到了它所属的所有邻近地区。这种质量导致了缓慢的传播。通过人口寻求更好的解决办法,加强探索进程。图。2介绍了其中的方法 CGA 进化者 A 吉文 个人(白色圆圈)(白色圆圈)首先,获得了要进化的个体的邻近性。图中在图2中,所使用的邻里类型被称为Compact-9或C9,其包括围绕要进化的个体的网格中的所有个体(用黑色圆圈标记)。遗传操作符被应用于来自邻居的两个个体。对个体结果进行评估,并应用替代政策来决定是否将其替代正在进化的个体关于CGA操作的更深入的观点在Algorithm1中给出。三个很好的不同阶段可以解释所带来的进化过程:• 初始化阶段:涉及第2行到第4行。 人口是随机产生的,然后进行评估。接下来,辅助变量(用于计算穿孔评估的次数)被初始化。[10]���• 进化阶段:从第5行到第15行。如果未达到停止条件(在第5行选中),则遍历迭代。在迭代中的每一步,都会选择一个个体及其邻居。遗传操作符被应用于它们,产生两个新的个体。在进行适应度评估(第11行)后,如果基因淘汰个体中有一个是适应者,则替换被选择的个体。 该过程如图所示。2并且在人口中的所有个体上穿孔。 在第13行,增加辅助变量,以反映穿孔评估的数量。���当不满足停止条件时,重复进化阶段。[10]M.G. Rojas等人数组14(2022)1001736图2。 C9邻里的类型和遗传操作符在CGA中的应用。图。3. MLP 结 构 的向量表示的示例。• 完成阶段:涉及第16和17行。当进化阶段达到停止条件时,找到的最佳解将作为最终解返回。算法1细胞遗传算法(CGA)的伪代码(CGA)1:函数C单元格 rGA(popSize、crossoverRate、mutationRate、maxE-值)2������������������������������������������������:3:()������������������������4:评估计数器���������������������第5集:while���������������������������������������������do6:对于������������������������������所有do第七������������������������������������������������������������������������������������������章:第八���������������������������������������章:9���������������������������������������������������������������������������������������������������������������:10���������������������������������������������������������������������������������������������������������������:11:���������������������������������()12:������������������������������������������������������������()13:←+ 2增加了后代的数量���14:结束15:结束时16���������������������������������������������������������������������������������������������������������������������������:���������������第17集:返回18:结束功能3.1. 个人代表在文献中,MLP权重和偏置优化使用了三种类型的个体表示:向量、矩阵或二进制[14]。本工作中使用了向量。它代表每个人作为一个维数等于MLP中权重和偏置总数的实数组。 数组中的每个元素对应于另一个元素权重或偏置值。这种表示的一个例子,基于使用向量表示法的优点是它导致了 直接前向编码和解码过程,因为单个单元的元素不需要被解码以应用于MLP(3.2. 受损的交叉口本文提出了一种新颖的交叉,它认为进化过程中的不同观点可以引导人们在搜索空间中达到接近全局最优的点。交叉算子被称为阻尼交叉(DX),因为它的灵感来自于阻尼谐波振荡函数,该函数描述了振荡对象如何随着时间的推移而趋向于平衡点[52]。DX运营商基于两个站点。 第一个原则是,最优秀的个人在进化过程中获得的知识是必不可少的。因此,在杂交亲本时必须考虑此信息。第二个前提是,随着进化过程的运行,来自父代的影响和最佳解决方案必须更加具体,因为假设解决方案在最近的迭代中是接近最优的。在给定的执行中,DX通过使用方程生成两个后代1和2的���分别为(7)和(8)。������������������������1������������������������2其中1和2分别是母体1和2的元素。������������������is the increment performedover each element, calculated by Eq. (9)。������������=������������ × (1 +���������������)(9)������������������is the difference between the th element of the best individual(������ ���) and the average of the th element of parents.��������� 这是通过等式获得的。(10)。���1 + 2���������在Fig. 1,如图所示。 3.���������������=��������� −2(10)M.G. Rojas等人数组14(2022)1001737()图4。 阻尼谐波振荡函数的行为,如方程11所示。(11)。���������������is determined by Eq. (11)。它应用受影响的谐波振荡函数来确定父母的影响有多大,以及最好的个人将是什么。这个函数提供了一个理想的行为,因为它在进化过程开始时应用了更多的可变变化,但在结束时更精确,对最佳个体和父母的影响做出了最小的���������������= A ×���(−���) × sin (+99.75 ×���)(11)其中是在执行DX时进行的评估的数量。[10]A是函数集的初始幅值,以1.0. 它是控制A减少速度的变量更大的是最快的将是减少。这是函数的阶段。{\displaystyle {\displaystyle{\displaystyle}和使用的值分别为3和0.5。等式1. (11)用A的引用值配置,并且如图1所示。4,其中轴上的值0.0表示初始步骤���值为1.0的值表示该过程完成时的值为1.0。A的值被选择来使曲线具有持续的衰减,因此在最终评估时允许精确的变化,但避免执行不显著的移动。Both the��������������� and the��������������� functions aim to improve the exploita-tion of the DX by focusing on reaching the best individual and reducingthe changes when the end of the evolutionary process is near.在同一时间,和充当方向指示符,因为它们根据与的差异使新元素增加或减少父元素的第个元素。������������������������������4. 实验配置[编辑]本节介绍了实验设置。它提供了与要进行的评估相关的信息,考虑了算法、MLP的标准配置和所用数据集的特征。对CGA的不同变体(在第4.1节中介绍)和最先进的算法进行了比较。第4.2节中介绍了Consid- ered算法及其配置。MLP使用S形函数作为其激活函数。 元启发法所钻取的学习过程的适应度函数是MSE,在人工神经网络范围内也称为成本函数[43,53]。 MLP的结构始终是相同的。输入神经元的数量()与数据集的特征数量相匹配。���MLP它被配置有一个单一的隐藏层,其中隐藏神经元的数量()由方程确定���(12)、遵循既定规则在[14]中。=2 ×���根据在其他近似值[30,54,55]中处理的值,每个权重和偏置值都被限制在区间[− 1,1]内。训练数据集的目的是向MLP提供最大数量的样本,以确定最佳权重和偏置值,并获得可靠的分类模型。 它是传统方法中训练阶段所涉及的唯一数据集,因此它也用于由元启发式技术制作的训练过程[14,37]。测试数据集是在元启发者完成他们的训练阶段时使用的,以证实MLP所达到的分类的最终性能,观察其可推广性,并确认那里是什么。 或者不太合脚。所有算法的停止条件是达到10,000个适合度评估。 由于元启发式的非确定性,每个算法和每个数据集都要执行30次独立运行[53结果部分中的表格根据所使用的性能指标,当结果是最佳结果时使用粗体标记结果,当结果是第二佳结果时使用斜体标记结果。Wilcoxon rank-sum[56]检验用于检查CGA方差和其他算法之间的差异是否具有统计学显著性或仅具有统计学显著性。这是一个机会问题。统计学上显著的差异在相应的表格中得到了很大的说明。这项工作考虑了99%的置信水平(即,显著性水平为= 0.01),用于统计检验。算法在配备AMD Opteron/ Epyc处理器(64个内核和128 GB RAM)的Toko Cluster1上 操作系统是Ubuntu 18.04 LTS。使用jmetalpy [57]库实现元启发式,对于MLP,使用neurolab2库。4.1. CGA操作员实验比较了配置有阻尼交叉(DX)的CGA与其他配置,这些配置改变了遗传操作器。用于实验的交叉运算符包括:• 调整交叉(AX):由Yasojima等人提出。[58]处理交叉运算符的两个问题以获得实编码解决方案。第一个问题是,交叉方法可能会停留在局部最优或无法达到可行的解决方案。 第二个问题是,生成的解决方案仅限于其父级的值。要处理它,元素1和������第一次和第二次流出的2由公式生成。(13)和(14)。���������������������������������1������������2 (1 − 2)× ×(14)其中1是第一父母的元素,2是元素������ ���������������第二个父母的。������is the gradient value of the element���.它如果最合适的父项中元素的值大于另一个父项中元素的值,则为1。否则为-1。������最后,是交叉的重量在本文中,为0.02,如[58]中所推荐。���• 模拟二进制交叉(SBX):由Deb和Agrawal提出[59]。SBX模拟二进制表示的单点交叉。流出物1和2的元素由方程获得。���������(15)和Eq.(16)分别。������������������������������1������������������������������21 https://toko.uncu.edu.ar/。2https://pythonhosted.org/neurolab/。M.G. Rojas等人数组14(2022)1001738+1⎧���(2 ×���)���()���������������+1���������������Grey Wolves代表了等级制度。三种狩猎行为������������+��� × (������−������������) ℎ���������������������⎪其中1是第一个父元素,2是元素。������的第二个父项,并且是由等式获得的序数。���(17)。为了增加评估的风险,并观察DX交叉是否可以提高CGA的性能,通过结合交叉和突变来获得CGA的12种可能的变化。1������=⎪⎨[]���11如果≤ 0.5(十七)动作运算符。DX变体从组合Dampe
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- RTL8188FU-Linux-v5.7.4.2-36687.20200602.tar(20765).gz
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
- SPC统计方法基础知识.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功