细胞遗传算法优化多层感知器的医学数据分类方法

0Array 14（2022）1001730BY-NC-ND许可的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。0在ScienceDirect上提供的内容列表0Array0期刊主页：www.elsevier.com/locate/array0通过细胞遗传算法优化多层感知器的权重和偏差，用于医学数据分类0Matías Gabriel Rojas a，�，Ana Carolina Olivera a，b，Pablo Javier Vidal a，b0a Instituto Universitario para las Tecnologías de la Información y las Comunicaciones，Consejo Nacional de Investigaciones Científicas y Técnicas，Universidad Nacionalde Cuyo，Padre Jorge Contreras 1300，Mendoza，M5502JMA，Mendoza，Argentina b Facultad de Ingeniería，Universidad Nacional de Cuyo，CentroUniversitario，Mendoza，M5502JMA，Mendoza，Argentina0文章信息0关键词：多层感知器训练方法，细胞遗传算法，元启发式，医学数据分类0摘要0近年来，医学技术因人工智能成为准确诊断的框架而取得了显著进展。多层感知器（MLPs）等模型可以检测数据中的隐含模式，从而识别出不易观察到的患者病情。MLPs由排列成层的有偏神经元组成，通过加权连接相连。它们的有效性取决于找到能够减少分类错误的最佳权重和偏差，通常通过使用反向传播算法（BP）来实现。但BP有一些缺点，可能导致MLP无法学习。元启发式是BP的替代方法，可以在不使用太多计算资源的情况下获得高质量的解决方案。在本研究中，提出了使用特别设计的交叉算子DampedCrossover（DX）的细胞遗传算法（CGA）来优化MLP的权重和偏差以对医学数据进行分类。与最先进的算法相比，配置了DX的CGA在五个考虑的医学数据集中有三个获得了最小的均方误差值，并且是四个数据集中最快的算法，显示出在消耗时间和优化性能之间取得了更好的平衡。此外，它在提高分类质量方面具有竞争力，在两个数据集中达到了最佳准确性，并在其余两个数据集中达到了第二最佳准确性。01. 引言0如今，不谈论人工智能就不可能想象医学的进步。来自不同来源的大量数据，如医学影像、临床检查数据、传感器等，远远超过了人类处理和分析这些数据的能力[1]。例如，一名普通放射技师在大约40年内分析了约215,000张X光片，而一种人工智能方法在大约一个小时内处理了相同数量的X光片[2]。人工神经网络（ANNs）无疑是医学领域报告的人工智能方法中贡献最多的之一[3]。ANNs对医学的应用示例包括：疾病诊断[4,5]，治疗行为预测[6-8]和预防医学[9,10]。多层感知器（MLP）[11]是一种ANN，其中称为神经元的计算单元组织成三种类型的层。每个神经元连接到下一层的所有神经元，并且数据从第一层流向最后一层。神经元之间的连接具有表示连接强度的权重。此外，0� 通讯作者。电子邮件地址：mrojas@mendoza-conicet.gob.ar（M.G. Rojas），acolivera@conicet.gov.ar（A.C. Olivera），pjvidal@conicet.gov.ar（P.J. Vidal）。0隐藏和输出神经元具有作为神经元激活阈值的偏差。MLP具有吸引力的地方在于其能够成为适应不同分布、特征和数据复杂性的通用分类器[12]。考虑到医学数据可能存在噪音、类别分布不平衡以及注册错误[13]，这一特性在医学领域非常理想。MLP的有效性取决于其学习过程，该过程确定了最小化训练样本分类误差的权重和偏差值。反向传播算法（BP）是使MLP学习的标准方法。然而，BP存在一些弱点，可能导致MLP学习过程的发散，例如，倾向于陷入局部最优解或依赖超参数的初始值[14,15]。近年来，元启发式方法作为BP方法的替代方法备受关注。它们是迭代算法，能够在合理的时间内找到高质量的解。它们的一个突出特点是，它们可以应用于不同类型的问题，而无需特定知识[16,17]，这使得它们0https://doi.org/10.1016/j.array.2022.1001732022年1月24日收到；2022年4月22日修订后收到；2022年4月23日接受20Array 14 (2022) 1001730M.G. Rojas等。0命名法0� � 隐藏层或输出层神经元的偏差。0�分布指数。0�整个MLP的偏差集。0�给定数据集的训练样本集。0�整个MLP的权重集。0� � �,� 从MLP输入神经元 � 到隐藏神经元 � 的权重。0� � �, 1 从MLP中隐藏神经元 � 到输出神经元的权重。0�� � 种群中最佳解的第 � 元素。0��较低的变量边界。0�隐藏神经元的数量。0�输入神经元的数量。0�� 1 � 交叉算子的第一个后代的第 � 元素。0�� 2 � 交叉算子的第二个后代的第 � 元素。0� 1 交叉算子的第一个父代。0� 2 交叉算子的第二个父代。0�随机数。0�算法找到的候选解。0��� � +1 � 解 � 的位置值在评估 �  + 1 时的结果。0��� � � 解 � 的位置值在评估 � 时的结果。0��� � 1 输出神经元的求和运算结果。0��� � � 隐藏神经元 � 的求和运算结果。0�要执行的适应度评估总数。0�执行的适应度评估次数。0��较高的变量边界。0� � MLP的输入。0�MLP的二进制输出。0� � � 隐藏神经元 � 的输出。0� � 1 唯一输出神经元的输出。0� �训练集中样本 � 的预期输出。0ABC人工蜂群算法。0ALO蚂蚁狮优化器。0ANN人工神经网络。0AX调整交叉。0BAT蝙蝠算法。0BBO生物地理学优化算法。0BOA蝴蝶优化算法。0适用于解决复杂的优化问题，如MLP的学习过程[18,19]。研究表明，元启发式算法在训练MLP模型时表现良好，即使必须优化大量的权重和偏差[20,21]。0细胞遗传算法（CGA）[22]是一种基于元启发式的算法0经典遗传算法（GA），它与分散式种群一起工作，遗传算子在每次作用于一个小的重叠子种群上。这些特性提高了0BP 反向传播算法.0C9 紧凑型邻域类型-9.0CGA 细胞遗传算法.0CS 杜鹃搜索.0DE 差分进化.0DX 阻尼交叉.0EO 平衡优化器.0ES 进化策略.0FWA 烟花算法.0GA 遗传算法.0GWO 灰狼优化器.0IMGWO 惯性激励灰狼优化.0LOA 狮子优化算法.0MFO 蛾-火焰优化器.0MLP 多层感知器.0MPA 海洋掠食者算法.0MSE 均方误差.0MVO 多宇宙优化.0NUM 非均匀变异.0PBIL 基于种群的增量学习.0PM 多项式变异.0PSO 粒子群优化.0RM 随机变异.0SBX 模拟二进制交叉.0SCA 正弦余弦算法.0Sn 灵敏度.0Sp 特异性.0SSA 鲸群算法.0TDE 三角变异差分进化.0UM 均匀变异.0VEWOA 速度增强鲸鱼优化算法.0WOA 鲸鱼优化算法.0CGA，因为它们有助于更好地探索和利用搜索空间[23]。先前的研究表明，与最先进的算法相比，当优化过程应用于连续搜索空间时，CGA获得了竞争性的结果[24,25]。然而，对于遗传算子来说，进化大维度解决方案可能是具有挑战性的，这会导致优化器发散。为了解决这个问题，需要设计新的遗传算子，通过使用外部信息，如进化过程的阶段，可以加速和增强算法的收敛[26]。0在本文中，CGA被用作寻找MLP的最优权重和偏差的替代方法0MLP的医疗数据分类的最优权重和偏差。提出了一种名为DampedCrossover（DX）的新交叉算子，旨在改善CGA在搜索空间中的性能。目的是获得一种可靠的方法来训练MLP并提高分类质量。本文的主要贡献可以总结如下：01. CGA被用于优化神经网络的权重和偏差02. 提出了一种名为Damped Crossover的新型遗传交叉算子0（DX）被引入。它使用阻尼谐振函数和与最佳当前解和进化过程阶段相关的信息来确定重组的方向和幅度。Array 14 (2022) 1001733𝑆𝑢𝑚𝐻𝑗 =𝑛𝑖=0𝜔𝐻𝑖,𝑗 × 𝑋𝑖 + 𝛽𝑗(1)𝑦𝐻𝑗 = 𝑓(𝑆𝑢𝑚𝐻𝑗 ) =11 + 𝑒−𝑆𝑢𝑚𝐻𝑗(2)𝑆𝑢𝑚𝑂1(4)(5)0M.G. Rojas等人03. 对DX的不同配置进行了与已知基准算法的评估0CGA的已知遗传算子。对五个基准医疗数据集进行了实验。04. CGA与最先进的算法进行了深入比较0先前用于优化MLP。通过观察每种算子对MLP分类质量的改进程度进行比较。0本文的组织如下。第2节介绍了MLP，0提供了关于传统训练方法的概念，正式定义了问题，并介绍了文献中的相关工作。第 3 节描述了CGA，解决方案的表示和DX。第 4节是关于实验配置，用于测试的数据集，实验中使用的最新算法和遗传算子以及用于评估分类质量的指标。结果及其分析显示在第 5 节。最后，在第 6节中提出了结论和未来工作。02. 多层感知器0多层感知器（MLP）是一种人工神经网络（ANN）0属于前馈神经网络家族。MLP具有一组称为神经元的处理单元，用于将数据转换为预期的输出[27]。0在内部，神经元由三个明确定义的层组织。0第一层包含输入神经元，它接收输入数据并将其重定向到下一层。输入神经元的数量通常与特征数量相同。第二层称为隐藏层，包含通过数学函数映射数据的神经元。根据问题的复杂性，MLP可以配置为具有一个或多个隐藏层。最后，输出层接收隐藏层转换的数据并返回结果。输出层中神经元的数量取决于预期结果的编码。0MLP是分层和全连接的，意味着神经元0一层的神经元通过加权连接与下一层的所有神经元相互作用，例如，每个输入神经元都连接到隐藏层的所有神经元。0每个连接的权重（ � ）表示连接的强度0两个给定神经元之间的连接。此外，隐藏层和输出神经元有一个称为偏置（ �）的元素，它是通过调节神经元输出来调整预测的阈值。根据 �的值，神经元的响应将是兴奋的（正的）或抑制的（负的）[28,29]。MLP的学习过程包括找到最佳的权重和偏置。0具有  �  个输入神经元的MLP结构，一个包含隐藏层的神经元0� 个神经元和一个输出神经元如图 1 所示。从输入到隐藏层的连接的权重用 � � �,� 表0从隐藏到输出层的连接的权重显示为 � � �, 1 ，其中  �  = {1 ,  …  , � }  和  �  = {1 ,  } 。偏置显示为  � �0隐藏神经元通过执行两个操作来转换数据：求和0mation和激活。前者是前一层神经元的输出与连接的权重的乘积之和，加上对应的偏置。方程 (1) 用于在隐藏层的给定神经元  � 上应用求和。0其中  � � �,� 是输入神经元  � 与隐藏神经元之间连接的权重0输入层和隐藏层的神经元  � 。  � �  是馈送神经元  � 的输出，  � �  是神经元  � 的偏0激活操作应用数学函数来映射0求和操作的结果。这个函数被称为0激活函数。最常用的是 Sigmoid 函数，通过方程 (2) 计算给定神经元  � 的值。0作为隐藏神经元 � 的最终输出。这个输出可以0馈送到隐藏层的另一个子层或输出层。如果只有一个输出神经元，如图1所示，通过公式（3）执行求和运算，其中���是隐藏神经元�和输出神经元的输出。��+1是输出神经元的偏差。0隐藏层的第�个神经元，���,1是隐藏神经元�和输出神经元之间的连接权重0隐藏神经元�和输出神经元之间的连接权重。��+1是输出神经元的偏差。0����1=0�=0���,1×���+��+1（3）0最后，MLP对数据集的给定实例的结果0由输出神经元的激活操作决定（见公式（4））。0��1=�（����1）=10当MLP用于分类时，MLP的输出必须是一个离散值，能够区分不同的类。通常使用二进制输出。为0是一个离散值，能够区分不同的类。通常使用二进制输出。为了将公式（4）获得的实际输出转换为最终的能够区分两个类的二进制输出�，使用公式（5）。0�=0{如果��1<0.50如果��1≥0.5，则为102.1.问题定义0设有一组连接神经元�和一组偏差�的权重0隐藏神经元和输出神经元的连接权重�和偏差�的最佳组合。MLP的目标是找到最佳的权重�和偏差�的组合，以最小化MLP的均方误差（MSE）。因此，该问题的解�是一个实向量，其长度等于�中权重总数和�中偏差总数的和，其中每个元素都是要优化的权重或偏差。解�的适应函数如公式（6）所示。它被计算为使用�中的配置返回的MLP的MSE。0�������（�）=���=1|�|0�=1（��−��1,�）2（6）0其中|�|是训练样本的总数，��1,�是预测的0对于训练集�中的第�个训练样本，其实际值在[0,1]范围内，由公式（4）得到。��是第�个训练样本的预期二进制输出。0MSE经常用于评估回归。但在分类的上下文中0在分类中，它提供了一个指标，即当预测的浮点输出� �1,�（在转换为二进制之前）近似于实际值时存在多少误差[15]。0预期的二进制输出��。其想法是，对于负样本��1,�0对于负样本，它提供了一个度量，即当预测的浮点输出� �1,�0由于MSE是一个二次函数，当预测的输出与实际输出之间的误差较大时，它会受到严厉的0MLP输出与预期相差甚远。这就是为什么均方误差（MSE）被广泛用作元启发式算法优化权重和偏差的适应函数[14,30]的原因。02.2.传统的MLP训练方法0学习是人工神经网络获取知识的过程。0这就是为什么它们能够在分类和回归任务中表现出色并且有效。在MLP中，学习是通过训练神经网络来实现的，这是一个确定最佳权重和偏差以减少获得输出与期望输出之间的误差的迭代过程。40Array 14（2022）1001730M.G. Rojas等0图1. 多层感知器（MLP）结构示例。0MLP最常见的训练方法之一是反向传播（BP）[31]。它开始设置权重和偏差的随机值。分类样本（称为训练集）被呈现给MLP以获得输出值。然后，计算获得值与期望值之间的误差，并向后传播以纠正权重和偏差。这些步骤重复进行，直到达到可接受的误差[29]。基本的BP算法使用一阶梯度下降来优化MLP。其他用于优化MLP的方法包括共轭梯度[32]（基于二阶最小化方法）、拟牛顿方法[33]、高斯-牛顿[34]或列文伯格-马夸特[35]（基于最小二乘逼近）[15]。尽管传统方法在大多数应用中都表现出效果，但在某些情况下，它们会在较长时间内陷入相同的MLP误差值，甚至陷入局部最优解。此外，它们的成功程度严重依赖于权重的初始值、动量值和学习率的值，如果这些值没有正确定义，可能会导致发散[14]。最后，传统方法忽略了偏差，只关注权重的值[15,36]。考虑到传统方法的缺点，本文提出了一种基于细胞遗传算法的MLP优化器，以确定权重和偏差值的最佳组合，以提高分类质量。02.3. 相关工作0最近几年已经证明，元启发式能够应用于训练MLP，甚至取得比传统数学方法更好的结果[37]。这激发了不同的作者针对现实生活中的不同问题，通过元启发式训练MLP，取得了突出的结果。Kaveh等人[38]的工作使用基于生物地理学的优化算法（BBO）来训练MLP，将声纳数据分类为三种不同的类别：噪声、回声和杂波。该工作引入了一种新的变异算子，以增强BBO的探索能力。结果表明，新算子的提出可以积极影响算法的行为，提高了分类性能。Qiao等人[39]也处理了声纳数据，提出了一种修改的鲸鱼优化算法0算法（WOA）用于训练MLP以实时分类声纳信号。该工作引入了控制进化过程中探索和开发之间平衡的新方法，使用数学函数。该方法展示了数学方法如何帮助引导大型搜索空间中的元启发式寻找过程。结果表明，该提议在分类准确性和收敛速度方面优于文献算法。Jalali等人[40]对机器人领域进行了应用，比较了一组自然启发算法，以确定用于自主机器人导航的MLP的最佳权重和偏差。考虑的算法包括蛾-火焰算法（MFO）、粒子群优化（PSO）、灰狼优化器（GWO）、布谷鸟搜索（CS）和多宇宙优化器（MVO）。评估的算法克服了传统方法BP和Levenberg-Marquardt，表明元启发式能够更好地探索和避免局部最优解。Mansouri等人[41]实现了GWO与进化策略（ES）算法的混合，用于训练ANN以检测异常的传感器网络行为。结果表明，两种方法都表现如预期，ANN能够准确识别工业传感器网络中的异常。它还表明，不同的元启发式可以提供适合问题特定上下文的不同行为。对于能源生产问题，Aladejare等人[42]开发了基于PSO的ANN训练器，用于预测煤炭、生物质和其他固体燃料的高位热值，以确定其能量含量。与文献中的多线性和多非线性模型相比，PSO训练的ANN表现出令人满意的预测能力。文献中的几个提议解决了使用元启发式训练ANN的不同专业医学数据集的分类问题。在[43]中，蝴蝶优化算法（BOA）用于训练MLP。结果表明，BOA达到了与现有方法类似的性能。测试仅集中在帕金森病和椎体数据集上，这表明需要考虑不同数据的复杂性和分布，以确认该方法能够有效地训练MLP在复杂情况下。此外，作者使用了BOA的规范版本，这表明如果对算法进行特定修改，将获得更好的结果。5(Fof five benchmark medical datasets. Metaheuristics were tried overdifferent MLP architectures, which contributed to understanding howmetaheuristics performance could be affected by ANN architecturaldecisions and different parameters configurations. Results show thatarchitectural changes did not significantly affect the performance of thealgorithms. Nonetheless, increasing the iterations performed by eachmetaheuristic reported improvements in classification quality. Resultsinherently imply that metaheuristics perform well even when manywe0第14号阵列（2022）1001730M.G. Rojas等人0。文献中另一个生物启发算法是Das等人[44]提出的，其中一种增强速度的鲸鱼优化算法（VEWOA）训练ANN对与乳腺癌、宫颈癌和肺癌相关的数据进行分类。VEWOA提出每条鲸鱼都必须具有速度，计算方式与PSO相同，考虑了最佳位置和粒子先前位置的位置。结果与不同的机器学习方法和规范WOA进行了比较，很难观察到该方法是否增强了专门设计用于MLP训练的元启发式的性能。0MLP的初始权重和偏差，用于检测甲状腺功能疾病。初始化阶段后，MLP通过Levenberg-Marquardt方法进行训练。结果表明，GA和PSO可以有助于准确诊断，其中GA优于PSO在提高分类质量方面。0Sharifi等人[46]比较了GA和PSO来定义0（FWA）来优化MLP对五个基准医学数据集进行分类的权重和偏差。元启发式算法尝试了不同的MLP架构，这有助于了解元启发式算法的性能如何受到人工神经网络架构决策和不同参数配置的影响。结果表明，架构的变化并没有显著影响算法的性能。然而，增加每个元启发式算法执行的迭代次数报告了分类质量的改善。结果本质上意味着，即使有许多权重或偏差需要优化，元启发式算法也能表现良好。0Salman等人[47]比较了GA，PSO和Fireworks算法0Bhattacharjee在[48]中提出了五种不同的混合方法0GA和PSO来训练MLP，对分子脑肿瘤数据中的人类胶质瘤进行分类。本文提供了一个有趣的观点，说明了PSO和GA如何结合以及哪种组合提供了最佳结果。这项工作确定了PSO和GA之间的混合可以产生良好的结果，因为产生了协同效应。0在[49]中，作者比较了十一种最近提出的元启发式算法0用于训练ANN对十五种不同的医学数据集进行分类。实验中包括的算法有人工蜂群（ABC）、蚁狮优化器（ALO）、BBO、平衡优化器（EO）、MFO、海洋掠食者算法（MPA）、PSO、正弦余弦算法（SCA）、鲸鱼群算法（SSA）、三角变异微分进化（TDE）、WOA，混合SSA与PSO，混合SSA与SCA以及用于训练ANNLevenberg-Marquardt的确定性方法。评估集中在七种不同的分类质量指标上。元启发式算法已被证明在训练人工神经网络方面非常有效。然而，评估没有考虑BP，忽视了训练ANN的广泛使用选项之一。作者们强调了EO在元启发式算法中的重要性，当考虑所有分类指标时，它获得了更好的值。此外，EO的参数是通过观察提供最佳结果的配置来选择的。其他算法是通过自适应方法或文献中使用的设置进行配置的，这表明比较可能是不公平的。0Orozco等人[50]应用多目标CGA来优化MLP。0多目标方法专注于优化架构0并且MLP的连接权重，但不包括偏差。该方法在两个乳腺癌医学数据集上进行了测试，并且CGA配置了标准遗传算法运算符。该提议已经达到了与文献中算法类似的结果。然而，由于该算法没有考虑偏差，因此应该提出新的方法来优化所有MLP参数。0在分析了所有这些贡献之后，似乎很明显很少0方法设计和评估新算子，以在问题空间中改善搜索的数值。本文提出了一种CGA方法来解决MLP权重和偏差的优化问题。其思想是利用CGA的特性进行更好的探索和利用，例如最佳解的缓慢传播和邻域内的利用。此外，提出了一种新颖的特别设计的交叉算子。目的是使进化过程更准确，并考虑邻域中没有最佳解的情况。据我们所知，目前尚未有任何工作涵盖了本文的组成部分。03. 细胞遗传算法0细胞遗传算法（CGA）[22]是一种分散式进化算法，其与传统遗传算法（GA）[51]不同之处在于如何管理种0基于传统遗传算法（GA）[51]的进化算法，不同之处在于如何管理种群。在CGA中，个体分布在一个环形网格上，边界个体在列或行上与相对边界上的个体相连。0在进化过程中，遗传算子被应用，个体相互作用0应用时，个体只能与其邻居进行交互。邻居是由一种类型的邻域确定的最近的个体，考虑曼哈顿距离。通过使用邻域，CGA能够在每个邻域内进行局部搜索过程，从而有助于发现更好的近似解（搜索空间的利用）。这是可能的，因为遗传算子被应用于邻域，就好像它们是与整个种群隔离的一样。此外，邻域是重叠的，这意味着个体参与了多个邻域。因此，个体通过其基因在其所属的所有邻域中传播改进。这种质量促使更好的解缓慢地在种群中传播，增强了探索过程。0图2展示了CGA如何演变给定个体的方式0（白色圆圈）的方式。首先，获取要演变的个体的邻域。在图2中，使用的邻域类型称为Compact-9或C9，它包括网格周围的个体（用黑色圆圈标记的个体）。遗传算子被应用于邻域中的两个个体。评估生成的个体，并应用替换策略来决定是否替换要演变的个体。0对CGA运行的更深层次的观点是0在算法1中呈现。可以解释进行的进化过程有三个明显的阶段：0• 初始化阶段：涉及第 2 行到第 4 行。种群0是随机生成的，然后进行评估。接下来，初始化辅助变量 �，用于计算执行的评估次数。0• 进化阶段：从第 5 行到第 15 行。如果停止条件未满足0未达到停止条件（在第5行检查），则执行迭代。在迭代的每一步中，选择一个个体及其邻域。对它们应用遗传算子，生成两个新个体。执行适应度评估后（第11行），如果生成的个体中有一个更适应，则替换选定的个体。此过程在图2中显示，并在种群中的所有个体上执行。在第13行，辅助变量 �增加以反映执行的评估次数。在未满足停止条件的情况下重复进行进化阶段。6(10)0Array 14（2022）1001730M.G. Rojas等人0图2. 邻域C9的类型和在CGA中应用遗传算子的示例。0图3. MLP结构的向量表示示例。0•结束阶段：涉及第16行和第17行。当进化阶段达到停止条件时，找到的最佳解决方案将作为最终解决方案返回。0算法1 细胞遗传算法（CGA）的伪代码01：细胞遗传算法（popSize，crossoverRate，mutationRate，maxEvaluations）2：����������←����������（�������）3：��������（������������������∈����������，执行7：����������←�������������（����������，����������）8：�������←���������（����������）9：���������←�������������，������������）11：��������（���������）12：�������（����������，���������）13：�←�+2�增加了后代的数量14：结束15：结束16：��������������←�����������������（03.1. 个体表示0在文献中，用于MLP权重和偏差优化的个体表示有三种：向量、矩阵或二进制[14]。本文使用向量。它将每个个体表示为一个实数组，其维数等于MLP中权重和偏差的总数。数组的每个元素对应于权重或偏差值。基于图1的这种表示的示例如图3所示。0使用向量表示的优点在于，它导致了一个简单的编码和解码过程，因为不需要解码个体的元素就可以应用于MLP。03.2. 阻尼交叉0本文提出了一种新的交叉方法，考虑了可以使种群达到接近全局最优点的进化过程的不同特征。交叉算子称为阻尼交叉（DX），因为它受到了阻尼谐振函数的启发，该函数描述了振荡物体随着时间趋向于平衡点的方式[52]。DX算子基于两个前提。第一个前提是在进化过程中获得的最佳个体的知识是必不可少的。因此，在交叉父代时必须考虑这些信息。第二个前提是父代和最佳解决方案的影响必须随着进化过程的进行变得更加具体，因为假设在最后的迭代中解决方案是接近最优的。在给定的执行中，DX通过使用方程（7）和（8）生成两个后代�� 1 和�� 2 的第�个元素。0�� 1 �  =  � 1 �  +  ��� � (7)0�� 2 �  =  � 2 �  +  ��� � (8)0其中 � 1 � 和 � 2 � 分别是父代 � 1 和 � 2 的第 � 个元素。���是每个元素上执行的增量，由方程（9）计算。0��� �  =  ���� �  × (1 +  ����� ) (9)0���� � 是最佳个体（�� � ）的第 � 个元素与父代第 �个元素的平均值之间的差。它由方程（10）获得。0���� �  =  �� �  − � 1 �  +  � 2 �7where 𝑡 is the number of evaluations performed at the moment of theexecution of the DX. 𝐴 is the initial amplitude of the function set to1.0. 𝐶 is the variable that controls how fast 𝐴 decreases. The bigger is𝐶, the faster 𝐴 will decrease. 𝑃 is the phase of the function. The valuesof 𝐶 and 𝑃 used are 3 and 0.5, respectively. The Eq. (11) configuredwith the mentioned values of 𝐴, 𝐶 and 𝑃 behaves like it is shown inFig. 4, where a value of 0.0 in the 𝑥 axis represents the initial stepof the evolutionary process, and a value of 1.0 is when the process iscompleted. The values of 𝐴, 𝐶 and 𝑃 were selected to make the curvehave a sustained decrease, thereby allowing precise variations at finaleva𝑂𝑓1𝑖 = 𝑝1𝑖 + ((𝑝1𝑖 − 𝑝2𝑖) × 𝛼) × 𝑔𝑖(13)𝑂𝑓2𝑖 = 𝑝2𝑖 + (𝑝1𝑖 − 𝑝2𝑖) × 𝛼 × 𝑔𝑖(14)𝑂𝑓1𝑖 = 0.5 × [(1 + 𝛽𝑞) × 𝑝1𝑖 + (1 − 𝛽𝑞) × 𝑝2𝑖](15)𝑂𝑓2𝑖 = 0.5 × [(1 − 𝛽𝑞) × 𝑝1𝑖 + (1 + 𝛽𝑞) × 𝑝2𝑖](16)1 https://toko.uncu.edu.ar/.2 https://pythonhosted.org/neurolab/.0Array 14（2022）1001730M.G. Rojas等人0图4. 阻尼谐振函数的行为，由方程（11）给出。0振荡函数用于确定父代和最佳个体的影响程度。该函数提供了期望的行为，因为它在进化过程的开始时应用更多的变量变化，但在最后更加精确，对最佳个体和父代的影响进行最小的改变。0�����  =  �  ×  � (− �� ) × sin ( �  + 99 . 75 ×  � ) (11)0�����  和  ���� �  函数都旨在改进开发。0其中  �  是执行DX时执行的评估次数。  �  是函数的初始幅度，设置为1.0。  �  是控制  �减小速度的变量。 �  是函数的相位。所使用的  �  和  �  的值分别为3和0.5。使用上述  � 、  � 和  �  的值配置的方程式（11）的行为如图4所示，其中  �轴上的0.0表示进化过程的初始步骤，1.0表示进化过程完成时的步骤。选择  � 、  �  和  �的值是为了使曲线有持续下降，从而允许在最终评估时进行精确变化，但避免执行无关紧要的移动。04. 实验配置0本节介绍了实验设置。提供了有关DX的信息，重点是在达到最佳个体和接近进化过程结束时减少变� 个元素。0执行的评估、考虑的算法、MLP的标准配置以及所使用数据集的特性。0进行了与CGA的不同变体的比较。0CGA，介绍见第4.1节，以及最先进的算法。考虑的算法及其配置见第4.2节。0MLP使用Sigmoid函数作为激活函数。0元启发式学习过程的适应函数是均方误差（MSE），在ANN范围内也称为成本函数[43,53]。MLP的结构始终相同。输入神经元（ �）的数量与数据集的特征数量相匹配。MLP配置有一个唯一的隐藏层，其中隐藏神经元（ � ）的数量由方程（12）确定，遵循[14]中建立的规则。0� = 2 × � + 1 (12)0每个权重和偏差值都限制在区间[-1,1]内0根据其他近似值的处理值[30,54,55]。0训练数据集旨在呈现最大数量的样本0MLP用于识别最佳权重和偏差值，并获得可靠的分类模型。它是传统方法训练阶段中涉及的唯一数据集，因此也用于元启发式方法的训练过程[14,37]。测试数据集用于在元启发式方法完成训练阶段后，验证MLP达到的分类最终性能，观察其泛化能力，并确认是否存在过拟合。0所有算法的停止条件是达到10,000的适应度0评估。由于元启发式算法的非确定性特性，对每个算法和每个数据集执行30次独立运行[53-55]。结果部分的表格使用粗体标记最佳结果，使用斜体标记次佳结果，根据所使用的性能指标。应用Wilcoxon秩和检验[56]来检查CGA变体与其他算法之间的差异是否具有统计学显著性，或者只是偶然现象。在相应的表格中突出显示具有统计学显著性的差异。本研究考虑99%的置信水平（即显著性水平 � =0.01）进行统计检验。0算法在Toko集群1上执行，该集群配备了AMD Opteron/Epyc处理器（64核心和128GB RAM）。操作系统为Ubuntu18.04 LTS。元启发式算法使用jmetalpy [ 57 ]库实现，而MLPs则使用neurolab 2库。0Epyc处理器（64核心和128GB RAM）。操作系统为Ubuntu 18.04LTS。元启发式算法使用jmetalpy [ 57 ]库实现，而MLPs则使用neurolab 2库。04.1. CGA算子0实验比较了配置了阻尼交叉 (DX)0交叉(DX)与其他变异算子的配置进行比较。实验中使用的交叉算子有：0•  调整交叉 (AX):  首次由Yasojima等人提出0[ 58 ]以解决实数编码解的交叉算子的两个问题。第一个问题是交叉方法可能陷入局部最优解或得到不可行解。第二个问题是生成的解受限于其父代的值。为了解决这个问题，第一个和第二个后代的元素  �� 1 �  和  �� 2 �  由方程式 (13)和方程式 (14) 生成。0其中  � 1 �  是第一个父代的第 � 个元素，  � 2 �  是第二个父代的第 � 个元素。  � �是元素  �  的梯度值。如果最适应的父代中元素  �的值大于另一个父代中的值，则  � �  为  1 。否则，  � �  为  −1 。最后，  �为交叉的权重。在本文中，  � 为0.02，如[ 58 ]中推荐。0•  模拟二进制交叉 (SBX):  首次由Deb和Michalewicz等人提出0Agrawal [ 59 ]. SBX模拟了二进制表示的单点交叉。后代的元素  �� 1 �  和  �� 2 � 分别由方程式 (15) 和方程式 (16) 得到。Array 14 (2022) 1001738M.G. Rojas et al.𝛽𝑞 =⎧⎪𝑒(17)𝑠𝑜𝑙𝑡+1𝑖=𝑒(18)▵ (𝑡, 𝑑) = 𝑑 ×1 − 𝑟(1− 𝑡𝑇 )𝑏(19)𝛾𝑅(𝑟) = 1 − 2 × (1 − 𝑑)0其中  � 1 �  是第一个父代的第 � 个元素，  � 2 �  是第二个父代的第 � 个元素，  �是由方程式 (17) 得到的纵坐标。0� +1 如果  �  ≤  0 . 5 [ 10其中  �  为  0  到  1  之间的随机数，  �  为固定的分布指数，设为  20 ，如[60 ]中考虑的那样。0CGA变体使用四种不同的变异算子0这些变异算子的策略多样，用于使种群多样化。变异算子有：0•  非均匀变异 (NUM): 首次由0Michalewicz等人[ 61 ]。该算子的目标是避免随机生成新元素。变异值  ��� �+1 � 为0在评估中，根据变异概率，通过方程式 (18) 生成解的第 � 个元素。0{ ��� � � +  �  ( �, ��  −  ��� � � ) 如果  �  ≤  0 . 50使用  ��  和  ��  作为元素 ��� � � 的下界和上界，随机数  � ∈ [0 ,  1] 以及函数  0由方程式 (19) 计算。0�  为最大评估次数，  �  确定了对评估次数的依赖，设为0.5。随着  �的值越大，在执行评估时操作会应用更多的扰动。因此，较小的  �值意味着会进行更精确的移动。0• 均匀突变（UM）：在这种情况下，元素��� � �被突变值��� � +1�0使用随机数�∈[0，1]和操作符�的扰动级别设置为0.5。如