二进制蚱蜢优化算法在特征选择问题中的应用

沙特国王大学学报一种新的特征选择问题的二进制蚱蜢优化算法Haouassi HichemZhao，Merah Elkamel，Mehdaoui Rafik，Maarouk Toufik Mesaaoud，Chouhal Ouahiba昆切拉大学ST，实验室，BP 1252 El Houria，40004 Khenchela，阿尔及利亚阿提奇莱因福奥文章历史记录：收到2019年2019年11月9日修订2019年11月11日接受在线发售2019年保留字：群体智能Grasshopper优化特征选择和二分搜索空间A B S T R A C T蚱蜢优化算法是受自然界中蚱蜢行为的启发而发展起来的一种基于种群的优化算法。它是一种高效的优化算法，在解决连续问题时表现出优异的性能，但不能直接解决二元优化问题。许多优化问题的决策变量在二进制空间中是变化的，如数据分类中的特征选择问题，都被建模为二进制问题。特征选择的主要目标是从一个相当大的原始特征集中找到一个小尺寸的特征子集，以优化分类精度。本文提出了一种新的二进制变异的蚱蜢优化提出了新的二进制蚱蜢优化算法进行了测试和比较，五个著名的基于群的算法用于特征选择问题。所有这些算法的实现和实验评估的20个数据集具有不同的大小。实验结果表明，该方法的性能优于其他方法.©2019作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍高维数据中包含了大量的属性，这使得数据挖掘中的机器学习任务变得复杂。数据挖掘过程中的预处理功能之一是特征选择（FS），其目的是通过消除不相关、冗余或噪声特征来降低数据的维数，以提高机器学习算法的有效性，例如分类精度、CPU时间和内存需求。形式上，特征选择算法的目标是从给定的大量属性集中找到相关特征的子集。在特征选择问题中，具有n个特征的数据集包括2n个可能的子集。由于FS的主要目标是在保持或增加最大分类数的同时最小化所选特征的数量，*通讯作者。电 子 邮 件 地 址 ： houassi_h@yahoo.fr （ H.Hichem ） ， Kmerah@yahoo.fr（ M.Elkamel ） ， mehdaoui. yahoo.fr （ M.Rafik ） ， toumaarouk@yahoo.fr（M.T.Me-saaoud），chouhal_wahiba@yahoo.fr（C. Ouahiba）。沙特国王大学负责同行审查精度，它可以被认为是一个优化任务。许多研究人员将特征选择建模为组合优化问题（Guyon and Elisseeff，2003）。在实践中，由于最近的数据集中特征数量呈指数增长，因此几乎不可能进行穷举搜索以获得最优解 最近使用的解决该问题的方法之一是进化计算算法（ECA），它们受到自然界的启发并模拟生物、物理和行为学系统的行为（Xue et al.， 2016年）。群体智能（Swarm Intelligence，SI）是由Beni和Wang于1993年首次提出的一种基于种群的方法，其中群体由人工智能体组成，并用作全局优化的方法，以模仿动物寻找食物的行为，如蚂蚁，猫，鱼，鸟，萤火虫等。 （Boussaïd等人，2013; Rajpurohit等人， 2017年）。近年来，群体智能优化已成为一种有趣的研究方法。最 近 ， Saremi 等 人 提 出 了 一 种 新 的 群 智 能 优 化 算 法 ， 称 为Grasshopper优化算法（GOA）（Saremi等人，2017年），灵感来自大自然中蝗虫群的行为。这种方法已经证明了有趣的结果连续优化问题相比，最近的算法在文献中。这一事实促使我们修改这种方法来解决建模为二进制优化的特征选择问题。https://doi.org/10.1016/j.jksuci.2019.11.0071319-1578/©2019作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comH. Hichem等人/Journal of King Saud University317在本文中，我们提出了我们的两个主要工作。第一个是新的二进制版本的蚱蜢优化算法（NBGOA），它可以用于任何二进制组合优化问题，另一个工作是使用NBGOA作为基于群体的特征选择问题的算法。本文的其余部分组织如下：第2介绍了相关工作的审查第3介绍了原始的GOA和开发其二进制版本的动机。在第4节中，提出了GOA的二进制版本第5详细介绍并讨论了使用所提出的算法和文献中的其他方法在基准数据集上的实验结果。最后，第6总结了本文的工作，并对未来的工作提出了2. 相关作品随着高维数据集的使用，特征选择优化问题变得更加复杂。传统的方法在解决这一复杂问题时效率低下。近年来，为了克服这一局限性，许多基于群的算法被提出，并被用来解决FS问题。二进制粒子群优化算法（PSO）及其变种已被广泛应用于FS问题。作者（Moradi和Gholampour，2016）提出了一种具有局部搜索策略的混合PSO，以找到相关性较低的特征子集。Zhang等人（Zhang等人， 2019）使用基于过滤器的裸骨PSO。在这项工作中，提出了两个基于过滤器的策略（平均互信息和特征冗余），以提高开发能力的群体。 在（Shenkai et al.， 2018年）。作者在（Xue等人，2014年）提出了初始化和更新机制，为原来的PSO。Mohamed和Kevin提出了一种名为HBBEPSO的混合二进制蝙蝠增强粒子群优化算法（Mohamed和Kevin，2018）。作者结合蝙蝠算法和PSO解决FS问题，利用这两种算法的最佳方面。蚁群优化算法（ACO）被许多研究者用于FS方法。在（Huijun等人，2018）提出了一种称为FACO的蚁群优化算法，他们修改了原始ACO 算 法 ， 以 防 止 其 过 早 陷 入 局 部 最 优 。 Youchuan 等 人 在（Youchuan等人，2016）提出了一种改进的二进制编码蚁群算法，并将其与遗传算法相结合（MBACO）。在（Forsati等人，2014），作者提出了一种新的ACO变体，称为enRiched Ant Colony Optimization（RACO），旨在防止过早收敛。此外，在（Zhaoet al.，2014），其目标是找到近似最优子集在多字符特征集中。二进制布谷鸟搜索算法（BCSA）（Rodrigues等人， 2013），以及它的变体，如（Mohamed和Aboul，2018）已经成功地在几个作品中完全应用于FS问题。二进制蚁狮优化器（BALO）是最近的Meta启发式算法，用作特征子集搜索算法（Emary等人，2016年a）。在（Zawbaa等人，2016年b）。修改的BALO是在（Jenkins et al. 2019年），它已用于高光谱图像。GWO作为另一个最近的基于群的优化器（Mirjalili等人，2014），这已经申请FS在许多作品（经纬等。2018; Emary等人，2016 b; Chantar等人，2019; Qasem等人， 2019年）。蛾焰优化算法是一种模仿飞蛾导航方法的算法，已被应用于FS问题（Pauline等人，2019; Zawbaa等人2016年a）。提出了蝶形优化算法（BOA）的最新二进制变体，并将其用于选择最优特征子集用于分类（Sankalap和Priyanka，2019）。在这项工作中，BOA被使用，而其连续的步骤被限制在一个阈值使用一个合适的阈值函数后，挤压他们。Grasshopper Optimization算法（GOA）用于同时进行特征选择和支持向量机优化（Aljarah等人， 2018年a）。 最近，Mafarja等人（Mafarja等人，2019）提出了GOA的二进制变体来开发包装器FS方法。在这项工作中，作者提出了两种方法来设计一个二进制GOA。第一种是基于sigmoid（BGOA-S）和v形传递函数（BGOA-V）。而第二种方法，称为BGOA-M，使用随机突变，并在几乎所有的测试情况下都取得了最好的结果。在第二种方法中，突变率根据步长向量而变化。此外，在文献中已经提出了许多基于群的FS方法，诸如萤火虫算法（FA）（Larabi等人， 2018年）。 Multi-Verse Optimizer（MVO）（Faris et al. 2018年a）。Salp Swarm算法（SSA）（Faris等人，2019; Faris等人，2018 b;Aljarah等人，2018 年b）。这些算法中的一些被结合起来组成混合方法来解决FS问题。 例如，在（Zawbaaet al. 2018）中，GWO和ALO之间的混合被提出用于包装器FS。此外，在（Mafarja和Mirjalil，2018）中引入了FS的ALO和爬山技术的组合。Jona和Nagaveni将ACO与布谷鸟搜索（CS）相结合，以解决数字乳腺X线摄影中的FS问题（Jona和Nagaveni，2014）。Suguna和Thanuskodi使用粗糙集理论（Rough Set Theory，缩写为RST）和蜂群优化（Bee Colony Optimization，缩写为BCO）来解决医学领域的特征选择问题（Suguna andThanuskodi，2010）。在（Ghamisi和Benediktsson，2015）中，提出了一种基于遗传算法和PSO集成的新方法。3. 草蜢优化算法为了解决复杂和具有挑战性的优化问题，文献中提出了许多基于群的算法在不同区域搜索，因为它们在全局优化中简单和有效。这些算法的数量在过去十年中急剧增加（Rajpurohit等人，2017年）。各种在文献中已经提出了许多基于群的优化算法，包括但不限于PSO（Eberhart和Kennedy，1995; Houassi等人，2018）、蚁群优化（ACO）（Dorigo等人，1996）、花Pollution算法（FPA）（Yang，2012）、灰狼优化（GWO）（Mirjalili等人，2014）、蚁狮优化（ALO）（Mirjalili，2015 a）、蛾焰优化（MFO）（Mirjalili，2015 b）、蜻蜓算法（DA）（Mirjalili，2016）、蝙蝠算法（BA）（Cai等人，2016）和鲸鱼优化算法（WOA）（Mirjalili和Lewis，2016; Ala 'M等人，2018年）。几乎所有上述方法最初都是针对连续优化问题提出的，并且在此之后，它们被二进制化以用于二进制优化问题，诸如它们显示出优异性能的数据分类中的特征选择（Rajpurohit等人， 2017年）。Grasshopper优化算法首先由Saremi等人提出（Saremi等人，2017）是一种新的自然启发和基于种群的算法，它模拟了自然界中蝗虫群的行为。优化的两个基本阶段是探索和利用搜索空间;蚱蜢通过这些社会互动在食物搜索期间提供这两个阶段幼虫期蝗虫群的主要特征与此相反，长距离和突然的运动是成年群体的基本特征。318H. Hichem等人/Journal of King Saud UniversityN¼¼2012年12月22日LN基于对蚱蜢的上述描述，Saremi等人提出了三种进化算子用于群体中个体的位置更新（Saremi等人，2017）、社会交互算子（Si）、重力算子（Gi）和风平流算子（Ai），如等式（1）中所示。（一）.Xi¼SiGiAi1其中Xi定义了第i蚱蜢的位置。这些行为中的每一个都被数学建模如下：相互作用算子计算如下：（2）（Saremi等人， 2017年）。S i¼XS。. X j-X i. Xj-XiJ1j在二进制空间中。因此，为了在二进制优化问题中使用GOA，解决方案被限制为二进制{0，1}值，我们提出了GOA的二进制版本连续空间的二进制化将连续空间的连续值转换为二进制空间中的二进制值0或1。在文献中，有两种不同的策略来扩展连续的基于种群的进化方法的二进制方法。在第一种策略中，提出了二进制方法，而不修改连续方法的结构 位置的矢量在连续区域中使用，并且它们必须在每次迭代中从实值转换为二进制值，以使用几种二进制化方法创建解矢量（Krause等人，2013年）。包括修改的位置方程（Pan等人，2008），大价值优先（Congying et al.， 2011年），角度调制（Yavuz和Aydin，2016年）和传递函数（Mirjalili和Lewis，2013年），接收实值作为输入其中，N是蝗虫群中的蝗虫数量，dij表示第i只蝗虫和第j只蝗虫之间的距离，S是定义社会力量强度的函数，并且如等式2所示计算（三）、Srfe-lr-e-r3其中f和l是分别表示吸引强度和吸引长度尺度的两个常数，并且r是实数值。然而，作者没有考虑重力算子（Saremi等人， 2017年），他们假设风向是总是朝着一个目标。然后是EQ。（1）变成如下：返回[0，1]中的一个数字，并定义改变位置的概率。sigmoid函数在文献中使用最多（Banati和Bajaj，2011; Rodrigues等人，2015; Kennedy和Eberhard，1997; Feng等人，2016年; Pampara和Engelbrecht，2011年）。（Mirjalili，2016）的作者使用了V形传递函数。在第二种策略中，对连续方法的结构进行了修改，其中，位置中使用了几个运算符，文献：两个向量之间的差异被建模为01距离，定义为两个二进制之间的汉明距离dBXubd-lbd. .DD. Xj-XiC字符串. 两个向量的相加被建模为突变，Xi 公司简介CJ1j2S. XJ -Xi.国际新闻报ATd4在（Maolong et al.， 2016年），以及执行向量运算以在向量之间放置加法运算符（Emary等人，2016 a;Emary等人，2016年b）。其中ubd是第d维的上界，lbd是下界，在第d维中被束缚。Td是目标中的第d个维度的值（迄今为止找到的最佳解决方案），并且系数c与迭代次数成比例地减小舒适区，并且如下在等式中计算。（五）、为 了 扩 展 GOA 在 二 元 问 题 中 的 应 用 ， 本 文 提 出 了 一 种 称 为（NBGOA）的GOA的二元版本，作为使用第二种策略的特征选择问题的优化算法。在下面的小节中，我们将详细介绍我们提出的NBGOA特征选择方法c/Cmax-lCmax-Cminð5Þ问题.其中Cmax是最大值，Cmin是最小值，l表示当前迭代，L是最大迭代次数 。 在 （ Saremi 等 人 ，2017 ） ， 他 们 使 用 C max= 1 和 C min=0.00001。当量式（4）示出了蚱蜢的下一个位置是基于其当前位置和所有其他蚱蜢的位置（式（4）中的第一项）来定义的。（4））和目标的位置（第二项）。草蜢优化算法的二进制变体的开发的主要动机是GOA算法的探索 、局 部最 优 避免 、 开发 和收 敛的 质 量， 该 GOA 算 法在 论文（Saremi等人，2017年）。这些鲁棒性特征来源于蝗虫之间的高排斥率及其在自然界中的高效搜索能力。第二个动机是，结果表明，GOA算法提供了非常有竞争力的结果相比，五个最知名的和最近的算法在文献中。4. 一种新的二进制蚱蜢算法（NBGOA）GOA算法是一种基于种群的进化搜索方法，最初被提出作为解决连续问题的优化技术（Saremi等人， 2017年）。然而，许多优化问题，如特征选择，4.1. NBGOA的二进制编码在优化问题中，群中的粒子在D维搜索空间中搜索最优解，群中的每个粒子看起来像是D维空间中的一个点或一个位置。群中的第i个粒子表示D维向量x i =（x i1，x i2. xiD）。在连续优化问题中，向量xi取实值，但在二进制优化问题中，它取二进制值：0或1。连续蚱蜢优化算法（CGO）中，蚱蜢的向量取实值，社会交互作用和风平流等算子定义在连续空间中。CGO不能直接用于离散二元优化问题的优化。为了解决这个问题，我们提出了一个二进制版本的GOA，其中蚱蜢采取长度为N的二进制向量的值，其中N是特征的数量和搜索空间的维数。在我们提出的NBGOA中，每个蚱蜢在搜索空间中的位置对它所代表的特征子集进行编码。例如，Gi（101110011），其中，1表示将选择该特征，否则为0。蚱蜢位置的示意图如图所示。1 .一、图1，我们有九个特征f1到f9，向量G i中的二进制值意味着特征f1、f3、f4、f5、f8和f9被选择，而特征f2、f6和f7未被选择。H. Hichem等人/Journal of King Saud University3192X轴我- 是的¼22昏X.-1j id¼J我距离¼c@2 SG. XJ -Xi. Þ国际新闻报一个14磅.B..NJ我J1jF1 F2 F3 F4 F5 F6 F7 F8 F9Gi101110011Fig. 1. 蚱蜢位置编码。4.2. 初始种群设计基于种群的优化算法的第一步是初始化种群。在我们的方法中，群中的每个蚱蜢i由二进制向量Xi（i = 1，2，. . ，N），其中N是群的大小。对于蚱蜢i的每个维度j，二进制值0或1以概率0.5分配如下：4.3.1.二进制位将草蜢表示为二进制串，将两个草蜢之间的距离定义为对应于这两个草蜢的二进制串之间的汉明距离.汉明距离计算为两个字符串中不同位的数量。例如，蚱蜢i被表示为Gi =（Xi1，2，. . ，XiD），其中Xij{0，1}，并且它具有D个特征，并且Xij是指第i只蚱蜢的位置的第j我们可以得到汉明距离方程如下：（八）、DjXi-Xj<$$>dHXi;Xj<$$> Xikk¼1其中dH（）是蚱蜢i和j之间的汉明距离，k是从1到特征总数D变化的索引Xj =0。1;如果R和λ> 0：5ð6Þ对于X_id和X_jd是单个比特的特定情况，Ham-明距离的计算方法如下：当量（九）、其中，Xj0是第i个元素的第j维的初始值Grasshopper，Rand（）返回[0，1]中的随机值。dH.Xid;Xjd0 如果 Xid¼Xjd1 如果Xidð9Þ图 2，Xi表示与群中的第i只蚱蜢相对应的初始二元向量。dj是对应于数据集中的第j个特征的维度j因为dH（）是两位之间的汉明距离，所以dH（）必须是0或1，这是使用变换函数F（Dist）将实数Dist变换为二进制版本中的二进制数字0或1的原因。然后是EQ。（7）可以再次写在二进制版本，如下面的方程。（10），Eq.（11），方程。（12）Eq.（十三）、4.3. 位置更新jXid -Tdj ¼F距离10英里在搜索过程中，蚱蜢向目标移动（Saremi等人，2017年），这是迄今为止蜂群获得的最佳位置。该群体初始化为一个群体，dom解决方案（二进制向量），并搜索最佳解决方案其中：jXid-Tdj= dH（Xid，Td）是比特Xid和Td，Dist如Ed中那样计算（十一）、通过根据等式更新每个粒子的位置（5）在0BXN¼ubd-lbd. .DD. Xi1C连续GOA。在二进制搜索空间中更新是非常不同的比中连续空间 在连续搜索空间蚱蜢可以通过添加以下值来更新它们的位置：距离¼cB@CJ1j2S. XJ -Xi.国际新闻报CA11在Eq.中的第一项。（4）将其对应位的值目标向量Td。然而，在二进制搜索空间中，因为蚱蜢的位置矢量只能包含0或1，所以不能通过增加值来更新，然后，如果我们考虑Eq. （4）利用两个二进制向量Xid和Td之差，可以将更新方程蚱蜢的位置在原始GOA如下方程。（七）、例如，Dist是右边的第一项，与等式中的第一项相同（四）、在二进制版本中，任何维度上的上限ubd为1，并且下限lbd为0，则项ubd-lbd 由方程式（11）等于（1ubd-lbd¼0： 5磅 12磅等式中的函数S（）（11）用于（Saremi et al.，2017）作为0 1将区间[2，4]中的值转换为新值的函数BXubd-lbd第1页. .DD. Xj-XiC在[0，0.02]范围内，但是，项。X d-X d。 由方程式（11）表示J我Xid-Td¼cB@c2S. XJ -Xi.国际新闻报CA7二进制向量X和X之间的距离，其值属于j在右边的Eq。（7）指示比特X_id和T_d之间的距离，因为在GOA的二进制版本中，这两个比特是二进制的，我们可以使用这两个二进制比特之间的汉明距离。在二进制版本中，间隔[0，Dim]，其中Dim是如果我们在一个维度上定义了一个值，那么我们必须将Xd-Xd的值从区间[0，Dim]转换为区间[2，4]。为此，我们使用如等式（1）中所示的函数G（）。（十三）、2Gxx1000000哪里昏暗是的number的尺寸. 通过使用等式（12）Eq.（13），Eq.（11）在Eq.（十四）、0NC.dXX C图二. 群初始化。因为Dist表示两个二进制向量之间的距离，所以我们必须使用一个函数将Dist的值转换为1或0。我们提出如等式中所呈现的函数F（Dist）。（十五）、Dist的所有值都限制在范围[最大距离Dist，最小距离Dist]内。当我0;elseD1D2...DMX1011X2100...Xn111320H. Hichem等人/Journal of King Saud University目标位置（T）当前位置（−1）新职位（）ðÞ.昏.- 是的ΣðÞð¼···Þ<0;如果距离为d：>个<最大x最小直径td-最小直径td通过KNN分类器获得的准确性和所选择值接近最大距离;其对应的特征是分类任务中要选择的候选数据。否则，对应的特征F（Dist）计算如下：当量（十五）、4.5. NBGOA特征选择的主要过程在本小节中，算法1示出了针对FS提出的NBGOANBGOA，首先生成范围-domly的初始种群N蝗虫（解决方案）。每个如果Distd，则8>1最大距离-最小距离解决方案可能包含一个要素子集，;>2>根据适应度函数，这取决于解决方案否则为0;如果Rand为 0： 5<1;其他其中Max D区最大工作温度 和Min D区1/40分别为，Dist的最大值和最小值。Rand（）是从[0，1]中的均匀分布中抽取的随机数，Dim是问题的维数。然后，可以用公式表示主更新方程，如方程10所示（十六）、（Td;如果F.Distd0在解决方案中的特点，如在方程。（17）. 在初始化步骤之后重复进化过程直到预定义的停止标准得到满足。在每次迭代中，蚱蜢根据所有其他蚱蜢更新其位置基于Eq。 （4），Eq.（7）Eq. （八）、每次迭代后，更新到目前为止获得的最佳目标的位置。最后，最佳目标的位置和适应值可以返回作为FS问题的最佳解决方案。NBGOA的流程图也在图中给出。 四、算法1（二进制蚱蜢优化算法的伪代码）。XID¼j1-Tdj;elseð16Þ输入：蝗虫数量（N），最大数量其中，Td是目标中的第d维度的值（迄今为止找到的最佳解决方案），并且F Dist使用等式（1）计算。（十五）、在图3中可以看出，根据如等式2中计算的函数F（Dist）的值从目标向量计算二进制位。（十五）、4.4.适应度函数适应度函数考虑了分类精度和所选特征的数量。它最大限度地提高了分类精度，并最大限度地减少了所选特征的集合大小。因此，以下适应度函数（Mafarja等人，2019）用于评估单个解决方案，如等式所示。（17）.优化迭代（Max_it）、Cmax和Cmin。输出：最佳蚱蜢的二进制位置。在{0，1}处随机初始化N个蚱蜢位置的种群Xi i 1 ; 2 ; ; n 。计算每只蚱蜢的适应度。根据适应度函数求出最优解Treturn 0;while（it Max_it）使用等式更新c。（五）对于种群中的每一只蚱蜢来说，归一化[2，4]中蚱蜢之间的距离，使用等式计算Dist值和F（Dist）。（14）Eq. （十五）使用等式更新当前蚱蜢的位置。（十六）端健身#SF1/4aω错误率1/4- aω#所有F17位通过最佳位置更新目标T。it = it +1end while返回T其中ErrorRate表示使用所选特征的分类错误率。ErrorRate被计算为不正确分类（通过5-ANN分类器）与分类数量的百分比，表示为0和1之间的值。（ErrorRate是分类准确性的补充），#SF是所选要素的数量，#All_F是原始数据集。A用于控制分类质量和子集长度的重要性。在我们的实验中，a被设置为0.9。您可以将分类错误计算为不正确预测数与预测数的百分比，表示为值介于0和1之间。011001010101000111001100100图三. 当前位置更新。5. 实验结果和性能比较5.1. 数据描述在本节中，在特征选择领域，对所提出的NBGOA算法的性能进行了测试，并与相关工作部分中引用的一些算法进行了比较。为了表明NBGOA在各种大小的问题上比其他算法具有更好的性能，我们选择了从加州大学欧文分校（UCI）机器学习库（Lichman，2013）获得的20个具有多种大小的数据集表1报告了测试中使用的数据集的描述。对于训练/测试方法，我们应用20倍交叉验证，每个数据集被随机分为两组，比例不同：数据集中80%的实例用于训练任务，20%用于测试任务（Friedmanet al.， 2001年）。5.2. 基准算法和参数设置我们开发的方法NBGOA的性能进行了测量，并比较了五个最近的和公认的方法在FS领域：最近的二进制蚱蜢优化算法2F.Distd¼ð15ÞH. Hichem等人/Journal of King Saud University321开始规范化[2，4]中蚱蜢之间的距离初始化蚱蜢种群使用公式计算Dist值和F（Dist）。(14)和等式（十五）计算每只蚱蜢将最佳解决方案设置为目标使用等式更新位置矢量。（十六）使用Eq. （五）没有所有蚱蜢的位置都更新了吗？是的用最佳解决方案返回最佳解决方案是的是否满足停止条件？没有端见图4。 拟议NBGOA的流程图。表1使用的数据集列表。优化方法（bGWOA）（Emary等人， 2016年b）和新型二进制粒子群优化（NBPSO）（Hoai等人，No数据集#功能#特性1心律失常2974522乳腺癌96993乳房EW305964清洁11664765结肠2000626德国2410007HeartEW132708电离层343519白血病71297210天秤座9036011马德隆500440012帕金森2219513鹏龙EW3257314塞梅翁265159315SonarEW6020816SpectEW2226717规格4427618Tic-tac-toe995819WaveforEW40500020动物园16101（BGOA-M）（Mafarja等人， 2019），二进制蜻蜓优化（BDO）（Mafarja等人， 2018a），二进制蚱蜢优化方法（BGOA）（Mafarja等人，2018年b），二进制灰狼2016年）。为了进行评价，所有试验均在相同的条件和参数值下完成。此外，对于所有算法，population大小设置为50个粒子，迭代次数设置为100。这些值是在进行实验研究后选择的，如第5.4所述。在测试实验中，使用5-Nearest-Neighbor（5-NN）分类算法，所有统计结果记录超过40个独立运行，以尽量减少随机效应。 实验在具有Intel Core i5- 4200 U、1.60 GHz、4 GB RAM和Microsoft Windows10的PC上进行。所有使用的算法的参数如表2所示。5.3. 评价标准所提出的方法的性能根据以下标准进行评估和比较：a) 平均适应度函数平均适应度函数是从优化算法的M次运行获得的适应度函数的平均值表3显示了平均适应度函数结果。b) 平均分类精度322H. Hichem等人/Journal of King Saud UniversityX1¼英寸吉吉X1¼英寸吉吉X1¼英寸吉吉表2初始参数的的测试算法参数值人口规模迭代次数运行次数获得了M个不同运行的最佳解而StD较小，这意味着算法总是收敛到相同的解决方案;而StD的较大值意味着随机结果。StD的公式为Eq.（20）. 该标准的结果见表4。r1X2a对于bGWOA [0，2]BGOA 1中的CmaxCmin inBGOA 0.00001标准差¼M-1健身i-平均值ð20Þ我在NBPSO 0.25ip，NBPSO 0.25ig在NBPSO 0.5中l BGOA-M1.5f在BGOA-M 0.5平均分类准确度（A_ACC）是从M次优化算法运行获得的解的平均值，并且可以用公式表示为Eq. （十八）、MAACC ACC18Mi¼1其中M是用于选择特征子集的优化算法的运行次数。ACCi是从第i运行中获得的最佳解的准确度。表4显示了Eq. （18）对于所使用的不同基准算法的测试集c) 平均特征选择大小平均特征选择大小（AFSS）是通过M次运行的特征总数的最佳解获得的所选特征集的平均数目。这个标准可以计算，如在方程。（十九）、该标准的结果见表5。M其中M是优化算法的运行次数，拟合度i是从第i次运行得到的最优解，平均值是在优化算法的不同M次运行中获得的平均拟合度函数。（21）.M平均健身21Mi¼1其中，Fitnessi是通过优化算法从第i次运行获得的最佳适应度函数值（一）平均计算时间平均计算时间（ACT）是算法运行40次时获得的平均计算时间（以秒为单位）在同一个计算平台上，计算如下：MACT CT22Mi¼1其中M是运行次数，CTi是第i运行时获得的计算时间值。5.4. 参数研究为了研究算法中的主要标准参数（种群大小和迭代次数）对性能的影响，AFSS¼1X尺寸双金属ð19Þ在此基础上，进行了一系列实验。 我们在六个数据集上使用不同的参数值：两个小其中M是优化算法的运行次数，Size（i）返回从第i次运行中选择的最佳解决方案中的特征数，D是原始数据集的大小。d）统计标准偏差（StD）报告所有方法的统计标准偏差以指示变化和稳健性（Emary等人，2 0 1 6 年b）数据集（Breastcancer和HeartEW）、两个中等数据集（SonarEW和Clean 1）和两个大型数据集（Leukemia和WaveforEW）。迭代次数参数允许取五个不同的值：30，60，90，100和120，种群大小参数允许取六个不同的值：10，20，30，40，50和60。表3从不同算法中获得的平均适应度函数数据集NBGOABGOA-MBDOBGOAbGWOANBPSO心律失常0.0800.0810.0830.0890.0910.090乳腺癌0.0240.0210.0260.0350.0310.041乳房EW0.0300.0230.0430.0400.0590.046清洁10.1100.1020.1210.1220.1040.124结肠0.1900.2100.2450.2560.2520.250德国0.0990.0990.0980.1000.0940.096HeartEW0.1190.1200.1220.1420.1560.160电离层0.0620.0720.0640.0650.1020.090白血病0.0710.0770.0750.0740.0770.077天秤座0.0850.0800.1010.0990.0900.110马德隆0.1900.2050.2150.2160.2130.241帕金森0.0420.0500.0490.0490.0430.060鹏龙EW0.1800.1900.2410.2430.2440.238塞梅翁0.0920.0990.1010.1080.1090.107SonarEW0.0330.0360.0200.0560.1020.060SpectEW0.1320.1360.1380.1500.1690.150规格0.1220.1190.1240.1250.1280.131Tic-tac-toe0.1550.1500.1620.2000.2100.199WaveforEW0.2120.2100.2360.2130.2140.250动物园0.0240.0210.0280.0280.0820.091Mi¼1DH. Hichem等人/Journal of King Saud University323表4平均分类精度和标准差结果。数据集NBGOABGOA-MBDOBGOAbGWOANBPSOA_ACCSTDA_ACCSTDA_ACCSTDA_ACCSTDA_ACCSTDA_ACCSTD心律失常74.0220.03387.2100.02273.2480.03871.8650.03785.7220.03394.2810.042乳腺癌96.5020.01597.4310.03895.9910.01495.4950.01793.8900.02392.4540.028乳房EW88.2380.01192.7720.01285.3240.01584.2220.01785.6940.01585.3600.021清洁191.3650.02790.3650.02690.6320.03090.3650.02989.6920.0388.2140.032结肠83.6800,01483.5200.00575.0010.01974.9850.01675.6910.01573.8650.015德国77.6200.02978.3650.03174.2300.03573.4540.03374.5300.03172.8600.031HeartEW94.9650.05485.8500.00395.8100.07692.0010.09893.3240.05691.3650.063电离层94.8100.01994.5210.01692.600.01591.3560.01892.5960.0289.1840.018白血病82.9800.03181.3650.03274.3650.03875.0330.03575.9540.04173.8900.042天秤座91.0200.01890.3250.01888.3900.02289.4400.02387.2200.01988.3500.018马德隆84.3200.02080.6900.02076.2300.02874.0250.02476.2510.01875.4400.020帕金森95.0230.01593.2650.02195.0210.01893.9700.02195.0010.02493.6280.025鹏龙EW78.6950.04090.440.01477.3650.04776.3250.04578.5960.05175.9850.052塞梅翁84.6980.02684.2650.02883.6540.02983.6890.03185.9540.03185.6230.033SonarEW92.9870.04590.540.01089.3650.06891.3250.05587.0100.0587.5870.062SpectEW93.0950.03484.660.04193.3500.03991.6900.05093.0010.06990.9850.072规格84.6500.02483.9650.02581.3500.04181.5520.03577.3960.03980.3650.044Tic-tac-toe91.6840.03994.250.01093.6500.03995.3650.06992.6540.06991.3500.054WaveforEW89.3620.02679.690.00685.3520.01785.3240.02888.3650.01984.3650.016动物园93.2300.02095.210.02092.6500.02