没有合适的资源?快使用搜索试试~ 我知道了~
沙特国王大学学报孪生学习算法Vidhya Mohan,Aji Sivanandan印度喀拉拉邦大学计算机科学系阿提奇莱因福奥文章历史记录:收到2020年2020年12月18日修订2020年12月19日接受2020年12月31日在线提供保留字:孪生机器学习算法极限学习机支持向量机随机向量函数链接A B S T R A C T根据数字世界的需求,机器学习算法取得了丰硕的进展Twin算法的性能程度应该优于其父母。Twin ExtremeLearning Machine(TELM)和Twin Support Vector Machine(TWSVM)在运行时间上的改进本文对基于TWSVM、TELM和Twin Random Vector Functional Link(TRVFL)的Twin学习算法的发展进行了详细的研究。在极限学习机(ELM)之后出现的单隐藏层学习范式和孪生模型试图解决其父母的一单隐藏层模型的迭代版本及其强大的性能将促进人工智能的发展本文选取了一些技术上比较成熟或性能比较好的孪生学习算法作为研究对象。结合文献资料,详细介绍了算法的工作原理和性能。©2020作者由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。1. 介绍机器学习正在成为大多数基于人工智能(AI)的应用程序中不可避免的组成部分,这些应用程序将提升社会的生活方式在不影响结果准确性的情况下具有更快响应的学习技术孪生学习算法是一种很有前途的策略,它可以以优异的处理时间和效率分析巨大在大多数新兴的人工智能应用中,学习算法的概念都是从人工神经网络(ANN)发展而来的。人工神经网络主要是利用函数逼近的方法来得到数据中关于相应的已知事实的隐含关系前馈神经网络(FFNN)是一种全连接模型,单隐层前馈神经网络*通讯作者。电子邮件地址:vidhya. keralauniversity.ac.in(V. Mohan)。沙特国王大学负责同行审查目前在数据密集型计算领域的研究人员中比较流行。单层前馈网络(SLFN)具有良好的逼近能力,正如所期望的,根据下划线的这些方法的应用证明了其潜力(Cao等人,2016;Rumelhart等人, 1986年)。基于最小二乘法的SLFN策略,如随机向量函数连接(RVFL)和ELM,可以克服由于使用局部极小值而导致的收敛速度慢和训练性能低的问题。1992年,Pao等人,提出了一种称为RVFL的SLFN,其利用增强节点执行非线性变换(Pao等人,1992年)。随机权重和偏置被分配给增强节点,而不是迭代调整。Igelnik和Pao(1995)使用RVFL作为有界有限维集上连续函数的通用逼近器。RVFL是一个有效的策略,其逼近误差率以O(C/sqrt(n))的阶收敛到零,其中n是偏置函数的数目,C与n无关1992年,Schmidt等人,提出了一种前馈神经网络模型,并且在输入和输出层之间没有直接的连接(Shandong等人,1992年)。受Schmidt模型和RVFL模型的启发,Huang等人提出了一种新的学习模型- ELM(Huang et al., 2004年)。与RVFL一样,ELM也使用随机值初始化权重和偏差。ELM起源于作为一个监督学习模型。 但是,ELM的进步打破了这一障碍,新的变体正在发展,https://doi.org/10.1016/j.jksuci.2020.12.0111319-1578/©2020作者。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。制作和主办:Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页:www.sciencedirect.comV. Mohan和A. 西瓦南丹沙特国王大学学报4703-C布拉奇-ðþÞð-Þ半监督的,即使是无监督的学习问题。最近有大量的工作证明了SVM 、 RVFL 和 ELM 的 泛化 能 力( Chen 等 人, 2020 a , 2020b;Wang和Chen,2020; Zhang等人, 2019年度)Cortes和Vapnik(1995)提出了用于二进制分类的支持向量机(SVM),后来扩展到多分类问题。SVM通常确定一个超平面来划分两类数据样本,并最大化相应类的支持向量之间的距离。机器学习(ML)中的孪生算法在研究人员中很受欢迎。所有的孪生建筑都保留了其祖先的固有特征,因此其性能的基本特征也没有改变。Jayadeva等人(2007)介绍了一种二元分类器,Twin Support VectorMachine(TWSVM)。TWSVM利用两个超平面解决了这个问题受 TWSVM 的 启 发 , Wan 等 人 ( 2017 ) 提 出 了 Twin ExtremeLearning Machine(TELM)。TELM是ELM和TWSVM的结合,是一种用于二进制分类问题的监督学习方法。在TELM中,同时训练两个ELM以形成x1和x-1分别表示由class +1和1组成的数据部分将针对模型的目标函数检查特定类的超平面。超平面将在每次迭代中更新,以便获得用于表示属于所关注类的数据的最优解。超平面更接近它所代表的类,而远离另一个类。这些超平面的属性发出以识别新的数据集。RVFL基本上是非迭代学习模型,存在不同的尝试来提高效率,并且孪生变体(ULTRVFLC)本质上是迭代的ELM是非迭代学习算法中最突出的一种与TWSVM的情况一样,TELM也在两个超平面的帮助下解决了分类问题,但其固有的泛化能力比TWSVM更具优势。TELM的架构如图2所示。在每个ELM的输入层和输出层之间存在隐藏层H。图 2、y根据c计算,可以是推导为ELM特征空间中的非平行超平面。TELM解决了非平行超平面的两个小的二次规划问题(QPP)。通常情况下,ELM会将cc¼wT x bkwck1其中一个超平面因此仅解决单个最小二乘问题。RVFL,Borah和Gupta(2019)的孪生扩展提出了基于无约束凸最小化的隐式拉格朗日孪生随机向量函数链接网络(ULTRVFLC)。通过将问题转化为无约束最小化问题,在ULTRVFLC中系统地解决了RVFL中解决二次规划问题的额外计算工作。本研究旨在评估基本孪生学习算法的基本原理及其最近的一些进展。大多数方法的性能进行了比较的帮助下,已经公布的结果。在本文的其余部分,第2节旨在解释两个重要的孪生学习算法- TWSVM和TELM。孪生学习算法的最新进展在第3节中列出。下一节将详细介绍孪生学习算法中最新方法的工作原理。方法性能方面的比较研究列表见第5节。研究结论见第6节。2. 机器学习在准确性和学习时间方面更好和可靠的性能是在对学习算法建模时要考虑的两个重要参数。在目前的研究状况下,可以将学习算法分为迭代和非迭代两大类。SVM在理论上是一个迭代模型,双变体TWSVM属于同一类别。在TWSVM中分别处理类别+1和1下的数据,并且由此形成的两个非平行超平面用于区分即将到来的数据。图1给出了TWSVM的抽象架构。在哪里ciseither1或1,w和b是在训练时给予过程的初始权重和偏差。3. 孪生算法的进展TWSVM和TELM的性能导致了ML中这对孪生算法的深入研究。图3列出了孪生方法的各种变体。有三种形式的孪生算法- TWSVM(Jayadeva等人,2007)、TELM(Wan等人,2017)和TRVFL(Borah和Gupta,2019)。TRVFL是RVFL的一种变体,常用于各种实际应用中。图二. TELM的架构Fig. 1. TSVM的体系结构V. Mohan和A. 西瓦南丹沙特国王大学学报4704þ¼2.埃克塞特一世ð-Þð-Þhiðþ Þw1;b1V matrix:矩阵图三. Twin Algorithms大多数方法都是最近发表的孪生算法,因为它们的计算能力,特别是大规模数据集,它们被广泛接受。4. 孪生算法在孪生算法中,父体系结构的两个同步模型一起工作并创建其类的单独超平面。与类内的超平面的距离将更小,同时,它与不同类的其他超平面的距离将是最大的。4.1. TwsvmTWSVM是ML算法中最早的孪生策略之一。此外,用于TWSVM的算法(Jayadeva等人, 2007年)的架构图。 1包括五个主要步骤。算法1TWSVM是一种二次问题,其中每个问题的目标函数将是所关注的类,并且相应的参数是根据另一类进化的一个数据点到超平面x Tw1b11 1/4 0 和 x T w2b2 0 的 垂 直 距 离 给 出 了 它 所 属 的 类 。 由 于TWSVM将数据集分为两部分,因此处理时间的速率将是p3=2p3<$4; TWSVM的时间复杂度几乎是4比SVM好很多。TWSVM的性能导致了认真的探索,在过去十年中出现的作品列表如图 3 所 示 。 该 列 表 包 括 TWSVM 架 构 的 一 些 早 期 版 本 , 如BoostingTWSVM(Zhang,2009)、投影TSVM(PTSVM)(Chen等人, 2011)、OTPMSVM(Peng等人, 2014)、FTSVM(Bai等人,2014)、pin-TSVM(Xu等人,2017)、L1范数TSVM(Peng例 如 , 2016 ) 、 L2-TSVM ( Ma 等 人 ,2017 ) , FLSTSVM(Sartakhti等人,2019)和V-TSVM(Mei和Xu,2020)。列表中的所有方法在其下划线概念和性能方面都很强大,但新版本的算法能够消除早期版本中耗时的矩阵运算。有步骤1:构造输入矩阵xðþ1Þ 和x-1在最新版本的TWSVM方法中进行了大量的新实验,奥吉该方法结合特征选择策略,计算输入矩阵的隐藏层输出矩阵U和V步骤2:为输入U矩阵构造凸QPP:min1kx1w1e2b1k2c1knk2其中─x1w1e2b1n≥e2;n≥0min1kx-1w2e2b2k2c2knk2真选择双边界SVM(FSTBSVM)(de Lima等人, 2020)、可调大边际分布-TSVM(ALD-TSVM)(Liu等人,2020)的大边际分配机(LDM )和鲁棒TWSVM (RCTSVM )的思想(Yuan等人,2021)给出了更多的大使馆对系统的鲁棒性,使用基于拉普拉斯核函数的相关性诱导度量(CIM)的列表中。三种方法--IFFT SVM、m-PTSVM和ELSTSVM或可扩展性,以满足未来的计算需求,例如在线数据w2;b2其中─x1w2e1b2ne1;n≥0处理. IFFT SVM是Twin learn中的最新方法之一-第三步:-通过求解这些方程获得拉格朗日乘子a和c处理数据集中的噪声和离群值的算法,这将是未来几天的一大关注。ELSTSVM两个QPP步骤4:计算输出权重u1和u2的被证明是更好的在线数据处理,因为较低的计算复杂性,这源于u 1 =-x u2=-。X第五10000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000001吨x-1ðþ1Þ1天1次-1次V. Mohan和A. 西瓦南丹沙特国王大学学报4705不1/4。我也是。-1 /和1 TcLSTSVM。m-PTSVM是另一种理论上合理的方法,将被探索用于更有效的计算学习方法.计算数据点x的垂直距离yminxTw b2019 - 01-2500:00:00V. Mohan和A. 西瓦南丹沙特国王大学学报470622T2不0f x/≤≤. ..1分钟.-是的wxb221112112221/1个112-lc-vc其中0≤ /1≤e2;e0/1¼v1u2/22二分之二2-A2B22A2A0ðþ Þ-1GT/106222312/-2/211121212231¼;l11步骤4:查找新数据集x4.1.1. 伊夫茨姆噪声和不相关类的存在是影响学习过程质量的一些重要方面。模糊孪生支持向量机(FTSVM)的目的是减少这些问题,通过应用直觉模糊化功能与TWSVM。本文介绍了Rezvani等人提出的基于模糊支持向量机的理论概念。(2019)对于具有两个类别x1和x-1的数据集,总结如下。在线性的IFFT SVM中,x的模型为4.1.2. m-PTSVM投影TSVM(PTSVM)为类找到一个最优子空间,并试图保持类内的距离为最小值,类间的距离为最大值。PTSVM为每个类提供了一个判别子空间,投影实例提供了有关类的更多信息。m-PTSVM是通过填补PTSVM的一些空白领域,如惩罚参数,求解的时间复杂度,使用QPP和需要额外的内核来解决非线性问题。最小1kx1W ebkCkwkC snð2ÞChen et al.(2020 a),Chen et al.在条件-Bw1n2≥e2;n2≥0而对于数据集xx-1的另一部分算法2-m-PTSVM最小1kxwe bk1Ckwk2-122 232C4s1n1输入:训练集X<$f<$xi;yi<$j1≤i≤mg;xi2Rn;yi<$f<$1;-1gw2;b 2;n 12 2参数集P<$fc1;c2;v1;v2g;c1;c2>0;v1;v22>0; 1> 0;在条件Aw2n1≥e1;n1≥0这里,C1和C2是惩罚参数、松弛变量和1向量。成员资格分数值s由下式计算:第一步:构造Ak;Bk;使得Ak<$fxi-mkg和Bk<$fxj-mkg;其中mk是k类的中心。步骤2:解决双重问题8>: 1-vc ;其他u1/1A1B1B1B01这里,lc和v c 表示隶属度函数并且数据集xc的非隶属函数属于C类,可以是+1或-1。和最小值1.u0l220分。B2B0C2IB2A0 !. u22他们通过控制来解决这些二次多项式问题构造拉格朗日量并满足K.K.T条件。因此得到了关系,不其中0≤ /2≤e1;e0/2¼v2步骤3:考虑每组数据f1x xxxw0 d1x1。u0 A1d1x/1B0 d1x胡氏100万!u1/4-。HTH-1GT/51和c11111 121112 .Σð-ÞB1f2x xxxw0 d2×1×1。u0 B2d2x-/2B0d2x其中,其中H为1/4。x1e1;G2¼。x1e2andu1¼w12c222 2dk xx-mk因此类的权重和偏差可以推导为:.Σ12argmin1; 2gjku 1/4。GTGCI-1HTb7参数m用于控制边缘参数,将m-PTSVM模型集中在类内特别护理给出了减少进程的运行时间,特别是在解决其中和b是拉格朗日乘子,I是单位矩阵。因此,(2)和(3)可以重写为双重问题。该模型的设计,以避免非线性问题的核心技巧。最大T1TG.HTHCI-1GT/84.1.3. 埃尔斯特斯温ELSTSVM是最小二乘TWSVM的增强版本假设0≤/≤C2s2,且maxe Tb-1bTG.G TG C I-1H Tb9Ganaie等人提出的。ELSTSVM不是随机权重,而是从预先训练的权重集合中选择权重。一个增强的功能集在一个非线性激活函数,从输入功能和这些假设,0bC4s1这里C是表示结构风险最小化原则的加权因子。在得到u1和u2的最佳值之后,可以通过以下公式确定数据集×的结果类:用于形成超平面的特征。ELSTSVM的算法(Ganaie和Tanveer,2020)在本节的算法3中给出。算法3wT x by1kw1 k不2kw2 kð10Þ输入:训练集X<$f<$xi;yi<$j1≤i≤mg;xi2Rn;yi<$f<$1;-1g从理论上讲,IFFT SVM的时间复杂度与TWSVM的时间复杂度几乎该方法在含有噪声的数据集上更有效。(接下页)不w1;b1;n2参数集ðþ1Þ在算法2中给出了m-PTSVM的(2020 b)ð4Þ/2个u1 公司简介C1I/BCyV. Mohan和A. 西瓦南丹沙特国王大学学报4707.ΣJ[1/2].ΣðþÞþ¼不一不一BBw1;b1212S.T. -我是说...Bωw0B1b0 Σþn1¼e1;S.T. -Aωw02b212112121221C2212k1kU2U1UU2-C1/1-k1/1-e2U1-C2我我我我我最小022k11-1t*(续)算法3P^fc1;c2;Jg;c1;c2>0;J-隐藏节点数构造A1/4xi;yin;yi1/4 k和B1/4xj;yj;yj1/4k步骤2:使用LSTSVM解决对偶问题minn11kAw1e2b1k2C1kn1k2w1;b1S.T. -Bw1e1b1n1¼e1;和minn11kBw2e1b2k2C2kn2k2w2;b2S.T.aw2e2b2n2e2步骤3:将获得的权重存储在单个存储中,Ww1;b1;w2;b2步骤4:创建数据X的增强特征集x0的 步骤4:考虑扩展特征集Aω 1/2hXX01和Bω1/2 XX0],见图4。 TRVFL的工作流程使用LSTSVM解决以下问题.00 2Rn 2b1k1kn1k24.2.1. 格利特夫夫勒GLTRVFL(Borah和Gupta,2019)是扩展版本的无约束隐式拉格朗日随机向量泛函链1min01n J11kω02C22网络. 在ULTRVFLC中,对偶QPP问题转化为两个经典的互补问题.02R22Bw0 e1b2k:n2k..ΣΣC1w2;b22.0Σ0 ≤/?联合U tU-1 U t/-e≥0 ð11Þ步骤5:通过one-vs-所有的方法。在ELSTSVM中,权重不是随机分配的,从集合中选择的权重将由LSTSVM优化ELSTSVM中产生的特征集由转移的fea组成,且0≤ /?.. 联合UtU-1UtI/-e≥0 12通过应用其他条件和约束,这些可以转换为无约束隐式拉格朗日TRVFLC问题的关系,最小L1t. 联合UtU-1UtI/-e/M数据集的真实和输入特征集,以便扩展fea-真集合可以提供比其他集合更多的信息超-/12R11个/1个/2个/1个21 12C1121用于最终解决方案的平面由这些扩展的FEA确定,真集,并且理论上证明有机会获得更好的性能。由于矩阵求逆运算的次数1..不-1tþELSTSVM的时间复杂度高于LSTSVM,但ELSTSVM的时间复杂度会更高。4.2. 特尔夫夫勒-一千U2乐队。Ut U1和2U2-C1 /1-e2kð13ÞRVFL是一种快速学习的单隐层前馈神经网络最小LM1t. 联合UtU-1UtI/-e/具有通用近似能力的网络(Pao等人,1994年)。与该领域的其他公司不同,RVFL也有直接/22R22个/2个/2个12 21C2212输入和输出节点之间的连接简单的自然1..不-1t和一致的性能RVFL已用于许多现实生活中的应用。在某些问题上,它也被消极地对待,2k2kU1U2U2U1-C2/2-k2/2-e1kþ在初始化训练参数时的随机性一些RVFL的变体列于(Qiu等,2018年; Zhang等人,2019; Zhang和Yang,2020)。1..t-1 t2TRVFL是RVFL的双胞胎版本(Borah和Gupta,2019),因为在其他双胞胎模型的情况下,TRVFL的表现也优于其母公司。工作RVFL可以通过TRVFL的工作原理进行挖掘,如图所示。 四、TRVFL通过求解QPP来找到超平面,这是一个消耗资源的过程,并且消耗了其大部分时间他们应用牛顿迭代法来计算a1和a2的值在求梯度向量时,“+”函数的存在表明Hessian矩阵的不存在。因此,他们推导出了广义导数方法,称为GLTRVFL。好吧。联合UtU-1UtI12运行时间。提出了解决对偶问题的方法,通过收敛迭代方法,与本节讨论相关。1rL1a1@211K12C12019年12月24日2K-2k2 kU1U2U2/2-e1Kð14Þ一V. Mohan和A. 西瓦南丹沙特国王大学学报47081/4fg≤≤--argargðþ1Þ-11K BK不--×。. 联合UtU-1UtI。kI-。联合UtU-1UtI22112C11112我我我2我1221C2我 我我JJJ122第二代1221摄氏2一2因此,他们得到了梯度向量,广义Hes-我ii¼1;n1221 12C11 21 12C1算法4公司简介联合UtU-1UtI/-k/-e15ω输入:训练集X<$f<$x;y<$j1≤i≤mg;x2Rn;y<$f<$1;-1g和好吧。联合UtU-1UtI12参数集P w;b;初始权重和偏差第一步:构造A <$transx; y <$transx;y <$transx 1和B <$transx。x;y;y-1KrL2a2@.. 联合UtU-1UtK1我...我2一. 联合UtU-1Ut我的天啊2步骤2:分别找到隐藏层矩阵U和V步骤3:对于U矩阵确定(19)和(20)的Wolfe对偶:max eTa-1aTV UTU-1VTa公司简介U. UtU-1Ut我的朋友— k/— eð16Þ其中,0aic1关于V Matrix:12 21C2222 1ωmaxe Tc-1 cT U.VT VT-1UTc西安矩阵与牛顿解题迭代格式4.3. TelmELM(Huang等人,2004)是非迭代学习算法中最重要的方法之一。在已发表的文献中可以看到ELM的广泛接受ELM快速、高效的泛化能力为机器学习算法的设计提供了新的思路。连接ELM的输入层和输出层的隐藏层H估计为:26sxw1;b1;x1--s wL;bL;x137S. t. 0≤ci≤ c 2步骤4:通过求解这两个QPP来获得拉格朗日乘子a和c步骤5:计算输出权重b1和b2b1=(UTU+sI)-1VTa和b2=(VTV+sI)-1UTc步骤6:计算数据点的垂直距离x,f=1; 2min d =1; 2min. brhx。在TELM中,求解两个独立的较小的ELM以找到结果,H ¼4- -sw1; b 1; x N ::swL;bL; xN5ð17Þ自然,TELM的时间复杂度将低于ELM。TELM的复杂性将取决于其中w;b是特定节点的初始权重和偏置。具有N个记录的输入数据集将被馈送到具有L个隐藏节点的网络中。输出权重b推导为:2018年12月18日其中,H是H的TELM(Wan等人,2017)是ELM的双胞胎版本,具有ELM的所有功能,并且性能也有所改进。TELM用两个不平行的超平面代替ELM中的单个超平面来解决问题,并且与ELM相比,两个QPP的尺寸更小。考虑一个训练数据集X¼ fx;yg,它进一步分离,斯特兰茨山自然,复杂性将随着尊重而改变输入的大小图中列出的大多数TELM方法。3是最近发表的作品,具有潜在的应用和可扩展性。TwinParameter Margin regularized ELM(Lap-TPMELM)(Ma,2020 b)和Twin Minimax Probability ELM( TMPELM ) ( Ma 等 人 ,2020 ) 源 自 快 速 鲁 棒 TELM(FRTELM)(MA,2020 a),可以很好地处理离群值。下一节中给出的FRTELM算法的方法和理论稳定性使该方法与其他方法不同。连续超松弛(SOR)算法使TMPELM和Lap-TPMELM方法在具有以下特征的数据上表现良好:异方差误差结构SPTELM(沈和马,2019)根据yi的值分为两类。设A为群所有的数据都属于第一类,即A¼fx{\displaystyle A\fx {\fx {1};yg,和B¼fx-1;yG. 如以下关系式中给出的,针对隐藏层矩阵U和V形成QPPU矩阵:是利用e不敏感区弹球损失函数提高TELM效率的又一次有益尝试。在OptimizedTELM(Sun等人,2017),粒子群优化与TELM集成以优化结果,并已开发用于预测副产品气体流量。最小1Ub1;n22019年12月19日LSTELM和ULTELMC是以下部分中解释的另外两种方法LSTELM提出了一个模型,通过两个较小的线性方程组来解决问题,哪里Vb1ne2; n0V矩阵:最小值12T可以获得更好的性能。在ULTELMC的情况下,他们提出了一个迭代方案,而不是两个QPP,因此他们可以减少计算需求。b;n2020年2月1日4.3.1. 勒斯特尔姆其中-Vb2<$n2≥e1;n2≥0其中n1;n2表示误差,c1;c2和e1;e2对表示权衡和1向量。一个简单的算法,解释了TELM的工作(万例如,2017)在算法4中给出。如前所述,TELM的时间复杂度与输入的大小成正比,因此它不是数据密集型问题的好解决方案 Rastogi等人(2019)提出了TELM的高级版本,最小二乘TELM(LSTELM),以解决这个问题。他们证明了×1摄氏-C2V. Mohan和A. 西瓦南丹沙特国王大学学报4709.Σ不≥¼ ½ðÞ ···ð]½ð我的天n(。jj≤2j1ð Þ.; jb:n ≤ e3 i 2(j-1)ð Þ1122不不不R2jj1b1jj22n2n211222211222jb1:h xij1我.b222;g2 222 221112LSTELM只包含等式约束,因此可以通过求解线性方程组来解决问题代替(19)和(20)中的L1范数,他们使用L2范数并形成QPP,*(续)算法5. J t-J t-1. ≤d1,且J t-J t-1. ≤d2min12c1T步骤7:如果收敛,则退出迭代,否则转到步骤3Bn 2jjUb1jj22nn21步骤8:计算数据点x的垂直距离,1个单位;f x符号b1:hxb2:hx其中-Vb1 +n= e2和ð Þ¼jjb1jjjjb2jj最小值1jjVbjj2c2gTg22其中Ub2 +g= e1后来,他们改变了(21)中的目标函数n,并将b1的梯度指定为零,他们可以推导出以下关系:1V VVV1V c2¼023因此,他们得出了b1和b2的值,b1=-c1(UT U+ c1 VT V)-1VT e224和b2=-c2(VTV +c2UTU)-1UTe125他们利用以下关系尽管FRTELM的鲁棒性更好,但算法的总n × n,L × L维矩阵的时间复杂度为O<$2L3<$2n3 <$.由于FRTELM是迭代算法,算法的复杂度约为O t:2 L32 n3 迭代次数为t4.3.3. 乌尔泰尔姆克求解QPP问题是一个计算量很大的任务,无约束凸极小化问题(ULTELMC)就是为了解决这个问题而出现的。在ULTELMC中,Borah和Gupta(2020)提出了一种迭代方法来求解QPP。他们用L2处理QPP,从而避免了松弛向量的重要性,并将其作为凸问题。两个矩阵U和V的原始问题fxarg最小值drargmin. bhx。ð26Þ最小1小时2C1t27LSTELM具有ELM和TELM的所有优点,同时运行时间将小于TELM。4.3.2. 弗尔特尔姆孤立点的存在是ELM的主要问题之一服从-和min1jjH2bjj2C2ntnð28Þ并且一些工作已经发展到给出ELM的鲁棒扩展。L1范数不会给出有离群值的有希望的结果MA(2020 a)提出了一种快速鲁棒TELM(FRTELM),通过引入Capped L1-范数来反对L2-范数。算法5输入:训练集服从-其中,H1h1X1hL X1和h2h1X2hL X2。与GLTRVFL的情况一样,借助牛顿迭代法,它们可以形成Hessian矩阵,导出称为ULTELMC的一般化导数方法。5. 数据集和性能比较X<$f<$xi;yi<$j1≤i≤mg;xi2R;yi<$f<$1;-1g参数集P^fC1;C2;e1;e2;e3;e4;d1;d2;Lg;步骤1:初始化矩阵Q,Z2 ffim1Xm1和U,G2 ffim2Xm2步骤2:FRTELM迭代计算b1,b2。步骤3:迭代(t)直到J t和J t收敛步骤4:找到b1,b2。UCI ML存储库下的可用数据集用于比较学习方法的性能。本工作中提到的数据集分为两组,如表1所示。在第一组中有八个数据集,并在该组的帮助下比较了学习算法及其孪生版本的性能研究发现b=-(HT QHUHTUH-1HT Ue1b=-(HTGH HTZH-HT Ze考虑使用UCI数据集进行性能比较。步骤5:分别借助下式更新矩阵Q、U、G、Z,.1;jb:h<$x <$j≤euj¼gi¼0;否则1;b:h xej b1:h x jj0;否则1小时xjb2:h xi j0;否则zi¼1;mb:h xejm1-b2:h xjj0;否则步骤6:检查J t的收敛性 Jt1 2第1段;第2段第1段;第2段Þ12表11qi¼1数据集样品属性组-1乳腺癌6839保柏3456哈伯曼3063元音98810声纳20860班车18299溶媒18469酵母14848组-2澳大利亚69014电离层35135皮马7688V. Mohan和A. 西瓦南丹沙特国王大学学报4710×第一组中的一些成员有更好的成绩,而其他人的成绩最差。因此,我们将另一个数据集与三个数据集进行了分组,这些数据集的准确率在70%-95%之间。本文中详细介绍的学习方法的两种变体与第二组进行了比较。在本节中,比较了前几节中提到的方法的性能,其中大部分结果在相应的文献中报告。在图5中,显示了早期版本的孪生算法及其双亲的性能。值得注意的是,数据集Shuttle在所有算法中获得了最大的性能,而Haberman的记录最少。Haberman只得到了3个属性和306条记录,这是整个数据集中最少的,但有趣的是SVM,TRVFL和TELM可以达到60%以上的准确率。即使特征维数不是最大的,穿梭数据足够数量的记录,在学习中贡献良好的信息。结果发现,在不考虑哈伯曼的情况下,孪生子的准确性比他们的父母略占上风所有提到的方法得到的平均准确率在83%至87%的范围内的整个数据集,除了哈伯曼。TWSVM在所有方法中表现最好,仅比评分最低的ELM高4%,这些统计数据表明所有方法的准确性几乎相同推导最优超平面的迭代过程有助于SVM及其衍生物在给定的学习算法中表现良好图6给出了所有数据集的方法的时间效率,其中超过180 × 10- 4 s的运行时间从图中被剪掉,以便为最佳执行者提供更多的大使馆考虑到每个数据集的平均运行时间,Shuttle,Vowel和Yeast数据集比其他数据集花费了更多的时间,因为它们包含更多的记录。中明确图 6,RFVL家族获得了最少的运行时间,同时SVM在学习时间方面表现最差。图五、学习算法的性能及其孪生版本。见图6。 学习算法的时间效率。图7.第一次会议。Twin Learning Algorithms的应用图8.第八条。孪生学习算法的时间效率具有大量参数和记录的数据集增加了RVFL的运行时间。还观察到,非迭代方法是时间有效的,在非迭代类别中的每组实验中至少两个数据集可以实现100 × 10- 4秒或更少的训练时间,而迭代方法即使使用单个数据集也不能实现相同的Twin学习算法的性能在图中。 5和图 6是令人鼓舞的,后来的版本的结果表明,在这一领域的未来投资的相关性。从图7中可以发现,除了TWSVM和TELM之外,大多数其他孪生学习算法都将每个数据集的平均性能视为地标,从而获得了更好的结果。作为基本算法扩展的方法可以很好地执行。FRTELM、LSTELM和IFTSVM分别对电离层、澳大利亚和Pima数据集得到了最好的结果。综合考虑所有孪生学习算法的平均性能,FRTELM获得了86%的准确率。图 8、取所有方法在三个数据集上的平均训练时间,ULTRVFLC得到的时间最少。ULTRVFLC也被认为是最好的与大多数数据集。表2中提取了从研究中得出的孪生学习算法的特征及其性能。6. 结论孪生学习算法是人工智能中一种很有前途和鼓舞人心的机制,特别是在数据密集型应用中。本文详细比较了孪生学习算法中迭代和非迭代范式的最新发展。通过对SVM、RVFL和ELM初始孪生算法的研究,发现非迭代模型是快速的,V. Mohan和A. 西瓦南丹沙特国王大学学报4711表2Twin Learning Algorithms算法结果TWSVM在图6的结果集中发现,SVM花了4秒的时间来训练穿梭机数据集,而TWSVM只花了1.09秒。在考虑平均性能时,SVM和TWSVM分别花费1.4和0.28秒。因此,这两种方法的理论概念在实验中也得到了证明,TWSVM比SVM快4倍通过划分问题空间,降低了训练数据集的经验风险隶属度和非隶属度函数都可以降低数据集中噪声和离群值的影响。澳大利亚数据集的训练时间为2.04 s,这是结果集中性能最差的数据集之一,但其他数据集没有重复。该方法与性能不一致,对于某些标准,它可能会产生较差的结果ELSTSVM该方法是为隐式特征表示而设计的,因此平均性能相对较好,是SVM模型中最好的。m-PTSVM理论上很强,尽量避免求逆运算在训练过程中,提高了泛化能力。因此,它可以始终保持性能高于所有数据集的平均水平,较大数据集的性能相对较低。TELM是为有监督学习问题而设计的,由于ELM的强调概念,它可以很好地处理具有足够代表性的数据集。LS-TELM解决两个较小的线性方程组,并提供比前辈一致的性能。所有的实验组都能达到平均水平以上。处理时间几乎比同类中最好的高出9%,因为重要的操作本质上并不稀疏FRTELM对离群值更稳健,有助于在模型训练期间消除离群值,并在大型数据集上具有稳健性。由于是一种迭代方法,算法的复杂度将取决于迭代次数和数据集的大小该方法的执行时间被认为是研究中所有方法中最大的。ULTELMC迭代方案,而不是两个QPP。比之前提到的大多数方法都要有效。使用2-范数松弛向量进行操作,并且可以在所有大多数数据集它可以大大减少执行时间,但所有数据集的性能并不优于其他ELM模型。GLTRVFL迭代方案,而不是两个QPP。稳定的性能并达到最佳的平均精度。比其他方法更快,但每个数据集的准确性并不是所有方法中最好的。在培训过程中 但值得注意的是,这些模型的扩展和迭代版本可以优于父方法。GLTRVFL是RVFL的孪生版本,它借助于广义Hessian矩阵和Newton迭代格式,具有更好的时间效率。尽管TWSVM和TELM不能很好地执行,但后来的版本对大多数数据集都给出了令人鼓舞的结果。最近的发展,孪生算法,特别是在单隐藏层模型,发现更有吸引力,因为下划线的学习过程比性能。在单层学习方法中引入迭代过程将是机器学习领域有前途的进展,GLTRVFL和ULTELMC的结果加强了这一点。竞争利益作者声明,他们没有已知的竞争性财务利益或个人关系,可能会影响本文报告的工作。引用巴伊湖,加-地王志,Shao,Y.H.,纽约州登市2014年。一种新的孪生支持向量机特征选择方法知道了。-BasedSyst.59,1-8.https://doi.org/10.1016/j.knosys.2014.01.025。Borah,P.,Gupta,D.,2020.基于无约束凸最小化的隐式拉格朗日双极端学习分类机(ULTELMC)。应用程序接口50,1327-1344。https://doi.org/10.1007/s10489-019-01596-0网站。Borah,P.,Gupta,D.,2019.基于无约束凸最小化的隐式拉格朗日孪生随机向量函数 链 接 网 络 ( ULTRVFLC ) 。 应 用 软 件 计 算 81 , 105534 。https://doi.org/10.1016/j.asoc.2019.105534的网站上发布的。曹杰,张,K.,Luo,M.,Yin,C.,中国植物研究所,Lai,X.,2016.极限学习机与自适应 稀 疏 表 示
下载后可阅读完整内容,剩余1页未读,立即下载
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功