孪生支持向量机综述及应用：2007-2014年研究进展和性能提升

制作和主办：ElsevierEgyptian Informatics Journal（2015）16，55开罗大学埃及信息学杂志www.elsevier.com/locate/eijwww.sciencedirect.com审查孪生支持向量机：2007 - 2014年综述Divya Tomar*，Sonali Agarwal印度信息技术学院，印度接收日期：2014年2月24日;修订日期：2014年11月13日;接受日期：2014年2015年2月27日在线发布TwinSupport Vector Machine（TWSVM）是一种新兴的机器学习方法，它既适用于分类问题，也适用于回归问题。它利用广义特征值邻近支持向量机（GEPSVM）的概念，并为每个平面类解决一对二次规划问题。与传统的支持向量机（SVM）相比，它提高了计算速度。TWSVM最初是为了解决二进制分类问题而构建的;后来的研究人员成功地将其扩展到多类问题领域。TWSVM总是给出有希望的经验结果，由于它有许多有吸引力的功能，增强其适用性。本文介绍了该领域的研究进展近几年来的TWSVM。本研究分为两大类-基于变量和基于多类的TWSVM方法。本文主要讨论了TWSVM的基本概念，并重点介绍了TWSVM近年来的应用。基于TWSVM的各种研究成果的比较分析。这有助于研究人员有效地利用TWSVM作为一种新兴的研究方法，并鼓励他们进一步努力提高TWSVM的性能。©2015制作和主办由Elsevier B.V.代表计算机与信息学院开罗大学。 这是一篇基于CC BY-NC-ND许可证的开放获取文章（http：//creativecommons.org/licenses/by-nc-nd/4.0/）。内容1.一、导言. 562.双支持向量机*通讯作者。电子邮件地址：divyatomar26@gmail.com（D.Tomar），iiita.ac.in（S.Agarwal）。开罗大学计算机和信息系负责同行审查。http://dx.doi.org/10.1016/j.eij.2014.12.0031110-8665 ©2015由Elsevier B. V.代表开罗大学计算机与信息学院制作和主办。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词孪生支持向量机;最小二乘孪生支持向量机多胎支持向量机;加权最小二乘孪生支持向量机;有界孪生支持向量机第56页D. Tomar，S. Agarwal2.1.线性TWSVM 582.2.非线性TWSVM 583.基于变量的算法593.1.改进的TWSVM[41]................................................................................................................................................................... 593.1.1.线性TBSVM 593.1.2.非线性TBSVM 593.2.[42].................................................................................................................................................................................第四十二话3.3.最小二乘TWSVM（LSTSVM）[43].......................................................................................................................................603.3.1.线性LSTSVM 603.3.2.非线性LSTSVM 603.4.加权LSTSVM[45]...........................................................................................................................................................................3.4.1.线性WLSTSVM 613.4.2.非线性WLSTSVM 613.5.改进的LSTSVM[47].......................................................................................................................................................................3.5.1.线性改进的LSTSVM 623.5.2.非线性改进的LSTSVM 623.6.[48]............................................................................................................................................................................... 第四十八话3.7.其他改进624.基于多类的算法634.1.Twin SVM的多类分类[66]............................................................................................................................................................4.1.1.Linear Twin-KSVC 644.1.2.非线性双KSVC 644.2.多胎支持向量机（MBSVM）[67]...........................................................................................................................................644.3.其他改进665.TWSVM 66的应用5.1.TWSVM for classification 665.2.TWSVM回归665.3.TWSVM-67的优点和缺点6.结论67参考文献671. 介绍支持向量机（SVM）是Vapnik等人在20世纪90年代提出的一种基于统计学习理论的方法[1，2]。最初，SVM是为了解决两类分类问题而开发的，但后来它被公式化并扩展到解决多类分类问题[3支持向量机通过在输入空间中确定一个超平面来划分两类数据样本，使它们之间的分离最SVM还可以有效地用于利用核函数理论对非线性分类的数据样本进行分类[10] 。几个核函数，例如高斯，多项式，Sigmoid等，可用于将数据样本转换为更高维的特征空间。然后SVM在这个空间中确定一个超平面，并将数据样本划分为不同的类[10 图图1显示了SVM在核函数的帮助下将分类分为两个类别标签。SVM具有许多优点，例如它为数据分类提供了全局解决方案。与其他现有的数据分类方法相比，它生成一个唯一的全局超平面来分离不同类别的数据样本，而不是局部边界。由于支持向量机遵循结构风险最小化（SRM）原则，减少了训练阶段风险的发生，提高了泛化能力。由于其较好的性能，SVM是数据挖掘中使用最广泛的分类技术之一，在许多领域都有应用，从疾病检测、文本分类、软件缺陷预测、语音识别、人脸识别、破产预测、入侵检测、时间序列预测、音乐情感检测等。[13但传统的支持向量机的主要问题之一是获得一个复杂的二次规划问题（QPP）的解决方案。最近，Mangasarian等人引入了广义特征值邻近SVM（GEPSVM ），它为两类问题生成两个非平行超平面[39]。在这种方法中，每个类的模式或数据样本位于一个超平面的附近，并与其他超平面保持清晰的分离。在SVM和GEPSVM的基础上，Jayadeva等人提出了一种新的二进制分类器，Twin Suppport Vector Machine（TWSVM），它通过使用两个非平行的超平面对两个类的模式进行分类[40]。TWSVM解决了一对QPP而不是传统SVM中的单个复杂QPP。在SVM中，所有数据样本都对QPP提供约束，即，SVM对偶公式化依赖于训练集中所有数据样本的数量。而在TWSVM中，一个类的模式为其他QPP提供约束，反之亦然。对于当每类数据样本数约为n/2时，TWSVM的复杂度为O（2·（n/2）3），比传统SVM快4倍。SVM和TWSVM的计算复杂度之比为双支持向量机图1使用支持向量机的二进制分类n32×n=2 ×3¼4如图2所示，有两种不同的方法来改进传统的TWSVM。在第一种方法中，通过对原始方法的公式进行一些修改来实现改进，以提高其性能。第二种方法是将传统的TWSVM从二元类扩展到多类。研究论文分为6个部分。第二节简要介绍了TWSVM的基本原理。本研究将研究进展分为两大类。第3节和第4节讨论基于变量和基于多类的TWSVM公式。第5节和第6节分别介绍了TWSVM在各个领域的应用和未来发展方向2. 孪生支持向量机TWSVM是一种新兴的机器学习方法，适用于分类和回归问题。TWSVM的目标是通过优化一对QPP来为每个类构造两个非平行平面，使得每个超平面更接近孪生支持向量机基于变量的扩展-TBSVM-LSTSVM- νTWSVM- 加权LSTSVM- 改进的LSTSVM- 提升TWSVM- 模糊TWSVM- 改进的TWSVM- 稀疏TWSVM- 结构TWSVM-TPMSVM- 其他多类扩展-MBSVM-Twin KSVC-DTTSVM-ODAG LSTSVM-LST-KSVC- 多类TWSVM图2孪生支持向量机的扩展。58D. Tomar，S.Agarwal12222T2T2TT不T21不1211 11222222 2211T12@LT T@b1e1@LTTT¼ c e -b -a 1/4007磅@n12-X2w1e2b1nPe2;nP08aTX2w1e2b1-ne20;bTn09aP0;bP0 10下式（11）在合并Eqs之后获得（5）和（6）如下：图3使用TWSVM的二进制分类。“XT#e100万美元1“XT#e当远离另一类[40].因此，TWSVM解决了一对较小尺寸的QPP，而不是不1/2X1[e1]ba¼0磅11便士12Σw Σ一个复杂的QPP在传统的SVM。图3表示使用TWSVM对两个类的分类。如图所示，有两个类-类1和类2，设A1/4/2×1e1]和B½X2e2]u1¼公式（11）重新表述为1 . 与这些B1通过使用两个不平行的平面以这样的方式来划分，即每个平面更靠近一类的数据样本而远离另一类。设正类和负类样本分别用m和n表示，正类和AT Au1BTa¼0 12u ¼ -AA-BTa 13有时很难得到AT A的逆。通过在上述等式中添加正则化项dI来处理该条件，其中当量（13）重新表述为[40]下面给出k维实空间Rk中两个非平行超平面的方程[37]：u1¼-ATAdI-BTa 14xT w1b1¼0和xT w2b2¼0 1这里，符号w1和w2表示超平面的法向矢量，b1和b2是偏置项.得到了线性和非线性情况下的TWSVM公式2.1. 线性TWSVM线性TWSVM的原问题被公式化为以相同的方式，第二类的法向量和偏差通过求解以下方程来获得：u��法向矢量和偏置进一步用于根据等式（1）生成非平行平面。（一）.以这种方式，TWSVM确定每个类别的超平面，并且通过使用以下决策函数将新的数据样本分配给类别第i类：最小值jx T wbj对于i¼1; 2161最小值w;b;n我我ebks： t：-X2w1e2b1nPe2;nP 02从每个超平面和图案的距离被分配给其距离较小的类。1最小值w;b;g最大值kXwebk2.2. 非线性TWSVM时间：X1w2其中松弛变量和惩罚参数分别由n、g和c1、c2e1和e2表示两个适当维数的向量，并且所有值都为1等式（2）及（3）进一步用于TWSVM分类器的开发。拉格朗日方程（2）得到为TWSVM还对难以使用线性类边界进行分类的数据样本进行分类。为了更容易地分离这种类型的数据样本，使用核函数将数据样本映射到更高维的特征空间[40]。非线性TWSVM的主要问题被表示为L w; b;n;a;b1 Xwe bk ce n1T2T11张1张2张 1张1 1 1 1221不最小值1;b1;n= 2kKX1;Du1e1b1kc1e2n不e2 b1拉格朗日乘子由两个向量a和b表示。s： t：-KX2;Du1e2b1nPe2;nP0 17和Karush-Kuhn-Tucker（KKT）条件（4）被公式化为miniu2;b2;g12kKX2;Du2e2b2k2002年2月1日g@LT1/4X1/4X webs： t：KX1;DTu2e1b2gPe1;gP0 18@w1111 1 121类两个非平行超平面2类1计算测试数据样本的垂直距离21孪生支持向量机59TT不不TT不不不不不B2¼½ [详细]ðÞ]3¼ ð ¼Þ2T2T2112311200万111 11B1@n¼c1e2-b-a124112311200万111 112222422000万2k2222213121121 1 1 111B1223不112 3 1121 1 1 1 12不不其中D½XX]T 核函数用“K”表示。l;b;n;a;b;c.kwk2b21XwebkKxT;DTu1b1¼0和Kx;Du2b2¼019c1e2n不拉格朗日方程（17）如下：Lu;b;n;a;b1kKX;Duebk2C1E2N— 2016年2月26日Karush-Kuhn-Tucker条件。（26）如下：a— 2019年12月@L@w¼c wX1两个非平行超平面的法向量和偏差为@L 1/4cbeeb从Eqs。 （21）和（22）@b13 1111 1 12z1/4-1/TTTz 粤ICP备15022222号-1其中PK X1;D Te1和QKX2;DTe2。新数据样本分类为第i类最小值jKx T;D Tu ib ij对于i¼1; 223对于新的数据样本，将从两个内核表面测量其距离，并将其距离-X2w1e2b1nPe2;nP0 30aTX2w1e2b1-ne2<$0;bTn<$0 31其中aP0;bP 0.简化后，我们得到w1其中A1/4/2X1e1]，B1/4/2X2e2]，同样，更小。2019年2月2-1不3. 基于变量的算法bBBc4IAc 33在这项研究工作中，我们讨论了几个变量的TWSVM方法，并相互比较。研究人员已经在TWSVM的原始配方中进行并提出了一些修改，以提高其性能。下面讨论几种基于变体的TWSVM方法3.1. 改进的TWSVM[41]其中术语解决后通过上述方程，我们得到了给定问题的对偶(26)作为最大值a eTa-1aTBATAc I-1BTa 34使得06a6c1.同样的，Eq的对偶问题（25）如下：最大值Tc-1cTABTBc I-1ATc 35Shao等人提出了一种改进的TWSVM，又称双边界支持向量机（Twin Bounded Support Vector Machine，TBSVM）。TBSVM使得06c6c2.新数据样本分类如下：不使用“逐次迭代法”解决优化问题，i类arg minj 1; 2jwjxbjjkwjkð36Þ训练过程，并使用正则化项来简化SRM原理。TBSVM在计算时间和分类精度方面3.1.1. 线性TBSVM线性TBSVM的主要问题如下所示：最小值w;b;n1杯kwk2b21Xwebkcen将样本与其距离较小的类分配给新的数据样本。3.1.2. 非线性TBSVMTBSVM 也 被 推 广 到 不 能 用 线 性 超 平 面 分 类 的 问 题 。TBSVM使用核函数来处理非线性问题。的原始公式非线性TBSVM被公式化为s： t：-X2w1e2b1nPe2;nP 024部长w;b;gXwe bk E.G.最小值;b;n=1c.kuk2b21kKX;DTuebk2ceTns： t：-KX2;Du1e2b1nPe2;nP0 37时间：X1w2哪里c1;c2;c3和C4是的惩罚参数和miniqu;b;g1杯kuk2b2KX;DTue bk2ceTg1杯kwk2b2和1c .kwk2b2是额外的常规-22Þ¼24 2不2K22 2 2 2123 1124 22s： t：KX1;Du2e1b2gPe1;gP0 38最小化训练误差的条件。上述方程的拉格朗日公式为：21高维空间中的核曲面被公式化为：¼0ð29Þ60D. Tomar，S.Agarwal式中D1/2×1×2]T。通过求解上述方程，我们得到：孪生支持向量机61Σ Σ-¼-ðPPþcIÞQa2013年3月9日4不TTuTK D; D uj[/]¼ ð ¼Þ不22不.利用sam-1数据，构造了q=ww的正超平面klkj122124w1T1 T¼ - BB AA22222 222L11PTP¼ - QQ112121122Ju1T1不3B1和3.3.1. 线性LSTSVM线性LSTSVM的优化问题被公式化为[43，44]：2002年��minutesw1;b1;n12千X1周1次c1nTn2B2哪里 Q½½KX2;DTe1]和P½½KX1;DTe2]。双和s： t：-X2w1eb1n¼e46Eqs的问题（37）和（38）如下所示最大值Ta-1aTQPTPc I-1QTa 41minutesw2;b2;g12c2T2 kX2w2gb2k2g g223时间：Xw þebÞþg¼eð47Þ使得06a6c1和最大值Tc-1cTPQTQc I-1PTc 42等式（46）和（47）减少到好吧1号线B e48使得06c6c2.以下决策函数用于将类分配给新的数据样本：jKx;DujbjjB1和两小时后。不2C11T21号线不Classi1;2qTð43Þb¼AABBAe 49首先，将新的数据样本映射到更高维的利用合适核函数构造空间，其中A X1e1和B X2e2。 决策函数得到线性LSTSVM，不从内核生成的表面计算，用于将类分配给数据样本。将与距数据样本距离较小的表面相对应的类分配给新的数据样本。i类arg minj 1; 2jwjxbjjkwjk3.3.2. 非线性LSTSVMð50Þ3.2. [42]第四十二话TWSVM最大限度地减少了影响其泛化能力的训练数据样本的经验风险。m-TWSVM去除LSTSVM还使用核函数对非线性可分离的数据样本进行分类[43，44]。非线性LSTSVM的优化问题被公式化为1c1Tminl;c;nkKX;Dlecknn通过引入两个参数，11211 12控制误差容限以及减少支持向量的数量。m-TWSVM求解以下两个QPP：和s：t：-KX2;DTl1ec1e-n51省1Xwe bk2-tq1nL最小值;c;n= 1K=X;D=T2c2 不ec11K1 1 1 11122222222和s： t：-X2w1e2b1nPe2q1;nP0;q1P0：44时间：K其中，D½X1X2]T. 等式（51）和（52）导致b;g1 1Xwe bk-t qG你好C1米-1C1s： t：Xweb而不是c1和c2参数，m-TWSVM使用两个新的参数，200万不1T1号线不米t和t.它还引入了两个附加因子qc¼ PPcQ QPe 541 2 122和q2，它们需要被优化。l1和l2是大小的积极和负培训样品分别。式中：P1/2KX;DTe]，Q1/2KX;DTe]。核曲面其中l指示训练样本的总数。在m-TWSVM中，负类的数据样本被划分为不1正类的集合被负超平面划分，q=.wTw保证金。m-TWSVM具有较好的泛化能力在高维空间中被公式化为KxT;DTl1c1¼0 和 KxT;DTl2c2¼055新的数据样本按以下公式分类：不比传统的TWSVM更好。3.3. 最小二乘TWSVM（LSTSVM）[43]Kumar等人提出了LSTSVM，它更快，class10 =1; 2 = 1 ; 2 = 1; 3 = 1; 4= 1; 5 =1; 6= 1; 7 = 1; 8 = 1; 9 = 1;10 = 1; 103.4. 加权LSTSVM[45]ð56Þ显示了增强的泛化性能。LSTSVM不是求解一对复杂的QPP，而是通过求解两个线性方程组来生成两个非平行的2不200万美元Q e53222þ162D. Tomar，S.Agarwal超平面LSTSVM对噪声敏感。WLSTSVM通过引入权重和修改误差变量来避免这个问题[45，46]。孪生支持向量机63B22222C1eejTT“--”1最小值1nT2222222J“XT#100万美元“XT#我C12XX不X1#1C213.4.1. 线性WLSTSVM线性WLSTSVM的线性方程被公式化为u ��minutesw;b;n1 kX w ebkC1不JNM2 Wn“S-1#-111211 1 12我1/1b¼jHGTG-1HT eð71Þ和s： t：-X2w1e2b1n¼e257其中Sj表示具有与分配给数据的权重Wj相对应的minutesw;b;g1 kX wc2m1ebk+ve类的示例等式（68）和（70）用于确定两个非平行的超平面，根据等式（一）. 新数据22222 2 22Jj1使用以下决策函数对时间：X1w2-ve和+ve类的数据样本数分别用m1和m2Wi和Wj是两个权重矩阵。拉格朗日方程（57）和（58）被公式化为[45，46]：第i类1/4 min jx T w ib ij适用于i¼1;2 <$72磅3.4.2. 非线性WLSTSVML w; b;n;a12c1 不Xw e bkn Wn非线性加权LSTSVM解决了以下两个线性11张1张2张 1张 1112i不方程式：-a-X2w1e2b1n-e2591L w; b;g;b112gTWg1eb kkX wcXm2222222 22j不1/1s：t：-KX2;DTl1e2c1e2-n73-bX1w2e1b2g-e160其中拉格朗日乘数表示为a2Rn和b2Rn。Eq.的KKT条件（59）如@L不不和最小值1;c;n=1kK=X;DT=12c3不eckM1WG@w1 ¼X1X1w1e1b1X2a¼061时间：D. T. T.L.ecj1-g74@LT T121 21@b1 e1其中，D½X1X]T 松弛变量和惩罚参数@L@n<$c1Win-a<$063仪表分别由N和G以及C1和C2e1和e2是两个向量，所有值都是1解出上述方程后，我们得到@L@a1/4-X2w1e2b1n-e21/40 64z1/z2/z3/z4/z等式（61）和（62）导致12公司简介1号线e2ð76Þ不1/2X1 e1]b不a¼0652100万美元BZ2¼2012年2月C粤ICP备17077777号-1设H½X1 e1]和G½X2e2]u1¼符号，方程式。（65）可以改写为. 与这些12S-11bP QP2-1eð78ÞHT Hu1GTa<$066c2u¼-1000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000有时很难得到AT A的逆。该条件通过在上述等式中添加正则化项dI来处理，其中I表示适当维度的单位矩阵并且d>0。u¼-HTdI-1GTa 68在解决Eqs。（63），（64）和（66）我们得到不2CkKX;Dlec kWn211112我2a¼Q1164D. Tomar，S.AgarwalA-S1þGðHHÞGC¼¼½ [详细]ðÞ]其中P K X1;DT e1和Q K X2;DT e2。 通过使用以下公式测量新数据样本与超平面的距离，第i类最小值jKxT;DTlicij对于i¼1;27 93.5. [47]第四十七话采用经验风险最小化方法构造LSTSVM1aiTT1-1e2ð69Þ原则，由于它遭受的过度拟合问题。为了克服这种缺陷，Xu et al.提出了一种改进其中Si表示对角矩阵，该对角矩阵具有与分配给-ve类的数据样本的权重Wi相二等舱也一样LSTSVM并在不同的数据集上进行了实验。该研究得出结论，新方法提高了分类准确性[47]。Σ孪生支持向量机651ΣΣ不-klkj11Þ 2K1112þ 2K1122Þ 2K2222þ 2K221221C1C14.Σ不TT3.5.1. 线性改进LSTSVM对于线性可分离的数据样本，改进的LSTSVM如下所示：被赋予相同的权重。根据样本分类，权重增加或减少。如果数据样本被正确分类，则相应的权重为减少，而由于分类不准确，1最小值w;b;n2c1 不布·金·恩wk2b2b样品增加了最后，采用加权投票法进行了1121112012年1月1日因此，较大权重被分配给更准确的分类器，和s： t：-X2w1eb1n¼e80与不太准确的分类器相比。一般来说，有两种类型的学习者，一种是弱学习者，另一种是强学习者。顾名思义，学习能力强的人很容易从火车上学到东西1最小值w;b;g最大值kXw2c3 不布雷布·克雷格·gwk2b2b一个样本，并构造一个分类器，它主要给出一个2222222002年2月2日当弱学习者构造分类器时，时间：100X100以上方程中的附加项用于测量两个超平面的间隔。较大的分离度表示较好的泛化能力。将等式约束代入目标函数后，我们可以得到以下优化问题：不好，但可以认为比随机猜测更好与使用弱学习器构造分类器相比，使用强学习器构造分类器是困难的因此，boosting背后的主要概念是从弱学习者那里学习，然后通过从早期错误中学习来将它们提升为强学习者使用弱学习器构造弱分类器首先是统一加权，然后是最小值12X w bC1 X w b数据样本被分配以新的权重，根据每个，11½2k 111k所 K21 12c222 2阿雷克 þ2kw1kb1823.5.2. 非线性改进LSTSVM改进的LSTSVM也通过使用核函数扩展到非线性可分离的数据样本。用于非线性数据样本的改进的LSTSVM被公式化为最小值1KX;DTleck2c1nTnc2. lk2 c2s：t：-KX2;DTl1ec1e-n83和最小值1KX;DTleck2c3gTgc4. lk2 c2s：t：KX;Dlece-g84分类器的一部分因此，Boosting的主要目的是通过使用合适的权重来增强弱学习器的能力这随后产生了一个强大的学习者，并提供了更好的结果。TWSVM的稳定性取决于训练样本的类型。Zhang提出了一种新的方法，即Boost-ing TWSVM 用 于 微 钙 化 簇 （ MCs ） 检 测 。 为 了 消 除TWSVM的不稳定性，提出了一种集成方法-3.7.其他一些改进Shao和Deng提出了一种新的基于间隔的TWSVM。Tra-TWT SVM不考虑单位范数约束，其计算样本与超平面的距离[49]。Peng等人提出了一种基于马氏距离的TWSVM用于模式识别。他们用协方差的概念矩阵来优化两个不平行的超平面。使用其中，D½X1X2]T. 我们可以进一步实现1211利用两类的协方差矩阵构造了两个基于马氏距离的核函数，并对非参数超平面进行了优化。Twin Mahalanobis距离支持c]½Tc21/2KX1;De] cI21号线[2019-01 -25]不½-eKX2;D-m2]ð85Þ向量机具有学习速度快、泛化能力强等优点它可以帮助解决许多现实世界的问题。Lems[50]. Kumar等人应用平滑技术提高TWSVM的性能他们提出了一个光滑的双胞胎在取代P1/2KX1;DTe]和Q1/2KX2;DTe]支持向量机，他们解决了两个主要问题，lems使用Newton Armijo算法而不是两个对偶L11/4-。QTQ1PTPc2Ic11号线 Qe 86如TWSVM中的问题[51]。 他们分析说，perfor-平滑TWSVM的性能不仅在精度方面更好，而且在时间方面也更在另一项研究工作中，200万不1Tc-1Shao等人介绍了一种基于概率的TWSVM模型，c¼ PPcQQcIPe 87通过比较获得新的排序连续输出23 3新数据点被分类到其类别（+1或1），如下所示：不计算样品和两个非平行平面之间的距离[52]。该输出通过训练sigmoid函数参数转换为概率作者证明，class10 =1; 2 = 1 ; 2 = 1; 3 = 1; 4= 1; 5 =1; 6= 1; 7 = 1; 8 = 1; 9 = 1;10 = 1; 103.6. [48]第四十八话ð88Þ他们提出的方法在合成和基准数据集上的有效性。Shao等人制定并验证了一种简单快速的最小二乘投影TWSVM二进制分类器，其中解决了两个原始问题而不是两个对偶问题[53]。彭提出了一种新颖的双参数-Boosting TWSVM是由Freund等人提出的其中样本分布用于生成新的训练数据集。基本分类器通过使用原始数据集进行训练，其中每个样本边缘支持向量机（TPMSVM），适用于具有异方差误差结构的数据[54]。但是，这种方法不适合实际应用，因为它C2C4不66D. Tomar，S.Agarwal表1不同TWSVM变化的准确性比较数据集TWSVMTBSVMFuzzy-TWSVMm-TWSVMWLSTSVMLSTSVM改进的LSTSVM皮马印第安人73.74± 5.2%77.86± 6.84%79.51± 5.92%74.68± 2.76%–77.61± 2.17%79.42± 2.77%(768（8）0.427秒0.424秒8.58 S7.67秒7.94 S7.67秒心脏82.96± 4.67%86.30± 5.24%84.44± 4.53%84.08± 4.96%84.12%83.20%85.56± 2.15%(270·14）0.029秒0.028秒0.23 S0.78秒0.2984秒0.2703秒0.91秒声纳(208·60）89.64± 6.11%0.014秒90.0± 7.5%0.008秒–91.71± 5.52%0.52秒–––德国(1000·20）––78.20± 8.15%14.98秒76.25± 3.67%13.89秒76.08%10.713秒74.96%9.8172秒–肝炎(155·19）83.39± 6.25%0.016秒84.52± 5.23%0.013秒–––87.54± 3.86%0.10 S88.72± 4.70%0.10秒BUPA肝脏67.83± 6.49%73.04± 5.55%77.80± 3.87%–73.10%72.41%73.91± 4.49%(345（6）0.033秒0.028秒2.14 S0.5438秒0.4781秒1.85秒澳大利亚75.8± 4.91%76.32± 4.51%86.08± 1.43%–80.69%百分之八十点二三–(690·14）0.42 S0.297秒12.5 S3.5863秒3.1578秒电离层87.46± 3.4%87.75± 3.34%–94.72± 2.76%百分之九十五点六八91.82%91.84± 6.22%(351（34）0.064秒0.088秒3.24秒0.6141秒0.5438秒2.07秒包含四个需要正则化的正则化参数。后来，Wang等人在TPSVM中引入了一个二次函数来优化两个QPP，并使用遗传算法进行有效的参数和特征选择。这种方法不仅在速度方面表现良好，而且在准确性方面也表现良好。它也适用于处理大型数据集[55]。为了提高计算速度和精度，Wang等人通过在LSTSVM的目标函数中插入新的流形正则化项，提出了流形最小二乘孪生支持向量机[56，57]。通过将先验知识引入到TWSVM和LSTSVM的公式中，Kumar等 人 提 出 了 基 于 知 识 的 Twin Support Vector Machine 和Least Squares Twin Support Vector Machine[58]。这两种基于知识的技术都利用先验知识，并在真实世界数据的基础上生成一对非平行超平面。实验结果表明，基于知识的最小二乘支持向量机（LSTSVM）能够根据分类问题生成超平面，是一种通用的分类器。这两种技术都在目标函数中使用知识集的1-范数近似.使用2-范数逼近知识集而不是1-范数逼近可能是未来的一个研究领域。Qi等人利用训练数据样本的结构信息，提出了一种新的结构TWSVM进行分类[59]。在另一项研究工作中，Peng提出了原始空间中的稀疏TWSVM（STWSVM），以增强TWSVM的稀疏性和鲁棒性[60]。STWSVM利用回拟策略，通过增加一个支持向量迭代生成非平行超平面。但该方法计算量大，且需要加快优化速度.在另一项研究工作中，Xu和Guo通过在目标函数中添加正则化项来增强最近提出的nu-Twin支持向量机的泛化能力。他们在其提出的方法中实现了结构风险最小化，并在一个人工数据集和九个基准数据集上证明了其有效性[61]。Chen等人提出了一种递归投影孪生支持向量机（PTWSVM），它为每个类构建了一个以上的投影轴[62]。他们利用主成分分析来处理奇异情况，数据从原始空间转换到低维空间。PTWSVM的公式只适用于线性情况。因此，PTWSVM的扩展到非线性的情况下，可以是一个令人鼓舞的研究领域在未来。Khemchandani等人考虑了每个训练样本的重要性，并提出了一种新的模糊TWSVM分类器，其中模糊成员值被分配给每个样本[63]。Gao等人提出了一种1-范数LSTSVM分类器，该分类器自动 选 择 相 关 的 输 入 特 征 。 他 们 引 入 了 TikhonovRegularization项来正则化LSTSVM框架，从而进一步生成线性规划问题。本文利用外部惩罚理论并获得快速收敛[64]。Peng等人提出了一种改进的TPMSVM，也称为基于质心的TPSVM（CTPSVM），以消除TPMSVM的弱点。TPMSVM的决策函数失去了稀疏性，这反过来又降低了预测 速 度 。 CTPSVM 同 时 优 化 两 类 质 心 点 的 投 影 值 在CTPSVM中，优化问题通过基于裁剪策略的学习算法来解决。与其他现有方法相比，这种方法不仅在稀疏性方面更好，而且速度更快，并且给出了更准确的结果[65]。在本文中，我们还比较了表1所示的八个基准数据集的性能（就不同TWSVM变体的准确性而言）。我们已经从其相应的已发表的研究论文中收集了每种技术的准确性结果。（-）值表示文献中没有相应分类器的准确性。从表中可以看出，模糊TWSVM在准确性方面表现更好，但与其他现有方法相比，它需要更多的时间（当我们包括训练和测试时）粗体值表示分类器的预测性能更好。分析表明，传统的TWSVM和TBSVM比其他TWSVM算法速度更快.因此，提高速度和准确性都可能成为进一步研究的领域。4. 多类算法最初，TWSVM被开发用于解决两类分类问题。但后来，它被有效地扩展到多类分类问题。这篇综述文章讨论了几个多类孪生支持向量机672TT[1/2]2TT不TT我¼½ [详细]ðÞ]- 我的 天--你好啊不TT211211 11223313 131Þð1/1我1K2>1;ifxTu1e