埃及信息学杂志：支持向量机核函数在数据分类中的应用与性能比较研究

Egyptian Informatics Journal（2012）13，177开罗大学埃及信息学杂志www.elsevier.com/locate/eijwww.sciencedirect.com原创文章数据分类E.A. 扎纳蒂数学系，Sohag大学理学院计算机科学科，埃及接收日期：2012年1月5日;修订日期：2012年8月6日;接受日期：2012年8月15日2012年9月13日在线提供摘要在本文中，我们引入了一个新的核函数，以提高支持向量机（SVM）分类的准确性。所提出的核函数以一般形式表示，并且被称为高斯径向基多项式函数（GRPF），其结合了高斯径向基函数（RBF）和多项式（POLY）核。我们实现了提议的内核与一些参数相关联的SVM算法的使用，可以影响结果。SVM与多层感知（MLP）的数据分类的比较分析，也提出了验证所提出的核函数的有效性。我们寻求问题的答案：“与多层神经网络相比，哪个内核可以实现高精度分类”。支持向量机的评价比较不同的核函数和多层神经网络的应用程序到各种不可分离的数据集与几个属性。结果表明，建议的核给出了良好的分类精度，在几乎所有的数据集，特别是那些高维。建议的内核的使用结果在一个更好的，比现有的内核的性能©2012计算机和信息学院，开罗大学。由爱思唯尔公司制作和主持All rights reserved.1. 介绍空间局部基函数学习已经成为机器学习领域的一个流行范式。在径向基函数网络[1-电子邮件地址：zanaty22@yahoo.comCario大学计算机和信息学院负责同行审查。制作和主办：Elsevier网络.今天，支持向量机和其他基于学习的内核算法在最流行的基准问题上显示出比人工神经网络和其他智能或统计模型更好的结果[6]。模型的稀缺性来自于复杂的本地学习，该学习将模型容量与数据复杂性相匹配，从而确保在未来的、以前看不见的数据上具有良好的性能。他们给出了一个单一的解决方案，其特点是全局极小的优化功能，而不是多个解决方案与局部极小值的神经网络的情况下。此外，支持向量机不太依赖于随机性，即模型的任意选择，并且具有更灵活的结构[7]。分类是重要的机器学习操作之一。它是使组织能够1110-8665© 2012计算机和信息学院，开罗大学。制作和主办Elsevier B.V.保留所有权利。http://dx.doi.org/10.1016/j.eij.2012.08.002关键词神经网络;支持向量机;核函数;二次规划178E.A. 扎纳蒂●-2我最大宽度在大型或复杂的数据集中发现模式。使用SVM的分类和函数逼近被公式化为二次规划（QP）问题，可以通过使用许多有据可查的优化算法有效解决[8神经网络可以看作是测量数据在多维空间中的统一分类。它们实现了两种类型的分类：全局和局部[11]。 全局网络最重要的例子在MLP中，神经元按层排列，从输入层（输入节点的集合）开始，通过隐藏层，直到输出层。仅允许在两个相邻层之间进行互连。网络是前馈的，即，处理信号从输入端传播到输出端。局部神经网络最具代表性的例子是不同核函数的支持向量机（SVM）。选择不同的核函数将产生不同的SVM，并可能导致不同的性能[12，13]。在支持向量机的文献中，有多项式支持向量机，径向基函数支持向量机，两层神经网络（NN）支持向量机等[11]。它们分别对应于多项式核函数、径向基函数核函数和两层神经网络核函数。一旦内核被固定，SVM分类器只有一个用户选择的参数（错误惩罚），但内核是一个非常大的地毯，许多参数必须被确定。一些工作已经完成了限制核使用先验知识，但最好的选择一个内核为一个给定的问题仍然是一个开放的研究问题[14一个问题是为给定的数据识别适当的内核。大多数算法依赖于先验知识来选择正确的核。Tsang et al.[16]讨论了一种利用内核分类器中固有的近似的方法，通过使用最小封闭球算法作为加速训练的替代方法。训练时间以前主要通过以某种方式修改训练集来减少。他们的核心向量机在线性时间内收敛，空间要求与数据点的数量无关。此外，Kwok和Tsang[17]，他们成功地将其应用于核PCA问题，但也发现它在应用于精简集问题时表现不佳。值得注意的是，[17，18]的方法都可以应用于具有离散输入空间的预图像应用，因为它们不需要目标函数的梯度。一般来说，在该方法的实现中，时间和空间 com-复杂度非常高，因为SVM的核心是基于尽管分类已经成熟，但问题仍然存在，特别是在为特定应用选择最合适的SVM内核时[24，25]。换句话说，探索新的技术和系统的方法来构造一个有效的核函数来设计特定应用中的支持向量机是支持向量机的一个重要研究方向。在文献中可以找到几篇关于比较高斯核SVM与径向基函数分类器的综述论文，但这些论文关注的是技术的子集，并且通常只关注性能精度[24在这项研究中，一个新的核函数称为高斯径向基多项式函数（GRPF），可以提高支持向量机（SVM）的分类精度的线性和非线性数据集。目的是训练支持向量机（SVM）与不同的内核相比，反向传播学习算法在分类任务。此外，我们比较了所提出的算法的基础上的高斯和多项式核的算法应用到各种不可分离的数据集与几个属性。结果表明，所提出的核在几乎所有的数据集，特别是那些高维数据集，提供了良好的分类精度。本研究的其余部分组织如下：在第2节中，描述了SVM分类器。多层感知分类器在第3节中设计。在第4节中，支持向量机提出了一个新的核函数。在第5节中对内核参数进行了优化。第6节给出了支持向量机和多层感知分类器之间的比较结果。我们的结论见第7节。2. SVM分类器SVM分类的细节在[28我们概述的基本方程，我们遵循的符号Schoélkopf等人。[29]. 设xifor16i6Nx是输入空间中的输入向量，具有对应的二进制标签y i2 f-1; 1 g（即，如果x i在类1中，y i取1，如果x i在类2中，y i取-1）。设f（xi）是特征空间中的对应向量，其中，f（xi）是隐式内核映射和 让 K（xi，x j）=f（xi）/（x j）是核函数，意味着特征空间中的点积。流行的核函数包括经典核函数和最近的核函数，如（[32]）所示。软间隔SVM的优化问题是：min（1kwk2<$CXn）<$1<$我近似最小封闭球算法，这是计算昂贵的。Maji等人。[19]提出了一种用于精确评估交集核SVM的技术，该技术在时间上是对数的。他们已经表明，该方法相对简单，分类精度是可以接受的，但运行时间显着增加相比，建立了径向基函数（RBF）和多项式（POLY）内核，因为每个分类器都有大量的SV受约束yi（w. x+b）=1 ni和niP0其中w是特征空间中分离超平面的法向量，C> 0是控制误分类惩罚的正则化参数。当量（1）称为原始方程。从（1）的拉格朗日形式，我们导出对偶问题：（X 1X）一我2i;j[20，21]。Zanaty等人。[22，23]描述了结合RBF和POLY函数的SVM，以利用其各自的优势。他们引入了称为多项式径向基函数（PRBF）的核函数。受06ai6c的影响。这是一个二次优化问题，可以使用序列最小优化[32]等算法有效解决。通常，许多ai在优化期间变为零，并且对应于那些ai>0的剩余的x i被称为支持向量。简化w;b我-aiajyi yj k xi; xjð2Þ数据分类中的支持向量机（SVM）与多层感知（MLP）179ð Þ.XX我X我@w kð Þ¼在该等式中，雅可比矩阵J等于J1/4@e，并且符号，从这里开始，我们假设所有的非支持向量都已经被移除，因此Nx现在是支持向量的数量，并且对于所有i，ai>0。利用该公式，分离平面w的法向矢量被计算为：XNxw¼aiyi xi其 中 g k@E 是 误 差 函 数 Eq.(5)G （ k ） 是 Hessian 近 似（[34，35]），通过应用雅可比矩阵J（k）确定：GkJkTJkv：81/1e=[y（w）-d，. 得双曲余切值.（w）-d@w]的T.注意，因为/（xi）是隐式定义的，w只存在于特征空间，不能直接计算。相反，一个新的查询向量q的分类f（q）只能通过计算q的核函数来确定，其中每个核函数都是端口向量：可变是逐步调整，以提供Hessian G的正定义（的值最终降为零）。在共轭梯度法中，对于大的网络，方向p（k）根据以下公式进行评估：fqNx1/1aiyi：kq;xib！ð4Þ公式：p k- gkbp k-1 9其中偏置项b是超平面沿其法向量的偏移，在SVM训练期间确定[33]。3. 多层次感知其中共轭系数b通常根据Polak-Ribiere规则确定gkTg k-g k-1pkgk-1Tgk-1多层感知（MLP）可能是当今用于分类和回归的最流行的网络架构。MLP是前馈神经网络，通常由具有单向连接的多层节点组成，通常通过反向传播进行训练[34，35]。MLP网络的学习过程基于由N维输入向量x和M维期望输出向量d组成的数据样本，称为目的地。通过处理输入向量x，MLP产生输出信号向量y（x，w），其中w是自适应权重的向量。所产生的误差信号启动学习算法的控制机制。校正调整被设计为使输出信号y k（k= 1，2，. ，M）以逐步的方式与期望的响应dk相MLP的学习算法基于定义在学习集（x i，di）上的误差函数的最小化， 其中i= 1，2，.. . ，N使用欧几里德范数：在权重更新Eq.（6）学习系数c由用户自行调整。这通常通过应用所谓的自适应方法[32]来完成，考虑到误差函数最小化的实际进展。4. 建议的核函数支持向量机分类的一个关键步骤是为特定的应用选择合适的SVM核，即不同的应用需要不同的核来获得可靠的分类结果。众所周知，支持向量机中常用的两种典型核函数是径向基函数核和多项式核。[28-32] 中提出了更新的内核但是，很难找到一个人，能够实现高分类精度的神经元，1NE- 2000 -20021/1kyxi;w-dikð5Þ数据集的多样性。为了从已有的核函数构造核函数，或利用其他一些较简单的核函数作为构造块，本文研究了核函数的闭包性质该误差的最小化导致权重最有效的最小化方法是梯度算法，其中最有效的是中等规模网络的通常，在所有梯度算法中，权重的自适应根据以下方案逐步执行：wk1 wkcpk6在这个关系式中，p（k）是第k步中最小化的方向，c是学习系数，w是适应系数。各种学习方法在生成p（k）值的方式上有所不同。在Levenberg-Marquardt方法中这是一个很重要的问题[36，37]。对于给定的不可分离数据，为了线性分离，必须选择合适的核经典的核函数，如高斯RBF和POLY函数，可以用来将不可分离的数据转换为可分离的数据，但它们在精度方面的性能取决于给定的数据集。以下POLY函数对几乎所有数据集都表现良好，但高维数据集除外[36]：聚乙烯x;z聚乙烯xT z聚乙烯10聚乙烯其中d是多项式次数。使用以下形式的高斯RBF获得相同的性能[3]：RBF-x;z-εexpr-ckx-zk2ε 11 ε1ME- 2000 -20021/1yi其中c是控制半径的同位参数。Zanaty等人[23]提出了多项式径向基函数并使用牛顿型二阶方法求解p k-G k-1 gk（PRBF）为：PRBF1/2× 1/2×1/2 × 1/2 =V×d× 1/2 × 12MM2180E.A. 扎纳蒂-.X其中x = |X z|，V = p | d，并且p是规定的参数。因此，完全实现具有高精度分类的SVM需要指定高质量的核函数。在这里，我们将POLY、RBF和PRBF组合成一个内核，变成：. dr·exp-kX-zkr=r·r2d16. 实验结果6.1. 数据集和参数优化在本节中，我们对一些玩具和真实世界的数据集进行分类实验2：Letter，Pendigits，GRPFx; z=1鲁德ð13Þ波形、Satimage、DNA、Segment、ABE和Zoo（Ta-其中r是输入数据的概率密度函数的统计分布;并且r（r>1）和d的值可以通过使用训练数据优化参数来获得该核具有通用性强的优点。然而，现有的核，如PRBF和Zanaty等人提出的。[22]，高斯和多项式核函数通过将d和r设置为不同的值。例如，如果d=0，当r=1时，我们得到指数径向，当r=2时，我们得到高斯径向，等等。此外，可以通过使用训练数据优化参数来获得5.优化核参数让我们回到SVM算法。我们假设内核GRPF取决于两个参数d和r，被编码为向量h=（d，r）。因此，我们考虑一类由a，b和h参数化的决策函数：表1）。在表1中，我们描述了这些数据集，但更多细节可参见[37]。这八个数据也被用于[26]和（Zanaty et al.[22，23]）对于单内核SVM。每个数据集都有不同的训练/测试分割，以使用所提出的内核的可靠行为。我们可以根据训练集的大小将这些数据集分为两类，大数据集（1分 4秒）和（5分 8秒）。在该算法中，我们利用Matlab的优化工具箱进行了优化，并加入了二阶修正以提高收敛速度。虽然我们使用了一个松散的停止准则，很好的值的参数最小化的功能。表1中的实验结果表明，参数r的值随着属性值的增加而增加，而d的值在最大类值的情况下减小。在某种程度上，这使得该技术更加适用，因为该估计非常简单。该算法采用松停止准则来避免持有并充分利用了fa;b;hx符号L1/1aiyiGRPFhx;zb！ð14Þ用于训练集参数的优化，与交叉验证方法相反。我们想要选择参数a和h的值，使得w（在等式2中，(2))最大化（最大裕度算法）并且最小化模型选择准则T（最佳核参数）。更准确地说，对于h固定，我们希望有一个0=arg maxw（a），并选择h0，使得：h0¼arg minTa0;h：± 15当h是一个一维参数时，人们通常会尝试有限个值，并选择给出准则T的最低值的值。当T和SVM的解决方案是连续的关于h的一个更好的方法已经提出了Cristianini等人。[38]第30段。他们使用了一种增量优化算法，当h变化很小的时候，人们可以很容易地训练SVM然而，一旦h有一个以上的组件计算T（a，h）的每一个可能的值h变得棘手，而是寻找一种方法来优化T沿着核参数空间中的轨迹。在这项工作中，我们使用模型选择标准的梯度来优化模型参数（更多讨论见[39，40]这可以通过以下迭代过程来实现：1. 将h初始化为某个值。2. 使用标准SVM算法，找到二次型wa0=arg maxw（a）的最大值3. 更新参数h，使T最小化。这通常通过梯度步骤来实现（Chapelle等人[39]用于这些计算）。4. 转到步骤2或在达到T的最小值时停止求解步骤3需要估计T如何随h变化，其中GRPFh可以相对于h微分，更多讨论可以在[39]中示出。6.2. 比较结果为了评估不同核函数的支持向量机的性能，我们对机器学习基准测试领域的不同数据集进行了实验。我们设计了一个基于一对一算法的多类支持向量机分类器，使用投票策略[41]。对于C类，构造C（C-1）/2二进制分类器。使用不同内核和多层神经网络的每个支持向量机的性能评估使用以下等式完成：准确度¼n= N·100 16其中n是正确分类的例子的数量，N是测试例子的总数我 们 用 Leven-berg-Marquardt 算 法 训 练 了 MLP 网 络 ，MLP的训练时间大约是SVM的10倍。这些数据集给算法提供了不同的大小（类和属性）。通过表1数据集和优化参数。数据集类属性列车试验d r信261615,00050003.8762.043彭迪格斯916743534482.7092.765波形32147003002.9873.871萨蒂马吉636443520002.7653.892DNA318026865001.0985.987段71818105001.7043.863安倍31617635602.0982.861H数据分类中的支持向量机（SVM）与多层感知（MLP）181在实验中，我们设置参数r=0.5（高斯RBF核宽度），并且对于RBF、POLY和GRPF设置d=表2列出了使用具有不同内核的支持向量机与多层神经网络的每个数据集的分类准确度。所提出的方法在大多数数据集上具有最佳精度。表3列出了从所有内核获得的平均精度;很明显，与经典RBF、POLY和PRBF相比，GRPF内核获得了最佳的平均精度（95.91）。此外，表3显示了SVM和MLP分类器之间的比较，很明显，具有内核（GRPF）的SVM比MLP分类器和其他内核实现了更高的准确性。图1描述了应用于所有数据集的SVM和MLP分类器的平均精度。很明显，所提出的核给出了最好的平均精度的比较POLY，RBF和PRBF函数。对于未来的研究，我们专注于构建一个新的SVM和MLP的混合分类器，以克服这两种算法的缺点。6.3. 讨论在这一部分的研究中，我们试图研究数据分类任务中SVM核表2表2SVM和MLP。MLP聚RBFPRBFGRPF93.1689.5488.8795.996.9885.0977.9875.988590.890.6780.7681.6791.8495.9888.6580.6680.3491.5797.4368.488.5490.3496.3299.8872.191.6493.6595.6596.4392.8293.1297.9795.7297.9888.3272.8477.3487.0990.87表3 平均精度SVM和MLP精度。支持向量机多层神经网络Poly 84.38径向基函数85.77PRBF92.3884.90GRPF95.79图1.支持向量机核的平均精度与MLP之间的关系。给出了用POLY、RBF、PRBF和GRPF核训练的支持向量机在不同数据集上的性能。从表2中可以看出，与多项式函数相比，RPF函数（p=3，d=2）在小数据集（5f8）下具有更好的准确性二维数据d=2的多项式核对于大集合（1f4）给出了比RBF更好的结果。此外，我们注意到，对于这些大集合，MLP比POLY和RBF取得了更好的结果（1）。建议的内核，GRPF，给出了最好的精度在几乎所有的数据集。对于数据集7（ABE），虽然数据集的规模很小，一个特征就足以区分一对ABE类，但所提出的核仍然取得了良好的结果（GRPF为97.98%），如图所示。图2给出了RBF、POLY、PRBF、GRPF的精度与分类数的关系。如图2所示，我们注意到GRPF，RBPF和MLP的准确性甚至优于RBF和POLY内核。在最大类数的情况下。对于小类和属性（数据集7），我们注意到MLP实现了最差的准确性。有趣的是，随着属性数量的增加，与POLY、RBF和PRBF内核相比，所提出的方法的准确性的提高增加，如图3所示（数据集5具有最大数量的属性）。这种改进的性能是由于这样一个事实，即所提出的函数更复杂，并结合了其父母，RBF和多项式函数的性能。对于最大的属性（数据集5），建议GRPF给出了最好的精度（99.88）在所有和MLP获得最差的精度（68.4）在所有。图2. SVM和MLP分类器的精度之间的关系;和类数。图3. SVM和MLP分类器的精度之间的关系;和属性数。182E.A. 扎纳蒂7. 结论在这项研究中，我们构建了支持向量机，并计算其准确性。我们对SVM和MLP分类器进行了比较。我们使用了具有不同属性的不同大小的数据集。然后，我们将SVM算法的结果与MLP分类器进行了比较。所提出的GRPF核具有最好的精度，特别是对于具有多属性的数据集。将支持向量机的分类精度与多层神经网络学习算法进行比较，可以明显看出，具有所提出的新核函数（GRPF）的支持向量机比多层神经网络具有更好的分类精度，特别是在高维数据集上。在MLP分类器中，测试数据集需要更多的隐藏单元，并且通过保持这些单元的数量较小来控制复杂度，而SVM复杂度不依赖于数据集的维数。支持向量机基于结构风险最小化，而MLP分类器实现经验风险最小化。因此，支持向量机是有效的，并产生接近最佳的分类，因为它们获得了最佳的分离表面，该表面在以前看不见的数据点上具有良好的性能。然而，主要的区别在于网络的复杂性。实现全局近似策略的MLP网络通常使用非常少量的隐层神经元。另一方面，支持向量机是基于局部逼近策略，并使用大量的隐藏单元。SVM方法的最大优点是其学习问题的公式化，导致二次优化任务。它大大减少了学习模式下的操作次数这是很好地看到了大型数据集，其中SVM算法通常是快得多。引用[1] Duda R ， Hart P ， Stork G. 模式分 类。 2nd ed. UK ： WileyInterscience; 2001.[2] Boser B，Guyon I，Vapnik V，最优保证金分类器的训练算法。在：继续COLTp. 144比52[3] 放大图片作者：Taylor SJ，Cristianini N.用于模式分析的核方法。剑桥大学; 2004年。[4] 杨文龙，王晓梅，王晓梅.支持向量机，训练和应用。人工智能实验室，麻省理工学院出版社，系列，报告，AIM-1602，CBCL-144，1997年。[5] Boudat G，Anour F.基于核的方法和函数逼近。国际神经网络 联 合 会 议 （ International Joint Conference on NeuralNetworks，IJCNN）华盛顿：IEEE出版社，2001年.p. 1244-9[6] 杨伟杰，王伟杰，王伟杰.测试中的支持向量机神经计算2003;55：169[7] 黄TM，黄文文民V，Kopriva I.基于核的算法，用于挖掘巨大的 数 据 集 ， 监 督 ， 半 监 督 和 非 监 督 学 习 。 Berlin ，Heidelberg：Springer-Verlag.[8] Vapnik V.统计学习理论的本质。美国纽约州纽约市：SpringerNew York Inc.; 一九九五年[9] Cortes C，Vapnik V.支持向量网络。Mach Learn 1995;20：273-97.[10] 舍尔科普夫湾 支持向量机学习，博士论文，技术大学，柏林，德国; 1997。[11] 放大图片作者：Mohammad Muamer N，Norrozila Sulaiman，Emad Khalaf T.基于支持向量机的局域网入侵检测系统。JComput Sci 2011;7：1560[12] 放大图片Vapnik V，Golowich S，Smola A.函数逼近的支持向量 方 法 。 回 归 估 计 与 信 号 处 理 。 In ： Advances in NeuralInformation Processing Systems，vol. 9，no. 9，1997. p. 281-7[13] WilliamsonRC，SmolaA，ScholkopfB.熵数算子和支持向量核。Cambridge：MA：MIT Press; 1999.[14] 沙佩勒奥，肖尔科普夫湾非线性支持向量机中的不变性。载于：《国家信息系统程序》; 2001年。p. 609-16[15] Lei H，Govindaraju V.通过PCA和特征选择加速多类SVM评估。统一生物识别和传感器中心（CUBS）; 2005年。[16] 曾毅伟，郭俊泰，张炳良。核心向量机：在非常大的数据集上进行快速SVM训练。马赫学习研究杂志2005;6：271-363.[17] 郭敬明，曾毅伟。核方法中的原像问题。IEEE Trans NeuralNetworks 2004;15：1517[18] 刘晓波，王晓波，王晓波. 学习寻找预成像。高级神经信息处理系统2004;16：449-56.[19] Maji S，Berg AC，Malik J.使用交叉核支持向量机的分类是有效的。在：计算机视觉和模式识别会议，CVPR IEEE; 2008年。p. 一比八[20] 哈 斯 东 克 湾 具 有 无 限 核 的 SVM 的 特 征 空 间 解 释 。 IEEETransPattern Anal Mach Intell 2005;27（4）：482[21] 作者：Hastie T，Hsu CW，Lin CJ.多类支持向量机方法比较。IEEE Trans Neural Networks 2005;13：415-25.[22] Zanaty EA，Afifia，Khateeb RE.通过一种新的核函数提高支持向量机的精度。Int J Intell Comput Sci 2009;1：55[23] Zanaty EA，Aljahdali S，Cripps RJ.用于数据分类的精确支持向量机国际快速制造杂志2009;1（2）。[24] Ektefa Mohammadreza，Sidi Mohammah，Ibrahim Hamidah，Jabar Marzanah，Memar Sara.无监督记录连接模型分类技术的比较研究。J Comput Sci 2011;7：341-7.[25] Sonkamble Balwant A，Doye D.一种新的线性多项式核函数用于构造语音识别的支持向量机。J Comput Sci 2011;7：991[26] Zanaty EA，A fifia.支持向量机（SVM）与通用核。苹果制品内特尔2011;25（7）：575-89.[27] DeCoste D，Mazzoni D.通过增量近似最近支持向量快速查询优化内核机器分类。在：第20届机器学习国际会议论文集，华盛顿，ICML 2003; 2003。p. 115比22[28] SchoülkopfB，SmolaAJ. 学习Kernels Cambridg e，MA：The MITPress; 2002.[29] SchoülkopfBS，MikaCJ，BurgesP，KnirschRR，MullerKG. 基于核方法中的输入空间与特征空间。IEEE Trans Neural Network1999;10（5）：1000[30] BurgesCJ，SchoülkopfB. 提高支持向量机的精度和速度。神经信息处理系统1997;9：375[31] 伯 吉 斯 CJ 。 支 持 向 量 机 在 模 式 识 别 中 的 应 用 Data MinKnowledge Discovery 1998;2（2）：121[32] ScholkopfB，BurgesC，SmolaA. 核方法支持向量机学习研究进展。麻省理工学院出版社，1998年。[33] 放大图片作者：Taylor SJ，Bartlett PL，Willianmson RC，Anthony M.数据依赖层次结构上的结构风险最小化。IEEE跨信息理论1998;5：1926[34] 在制造JT大规模SVM学习实用。在：核方法的进展-支持向量学习。剑桥：麻省理工学院出版社. p. 42比56[35] 张晓刚，李晓刚，李晓刚. MLP和SVM网络：比较研究。上一篇：第六届北欧信号会议论文集数据分类中的支持向量机（SVM）与多层感知（MLP）183NORSIG加工研讨会，芬兰埃斯波; 2004年6月。第9-11页。[36] 放大图片作者：Taylor SJ.支持向量机（SVM）剑桥：剑桥大学出版社，2000年.[37] http://archive.ics.uci.edu/ml/网站。[38] Cristianini N，Campbell C，Taylor SJ.支持向量机中的动态自适应核函数。1998年神经信息处理系统进展会议论文集II;1999年。p. 204-10[39] Chapelle O，Vapnik V，Bousquet O，Mukherjee S.支持向量机的多参数选择。Mach Learn 2002;46：131-59.[40] Bengio Y.超参数的基于一致性的优化。神经计算2000;12（8）：1889[41] Rifin R，Klautau A.为一个对所有分类辩护。马赫学习研究杂志2004;5：101