支持向量机SVM入门指南：理解SVM的核心思想

SVM入门指南 支持向量机（Support Vector Machine，SVM）是一种统计机器学习方法，由Cortes和Vapnik于1995年首先提出。SVM在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。 **SVM的基本概念** SVM方法建立在统计学习理论的VC维理论和结构风险最小原理基础上。VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度。VC维越高，一个问题就越复杂。SVM关注的是VC维，这使得SVM解决问题的时候，与样本的维数是无关的。 **SVM的优点** 1. SVM可以解决小样本问题：SVM可以在小样本的情况下，仍然能够获得良好的泛化能力。 2. SVM可以解决非线性问题：SVM可以处理非线性问题，解决高维模式识别问题。 3. SVM可以解决高维问题：SVM可以处理高维问题，例如文本分类问题。 **统计机器学习与传统机器学习的区别** 统计机器学习能够精确的给出学习效果，能够解答需要的样本数等等一系列问题。与统计机器学习的精密思维相比，传统的机器学习基本上属于摸着石头过河，用传统的机器学习方法构造分类系统完全成了一种技巧。 **Vapnik的贡献** Vapnik是统计机器学习的大牛，他出版的《Statistical Learning Theory》是一本完整阐述统计机器学习思想的名著。在该书中详细的论证了统计机器学习之所以区别于传统机器学习的本质。 **结构风险最小原理** 结构风险最小原理是指机器学习本质上就是一种对问题真实模型的逼近。我们选择一个我们认为比较好的近似模型，这个近似模型就叫做一个假设。但毫无疑问，真实模型一定是不知道的。结构风险最小原理就是要使得我们选择的假设与问题真实解之间的差距最小。 **SVM在机器学习中的应用** SVM可以应用于函数拟合、文本分类、图像识别等许多机器学习问题中。SVM的出现极大地推动了机器学习的发展，并且扩展了机器学习的应用领域。