支持向量机与核函数解析：从线性可分到对偶问题

"这篇资料主要介绍了支持向量机(SVM)中的常用核函数，并结合MATLAB讲解了两类线性可分支持向量机的求解过程。" 在机器学习领域，支持向量机是一种强大的监督学习算法，尤其适用于分类和回归任务。其核心在于将数据映射到高维空间，通过在高维空间找到一个最优超平面进行分类。核函数在支持向量机中起着关键作用，它允许我们进行非线性决策边界的学习，而无需直接知道高维空间的表示。 1. 常用核函数： - 多项式函数：通常形式为 (γ * <x, x'> + r)^d，其中 γ 是调整参数，<x, x'> 是输入向量的内积，r 是常数项，d 是多项式的阶数。多项式核函数可以模拟线性和非线性的决策边界。 - 径向基函数（Radial Basis Function，RBF）：也称为高斯核，公式为 exp(-γ ||x - x'||^2)，这里的 γ 控制决策边界的宽度，||x - x'||^2 是输入向量之间的欧氏距离。RBF 是最常用的核函数，因为它可以很好地处理非线性问题。 - 双曲正弦函数：形如 sinh(γ * <x, x'>)，它同样可以转换非线性数据，但不如 RBF 普遍使用。 2. 核函数存在的条件（Mercer条件）： 核函数必须满足Mercer条件，即它对应的Gram矩阵必须是半正定的。这确保了在高维空间中的映射是可行的，并且优化问题有唯一解。 3. 两类线性可分支持向量机的求解： 线性支持向量机的目标是找到最大间隔的超平面。在对偶问题中，我们寻找拉格朗日乘子A，最大化目标函数并同时满足约束条件。问题（4-34）描述了这个优化问题，其中W是权重向量，b是偏置项，yn是样本的类别标签，Xn是特征向量。 - 对偶问题的构建（4-35）是通过拉格朗日乘子A来表示原问题的优化目标和约束。 - 最终，我们寻找满足Mercer条件的核函数，通过求解对偶问题（4-36），找到最优的拉格朗日乘子A，从而确定权重向量W和偏置项b。 4. 求解步骤： - 首先，定义对偶函数，令所有的约束条件等式化为0。 - 接着，将对偶函数代入拉格朗日函数，形成一个新的优化问题。 - 最后，通过求解这个新问题找到最优的A值，进而得到W和b。 本资料涵盖了支持向量机的核心概念，包括核函数的选择和两类线性可分支持向量机的对偶问题求解方法，这对于理解SVM以及在实际应用中选择合适的模型参数具有重要意义。MATLAB作为常用的科学计算工具，也常被用来实现和支持向量机的算法。