三次曲线拟合与SVM核函数探索

本讲义深入介绍了支持向量机(SVM)的核函数概念，特别是针对非线性问题的处理。首先，讲解了初始问题中的线性回归，当特征x与结果y的关系不是简单的线性关系，如在房价预测中可能呈现3次曲线时，需要使用特征映射（feature mapping）技术。通过将特征扩展到更高维度，如三次多项式，将x映射为三维特征向量 ϕ(x) = [x, x^2, x^3]，使得原本线性不可分的数据在高维空间变得可分。 核函数(Kernel)在这个过程中起到了关键作用。它允许我们在保持数据在低维空间表示的同时，利用映射后的特征进行计算。原始特征的内积 <x, z> 被映射为高维空间中的 <ϕ(x), ϕ(z)>，通过定义核函数 𝐾(𝑥,𝑧) = ϕ(𝑥)·ϕ(𝑧)，我们避免了直接计算映射后的高维特征，从而显著减少了计算复杂度。例如，当核函数为 (𝑥𝑧)^2 时，通过仅计算原始特征的内积的平方，可以节省原本需要的 O(n^2) 时间，提升算法效率。 值得注意的是，核函数的选择对SVM性能至关重要。不同的核函数（如线性核、多项式核、径向基函数RBF核等）对应不同的映射函数，它们决定了模型能否适应非线性问题。选择合适的核函数能够帮助SVM在保持模型简洁的同时，有效地处理复杂的决策边界。 支持向量机通过核函数这一巧妙的方法，实现了在低维特征空间处理非线性问题的能力，极大地扩展了其应用范围，并优化了计算效率。这对于机器学习初学者理解和实践SVM算法具有重要的指导意义。