跨过准确率陷阱：使用支持向量机评估指标

# 1. 支持向量机基础知识

支持向量机（Support Vector Machine, SVM）是一种在统计学习理论基础上发展起来的机器学习方法，它广泛应用于分类和回归分析中。SVM的核心思想是寻找一个最优的超平面，将不同类别的数据点正确分类，最大化不同类别数据之间的边界。它能够处理线性可分和非线性可分的数据，并且在许多实际应用中展示出优越的性能。

在第一章中，我们首先介绍SVM的基本概念，然后探讨其在数据分类中的独特优势和基本工作原理。我们会通过简单的例子来解释SVM的核心思想，为读者建立起对SVM的初步认识。

## 1.1 SVM的基本概念

支持向量机(SVM)是一种监督学习模型，用于解决分类问题，它通过寻找一个超平面来将数据集分成两类。超平面的选择需要最大化两类数据之间的间隔，也就是“最大间隔”原则。在最理想的情况下，分类间隔是最大的，意味着超平面能尽可能远离最近的数据点，从而提高模型的泛化能力。

## 1.2 SVM的核心优势

SVM的一个显著优势是其出色的泛化能力，尤其在特征空间维度远大于样本数量的情况下表现突出。此外，SVM引入了核技巧，这使得SVM可以有效地处理非线性可分的问题。通过对数据进行非线性映射，SVM能够在高维空间中找到一个线性决策边界，进而实现在原始空间的非线性分类。

在这个基础上，我们会深入探讨SVM的原理和应用，为后续章节中对SVM理论深入分析、评估指标的讨论以及实际应用的介绍打下坚实的理论基础。

# 2. 支持向量机的理论基础与数学原理

## 2.1 线性可分的支持向量机

### 2.1.1 线性可分问题与超平面

线性可分问题是机器学习中分类问题的一种特殊情况，在这种情况下，两个类别的样本可以通过一个超平面完全分开。在数学上，如果我们有一个n维特征空间，那么超平面可以表示为一个n-1维的子空间。例如，在二维空间中，超平面就是一条直线；在三维空间中，超平面是一个平面。

在支持向量机（SVM）中，寻找这个超平面的过程是关键。我们希望找到的超平面不仅能够正确地将两类数据分开，而且具有最大的间隔（margin），即距离超平面最近的数据点（支持向量）到超平面的距离尽可能大。这样做的目的是为了获得更好的泛化能力，即在未见数据上表现得更好。

### 2.1.2 支持向量的定义与求解

支持向量是那些位于决策边界最近的训练数据点。它们直接决定了超平面的位置和方向，是构成最优决策边界的最关键因素。在求解线性可分SVM时，目标是最大化两个类别之间的间隔。

支持向量机的求解可以通过优化问题来完成。具体来说，我们需要求解以下优化问题：

\begin{aligned}
& \text{minimize} \quad \frac{1}{2} \|\mathbf{w}\|^2 \\
& \text{subject to} \quad y_i (\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1, \quad i = 1, \ldots, m
\end{aligned}

其中，$\mathbf{w}$ 是超平面的法向量，$b$ 是偏置项，$y_i$ 是类别标签，$\mathbf{x}_i$ 是样本点，$m$ 是样本数量。这个优化问题的约束条件确保了所有的样本点都正确分类，并且离超平面的距离至少为1。

求解上述优化问题通常采用拉格朗日乘数法，将其转化为对偶问题进行求解。求解结果会给出一个模型，该模型由支持向量和对应的权重决定。

## 2.2 核技巧与非线性支持向量机

### 2.2.1 核函数的概念与类型

核函数的概念是支持向量机能够处理非线性问题的核心。核函数能够将原始特征空间映射到更高维的特征空间，使得在这个新空间中原本线性不可分的数据变得线性可分。

核函数的一个重要性质是它不需要显式地计算映射后的高维特征向量，而是通过计算核函数得到内积，从而实现隐式地在高维空间进行计算。常见的核函数类型包括线性核、多项式核、高斯径向基函数（RBF）核和sigmoid核等。

以高斯RBF核为例，其数学表达式如下：

K(\mathbf{x}, \mathbf{z}) = \exp\left(-\gamma \|\mathbf{x} - \mathbf{z}\|^2\right)

其中，$\mathbf{x}$ 和 $\mathbf{z}$ 是两个样本点，$\gamma$ 是核函数的参数。RBF核可以控制映射后的数据分布，其核心作用是通过调节$\gamma$的值来控制样本点的“影响力”范围。

### 2.2.2 核技巧在非线性问题中的应用

通过引入核函数，支持向量机可以从线性分类器扩展到非线性分类器。在处理非线性问题时，SVM会使用核技巧来隐式地在高维空间中构造超平面。

核技巧在非线性SVM中的应用可以概括为以下几个步骤：

1. 选择合适的核函数和对应的参数。
2. 在高维空间中使用核函数计算样本点间的内积。
3. 在高维空间中构建优化问题，求解得到超平面。
4. 使用支持向量和权重来定义最终的分类决策函数。

核技巧的有效性取决于所选核函数是否能够映射出一个特征空间，使得在这个空间中样本点变得线性可分。通过核技巧，SVM在处理图像识别、文本分类和其他领域中复杂的非线性分类问题时，展现出了强大的能力。

## 2.3 支持向量机的优化问题

### 2.3.1 拉格朗日乘数法简介

拉格朗日乘数法是解决带有约束条件的优化问题的一种有效方法。在支持向量机中，通过引入拉格朗日乘数（也称为拉格朗日对偶变量），可以将原问题转化为对偶问题，该对偶问题更容易求解。

原优化问题可以写成如下形式：

\begin{aligned}
& \text{minimize} \quad \frac{1}{2} \|\mathbf{w}\|^2 \\
& \text{subject to} \quad y_i (\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1, \quad i = 1, \ldots, m
\end{aligned}

利用拉格朗日乘数法，我们构造拉格朗日函数：

L(\mathbf{w}, b, \alpha) = \frac{1}{2} \|\mathbf{w}\|^2 - \sum_{i=1}^{m} \alpha_i \left( y_i (\mathbf{w} \cdot \mathbf{x}_i + b) - 1 \right)

其中，$\alpha_i \geq 0$ 是拉格朗日乘数。接下来，通过对 $L$ 分别对 $\mathbf{w}$ 和 $b$ 求偏导，并设导数为零，可以得到 $\mathbf{w}$ 和 $b$ 的表达式。

### 2.3.2 对偶问题与KKT条件

通过拉格朗日乘数法得到的对偶问题是原问题的等价形式，并且通常更容易求解。对偶问题的目标是最大化拉格朗日函数关于拉格朗日乘数的表达式，同时满足一定的条件。

\begin{aligned}
& \text{maximize} \quad \sum_{i=1}^{m} \alpha_i - \frac{1}{2} \sum_{i, j=1}^{m} y_i y_j \alpha_i \alpha_j \mathbf{x}_i \cdot \mathbf{x}_j \\
& \text{subject to} \quad \alpha_i \geq 0, \quad i = 1, \ldots, m \\
& \quad \quad \sum_{i=1}^{m} y_i \alpha_i = 0
\end{aligned}

这个问题是关于拉格朗日乘数 $\alpha_i$ 的二次规划问题，可以通过现成的优化算法来解决。

求解对偶问题后，我们还需要检查Karush-Kuhn-Tucker (KKT) 条件是否满足。KKT条件是支持向量机优化问题的必要条件，具体包括：

- 平滑性条件
- 稳定性条件
- 对偶可行性条件
- 原始可行性条件

如果所有的KKT条件都满足，那么就找到了原问题的最优解。

### 2.3.3 求解对偶问题的代码实现

下面是一个使用Python中的`cvxopt`库来求解SVM对偶问题的简单示例代码：

import numpy as np
from cvxopt import matrix, solvers

# 训练数据，X是特征矩阵，y是标签向量
X = np.array([[1, 2], [2, 3], [3, 3]])
y = np.array([-1, -1, 1])

# 计算核矩阵
def kernel_matrix(X, gamma=0.5):
    K = np.zeros((X.shape[0], X.shape[0]))
    for i in range(X.shape[0]):
        for j in range(X.shape[0]):
            K[i, j] = np.exp(-gamma * np.linalg.norm(X[i] - X[j]) ** 2)
    retur