核化线性降维中部分公式的推导

在核化线性降维中，核函数 $k(\mathbf{x}_i,\mathbf{x}_j)$ 的作用是将样本从原始空间映射到一个更高维的特征空间，从而使得原本线性不可分的样本在新的空间中变得线性可分。最常用的核函数是径向基函数（RBF）核：

$$
k(\mathbf{x}_i,\mathbf{x}_j)=\exp\left(-\frac{\|\mathbf{x}_i-\mathbf{x}_j\|^2}{2\sigma^2}\right),
$$

其中，$\sigma$ 是高斯核的宽度参数。径向基函数核可以将样本映射到一个无限维的特征空间中。

接下来，我们来推导中心化后的 Gram 矩阵 $\mathbf{K}^\prime$。设 $\mathbf{K}_{i,j}=k(\mathbf{x}_i,\mathbf{x}_j)$，我们有：

$$
\begin{aligned}
\mathbf{K}^\prime&=\mathbf{K}-\mathbf{1}\mathbf{K}-\mathbf{K}\mathbf{1}+\mathbf{1}\mathbf{K}\mathbf{1}\\
&=\begin{bmatrix}k(\mathbf{x}_1,\mathbf{x}_1) & k(\mathbf{x}_1,\mathbf{x}_2) & \cdots & k(\mathbf{x}_1,\mathbf{x}_n)\\ k(\mathbf{x}_2,\mathbf{x}_1) & k(\mathbf{x}_2,\mathbf{x}_2) & \cdots & k(\mathbf{x}_2,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ k(\mathbf{x}_n,\mathbf{x}_1) & k(\mathbf{x}_n,\mathbf{x}_2) & \cdots & k(\mathbf{x}_n,\mathbf{x}_n)\end{bmatrix}-\frac{1}{n}\begin{bmatrix}\sum_{i=1}^n k(\mathbf{x}_i,\mathbf{x}_1) & \sum_{i=1}^n k(\mathbf{x}_i,\mathbf{x}_2) & \cdots & \sum_{i=1}^n k(\mathbf{x}_i,\mathbf{x}_n)\\ \sum_{i=1}^n k(\mathbf{x}_i,\mathbf{x}_1) & \sum_{i=1}^n k(\mathbf{x}_i,\mathbf{x}_2) & \cdots & \sum_{i=1}^n k(\mathbf{x}_i,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ \sum_{i=1}^n k(\mathbf{x}_i,\mathbf{x}_1) & \sum_{i=1}^n k(\mathbf{x}_i,\mathbf{x}_2) & \cdots & \sum_{i=1}^n k(\mathbf{x}_i,\mathbf{x}_n)\end{bmatrix}\\
&\quad-\frac{1}{n}\begin{bmatrix} \sum_{j=1}^n k(\mathbf{x}_1,\mathbf{x}_j) \\ \sum_{j=1}^n k(\mathbf{x}_2,\mathbf{x}_j) \\ \vdots \\ \sum_{j=1}^n k(\mathbf{x}_n,\mathbf{x}_j) \end{bmatrix}\begin{bmatrix}\sum_{i=1}^n k(\mathbf{x}_i,\mathbf{x}_1) & \sum_{i=1}^n k(\mathbf{x}_i,\mathbf{x}_2) & \cdots & \sum_{i=1}^n k(\mathbf{x}_i,\mathbf{x}_n)\end{bmatrix}+\frac{1}{n^2}\begin{bmatrix}\sum_{i=1}^n\sum_{j=1}^n k(\mathbf{x}_i,\mathbf{x}_j)\end{bmatrix}\begin{bmatrix}1&1&\cdots&1\\1&1&\cdots&1\\\vdots&\vdots&\ddots&\vdots\\1&1&\cdots&1\end{bmatrix}\\
&=\mathbf{H}\mathbf{K}\mathbf{H},
\end{aligned}
$$

其中，$\mathbf{H}=\mathbf{I}-\frac{1}{n}\mathbf{1}\mathbf{1}^\top$，$\mathbf{I}$ 是单位矩阵，$\mathbf{1}$ 是全为 $1$ 的列向量。