fisher判别函数手算例题

假设我们有两个类别 A 和 B，每个类别有两个特征 x1 和 x2，如下表所示：

| 样本 | x1 | x2 | 类别 |
| ---- | -- | -- | ---- |
| 1 | 1 | 2 | A |
| 2 | 2 | 3 | A |
| 3 | 3 | 3 | B |
| 4 | 4 | 5 | B |

我们要使用 Fisher 判别函数对一组新样本进行分类，这组新样本的特征为 x1 = 2.5，x2 = 4。

首先，计算类别 A 和 B 的均值向量和协方差矩阵：

均值向量：

$\mu_A = \begin{bmatrix} \frac{1+2}{2} \\ \frac{2+3}{2} \end{bmatrix} = \begin{bmatrix} 1.5 \\ 2.5 \end{bmatrix}$

$\mu_B = \begin{bmatrix} \frac{3+4}{2} \\ \frac{3+5}{2} \end{bmatrix} = \begin{bmatrix} 3.5 \\ 4 \end{bmatrix}$

协方差矩阵：

$S_A = \begin{bmatrix} 0.5 & 0.5 \\ 0.5 & 0.5 \end{bmatrix}$

$S_B = \begin{bmatrix} 0.5 & 0.5 \\ 0.5 & 0.5 \end{bmatrix}$

接下来，计算 Fisher 判别函数中的权重向量 w 和阈值 b。

权重向量：

$w = S_W^{-1} (\mu_B - \mu_A)$

其中，S_W 是类别内散度矩阵，定义为：

$S_W = S_A + S_B$

类别内散度矩阵是指每个类别内部样本之间特征差异的度量。计算 S_W：

$S_W = \begin{bmatrix} 0.5 & 0.5 \\ 0.5 & 0.5 \end{bmatrix} + \begin{bmatrix} 0.5 & -0.5 \\ -0.5 & 0.5 \end{bmatrix} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}$

计算权重向量 w：

$w = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}^{-1} (\begin{bmatrix} 3.5 \\ 4 \end{bmatrix} - \begin{bmatrix} 1.5 \\ 2.5 \end{bmatrix}) = \begin{bmatrix} 2 \\ 2 \end{bmatrix}$

最后，计算阈值 b：

$b = -\frac{1}{2} w^T (\mu_A + \mu_B)$

$b = -\frac{1}{2} \begin{bmatrix} 2 & 2 \end{bmatrix} (\begin{bmatrix} 1.5 \\ 2.5 \end{bmatrix} + \begin{bmatrix} 3.5 \\ 4 \end{bmatrix}) = -9$

现在，我们可以使用 Fisher 判别函数对新样本进行分类。新样本的特征为 x1 = 2.5，x2 = 4。计算 Fisher 判别函数的值：

$y = w^T x + b$

$y = \begin{bmatrix} 2 & 2 \end{bmatrix} \begin{bmatrix} 2.5 \\ 4 \end{bmatrix} - 9 = 2.5$

因为 $y > 0$，所以新样本被判定为类别 A。