费歇尔线性判别函法原理

费歇尔线性判别分析（Fisher's Linear Discriminant Analysis）是一种有监督的降维方法，用于将高维数据投影到低维空间，以便于分类和可视化。它的目标是最大化类间距离，最小化类内距离。具体地，假设有两个类别，每个类别的数据服从高斯分布，Fisher的思路是找到一个投影方向，使得在这个方向上两个类别的均值之间的距离最大，而类内方差最小。这个投影方向就是费歇尔线性判别函数。

具体地，设$X$是一个$d$维随机向量，$Y$是它的类别标记（1或-1），$P(X|Y=1)$表示$X$在$Y=1$时的条件概率密度函数，$m_1$和$m_{-1}$分别表示在$Y=1$和$Y=-1$时$X$的均值向量，$S_1$和$S_{-1}$是在$Y=1$和$Y=-1$时的协方差矩阵，则费歇尔线性判别函数可以表示为：

$$
w^*=\arg\max_w\frac{(w^T m_1-w^T m_{-1})^2}{w^T(S_1+S_{-1})w}
$$

其中，$w$是投影向量。最大化这个式子等价于最小化类内方差和最大化类间距离。如果只考虑两类情况，那么$w^*$就是两个类别的均值向量之差的方向。

对于多类情况，可以采用一对一或一对多的方式进行分类。