fisher线性判别x和y空间
时间: 2023-10-27 09:07:11 浏览: 32
Fisher线性判别分析(FLDA)是一种经典的模式识别算法,用于在高维数据中找到最能区分不同类别的线性投影方向。简单来说,FLDA就是通过对数据进行线性变换,将数据投影到一条直线上,使得数据在该直线上的投影尽可能地区分不同类别,并且在该直线上的方差最大化。
在FLDA中,假设我们有两个类别,分别为类别1和类别2,每个样本的维度为$d$。我们可以将样本的特征表示为一个$d$维的向量$x$,其中$x=(x_1,x_2,...,x_d)^T$。我们希望找到一个方向$w=(w_1,w_2,...,w_d)^T$,将$x$投影到一条直线上,使得类别1和类别2在投影后的空间中尽可能地分开。
具体来说,FLDA的过程包括以下几个步骤:
1. 计算类别1和类别2的均值向量$m_1$和$m_2$。
2. 计算类别内散布矩阵$S_w$,表示类别1和类别2内部的数据分布情况。
$S_w=\sum_{i∈C_1}(x_i-m_1)(x_i-m_1)^T+\sum_{i∈C_2}(x_i-m_2)(x_i-m_2)^T$
3. 计算类别间散布矩阵$S_b$,表示类别1和类别2之间的数据分布情况。
$S_b=(m_1-m_2)(m_1-m_2)^T$
4. 求解最优的投影方向$w$,使得$J(w)=\frac{w^TS_bw}{w^TS_ww}$最大化。
其中,$J(w)$表示Fisher准则函数,$S_b$和$S_w$分别表示类别间散布矩阵和类别内散布矩阵。
最终,我们可以得到一个投影向量$w$,对于一个新的样本$x$,我们可以将其投影到$w$上得到一个标量值$y=w^Tx$,进而判断它属于哪一个类别。在FLDA中,$w$和$y$分别对应于$x$的$d-1$维和$1$维表示,因此FLDA可以看作是将数据从$d$维降到$1$维的过程。