fisher判别函数证明

Fisher判别函数（Fisher's Discriminant Function）是一个在统计学中用于分类分析的方法，特别是在高维数据集上，目的是最大化类别间的方差同时最小化类别内的方差，从而更有效地将样本分离到不同的类别中。它是由Ronald Aylmer Fisher爵士在1936年提出的。

证明的核心思想是基于线性判别分析（Linear Discriminant Analysis, LDA）。LDA假设类别分布是高斯分布，并且类别之间的协方差矩阵相等。在这种理想情况下，Fisher判别函数可以通过最大化类间方差（S_B）与类内方差（S_W）之比（即Bartlett's test）来确定最佳的特征投影方向：

\[ \text{Fisher's Ratio} = \frac{S_B}{S_W} \]

其中：
- \( S_B \) 是总体间的协方差矩阵 \( S \) 减去类间均值的协方差 \( \hat{\Sigma}_{\text{class}} \)，即 \( S_B = S - \hat{\Sigma}_{\text{class}} \)
- \( S_W \) 是类内方差，即每个类别的平均协方差矩阵 \( \bar{\Sigma}_k \) 的平均，\( S_W = \frac{1}{K-1} \sum_{k=1}^{K} (\bar{\Sigma}_k - \hat{\Sigma}_{\text{class}}) \)，其中 \( K \) 是类别数。

Fisher判别函数的具体形式为：
\[ f_i(x) = w_i^T x \]
其中 \( w_i \) 是第i个特征的方向向量，\( x \) 是样本的特征向量，\( T \) 表示转置。\( w_i \) 选择的方式使得 \( w_i^T S_B w_i \) 最大化。