Fisher准则怎么求决策面方程
时间: 2024-01-07 11:05:21 浏览: 24
Fisher准则是一种常见的线性判别分析方法,用于在低维空间中找到能够最大化类间距离、最小化类内距离的投影方向。在求解决策面方程时,可以按照以下步骤进行:
1. 对每个类别,计算其均值向量 $\boldsymbol{m}_i$,以及协方差矩阵 $\boldsymbol{S}_i$。
2. 计算类内散度矩阵 $\boldsymbol{S}_W$,以及类间散度矩阵 $\boldsymbol{S}_B$,其中:
$\boldsymbol{S}_W = \sum_{i=1}^c \boldsymbol{S}_i$
$\boldsymbol{S}_B = \sum_{i=1}^c n_i (\boldsymbol{m}_i - \boldsymbol{m})(\boldsymbol{m}_i - \boldsymbol{m})^T$
其中 $n_i$ 表示第 $i$ 类的样本数量, $\boldsymbol{m}$ 表示所有样本的均值向量。
3. 计算广义瑞利商 $\boldsymbol{J}(\boldsymbol{w}) = \frac{\boldsymbol{w}^T \boldsymbol{S}_B \boldsymbol{w}}{\boldsymbol{w}^T \boldsymbol{S}_W \boldsymbol{w}}$,其中 $\boldsymbol{w}$ 是投影方向。
4. 求解广义瑞利商的最大值,即通过优化问题 $\max_{\boldsymbol{w}} \boldsymbol{J}(\boldsymbol{w})$ 来求得投影方向 $\boldsymbol{w}$。
5. 判定决策面方程。在 Fisher 准则中,决策面方程为 $y(\boldsymbol{x}) = \boldsymbol{w}^T \boldsymbol{x} + w_0$,其中 $\boldsymbol{x}$ 是样本特征向量, $w_0$ 是阈值。决策面的具体位置可以根据具体问题进行确定。
需要注意的是,当样本特征向量的维度大于 1 时,需要进行投影操作使得样本降维到一维空间。此时,投影方向 $\boldsymbol{w}$ 可以通过对类内散度矩阵的特征值分解来求解。