给出线性判别分析算法中的投影向量推导过程,并给出一种投影后数据的分界面表达式?
时间: 2024-05-20 22:15:56 浏览: 10
线性判别分析算法中的投影向量推导过程如下:
1. 计算每个类别的均值向量(mean vector)。
2. 计算总体内散度矩阵(within-class scatter matrix):
$S_W = \sum_{i=1}^{c} \sum_{x\in X_i} (x - \mu_i) (x - \mu_i)^T$
其中,$c$ 表示类别数,$X_i$ 表示第 $i$ 个类别的样本集合,$\mu_i$ 表示第 $i$ 个类别的均值向量。
3. 计算总体间散度矩阵(between-class scatter matrix):
$S_B = \sum_{i=1}^{c} N_i (\mu_i - \mu) (\mu_i - \mu)^T$
其中,$N_i$ 表示第 $i$ 个类别的样本数量,$\mu$ 表示总体的均值向量,$\mu = \frac{1}{n} \sum_{i=1}^{n} x_i$,$n$ 表示总体样本数量。
4. 计算投影向量 $w$:
$w = S_W^{-1} (\mu_1 - \mu_2)$
其中,$S_W^{-1}$ 表示总体内散度矩阵的逆矩阵,$\mu_1$ 和 $\mu_2$ 分别表示两个类别的均值向量。
5. 投影后的数据点 $y$ 的坐标为:
$y = w^T x$
其中,$x$ 表示原始数据点的坐标。
6. 分界面表达式为:
$y = w^T x = w^T (\mu_1+\mu_2)/2$
即,投影后的数据点在投影向量上的坐标等于两个类别均值向量的平均值在投影向量上的坐标。对于二分类问题,可以将该分界面作为分类器的决策边界,将投影后的数据点根据它们在分界面上的位置分为两类。
相关推荐
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)