给出线性判别分析算法中的投影向量推导过程,并给出一种投影后数据的分界面表达式
时间: 2024-05-25 08:17:57 浏览: 13
线性判别分析算法中的投影向量推导过程如下:
1. 计算每个类别的均值向量
$$\boldsymbol{\mu}_i=\frac{1}{n_i}\sum_{\boldsymbol{x}\in D_i}\boldsymbol{x},\quad i=1,2,\dots,c$$
其中 $n_i$ 表示第 $i$ 类样本的个数,$D_i$ 表示第 $i$ 类样本的集合。
2. 计算全局均值向量
$$\boldsymbol{\mu}=\frac{1}{n}\sum_{i=1}^cn_i\boldsymbol{\mu}_i$$
其中 $n$ 表示所有样本的个数。
3. 计算类内散度矩阵
$$\boldsymbol{S}_W=\sum_{i=1}^c\sum_{\boldsymbol{x}\in D_i}(\boldsymbol{x}-\boldsymbol{\mu}_i)(\boldsymbol{x}-\boldsymbol{\mu}_i)^T$$
4. 计算类间散度矩阵
$$\boldsymbol{S}_B=\sum_{i=1}^cn_i(\boldsymbol{\mu}_i-\boldsymbol{\mu})(\boldsymbol{\mu}_i-\boldsymbol{\mu})^T$$
5. 计算投影向量
将样本投影到一维空间上,即找到一个投影向量 $\boldsymbol{w}$,使得投影后的样本能够最大化类间距离,最小化类内距离。这可以通过最大化 Fisher 函数来实现:
$$J(\boldsymbol{w})=\frac{\boldsymbol{w}^T\boldsymbol{S}_B\boldsymbol{w}}{\boldsymbol{w}^T\boldsymbol{S}_W\boldsymbol{w}}$$
其中,$\boldsymbol{S}_B$ 和 $\boldsymbol{S}_W$ 分别为类间散度矩阵和类内散度矩阵。
将 Fisher 函数进行求导,得到:
$$\boldsymbol{w}\propto\boldsymbol{S}_W^{-1}(\boldsymbol{\mu}_1-\boldsymbol{\mu}_2)$$
其中 $\propto$ 表示比例关系。由于投影向量的长度不影响分类效果,因此可以对 $\boldsymbol{w}$ 进行归一化处理,即:
$$\boldsymbol{w}=\frac{\boldsymbol{S}_W^{-1}(\boldsymbol{\mu}_1-\boldsymbol{\mu}_2)}{\left \| \boldsymbol{S}_W^{-1}(\boldsymbol{\mu}_1-\boldsymbol{\mu}_2) \right \|}$$
投影后数据的分界面表达式为:
$$y=\boldsymbol{w}^T\boldsymbol{x}$$
其中,$\boldsymbol{x}$ 表示原始数据,$y$ 表示投影后的数据。分界面的表达式为 $y=\frac{1}{2}(\boldsymbol{w}^T\boldsymbol{\mu}_1+\boldsymbol{w}^T\boldsymbol{\mu}_2)$。如果某个投影后的数据点 $y$ 大于该分界面的值,则将其归为第一类,否则归为第二类。
相关推荐
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)