fisher线性判别分析
时间: 2023-10-13 20:07:10 浏览: 36
Fisher线性判别分析(Fisher's Linear Discriminant Analysis,简称FLDA)是一种经典的线性分类方法,它是由英国统计学家Ronald A. Fisher于1936年提出的。FLDA的目的是将数据集投影到低维空间中,从而使得不同类别的数据点之间的距离尽可能大,同类别的数据点之间的距离尽可能小。
FLDA的基本思想是将样本投影到一条直线上,使得同类别的样本点尽可能的靠近一起,不同类别的样本点尽可能的分散。在FLDA中,我们通过求解一个最优化问题来得到这条直线。具体来说,我们首先计算出每个类别的均值向量,然后计算类内散度矩阵和类间散度矩阵。类内散度矩阵反映了同类别样本点之间的差异,而类间散度矩阵反映了不同类别样本点之间的差异。最后,FLDA的目标就是最大化类间散度矩阵与类内散度矩阵的比值,即最大化Fisher判别准则。
FLDA有着广泛的应用,例如人脸识别、文本分类、图像分类等。FLDA的优点在于它能够有效地降低维度,同时保留了数据的重要特征,从而提高分类的准确度。缺点是FLDA要求样本数据满足高斯分布,如果数据不满足高斯分布,FLDA的效果可能会受到影响。
相关问题
Fisher 线性判别分析
Fisher 线性判别分析(Fisher Linear Discriminant Analysis, FLDA)是一种监督学习的分类方法。它的目标是找到一个投影方式,可以将样本投影到一条直线上,使得同类样本的投影点尽量接近,异类样本的投影点尽量分开。这条直线称为 Fisher 分类线。
具体地说,FLDA 的过程可以分为以下几步:
1. 计算各类别样本的均值向量,以及所有样本的均值向量。
2. 计算类内散度矩阵(Within-class scatter matrix)和类间散度矩阵(Between-class scatter matrix):
类内散度矩阵 $S_w = \sum_{i=1}^{c}S_i$,其中 $S_i=\sum_{x\in X_i}(x-\mu_i)(x-\mu_i)^T$,$c$ 为类别数,$X_i$ 为第 $i$ 类的样本集合,$\mu_i$ 为第 $i$ 类样本的均值向量。
类间散度矩阵 $S_b = \sum_{i=1}^{c}n_i(\mu_i-\mu)(\mu_i-\mu)^T$,其中 $n_i$ 为第 $i$ 类样本的个数,$\mu$ 为所有样本的均值向量。
3. 计算 Fisher 准则函数 $J(w)=\frac{wS_bw^T}{wS_ww^T}$,其中 $w$ 为投影向量。我们的目标是使 $J(w)$ 最大。
4. 对 $J(w)$ 进行求解,得到投影向量 $w$。
5. 对新的样本进行分类时,将其投影到 $w$ 方向上,根据投影点的位置确定其所属类别。
FLDA 相比于其他线性分类方法(如 PCA)的优势在于,它是基于类别信息进行投影的,因此可以更好地区分不同类别之间的差异,提高分类准确率。缺点在于,FLDA 的前提是各类别的分布满足高斯分布,而且协方差矩阵相等。如果不满足这些条件,FLDA 可能会产生较差的效果。
fisher线性判别分析原理
Fisher线性判别分析(Linear Discriminant Analysis, LDA)是一种经典的监督学习算法,旨在将样本数据分成不同的类别。它的主要目标是通过找到一个投影方式,将高维数据投影到低维空间中,使得不同类别之间的距离尽可能大,同一类别内部的距离尽可能小。
其基本原理如下:
1. 计算类内散度矩阵Sw和类间散度矩阵Sb。
类内散度矩阵Sw表示每个类别内部数据的离散程度,而类间散度矩阵Sb表示不同类别之间的差异性大小。具体计算方法如下:
$$Sw=\sum_{i=1}^c\sum_{x\in D_i}(x-\mu_i)(x-\mu_i)^T$$
$$Sb=\sum_{i=1}^cn_i(\mu_i - \mu)(\mu_i - \mu)^T$$
其中,c为类别数,D为数据集,n为每个类别的样本数量,$\mu_i$为第i个类别的样本均值,$\mu$为所有样本的均值。
2. 计算最优投影方向。
最优投影方向是指,将数据映射到低维空间后,使得不同类别之间的距离尽可能大,同一类别内部的距离尽可能小。求解最优投影方向的方法是,将类内散度矩阵Sw的逆矩阵与类间散度矩阵Sb相乘,然后对得到的矩阵进行特征值分解,选取最大的k个特征值对应的特征向量作为最优投影方向。
3. 将数据映射到最优投影方向上。
最后,将数据集投影到最优投影方向上,即可得到降维后的数据。
Fisher线性判别分析常用于图像分类、人脸识别、文本分类等领域,它的优点是可以降低维度、提高分类准确率。
相关推荐
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)