性判别分析方法FDA总结_fdaanalysis

性判别分析

5星 · 超过95%的资源需积分: 43 98 浏览量更新于2023-06-10 收藏 328KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源推荐

FDA 总结（梧桐细雨 2012）--各种各样的 FDA

在模式分类中经常遇到的问题是维数灾难，对于低维数据非常适用的方法很可能无法运

用到高维数据上。因此各种各样的降维方法应运而生。从第一章的介绍中我们可以看出 PCA

是一种有效的降维方法，它的结果是与原数据最接近的投影数据，但在模式分类中此方法并

不具有竞争力。因为选择投影空间时不同类数据之间的可分性并没有被考虑。如果要把 D 维

数据投影到一个



Ddd  维空间，即一条直线上，那么原本可分的样本在投影后可能混合

在一起。不过我们可以通过选择合适的投影轴来使投影后的数据具有最好的可分性。这正是

线性判别分析的目的。

2.1 Fisher Discriminant Analysis

1936 年，Fisher 提出了经典的 Fisher 线性判别方法[1]并被广泛应用。在介绍 Fisher 线

性判别分析前我们先做一些必要的假设。假设

, ,...,





是 D 维空间中的 c 个已知类，第

类中的样本个数为

n 个，总的样本个数为





。我们把第

类中的第

个样本记为



1;1

ic jn   ，也可以不区别类标的把它记作





kN 。假设第 i 类样本个

数占总体样本个数的比例，即先验概率为

，因为有 c 类，我们有





。

2.1.1 两类情况[2]

我们首先考虑



的情况，即所有的数据均来自两个不同的类。样本

各维元素的线

性组合可以表示为





(1)

对每个样本进行此操作得到



12;1

yi jn   。从几何上看，在 1



 的情况下，每

个

y 都是

在方向为



的直线上的投影。



的模只会影响投影后样本的模，对于分类问题

来说没有任何实际意义，可以任意取。但



方向的选择对投影后样本的可分性有着至关重

要的影响。

一个衡量样本可分性的标准是两类样本均值的距离。样本均值的距离越大，我们可以近

似的认为两类样本分得越开，能得到越高的分类正确率。投影后样本的均值为

2.2 判别向量之间的相关性

如果只需一个判别向量，则取(13)式最大的个特征值对应的特征向量即可，因为在该向

量方向的投影具有最大的类间散布和类内散布的比值。需要

k 个判别向量时，选择(13)式前

k 个最大的非零特征值对应的特征向量作为判别向量并不一定是最优的，因为各个向量之间

会有相关性，这与 LDA 的初衷不符。LDA 的目的是降维，即消除一些冗余的数据，而在降

维的同时又引入了数据相关显然是不明智的。而向量之间的相关性可以从两个方面考虑



n 维空间向量本身固有的相关性

 降维后各维数据之间的相关性

前者从几何上解释为两个判别向量夹角的大小。后者可以从概率上解释为降维两个特征的相

关程度。通过这两种相关性对判别向量做一定的限制可以求得在理论上更优的判别向量。

2.2.1 正交 LDA(FSLDA)

1975 年，Foley 和 Sammon 提出了一种适应于两类问题的 FSLDA 方法[3]，利用此方法

得到的判别向量相互正交。1985 年，Okada 和 Tomita 提出了一种能计算出更多判别向量的

正交 LDA[4]。1988 年，Duchene 和 Leclercq 提出了一种空间变换方法，并在变换后的空间

中进行线性判别[5]。1993 年，Liu 等人在[6]中研究了 LDA 的解法。

正交 LDA 的目标是得出一组正交的判别向量，但对于第一个判别向量来说除了最大化 Fisher

准则外没有别的限制，所以第一个判别向量的计算方法同经典的 LDA，即 (13)式中最大的特

征值对应的特征向量。在得到

个判别向量

, ,...,





以后，求第







个的判别向量的

目标函数和约束条件为



max

0 1,2,...,

jbj

jwj w

















(14)

通过数学推导得到下一个判别向量为下式



...

jbi iwi

jww

PS w S w

PIHHSHHS



 













(15)

最大的特征值对应的特征向量。

从该方法的计算步骤可以看出，其几何解释为：在已有判别向量的正交空间中求得使

Fisher 值最大的新判别向量。很明显每一步都要计算几次矩阵的逆和特征向量以及特征值，

为了克服这一问题，Song 提出了一种新的方法[7]。这种方法理论简单，并且易于计算。其

思想为：先用经典的 LDA 方法得到了

r 个判别向量

, ,...,

ww w，然后利用施密特正交化

剩余35页未读，继续阅读

wutongxiyu2012

粉丝: 3
资源: 4

会员权益专享

性判别分析方法FDA总结

力导引算法（Force-directed，FDA）详解

判别分析方法讲解

CFR算法 消峰

Pca与Fisher判别分析（FDA）

Python中判别分析

常用的冲击数据有效性判别方法

spss聚类分析判别分析

2、判别分析和聚类分析的区别和联系？

聚类分析和判别分析的区别

简述判别分析与聚类分析的区别是什么?

判别分析与聚类分析的区别是什么?

r语言判别分析-mass包

matlab判别分析

判断一家公司是成功,还是破产用以下哪种分析？ A聚类分析 B主成分分析 C判别分析 D因子分析

spss判别分析步骤

线性判别分析和二次判别分析

判别分析实验注意事项

python高斯判别分析

判别分析的r语言代码

线性时不变系统的稳定性的判别方法有哪些？

会员权益专享

最新资源

CFR算法消峰