第 36 卷 第 5 期 自 动 化 学 报 Vol. 36, No. 5
2010 年 5 月 ACTA AUTOMATICA SINICA May, 2010
适用于小样本问题的具有类内保持的正交特征提取算法
林玉娥
1, 2
顾国昌
1
刘海波
1
沈 晶
1
赵 靖
1
摘 要 在人脸识别中, 具有正交性的特征提取算法是一类有效的特征提取算法, 但受到小样本问题的制约. 本文在正交判
别保局投影的基础上, 提出了一种适用于小样本问题的具有类内保持的正交特征提取算法. 算法根据同类样本之间的空间结
构信息, 重新定义了类内散度矩阵与类间散度矩阵, 进而给出了一个新的目标函数. 然而新的目标函数对于人脸识别问题, 同
样存在着小样本问题. 为此本文将原始数据空间降到一个低维的子空间, 从而避免了总体散度矩阵奇异, 并在理论上证明了在
该子空间中求解判别矢量集, 等价于在原空间中求解判别矢量集. 人脸库上的实验结果表明本文算法的有效性.
关键词 特征提取, 小样本, 目标函数, 总体散度矩阵
DOI 10.3724/SP.J.1004.2010.00644
An Orthogonal Feature Extraction Method Based on the Within-class
Preserving for Small Sample Size Problem
LIN Yu-E
1, 2
GU Guo-Chang
1
LIU Hai-Bo
1
SHEN Jing
1
ZHAO Jing
1
Abstract Orthogonal feature extraction methods are widely employed to enhance the discriminatory information for the
face recognition task, but often suffer the small sample size problem which arises if the number of samples is smaller than
the dimensionality of samples. To solve this problem, an orthogonal feature extraction method based on the within-class
preserving is proposed. The proposed method redefines the within-class and b etween-class scatter matrices according
to the space information among samples belonging to the same class, and then gives the new objective function. This
metho d may encounter the small size sample problem when it is applied to face recognition task, and so we firstly map the
original space into a low dimensional subspace, then the singularity of the total-scatter matrix can be avoided in this low
dimensional subspace. It is proved that the discriminant vectors derived in this low dimensional subspace are equal to the
discriminant vectors derived in the original space. Experimental results on face database demonstrate the effectiveness of
the proposed method.
Key words Feature extraction, small size sample, objective function, total-scatter matrix
在人脸识别方法中, 基于 Fisher 准则的线性判
别分析 (Linear discriminant analysis, LDA)
[1−2]
,
由于可得到有助于分类的最佳判别投影信息, 被
认为是线性特征提取的有效方法之一. 但是传统的
LDA 算法在求取判别矢量集时, 由于矩阵 S
−1
w
S
b
不
再是对称矩阵, 因此所求得的判别矢量两两之间不
再正交. 为了获得基于 Fisher 线性判别准则的相
互正交的判别矢量集, 1975 年, Foley 和 Sammon
[3]
提出了 Foley-Sammon 正交判别矢量集算法, 但由
于采用迭代方法求解, 算法的计算量相当大, 尤其是
对于高维小样本问题. 因此文献 [4] 提出了一种改
收稿日期 2009-01-04 录用日期 2009-07-23
Received January 4, 2009; accepted July 23, 2009
国家自然科学基金 (60873036), 国家教育部博士点基金 (200702170-
51), 中央高校基本科研业务专项资金资助
Supported by National Natural Science Foundation of China
(60873036), National Research Foundation for the Doctoral Pro-
gram of Higher Education of China (20070217051), and the Fun-
damental Research Funds for the Central Universities
1. 哈尔滨工程大学计算机科学与技术学院 哈尔滨 150001
1. College of Computer Science and Technology, Harbin Engi-
neering University, Harbin 150001
2. 安徽理工大学计算机科学与工程学院 淮南 232001
2. School of Computer Science and Engineering, Anhui Uni-
versity of Science and Technology, Huainan 232001
进方案, 其思想是首先将样本投影到类间散度矩阵
的非零空间中, 然后再采用 Foley-Sammon 正交判
别矢量集方法, 在一定程度上减少了运算量. 文献
[5−6] 则提出了与核技术相结合的 Foley-Sammon
正交判别矢量集算法, 进一步增强了算法的识别性
能. 但上述算法本质上都是采用迭代方法求解, 故
此文献 [7] 提了一种基于 Gram-Schmidt 正交化的
快速计算方法 (Orthogonalized linear discriminant
analysis, OLDA), 从而避免了迭代运算, 不但简化
了算法的求解理论, 而且显著地提高了算法的运算
速度. 但是这些算法都是基于原始的 Fisher 准则,
没有考虑样本之间的空间结构信息对特征提取所
产生的影响. 最近 He 等提出的保局投影 (Local-
ity preserving projection, LPP)
[8]
是一种新的特
征提取算法, 该算法根据样本之间的空间距离来构
造相似矩阵, 以保留数据内在的几何特性和局部结
构为目的, 重新定义了目标函数, 并通过人脸识别
的实验验证了这一算法的有效性. 但是 LPP 算法
所提取的特征向量之间存在着信息冗余, 因此文献
[9] 进一步发展了 LPP 算法, 提出具有正交性的