收稿日期:20160329; 修回日期:20160511 基金项目: 国家自然 科学基金 资助项目 (61462064,61272077,61203243,61262019,
61362031);高维信息 智 能 感 知 与 系 统 教 育 部 重 点 实 验 室 (南 京 理 工 大 学 )基 金 资 助 项 目 (30920140122006);中 国 博 士 后 基 金 资 助 项 目
(2014T70453,2013M530223)
作者简介:刘毛溪(1992),男,安徽淮北人,硕士研究生,主要研究方向为图像处理和模式识别(liumaoxi2015@163.com);万鸣华(1978),男
(通信作者),江西南昌人,副教授,硕导,博士(后),主要研究方向为模式识别和机器学习;孙成立(1975),男,河北清河人,副教授,硕导,博士
(后),主要研究方向为特征提取和机器学习;王巧丽(1992),女,山东菏泽人,硕士,主要研究方向为图像处理和模式识别.
基于最大边界准则的稀疏局部嵌入特征提取方法
刘毛溪
1a,1b
,万鸣华
1a,2,3
,孙成立
1b
,王巧丽
1,1b
(1.南昌航空大学 a.江西省图像处理与模式识别重点实验室;b.信息工程学院,南昌 330000;2.南京理工大
学 高维信息智能感知与系统教育部重点实验室,南京 210094;3.南京晓庄学院 可信云计算与大数据分析重
点实验室,南京 211171)
摘 要:针对局部线性嵌入算法(LLE)无法利用样本的鉴别信息,最大边界准则算法(MMC)对非线性数据处
理能力较弱的不足,提出一种基于最大间距准则的稀疏局部嵌入(SLE/MMC)特征提取算法。在保持局部近邻
的前提下,首先在类内紧致图中使同类样本尽可能地聚集在一起;然后在类间惩罚图中使不同类别的样本尽可
能分离;最后使用弹性网回归算法得到一个最优的稀疏投影矩阵。为了避免小样本问题,采用
MMC的形式构造
目标函数。在 ORL、Yale以及 UMIST人脸库上的实验结果可以看到,同其他几种方法(PCA、LLE和 MMC)相比,
SLE/MMC具有更高的识别率,表明该方法具有更高效的特征提取能力。
关键词:特征提取;局部线性嵌入;最大边界准则;弹性网回归
中图分类号:TP39141 文献标志码:A 文章编号:10013695(2017)05156005
doi:10.3969/j.issn.10013695.2017.05.063
Sparselocalembeddingfeatureextractionmethodbasedonmaximummargincriterion
LiuMaoxi
1a,1b
,WanMinghua
1a,2,3
,SunChengli
1b
,WangQiaoli
1,1b
(1.a.KeyLaboratoryofJiangxiProvinceforImageProcessing& PatternRecognition, b.CollegeofInformationEngineering, Nanchang
HangkongUniversity
,Nanchang330000,China;2.KeyLaboratoryofIntelligentPerception& SystemsforHighDimensionalInformationof
MinistryofEducation,NanjingUniversityofScience&Technology,Nanjing210094,China;3.KeyLaboratoryofTrustedCloudComputing
&BigDataAnalysis,NanjingXiaozhuangUniversity,Nanjing211171,China)
Abstract:Thelocallinearembedding(LLE)wasunabletotakeadvantageofthediscriminationinformationofthesamplesand
themaximummargincriterion(MMC)hadaweakperformanceonthenonlineardata.Thereforethispaperproposedafeatureex
tractionmethodcalledsparselocalembeddingbasedonmaximummargincriterion
(SLE/MMC).Withthepreservationoflocal
nearestneighborpremise,firstly,thesimilarsamplesweregatheringtogetherasmuchaspossibleintheintrinsicgraph.Secondly,
thesamplesofdifferentclasseswereasfaraspossiblefromeachotherinthepenaltygraph.Finally,itusedtheelasticnetregres
siontoobtainanoptimalsparseprojectionmatrix.Inordertoavoidthe
“smallsamplesize”problem,itconstructedtheobjective
functionbyMMC.TheexperimentresultsonORL,YaleandUMISTshowthat,comparedwithothermethods(PCA,LLEand
MMC),SLE/MMChasahigherrecognitionrate,indicatingthatthismethodismoreefficientinfeatureextraction.
Keywords:featureextraction;locallinearembedding;maximummargincriterion;elasticnetregression
!
引言
特征提取是人脸识别过程中的重要步骤,线性判别分析
(
lineardiscriminantanalysis,LDA)
[1]
是传统线性特征提取方法
中比较经典的方法。然而 LDA面临的最主要的问题是在人脸
识别领域大量存在的小样本问题
[2,3]
,在该类问题中,类内散
布矩阵通常是奇异的。为了避免该问题,Li等人
[4]
提出了一
种基于最大边界准则(maximummargincriterion,MMC)的特征
提取方法。但是 LDA和 MMC针对非线性数据的处理效果不
是很好,并且无法得到数据的局部几何结构,所以基于流形学
习的方法取得了很大的发展。流形学习旨在发现高维数据中
的内在结构信息,并将其放到更加普遍广泛的空间中进行研
究
[5,6]
。局部线性嵌入
[7]
(locallylinearembedding,LLE)是流
形学习中比较经典的方法。LLE使用局部线性低维流形来逼
近整个数据集。但是 LLE是无监督的方法,不能充分利用样本
中的判别信息,并且上面所述方法得到的结果都无法给出合理
的特征层面上的语义解释,也无法为人们揭示哪些特征对分类
与预测起主导作用
[8,9]
。近年来,稀疏表示引起了研究者的极
大兴趣
[10,11]
。目前较为有效的稀疏特征提取方法有 套索回
归
[12]
(leastabsoluteshrinkageandselectionatoroperator,Lasso)、
最小角回归
[13]
(leastangleregression,Lars)、弹性网(elasticnet)
回归
[14,15]
等。由于引入了 L
1
范数,这些方法能使部分特征所对
应的系数收缩为零。
综上所述,为了解决 LLE和 MMC中存在的问题,并使得
第 34卷第 5期
2017年 5月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol34No5
May2017