第
37
卷第
12
期
2010
年
12
月
计算机科学
Computer
Science
Vo
l.
37
No.
12
Dec
2010
局部敏
非负矩阵分解
姜伟
M
杨炳儒
1
隋海峰
I
(北京科技大学信息工程学院
北京
100083)1
(辽宁师范大学数学学院
大连
116029)2
摘
要
非负矩阵分解是一种新的基于部分学习的矩阵分解方法,反映了人类思维中局部构成整体的概念。算法只
将非负矩阵近似地分解成两个非负矩阵的积,忽略了数据几何结构和判别信息。提出了一个局部敏感非负矩阵分解
降维算法来克服这一缺点。该算法既保持了数据非负性,又保持了数据的几何结构和判别信息。构造了一个有效的
乘积更新算法并且在理论上证明了算法的收敛性。
ORL
和
Yale
人脸数据库实验表明该算法性能超过许多已存在的
方法。
关键词
非负矩阵分解,局部敏感分析,判别信息,几何结构
中固法分类号
TP181
文献标识码
A
•
I
反比
al
Sensitive
Nonnegative
Matrix
Factorization
JIANG
Wei
1
.
2
YANG
Bing-ru
1
SUI
Hai-feng
1
(Sc
hool
of
Information Engineering, University
of
Sc
ience
and Technology
Be
ijing
,
Be
ijng
100083
,China)
1
(Sc
hool
of
Mathematics, Liaoning Normal University,Dalian
116029
,China)2
Abstract Non-negative
matrix
factorization
(NMF)
is a new
matrix
decomposition method based
on
the
part
of
the
study
, which
has
a reflection of
human
thinking partial constitute
the
overall concep
t.
It
only find
two
nonnegative
ma-
trices whose product can approximate
the
nonnegative
data
matrix
without
considering
the
geometric
structure
and
the
discriminative information in
the
data.
We
presented a local sensitive nonnegative
matrix
factorization for dimensionality
to overcome
the
disadvantage, which preserves not only
the
nonnegativity
but
also the geometric
structure
and
discrimi
native information
of
the data.
An
efficient multiplicative updating procedure was produced,
and
its convergence was
gua-ranteed theoretically.
Experiments
on
ORL
and Yale face recognition databases demonstrate
that
proposed
method
outperforms
many
existing dimensionality reduction methods.
Keywords Nonnegative
matrix
factorization,
Lo
cal sensitive analysis, Discriminative information, Geometric
structure
在数据挖掘、机器学习、模式识别、计算机视觉和图像处
理的研究过程中,经常要用到子空间学习算法对高维数据进
行分解,子空间学习算法的思想是把高维空间中松散分布的
数据通过变换压缩到低维子空间中,使样本在低维子空间中
的分布更紧凑,以便于分类。已有的矩阵分解方法有
PCA
(主成分分析)、
ICAC
独立成分分析)、
SVDC
奇异值分解)、
VQ
(矢量量化)、
FAC
因子分析)等,这些方法通常是在一定的限
制下对数据进行线性变换或分解,不同的方法施加在其上的
限制是不同的,这些方法在矩阵进行分解的时候允许分解的
对象和结果为负。与上面所提出的算法不同,非负矩阵分解
CNonnegative
Matrix
Factorization
,
NMF)
是一种新的变换方
法,能使分解的对象和分解的结果均为非负值。
1999
年科学
杂志
({Nature))
刊登了两位科学家D.
D.
Lee
和H.
S.
Se
ung[l
J
对数学中非负矩阵的研究成果,对分解的因子矩阵施加不同
的约束,可以得到不同的变形
,
Li
等人
[2J
在约束原始基向量
的数目尽可能少并要求不同的基向量尽可能地接近正交化的
基础上提出了将局部非负矩阵分解
(LNMF)
。根据稀疏编码
原则,
Hoye
rC
3J
提出了一种非负稀疏编码
(NNSC)
,其使分解
后的系数具有较好的稀疏特性。针对
NNSC
并不能从复杂
情况下学习基于部分的表示,
Liu[4J
等提出了将
NMF
与稀疏
编码相结合而形成的
SNMF
o
Wang
等
[5J
提出判别非负矩阵
分解,在非负约束的基础上增加了最大化类间散度和最小化
类内约束限制。
David
Guillam
等人间提出了加权
NMF
,
Di
ng
等人
[7J
将非负矩阵分解成
3
个矩阵的乘积。
许多现实世界中的数据都是嵌入在高维欧氏空间中的非
线性低维流形上[町的。然而
NMF
算法没有考虑数据的内蕴
几何结构,它是假设数据在全局欧氏空间而非流形上,这就大
大地限制了当数据位于非线性流形
NMF
算法时的使用。与
传统的线性降维算法相比,流形学习算法能够揭示数据内在
的几何结构,寻找高维数据在低维空间中的紧致嵌入。Ca
i
等
[9J
提出了图正则化
N
鸟在
FCGNMF)
算法,这个算法假定样本
分布在低维流形上,通过构建所有样本的近邻图来估计数据
到稿日期
:2010-01-25
返修日期:
2010-04-10
本文受国家自然科学基金项目
(60875029)
资助。
姜
伟(1
969-)
,男,博士生,副教授,主要研究方向为数据挖掘、流形学习、模式识别
.E-mail:
swx
习
w@yahoo.
co
瓜
cn;
杨炳儒(1
943-)
,男,教
授,博士生导师,主要研究方向为知识工程、数据挖掘和人工智能;隋海峰(1
976
一)
,男,博士生,主要研究方向为知识工程、数据挖掘和人工智
能。
•
211
•