![](https://csdnimg.cn/release/download_crawler_static/88423995/bg4.jpg)
M Engin,L Wang,L Zhou,X
Liu
2
相关工作
在过去的十年中,在计算机视觉和机器学习中已经从各种角度对基于
协方差矩阵的表示进行了大量工作。此外,最近将这种表示与深度学
习相结合,不断产生新的研究成果。在下文中,我们将重点介绍与本
文提出的DeepKSPD密切相关的重要现有工作设
Xd
×
n
=[
x1
,
x2
,
…
,
xn
]表
示一个数据矩阵,其中每一列包含
得到从图像中提取的局部描述符
xi
(
xi
d
)。SPD代表
所有计算机
和
d
c
o
v
i
c
a
r
i
x
o
v
e
r
X
为
Σ
=
X
¯
X
¯
T
(
或
简单
的
XX
T
)
,
其中
X
¯
d
e不
等于
X
。
通
常
,该协
方差
矩阵被提出作为区域描述符,例如,表征图像块中的
像素的颜色强度的协方差。在过去的几年中,它已被用作一个有前
途的二阶池图像表示在视觉识别。对SPD表示的一条研究线在一组
描述符中对非线性信息进行建模。[15]中的工作隐含地
将每个描述符
xi
(
i
=
1
,
2
,…,
n
)映射到核诱导特征空间上,并计算
其中的协方差矩阵。然而,这会导致高维(甚至无限维)协方差矩
阵,难以显式或计算操作。[16]中的另一项工作直接计算X上的核矩
阵
K
,如下所示。 设
f
j
表示X的第
j
行,由X的第j个分量的
n
个实现
组
成
。K的第(
i
,
j)个
条目被计算为
k(
fi
,
fi
),
具有预定义的核
函数
k
,
诸如高斯核。以这种方式,可以提取
d
个
分量之间的非线性关
系。得到的核矩阵
K
保持d d的大小,并且对由小样本引起的奇异性问
题更鲁棒。协方差矩阵是
k
约化为线性核的特殊情况如[16]中所报告
的,这种基于核矩阵的SPD表示在多个视觉识别任务上大大优于其协
方差对应物和[15]中的方法。
将SPD表示
与
深度本地描述符集成甚至集成
到
深度网络中的研究仍
处于非常早期的阶段,但已经展示了理论和实践价值。在Bilinear
CNN [21,13]的最近工作中,应用外积层来组合来自两个CNN的激活
特征图,这在细粒度视觉识别方面产生了明显的改进。当两个CNN被
设置为相同时,该外积基本上导致协方差矩阵(以
XX
T
的形式[18]中
的工作通过使用基于协方差矩阵的SPD表示来训练用于图像语义分割
的深度它从零开始仔细推导协方差矩阵函数的梯度考虑到SPD矩阵诱
导黎曼几何,在文献中已经使用了各种归一化操作,以使矩阵与通常
假设欧几里得几何的分类器一起工作。矩阵对数归一化,log(),
已被普遍使用[22],并且它也在[18]中被采用最近,[12]中的工作表
明,当应用于细粒度图像分类的基于协方差矩阵的SPD表示时,矩阵
平方根归一化甚至可以比矩阵对数对应物做得更好。[10]的工作进一
步表明和