DistinctiveImageFeaturesfromScale-InvariantKeypoints译文.pdf

SIFT

图像配准

需积分: 43 172 浏览量更新于2023-04-28 评论收藏 2.15MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

从尺度不变特征点中提取可区分的图像特征

摘要

本篇论文提出了一种可以从图像中提取可分离的特征，这种特征具有不变性，并且可

以用到对两个不同角度观测的同一目标或场景的可靠匹配。这些特征点对于图像的尺度变

换和旋转具有不变性，并且在对大量的仿射失真、三维角度变换，噪声的增加和光照的改

变进行匹配时具有鲁棒性。这种特征点还具有高度独立性，一个单独的特征点可以与来自

许多图像的大量数据库特征进行高概率正确匹配。本文同样叙述了一种利用这些特征点进

行目标识别的方法。这种识别方法依靠将独立特征点与已知目标特征点数据库通过一种快

速最近邻域算法进行配对，然后通过霍夫变换来将属于同一个目标的特征点聚类，最后使

用最小二乘解来完成对一致姿态参数的验证。这种识别的方法能够在杂乱背景和遮挡中鲁

棒地识别目标，同时保证近乎实时的性能。

1. 引言

在计算机视觉领域，图像配准是解决众多问题的关键，例如物体和场景的识别，多图

像三维结构问题的解决，立体匹配和运动跟踪。本文描述了具有多种属性的图像特征，这

些特征能够使其适用于对统一物体或场景的不同图像的匹配。这种特征对于图像的伸缩和

旋转具有不变性，尤其是对光照的改变、和三维成像视角具有不变性。这种特征点在空域

和时域都有很好的定位效果，减少了遮挡、杂乱背景和噪声对其破坏的可能性。通过高效

的算法，能够从典型图像中提取出大量的特征点。另外，特征点是高度独立的，一个独立

的特征点能够高概率与大特征数据库正确匹配，这为目标和场景识别提供基础。

对特征点提取的成本可通过一种级联的滤波器方法最小化，而这种方法中的更复杂的

操作仅仅被应用与通过初始测试的位置。以下是生成图像特征集的主要计算步骤：

尺度空间极值检测：计算的第一步是在所有尺度和图像位置进行搜索。使用高斯

差分函数（

Difference-of-Gaussion function）可高效识别对尺度和方向都具有不变性的潜在

兴趣点。

2. 特征点定位：对于每一个候选位置，都有一个详细的模型来确定其位置和尺度，

特征点的选择是基于其稳定性的度量。

方向分配：通过求每一个特征点位置的局部图像梯度方向来对其进行一个或多个

方向分配。所有的后续操作都在对图像数据进行相对于每个特征所分配的方向、尺度和位

置进行转换后执行，从而提供对于这些变换的不变性。

特征点描述子：局部的图像梯度是通过每一个特征点周围一定尺度范围内的区域

计算的。这些被转化成一种允许显著程度的局部图像失真和光照变化的表示方法。

这种方法被命名为尺度不变特征变换（Scale Invariant Feature Transform，SIFT），这将

图像数据转化成相对于局部特征具有尺度不变性的坐标。

这种方法特征点在于会产生大量的特征，这种特征是密集分布在所有尺度和区域图像

上的。一张大小为 500x500 的典型图像可产生大约 2000 个稳定的特征点（尽管这个数量和

图像内容和多种参数的选择有关）。对于目标识别，特征的数量也是至关重要的，对于杂乱

背景下小目标的探测，每个目标需要至少 3 个特征点才能做到正确的匹配和可靠的识别。

对于图像匹配和识别，首先从一组参考图像中提取 SIFT 特征并且保存到一个数据库

中。将一张新图像中的特征与这个数据库进行独立的对比，并且通过计算他们特征向量之

间的欧氏距离来找到备选的匹配点，这样的就完成了对一张新图像的匹配。本文将会讨论

快速邻域算法，这种算法可以快速实现对大数据库的上述计算。

特征点的描述子是高度独立的，它可以支持一个单独的特征从大量的特征数据库中完

成高可靠性的正确匹配。然而，许多从杂乱背景的图像中检测出的特征在数据库中并没有

一个任何正确匹配，这会造成许多处正确匹配之外的错误。通过确认特征点是否来源于目

标，和其在图像中的位置、尺度以及方向，可以将正确的匹配从所有的匹配中筛选出来。

多个特征的参数恰好一致的概率要比任何一个单独的特征匹配错误的概率小得多。通过使

用一种高效的哈希表来实现广义霍夫变换，能够完成对特征点的聚类操作。

每个聚类需要至少三个来自同一目标的特征，并且他们的姿态受更细节识别的约束。

首先，最小二乘估计用于对目标姿态的仿射近似。任何其他与这种姿态一致的图像特征被

识别，而另外的不一致点则被剔除。最终，进行更加复杂的计算，得到能够代表一个目标

位置的特殊特征集合的概率，给出匹配的精度和错误匹配的可能性。通过上述检测即可得

到高可信度的正确目标匹配。

2. 相关研究

关于通过局部兴趣点进行图像匹配的发展可以追溯到 Moravec（1981）使用角点进行

立体匹配的工作。Harris 和 Stephens（1988）将 Moravec 检测改进，使其对图像的尺寸变

换和边缘区域具有可重复性。Harris 同时展示了角点检测在高效的运动跟踪和三维结构的

运动补偿中的价值，Harris 角点检测被广泛应用在图像配准工作中。虽然这些特征检测通

常被称为角点检测，但是并不仅限于角点，对于在所有方向以预定比例有梯度较大的图像

位置也会检测。

这种检测方法最初应用于立体和短距的运动跟踪，但是逐渐暴露出了很多困难的问

题。Zhang 等人（1995）提出在大范围的图像上使用一个相关窗通过每一个角点，并且与

Harris 角点匹配以选择最佳匹配点。异常点会通过求解一个基础矩阵被剔除，这个矩阵描

述了精确图像的两个视角之间的几何约束，那些已经匹配但是与大多数解不一致的点对同

样会被移除。于此同时，一种相似的方法由 Torr（1995）提出，这种方法用于长距的运动

跟踪匹配，它将几何约束用于剔除图像中的精确目标运动的异常点。

Schmid 和 Mohr（1997）完成了一项开创性的工作，提出具有局部不变特征的匹配方

法，这种方法能够被应用于普遍的图像识别问题中，解决特征与大量特征数据库匹配的问

题。他们同样使用 Harris 角点来检测感兴趣的点，但与使用相关窗进行匹配不同的是，他

们使用了一种局部图像区域的旋转不变的描述子。这使得特征能够在两幅图像的任意方向

变换中进行匹配。更进一步，他们演示了多特征匹配，并通过识别匹配特征的聚类特性，

完成了在遮挡和杂乱条件下的通用识别问题。

Harris 角点检测对于图像尺度的变换十分敏感，因此它不能作为不同大小图像的匹配

基础。作者早期的工作（1999）将局部特征推广实现特征的尺度不变性。这部分工作同时

提出了一种局部描述子，这种描述子使特征更加独立，对局部图像失真（如在三维视角变

化）更加不敏感。本文对之前的工作进行了更深层次的研究和分析，同时极大的提高了特

征的稳定性和不变性。

识别表述在尺度变换下的稳定性问题，前期已有大量研究。Crowley 和 Parker 作为这

个领域最先开始研究的工作者，提出了一种表述方式，这种表述能够在尺度空间中识别出

峰值和脊的位置，并且将这些表述连接成为了一种树状结构。这种树状结构能够在后续的

处理中进行匹配，而忽略任意的尺度变化。更多近期基于图像的配准工作由 Shokoufandeh

Marsic 和 Dickinson（1999）开展，他们提出了一种基于小波系数的更具有可分离性的特征

描述子。关于为特征检测确定一个适当且一致的尺度的问题，Lindeberg（1993，1194）展

开了深入的研究，他将上述问题描述为尺度的选择，我们将在下文中引用他的结论。

近期，在扩展局部特征使其对完全仿射变换具有不变性方面的工作有了诸多令人印象

深刻的进展（Baumbreg，2000；Tuytekaars and Van Gool，2000；Mikolajczyk and Schmid,

2002; Schaffalitzky and Zisserman, 2002; Brown and Lowe, 2002）。这使得在变化的正交三维

投影平面上的特征匹配具有不变性，通常是在局部仿射框架内对图像进行重采样实现的。

然而，这些方法对于全仿射变换都没有不变性，因为在一开始他们是使用非仿射不变性的

方法选择初始特征尺度和位置，这是因为充分探索全仿射空间的成本过高。相较于尺度不

变的特征，仿射框架同样对噪声更加敏感，因此在实验中仿射特征要比尺度不变特征的重

复率低，除非仿射失真在平面中产生大于 40°的倾斜（Mikolajczy,2002）。更广泛的仿射不

变性对于许多应用并不重要，这是因为训练的视角在每个视角处最少旋转 30°（这意味着

识别是在最接近（目标）的训练视角的 15°内进行的）以捕捉非平面变换和遮挡对三维物

体带来的影响。

然而本文中提出的方法并不是全仿射不变的，另外一种方法被用于局部描述子中，当

描述子只有细微改变时，它可以使相关特征的位置发生显著的变化。这种方法不仅能够使

描述子对相当的仿射失真范围内保证可靠的匹配，并且在非平面的三维视角变化的情况

下，使特征具有很好的鲁棒性。其他的优点还包括更高效的特征抓取和识别大量特征的能

力。在另一方面，仿射不变性是超大视角变化平面匹配的重要属性。后续的工作应该围绕

找到一种有效、稳定的方法，将本文和空间三维视角不变性以最佳方式结合。

许多其他的特征类型被提出用以识别，其中一些能够用于除本文叙述的特征之外，在

不同环境下进行更深层次的匹配。有一种特征被用来检测图像轮廓和区域边缘，这种特征

检测方法应该使得特征不太可能被目标边缘附近的杂乱背景干扰。Matas 等人（2002）表

明，他们的最大稳定极值区域可以产生具有良好稳定性的匹配特征。Mikolajczyk 等人

（2003）提出一种新的描述子，使用局部边缘，同时忽略不相关的附近边缘，这提供了寻

找稳定特征的能力，即使这些特征位于杂乱背景下的狭窄形状的边界。Nelson 和 Selinger

（1998）展示了基于图像轮廓分组的局部特征的一个不错的结果。相似地，Pope 和 Lowe

（2000）使用基于层级图像轮廓分组的特征，这种特征对于识别缺少细致纹理的目标非常

有用。

视觉识别研究的历史包含了对一系列不同图像属性研究的工作，这些都可以用作特征

的度量。Carneiro 和 Jepson（2002）提出了一种基于相位的局部特征，这种特征用相位来

代替幅度对空间频率的表达，可以很好的提升对光照不变性。Schiele 和 Crowley（2000）

提出使用多位直方图来汇总图像区域的测量分布。这种特征或许对可变形形状的纹理目标

识别非常有用。Basri 和 Jacobs（1997）已经展示了提取局部区域边缘对识别的作用。当有

对鲁棒性有提高的可以增强匹配成功率的新特征类型时，只要它们的计算成本对其他特征

的影响较小，都可以容易地被局部特征方法吸收。因此，以后的系统可能会由很多特征类

型组合而成。

3. 尺度空间极值检测

如引言中所述，我们使用一种级联滤波的方法来进行特征点的检测，这种方法使用了

有效的算法以确定候选的位置，并在后续处理中会进行更细节的检测。关键点检测的第一

阶段是识别在同一对象的不同视图下可重复分配的位置和比例。使用一种尺度连续函数，

可以在所有可能的尺度中搜寻稳定的特征，进而检测到对图像的尺度变化具有不变性的定

位点。这种尺度连续函数被称为尺度空间（Witkin，1983）。

Koenderink（1984）和 Lindeberg（1994）证明了高斯函数是各种合理的假设条件下唯

一一个有可能的尺度空间核。因此，图像的尺度空间被定义为如下函数：

(, , )Lxy

，是

由变尺度高斯函数

(, , )Gxy

和输入图像

(, )Ixy

卷积的结果：

(, , )=G(, , )*(, )Lxy xy Ixy

σσ

其中

表示

和

的卷积，并且有

22 2

( )/2

(, , )

Gxy e

πσ

−+

为了在尺度空间中高效的检测稳定特征点的位置，我们提出了使用高斯差分函数

（Difference-of-Guassian Function，DOG）卷积图像得到的尺度空间极值。

(, , )Dxy

可以

通过相邻为常数乘系数 k 的两个尺度的差值计算得到：

(, , ) ( (, , ) (, , ))*(, )

(, , ) (, , )

Dxy Gxyk Gxy Ixy

Lxyk Lxy

σ σσ

σσ

= −

（1）

选择 DOG 的理由如下：首先，它是一种计算十分高效的函数，

(, , )Dxy

只需要通

过简单的图像减法就可以完成，而

(, , )

Lxy

需要计算所有的尺度空间的特征描述。

其次，Lindeberg（1994）研究表明，高斯差分函数可当作一种高斯尺度归一化的拉普

剩余31页未读，继续阅读

梁不近

粉丝: 0
资源: 1

会员权益专享

Distinctive Image Features from Scale-Invariant Keypoints 译文.pdf

评论0

会员权益专享

最新资源

Distinctive Image Features from Scale-Invariant Keypoints 译文.pdf

评论0

SIFT经典论文

Distinctive Image Features from Scale-Invariant Keypoints译文

IJCV2004 Distinctive image features from scale invariant keypoints翻译

有没有关于上述方法的参考资料

vl_sift函数 matlab

列举10个与计算机视觉相关的参考文献

谁在SURF算法中提出的高斯差分尺度空间

目标检测算法的国内外研究现状带参考文献

用python制作一个物种介绍网站

4.py，将一段英文文本中连续重复了2次的英文单词改为1个。 flower, the characteristic reproductive structure of angiosperms. As popularly used, the term “flower” especially applies when part or all of the reproductive structure is distinctive in colour and form.

local feature detector

stinct词根思维导图

layui省市二级联动

Distinctive Image Features from Scale-Invariant Keypoints

基于SSM+JSP的企业人事管理信息系统毕业设计(源码+录像+说明).rar

node-v6.12.0-linux-ppc64le.tar.xz

node-v6.8.0-linux-ppc64le.tar.xz

基于PaddleFL框架的联邦学习医疗影像识别系统源码+GUI界面+说明（高分）.zip

node-v6.12.2-linux-s390x.tar.xz

会员权益专享

最新资源