GMS：基于网格的运动统计，用于快速、超鲁棒的特征对应

4181GMS：基于网格的运动统计，用于快速、超鲁棒的特征对应边佳旺新加坡科技设计大学杨世杰新加坡科技设计大学林文彦高级数字科学中心阮丹达信息技术研究所松下康之大坂大学程明明南开大学* 表示共同第一作者摘要已知将平滑度约束并入特征匹配以实现超鲁棒匹配。然而，这样的公式既复杂又缓慢，使得它们不适合视频应用.本文提出了GMS（基于网格的运动统计），一个简单的手段，封装运动平滑的统计可能性，一定数量的匹配在一个区域。GMS能够将高匹配数转换为高匹配质量。这提供了实时、超鲁棒的通信系统。对具有低纹理、模糊和宽基线的视频的评估显示，GMS始终优于其他实时匹配器，并且可以与更复杂、更慢的技术实现对等。1. 介绍特征匹配是许多计算机视觉算法的基本输入。因此，它的速度、准确性和鲁棒性至关重要。目前，在缓慢（但健壮）的特征匹配器和快得多（但通常不稳定）的实时解决方案之间存在很大的性能差距。核心问题在于更强大的特征对应技术中使用的一致性约束（相邻像素共享相似的运动）。相干性是一个强大的约束，但稀疏的功能缺乏明确的邻居。这导致基于一致性的特征对应[16，42]计算起来昂贵且实现起来复杂。本文提出了GMS （基于网格的运动统计），一种将运动平滑度封装为区域对之间具有一定数量的特征匹配的统计可能性的我们表明GMS可以快速可靠地区分真假匹配，从而实现图中的高质量对应。1.一、本文从BF [16]中得到启发。 BF重点筛选我们图1. 备受推崇的SIFT[22]描述符在这个场景中有困难，因为狗虽然我们使用较弱的ORB描述符，但我们的GMS解决方案可以利用特征数来提高质量，同时保持实时性能。特征匹配的明显缺乏不是由于正确匹配太少，而是由于难以可靠地分离真匹配和假匹配。BF证明了通过使用用复杂最小化计算的相干测量来实现这种分离的可行性。在实践中，BF工作得很好（尽管很慢）。然而，它主要是由观察和直觉驱动的。缺乏理论上的清晰度使得改进困难，因为研究人员必须依赖于对受许多波动变量影响的图像数据的经验测试。我们建议BF和其他类似技术[30，19，42]中使用的复杂平滑度约束可以简化为一个简单的语句：运动平滑度导致不太可能随机出现的对应聚类。因此，可以区分4182--truematch支持管理人员进行维护：支持区域：支持区域假匹配=2=0通过简单地计算他们邻居的匹配数量。从大数定律出发，证明了真与假的可分性随匹配数的增加而趋于数学分析是直接的，但结果可能是范式转移。以前的特征匹配论文[22，35，2，47]假设匹配质量主要与特征不变性/独特性的改进有关。大湄公河次区域为改进提供了新的方向;原始特征数量也会影响质量。由于发现更多的特征比设计新的描述符更简单，GMS可能为以前棘手的匹配问题提供简单的解决方案，如图所示。1.一、总的来说，我们的贡献是：将运动平滑度约束转换为用于拒绝错误匹配的统计度量。我们表明，这种约束使匹配以前棘手的场景;开发一个有效的基于网格的分数估计器，可以纳入实时特征匹配器;证明我们的GMS系统明显优于传统的SIFT[22]，SURF[2]和最近的CNN训练的LIFT特征[47]。1.1. 相关作品关于特征匹配的基础性工作试图增加特征描述符的独 特 性 /不 变 性例 子 包 括 经典 作 品 ， 如 SIFT[22]，ORB[35]，SURF[2]，A-SIFT[26]，Har-ris Corners [9]和仿射协变区域检测器[25]。这些作品中的许多都具有GPU加速[45，40，7]，允许实时（或近实时）性能。此外，还有用于加速特征匹配的FLANN作品[14，27，28]。此类研究仍在进行中，最近的例子是CNN训练的LIFT描述符[47]。总之，这些作品构成了我们构建的一套核心技术单纯依赖描述符的问题在于难以区分真匹配和假匹配。这导致消除大部分真匹配以限制假匹配[16]。RANSAC[10，41，5，32，6，36，15]可以利用几何信息来缓解这个问题。然而，RANSAC本身需要预先消除大多数错误匹配，并且不能容纳所有最近邻匹配集合中的错误匹配的绝对数量[17]。最近，许多技术[30，16，17，19，42，24]都集中在使用匹配分布约束来分离真匹配和假匹配。然而，它们的公式导致复杂的平滑度约束，这是难以理解和昂贵的最小化。我们的方法的灵感来自这些作品，但使用更简单，更容易理解的统计匹配约束。这使得匹配既稳健又高效。更一般地说，我们的工作涉及光流[13，23，4，43，33，21，1，46]，基于点的相干技术[48，18，29]，基于补丁匹配的匹配器[12]，其直接使用平滑度来帮助匹配估计。这些技术可以非常强大。然而，它们也更加复杂和昂贵。最后，我们总结了从像Ad-aBoost[11]这样的增强学习器中获得的灵感，它将多个弱学习器集成为一个强大的学习器。GMS通过使用平滑度约束来整合来自多个匹配的信息以做出高质量的决策，从而分享了这一设计理念图2. 匹配xi的邻域被定义为{a，b}，一对围绕相应特征的小支持区域。 我们预测真正匹配的社区将有更多的支持而不是假匹配的邻居。2. 我们的方法给定从同一3D场景的不同视图拍摄的一对图像如果运动是平滑的，则相邻像素和特征一起移动。这使得我们可以做出以下假设：假设1. 运动平滑度导致在真实匹配的周围产生（小的）邻域，以查看相同的3D位置.同样地，错误匹配周围的邻域会看到几何上不同的3D位置.这里，邻域被定义为围绕图1所示的相应图像特征的一对区域a、b。二、假设1意味着真正的匹配邻域，查看相同的3D区域，从而在两个图像上共享许多相似的特征。结果是邻居-···4183|X|X--联系我们一X12我N一一一一一一一一一一 一一一一 一不一一B一F一AB有许多支撑火柴的帽子。相比之下，假匹配邻域查看不同的3D区域，并且具有少得多的相似特征.这减少了匹配支持。我们将这种直觉封装到一个名为GMS的统计框架中，该框架可以可靠地区分真匹配和假匹配。秒3介绍了网格算法的快速邻域得分计算，而Sec. 4给出了结果和比较。2.1. 符号图像对{Ia，Ib}分别具有{N，M}个特征={x，x，. . . 、x、. . . ，x}是所有最近的集合-邻居特征匹配从Ia到Ib。X有基数=N.我们的目标是将真的和假的通过分析每个匹配的本地支持来匹配。图1中所示的匹配邻域的符号{la，lb}中的相应区域表示为{a，b}，每个具有{n，m}附加（不包括原始表1.符号和事件表匹配对）特征。Xi<$X是匹配x i的区域a、b之间的匹配。这是一个mea-邻里支持：Si=| Xi|-1，（1）BbaaAB（一）一Bb其中-1从和中删除原始匹配。一（二）一2.2. 基本统计限制aa由于区域很小，我们将我们的考虑限制在理想化的真区域和假区域对上，忽略部分相似性。图3. 功能的事件空间。FA的最近的-BRB或匹配要么落在区域B（事件F B），要么不落在区域B（事件F B）。的match是true（event f t）或false（event f f）。（i）给定Tab，ilar地点。设fa是a a中n个支持特征之一区域a.给定f具有正确匹配的概率tf b是事件f t和一些f f事件的并集。（ii）给定Fab，aa a afb必然是事件ff的子集。我们的目标是获得匹配区域的到达率a、b，用于当a、b观看相同/不同位置时的情况。选项卡. 1总结了常用的符号和事件，而图。3说明了fa的事件空间。为了使问题易于处理，我们假设a a区域b. 因此，在本发明中，假设2. 如果f匹配错误，则其最接近-pt= p（f b|T ab）=p（f t|T ab）+p（f f，f b|Tab）相邻匹配可以位于M个可能位置中的任何一个。1=p（ft|Tab）+p（ff|Tab）p（fb|ff，Tab）=p（ft）+p（ff）p（fb|（f）一个特征的错误最近邻的先验原因假设2给出p（fb|ff）=βm/M（2）=t+（1−t）βm/M（三）一 一说明：图3（i）显示事件fb仅在fa其中m是区域b中的特征的数量，β是为了适应由重复结构（如一行窗口）引起的对假设2的设p = p（f b|T ab）是给定{a，b}查看同一位置，要素fa匹配正确，或者它匹配错误，但巧合地落在区域B。这给出了方程（3）第二条线来自贝叶斯法则。由于特征是预匹配的，所以p（ft），p（f f）与Tab无关. 由于-假设2，p（fa|fa）也与T无关. 下降AB假设2出现，因为一般来说，没有一个-(i)符号Xi第i个特征匹配Fa区域A中的N个支撑特征之一SI邻域匹配得分xi{pt，pf}b ab b ab{p（fa|不 ），p（fa|F ）}分别(ii)事件Tab区域{a，b}查看相同位置Fab区域{a，b}查看不同的位置ftafa匹配正确，p（ft）=t一ffafa匹配错误，p（ff）=1−t一fbaafb如果a的41841也可以是M-1，取决于匹配情况条件Tab和替换表中的值。1和等式（2）给出了最终表达式。4185--一√Kn.一一一一一 一不不√不一一一一||错误匹配的邻域分数真匹配的邻域得分其中K是匹配i预测一起移动的不相交区域的数量。{ak，bk}是预测区域对，Xak bk <$X是落在区域上的匹配的子集。对{ak，bk}。图4. 真和假匹配的邻域分数如下-低不同的分布。如果分布均值相对于它们的标准偏差具有足够大的分离，则真匹配和假匹配可能通过基于分数的阈值化来分离。假设每个区域对具有n，m个特征，类似于等式（5），假设3指示Si的二项分布b ab.S∈B（Kn，pt），如果xi为真（七）设pf=p（fa|F）的情况。类似于等式（3），我B（Kn，pf）的情况下，如果x是为假pf=p（fb|Fab）=p（ff，fb|（Fab）= p（ff|Fab）p（fb|ff，Fab）阿扎尔aa一（四）=p（ff）p（fb|（f）{m=Knp，s√=Knt（1 −p）}如果x是真=β（1−t）（m/M）{mf=Knpf，sf=Knpf（1−pf）}如果xi为假解释：从图。3（ii）我们知道事件f b是ff的子集。因 此 ，p（f bF ab）= p（f f，f bF ab），给出方程（4）的第一行。 类似于等式（3），概率可以通过贝叶斯规则扩展成独立于Fab的子概率。替换Tab中的值1通常，在处理统计事件时，我们认为与平均值相差x个标准差的事件极不可能发生。这示于图4并且可以用可分割性得分来量化：等式（2）给出了最终表达式。由于每个特征的匹配是独立的，因此使用P=mt−mf=mst+sfKnpt−KnpfKnpt（1−pt）+ Knpf（1−pf）.（九）假设1和等式（3）、（4），我们可以用一对二项分布来近似Si的分布，Si是匹配xi的邻域中的匹配数量.我们的目标是设计最大化P的算法。2.4. 分析这些推导很简单。然而，他们带来了清晰SiB（n，pt），如果xi为真B（n，pf），如果xi为假（五）我们的直觉，并允许推导出一些有用的结果。数量-质量等效性：这些研究的主要结果虽然等式（5）看起来很复杂，但重要的一点是真匹配和假匹配都有邻域分数，derivations是：中国（10）它们遵循非常不同的分布。这意味着S的整体pdf可能是双峰的，使得S得分成为区分真匹配和假匹配的有用指标。这示于图4.第一章2.3.多邻域综合运动通常在大面积上是平滑的。然而，假设1需要足够小的邻域。在过大的邻域中，真匹配邻域将包括一些假匹配区域，反之亦然。这降低了真-假分数分布的可分性。因此，推广假设1，我们有：假设3. 如果运动在区域上是平滑的，则真正的匹配允许预测查看相同3D位置的多个小区域对。对错误匹配使用相同的预测函数将导致几何上不同的3D位置。这给出了一个更一般化的分数ΣK阈值MF数量mt匹配/SSi的分布的各自的平均值和标准差不（八）我4186这意味着，如果mt> mf，而假匹配的比例是无穷大，n是的特征。即，即使对于具有很少的真实匹配的困难场景，如果真实匹配位置比随机位置具有更多的匹配，则我们可以获得与我们所期望的一样多的匹配，具有完美的精确度和召回率，只要特征的数量足够大。这就形成了从假设1、2、3到大数定律的直接联系结果是有趣的，因为大多数以前的作品假设更好的对应关系的相反，等式（10）示出了原始特征数可以有助于匹配质量。这使得通过增加特征数量来解决具有挑战性的匹配问题成为可能图5示出了一个示例。运动预测：通常，简单地增加n是不切实际的。等式（10）提出了一种替代方案，即通过预测图像区域的更多联合移动来增加K这是我们用来构建实时匹配系统实用性：GMS约束在给定足够大的n的情况下是有效的。问题是n是否为Si=k=1|−1（6）|− 1(6)在实践中，足够大？ 如果有一万个均匀分布的4187联系我们×KK--|X|SIFT+RANSAC LIFT+RANSAC ASIFT+RANSACOURS（5，000）无RANSAC OURS（20，000）无RANSAC OURS（50，000）无RANSAC图5. 上图：传统的特征匹配侧重于增加描述符不变性。最近的迭代是LIFT [47]。因此，A-SIFT [26]明确建模大变形，具有最佳的宽基线性能。底部：GMS通过简单地增加特征的数量（在括号中表示）来实现与标准ORB这使得ORB成为一个可行的宽基线特性！特征，一些典型值将是{m = n = 25，β =1，t = 0。5，K=1}。因此，等式（8）的基本约束中Si的平均值和标准偏差为：m t= 12。5，s t= 2。5，m f=0。03，s f=0。一百七十六P= 4。7（十一）这是一个广泛的分离。注意K=1。这表明基本GMS约束在典型匹配数上非常强大。这也可能有助于解释为什么如此多的技术与类似的配方取得了良好的结果[30，16，17，19，42，24]。与描述符的关系：可解析性与t、匹配正确率百分比的关系由下式给出：lim mt→ Kn， lim mf→ 0， lim P → ∞。 （十二）3.1. 解决问题a) 高效的评分评估。对每个特征匹配的邻域进行评分的成本这与我们使用尽可能多的功能的愿望相冲突。我们解决它与网格近似划分成G=20 20非重叠的细胞的图像。潜在细胞对的分数仅计算一次。接受被认为是真的单元格对之间的所有匹配。这使得得分计算独立于特征数，即，O（1）。实际上，许多特征位于网格边缘上为了适应这一点，我们重复该算法3次以上，网格模式在x，y以及x和y方向上移动了半个单元宽度。b) 匹配邻域（单元对）以实现鲁棒性。如等式（6）、（10）所示，分组单元-t→1t→1t→1pairs增加了可分割性。 我们使用当最近邻匹配趋于完善时，mt趋于最大值，mf趋于最小值，可分性趋于∞。因此，如果设定一个固定的阈值，GMS平滑横向运动假设。因此，根据等式（6），单元对{i，j}的得分Sij为：K=9更好地在更容易的场景与高t。这是具有实际意义的作为测试重要性是未知的且依赖于场景对。 它Sij=k=1|（十三）|(13)还通过允许GMS随着特征描述符设计的改进而扩展来增加GMS3. 快速评分的网格框架本节将前面的分析转换为有效的实时匹配算法。秒3.1介绍了网格框架，解决了以下问题：a）通过网格单元的有效分数计算; b）将哪些邻域（网格单元）分组在一起; c）使用多少个网格单元; d）如何计算有效的阈值S。一个implementational概述中给出的算法1和精细的细节在第二节讨论。3.2.哪里ikjk是单元格之间的匹配数i，j如图所示。六、 这种解决方案是有效的，但限制了平面内旋转不变性。GMS在极端旋转下与比率检验具有竞争力，如图所示。8、然而在较低的旋转时性能更好在实践中，旋转通常可以由其他传感器估计，OpenCV 3.0实际上使用其EXIF信息将所有读取图像自动旋转到规范或者，我们还提供了一个缩放和旋转版本的算法，通过在所有潜在的缩放旋转对上执行网格选择，并从具有最佳结果的对中选择匹配。c) 应该使用多少个网格单元？更多的网格单元提高了匹配定位。但是，它减少了n，4188×√X√×图6.在分数评估中使用的单元{i，j}周围的9个区域每个单元中的特征数量以及可分割性。这可以通过增加K来补偿，但这会影响计算时间。 我们的理论和实验结果表明，G=20 20细胞的10000功能。这使n的平均值为25。更多的特征允许更精细的细胞。d) 保持Sij的连续性以将单元对划分为真集合和假集合{T，F}。图 图 4 示 出 了 期 望 的 阈 值 可 以 被 给 出 为τ=mf+αsf，其中mf是平均值，αsf是适当数量的标准偏差，以确保大多数错误网格。细胞被拒绝。在实践中，通过设计，mf很小，而α非常大，以确保可靠地拒绝大量错误的细胞对。稍微用了点符号，算法1. GMS特征匹配器输入：一对图像初始化：1：检测特征点并计算其描述符第二章： 对于Ib中的每个特征，找到它在Ia3：将两幅图像分别4：对于i=1到G，5：j=1;6：对于k=1至G，7：如果|Xik|>>|Xij|然后第八章：9：如果结束10：结束11：计算Sij，τi;（十三）（十四）12：如果Sij> τi，则13：内点=内点ij;14：如果结束15：结束迭代：从第4行开始重复，网格图案在x、y以及x和y方向上移动半个单元宽度。输出：内值4. 实验阈值可以近似为ταsfαn这导致单个参数阈值函数GMS是一种高效、有效的传统单元对{i，j}∈.T，如果Sij>τi=αniF，否则（十四）ratio-test用于拒绝错误匹配。我们从两个方面对GMS进行了评估：a）它的召回率、精确率和F-测度，F =2·（精确率·召回率）/（精确率+召回率），相对于比率测试; b）GMS的匹配有效性，在提高其中，α=6是实验确定的，ni是平均值（图1中9个网格单元的平均值）。6）单个网格单元中存在的特征的数量。3.2. 实现细节我们使用OpenCV ORB功能。特性数量固定为10，000，这是实时性能所允许的最大数量。大的、纹理良好的图像可以有超过10，000个特征。这导致特征分布不佳（聚集在角落中）。较小的纹理较少的图像可以有远少于10，000个不同的特征。前一个问题是解决所有的图像到480 640。后者通过将FAST[34]功能阈值设置为零。这可以在弱纹理环境中进行匹配（参见随附视频）。最近邻是通过GPU上的蛮力汉明距离比较发现的。这与基于CPU的特征检测并行运行。这是最昂贵的两个模块。最后，通过GMS算法1筛选出真正的匹配。这一步需要1毫秒的单线程CPU时间。代码在下面的链接中提供二、2代码：https://github.com/JiawangBian/GMS-Feature-Matcher在SLAM[3]和运动视觉结构[39]中使用的姿态估计的性能。我们将GMS与SIFT[22]， SURF[2]， ORB[35]，USAC[31]等快速匹配器进行比较。而强大的匹配器要慢上几个数量级[16]，BD [20]，DM [44]，GAIM [8]，LIFT [47].4.1. 数据集我 们 在 四 个 数 据 集 上 进 行 评 估 ， TUM[38] ，Strecha[37]，VGG[25]和Cabinet[38]，在表中描述。2.TUM有六个视频序列，具有挑战性的宽基线，低纹理和模糊。场景如图所示。7.第一次会议。Strecha[37]3和VGG[25]是具有显著宽基线和良好地面实况的标准数据集。机柜（图中的顶部中心）7）是TUM的子集，其允许对低纹理场景进行单独分析。每个TUM[38]视频被分成100帧的集合。第一帧被指定为参考。如果一个集合中的所有帧的相对旋转小于30度，则它们将与参考匹配。在Strecha3图像是四分之一大小，以适应较慢的算法。j=k;4189数据集TUM[38]免费WiFi[37]VGG[25]内阁[38]全名RGB-D SLAM数据集和基准密集多视图立体数据集仿射协变区域数据集的子集TUM数据集图像对314150040578地面实况相机姿势，深度相机姿势，3D模型单应相机姿势，深度描述包括所有图像病情变化纹理良好的图像观点转变，缩放+旋转，模糊低纹理图像在强光下表2. 数据集详细信息。[37]和VGG[25]是标准基准。TUM[38]和Cabinet数据集是VGA分辨率视频。召回精度F测度1 10.8 0.80.6 0.60.4 0.40.2 0.200 5 10 15 20 253005 10 15 20 25 30图7. 来自六个TUM的场景[38]视频。数据集有许多挑战，如低纹理，模糊和强照明。10.8TUM Strecha10.80.6 0.64.2. 结果我们分析GMS精确回忆：我们将GMS与传统的0.40.200 5 10 15 20 25 30内阁0.40.201 2 3 4 5VGG比率检验（阈值0. （第66段）。精确度、召回率和F-测量值在图中列出。8. GMS为红色，比率测试为蓝色。每个指标都用唯一的线条样式表示。GMS这甚至在具有显著平面内旋转的VGG数据集上也是如此。从SEC召回。3.1，我们的配方牺牲了旋转性能。性能与速度：可以说，匹配速度与性能同样重要。图10列出了性能-速度权衡。性能通过准确估计姿势的百分比来量化，而速度则以毫秒为单位的时间对数来衡量。如果姿态估计的旋转和平移误差分别在5度和15度内，则姿态估计被认为是正确的。图10显示GMS（红色）保持高速和性能。GMS在我们的实验中，几乎所有纯粹基于特征的技术都可以通过GPU的使用达到实时。GMS在CPU上的计算成本为1ms，可保持这种实时性能。与GMS运行的完全匹配为27。每秒8完整的性能曲线：为了保证图的公平性。10图11绘制了针对不同姿势阈值的性能观察到GMS的一致性：以前的实验集中在平均结果。图图12显示了不同的性能差异。X：图像旋转度图像对顺序[VGG]图8. F-测量，召回率和精度与基线（图像对之间的距离）。GMS为红色，比率检验为蓝色。VGG[25]的基线表示图像对顺序。对于其他数据集，基线由相对旋转度表示。请注意，GMS[38]第三十八话每个盒子框边是第25和第75个斜纹。晶须显示性能极值。大多数快速算法的一致性很差，表现为低须。GMS（红色）是最一致的快速算法。它的一致性与慢得多的算法相当。视频结果：GMS支持对视频数据进行宽基线特征匹配。图9提供了补充材料中的视频的屏幕截图。5. 结论我们提出了GMS，一个统计公式划分的真实和虚假的匹配的基础上的数量neighh- boring匹配。虽然这种约束已被其他技术含蓄地采用，我们更有原则的方法，proach使开发更简单，更快的算法，几乎等同的性能。此外，GMS建议的特征数量和匹配质量之间的联系。这可能是一个有趣的研究方向，处理以前棘手的匹配问题。红色：GMS蓝色：比率检验4190图9.GMS支持对视频进行实时宽基线匹配这些是补充资料中的视频截图轮换成功率翻译成功率10.9轮换成功率翻译成功率1 10.90.80.70.60.50.80.70.60.50.40.80.60.40.20.80.60.40.20.41011021031041050.310110210310410500 5 101500 5 10 1510.90.80.70.610110210310410510.950.90.850.80.750.70.6510110210310410510.90.80.70.60.50.40.30 5 101510.90.80.70.60.50.40.30.20 5 10 150.80.70.60.50.40.30.20.11011021031041050.80.60.40.2010110210310410510.80.60.40.200 5 101510.80.60.40.200 5 10 15日志轴消耗的时间[毫秒]SIFT[22]， SURF[2]， ORB[35]， USAC[31] BF[16]， BD[20]， DM[44]， GAIM[8]， LIFT[47]图10. 性能vs速度性能表现：正确估计姿势的百分比。速度：日志时间。GMS（红星）始终在左上角，因为它是有效的，并且具有与慢许多数量级的技术相当的性能。位姿误差阈值[度]图11. 在不同阈值下准确估计的姿势的百分比。GMS（红色）始终位于顶部附近。它仅略逊于BF和深度匹配，后者慢了几个数量级。轮换成功率翻译成功率1 1致谢：这项工作得到了DSO基金的支持，用于通过有效特征匹配实现高精度相机位姿;本研究得到了国家自然科学基金（NO. 61572264，61620106008），华为创新研究计划（HIRP），CAST青年人才计划。杨世杰获新加坡MoE学术研究基金MOE 2016-T2-2-154资助;0.80.60.40.200.80.60.40.20新加坡国家遗产委员会遗产研究基金; SUTD数字制造和设计（DManD）中心，由新加坡国家研究基金会（NRF）支持;NRF，新加坡总理&办公室，根据其IDM未来资助计划和环境水技术战略研究计划，并由PUB，新加坡国家水务局管理;本材料是根据国家研究基金会在虚拟新加坡奖第100号下部分支持的研究/工作编写的。NRF 2015 VSG-AA3DCM 001 -014。图12. 一致性图说明了TUM [38]. 每个方框的中心标记是中位数。 盒边缘是第25和第75个锯齿，须线显示性能极值。相对于其他快速算法，GMS具有非常短的晶须。这表明了一致性。引用[1] S.贝克和我马修斯卢卡斯-卡纳德20年来：一个统一的框架。国际计算机视觉杂志SIFTSURFORBUSCBFBDDMGaim提升我们SIFT BDSURF DMORB GAIMUSC LIFT公司简介快速慢SIFTSURFRBUSCOURSBDDMGAIMLIFTBF内阁快速慢SIFTSURFRBUSCOURSBDDMGAIMLIFTBFTUM斯特雷查斯特雷查内阁TUM419156（3）：221[2] H. Bay，T. Tuytelaars和L. V.Gool SURF：加速了强大的功能。在欧洲会议上。计算机视觉，第404-417页，2006年。[3] S. Benhimane和E.马利斯使用有效的二阶最小化的实时基于图像的飞机跟踪。智能机器人与系统，2004年。(IROS2004年）。程序。 2004年IEEE/RSJ国际会议，第1卷，第943-948页。IEEE，2004年。[4] T.布洛克斯和J·马利克大位移光流：变分运动估计中的描 述 符 匹 配 。 IEEE Trans. on Pattern Analysis andMachine Intelligence，33（3）：500[5] T.- J. Chin，J. Yu，and D.苏特通过偏好分析加速多结构数据的假设生成。 IEEE Trans. 模式分析和机器智能，2012年。[6] O. Chum、J. Matas和J.基特勒局部优化的ransac。在Joint Pattern Recognition Symposium，第236-243页中。2003.[7] V. Codreanu，F.东湾，澳-地Liu，J.B. Roerdink，D. 威廉姆斯P. Yang和B.亚萨Gpu-asift：一个快速的全仿射不变特征提取算法。 在Int. Conf. 高性能计算和仿真（HPCS），第474-481页，2013年。[8] T. Collins，P. Mesejo，and A.巴托丽基于图的关键点匹配中的误差分析和提出的解决方案。欧洲计算机视觉会议，第138-153页。Springer，2014.[9] K. G.德尔帕尼斯哈里斯角探测器。约克大学，2004年。[10] M. A. Fischler和R. C.波尔斯随机样本同意：一个范例模型 拟 合 与 应 用 程 序 的 图 像 分 析 和 自 动 制 图 。Communications of the ACM，24（6）：381[11] Y. Freund和R. E.夏皮尔在线学习的决策理论一般化及其在Boosting中的应用。欧洲计算学习理论会议，第23-37页。Springer，1995年。[12] Y. HaCohen，E.Shechtman，D.B. Goldman和D.利斯钦斯基。非刚性稠密对应及其在图像增强中的应用。ACM SIGGRAPH，2011年。[13] B. K. Horn和B. G. Schunck确定光流。Artificial Intelligence，17：185[14] P. Indyk和R.莫特瓦尼近似最近邻：来消除维度灾难。在第三十届年度ACM计算理论研讨会论文集，第604-613页。ACM，1998年。[15] M.库什内尔和我。希姆索尼具有重复结构的城市场景的对极几何估计。IEEE transactions on pattern analysisand machine intelligence，36（12）：2381[16] W.- Y.林，M. M.郑杰路，H.杨，M. N. 做P.Torr。全局运动建模的双边函数。在欧洲会议上。计算机视觉，第341- 356页，2014年。[17] W.- Y. Lin，S.Liu，N.Jiang，M.N. 做吧，P。Tan和J.陆Rep- match：用于重建现代城市的鲁棒特征匹配和姿态。欧洲计算机视觉会议，第562-579页施普林格，2016年。[18] W.- Y. Lin，S.Liu，Y.Matsushita，T.T. Ng和L.-F. 阿昌平滑变化的仿射缝合。在Proc. of Computer Vision andPattern Recognition，第345-352页[19] Y. Lipman，S.亚盖夫河Poranne，D.W. Jacobs和R.巴斯里有界失真的特征匹配。ACM Trans. on Graphics，33（3）：26，2014.[20] Y. Lipman，S.亚盖夫河Poranne，D.W. Jacobs和R.巴斯里有界失真的特征匹配。ACM Transactions on Graphics（TOG），33（3）：26，2014.[21] C. Liu，J. Yuen，A. Torralba，J. Sivic和W. T.弗里曼。SIFT流：不同场景之间的密集对应 在欧洲会议上。计算机视觉，第28-42页，2008年。[22] D. G.洛从尺度不变的关键点中提取独特的图像特征。Int’l Journal of Computer Vision[23] B. D. Lucas和T.卡纳德迭代图像配准技术及其在立体视觉中的应用。在Int. 联合会议 人工智能，第674-679页，1981年。[24] J. Maier，M. Humenberger，M. Murschitz，O. Zendel，以及M. 文斯基于统计光流的引导匹配，欧洲计算机视觉会议，第101-117页。施普林格，2016年。[25] K. Mikolajczyk、T.图伊特拉尔斯角Schmid，A. 齐瑟曼J. Matas，F. Schaffalitzky，T. Kadir和L.范古尔仿射区域检测器的比较。国际计算机视觉杂志，65（1-2）：43[26] J. M. Morel和G. Yu. Asift：一个新的全仿射不变图像比较框架。SIAM Journal on Imag-ing Sciences，2（2）：438[27] M. Muja和D. G.洛自动算法配置的快速近似最近邻。VISAPP（1），2（331-340）：2，2009.[28] M. Muja和D. G.洛高维数据的可伸缩最近邻算法IEEETransactionsonPatternAnalysisandMachineIntelligence，36（11）：2227[29] A. Myronenko，X.宋，和M。A. 卡雷拉-佩尔皮南非刚性 点 集 配 准 ： 相 干 点 漂 移 。 在 Proc. of Advances inNeural Information Processing Systems，第1009[30] D. Pizarro和A.巴托丽基于自遮挡的可变形Int’l Journalof Computer Vi- sion[31] R. 拉古兰岛Chum，M.Pollefeys ，J.Matas和J.弗拉姆Usac：随机样本共识的通用框架IEEE Trans. on PatternAnalysis and Machine Intelligence，35（8）：2022[32] R. Raguram，J.- M. Frahm和M.波勒菲斯导致自适应实时随机样本一致性的ransac技术的比较分析。在欧洲会议上。计算机视觉，第500-513页，2008年。[33] J. Revaud ，P. Weinzaepfel ，Z. Harchaoui和C.施密 特Epicflow：光流对应的边缘保持插值。在IEEE计算机视觉和模式识别会议论文集，第1164- 1172页4192[34] E. Rosten和T.德拉蒙德用于高速角点检测的机器学习。欧洲计算机视觉会议，第430-443页Springer，2006年。[35] E. Rublee ， V.Rabaud ， K.Konolige 和 G. 布 拉 德 斯 基Orb：一个有效的替代筛选或冲浪。在国际会议记录中。计算机视觉，第2564-2571页，2011年。[36] T.萨特勒湾Leibe和L.科比特Scramsac：使用空间一致性过滤器提高ransac的效率。在国际会议记录中。 计算机视觉，第2090-2097页，2009年。[37] C. Strecha，W. von Hansen，L. Van Gool，P. Fua，和联合Thoennessen.高分辨率图像的基准相机校准和多视图立体。计算机视觉和模式识别，2008年。CVPR2008。IEEE会议，第1-8页。IEEE，2008年。[38] J. Sturm，N. Engelhard，F. Endres，W. Burgard和D.克雷默斯。评估rgb-d sam系统的基准在proc 智能机器人系统国际会议（IROS）2012年。[39] C. Sweeney，T. Hollerer和M.土耳其人。一个快速和可扩展的结构从运动库。第23届ACM国际多媒体会议论文集，第693-696页。ACM，2015.[40] T. B. 特里贝里湖M. 法国人，J。赫尔姆森GPU加速器-ating加速了强大的功能。在Proc. Int. Symp. 3D数据处理 、 可 视 化 和 传 输 （ 3DPVT ） ， 第 355-362 页 。Citeseer，2008年。[41] P. H. S. Torr和A.齐瑟曼。MLESAC：一种新的鲁棒估计器，用于估计图像几何形状。计算机视觉和图像理解，78：138[42] C.王湖，加-地Wang和L.刘某改进图匹配的密度最大化方法及其应用。IEEE图像处理学报，第2110-2123页[43] P. Weinzaepfel，J. Revaud，Z. Harchaoui和C.施密特深流：大位移光流与深匹配。 在proc 国际会议 计算机视觉，第1385- 1392页，12月。2013年。[44] P. Weinzaepfel ，J. Revaud ，Z. Harchaoui和 C.施密 特DeepFlow：深度匹配的大位移光流。在IEEE计算机视觉国际会议（ICCV），悉尼，澳大利亚，12月。2013年。[45] C.吴SiftGPU：尺度不变特征变换（SIFT）的GPU实现。 http://cs.unc.edu/~ccwu/siftgpu，2007年。[46] L. 徐，J.Jia和Y.松下。运动细节保持光流估计。IEEETransactionsonPatternAnalysisandMachineIntelligence，34（9）：1744[4