215NM-Net：挖掘可靠邻域的鲁棒特征对应陈钊1，曹志国1，李驰1，李欣2，杨佳琪11华中科技大学人工智能与自动化学院西弗吉尼亚大学计算机科学与电气工程系1{hust zhao，zgcao，li chi，jqyang}@ hust.edu.cn2Xin. mail.wvu.edu摘要特征对应选择是计算机视觉中许多基于特征匹配的任务的关键。空间k-近邻搜索是许多文献中提取局部信息的常用策略.然而，不能保证对应的空间k-最近邻是一致的，因为假对应的空间分布通常是不规则的。为了解决这个问题，我们提出了一个特定于兼容性的挖掘方法来寻找一致的邻居.此外，为了从邻居中提取和聚合更可靠的特征，我们提出了一种名为NM-Net的分层网络，该网络具有一系列以生成的图为输入的卷积层，对对应关系的顺序不敏感。我们的实验结果表明，该方法实现了最先进的性能在四个数据集具有不同的内点比率和不同数量的特征向量。1. 介绍搜索良好的特征对应关系（也称为匹配）是计算机视觉任务中的基本步骤-例如，运动结构[32]，同时定位和映射[2]，全景拼接[4]和立体匹配[14]。找到两个图像之间一致的特征对应依赖于两个关键步骤[22，3，23] -即，特征匹配和对应选择。具体而言，可以通过匹配局部关键点特征（如SIFT [22]）来获得初始对应关系。由于各种原因（例如，关键点定位误差、局部描述符的有限独特性以及照明/视点变化），失配常常是不可避免的。为了解决这个问题，可以采用对应选择作为后处理*通讯作者(a) 图像分割（b）点云分割(c)对应选择图1.（c）对应选择（可以被视为每个对应的二进制分类任务）与包括（a）图像分割和（b）点云分割的标准分割问题的（a）和（b）中的大多数空间相邻像素和点在语义上是一致的（属于同一类），但（a）和（b）中的失配的空间分布(c) 是不规则的，导致许多离群值（红点）在内部值（绿色十字）周围的局部区域中受到污染。对于可视化，图像对应（4D）通过tsne投影到2D空间[24]。步骤，以确保正确的匹配和提高精度[3]。本文重点介绍了一种基于学习的方法，用于从初始特征对应集合中选择正确的匹配[36]。由于可用信息的稀缺性以及局部特征表示的限制，特征对应选择是具有挑战性的。匹配特征的空间位置是离散和不规则的（请注意，RGB或纹理信息不再可用）。为了有效地从原始位置挖掘一致性，在以前的手工制作中通常采用空间216算法[20，3，23]。事实上，空间局部信息在图像分割[21]和点云分割[26]中发挥了重要作用。如图在图1（a）和（b）中，位于相邻区域中的大多数特征点在语义上是一致的（属于同一类）。然而，由于不匹配的不规则分布，空间局部信息对于对应选择是不可靠的如图如图1（c）所示，在正确对应的附近（用绿色十字标记），可以发现大量的失配（用红色点表示）。为了克服这一困难，我们提出了一个兼容性特定的邻居挖掘算法搜索每个对应的前k个一致的邻居。如果对应满足相同的潜在约束[9，1，5]，则它们被确定为兼容的。当与空间k-最近邻（knn）搜索相比时，所提出的邻居挖掘方法更可靠，因为潜在的内点可以保证彼此的一致性[17]。除了邻居挖掘，另一个重要的问题是找到一个合适的表示对应选择。通过各种卷积神经网络（CNN）学习的表示已经成为许多计算机视觉任务的标准[16，31，13]。对应选择也可以被认为是每个匹配的二分分类问题-即，正确（内点）与false（outlier）.然而，直接使用CNN从无序和不规则的对应关系中提取特征通常是不切实际的。最近在[36]中提出了使用多层感知器进行对应选择的第一种基于学习的方法，但不幸的是，它忽略了有用的局部信息，例如通过兼容性特定的邻居挖掘获得的信息（在我们的工作中显示出优势）。为了填补这一空白，我们提出了一种称为NM-Net（邻居挖掘网络）的分层深度学习网络，其中特征被连续提取和聚合。从两个方面利用特定于兼容性的本地信息：1）为每个对应关系生成一个图，其中节点表示通过我们的邻居挖掘方法找到的兼容邻居; 2）通过将生成的图作为输入的一组卷积层来提取和聚合特征。概括地说，本文的贡献如下：低点：• 我们认为，兼容性特定的邻居是更可靠的（有更强的局部一致性）的特征对应比空间邻居。• 我们提出了一种称为NM- Net1的深度分类网络，该网络完全挖掘用于对应选择的兼容性特定的局部性，具有分层扩展和聚合的局部对应性。我们1该代码将在https://github.com/ sailor-z/NM-Net上提供网络对对应的顺序也不敏感。• 我们的方法实现了国家的最先进的综合评价基准的性能，包括对应不同比例的内点和不同数量的特征点。2. 相关工作参 数 方 法 。 生 成 验 证 可 以 说 是 参 数 方 法 （ 例 如RANSAC [9] 及 其 变 体 （ 例 如 ， PROSAC [6] 、 LO-RANSAC [7]和USAC [27]）。在全局约束下搜索对应的一致性具体地，生成和验证过程可替换地用于估计全局变换-例如，单应矩阵或本质矩阵。与变换一致的对应被选为内点。参数化方法有两个基本的弱点：1）当初始内点比率较低时，估计的全局变换的准确性严重降低[18]，因为采样的对应可能不包括内点; 2）假设的全局变换不适合多一致性匹配[37]和非刚性匹配[23]的情况。非参数方法。利用局部信息进行对应选择是非参数方法中的一种常用策略.例如，在[23]中提出了局部保持匹配算法，其假设内点附近的局部几何结构在刚性/非刚性变换下是不变的，其中利用空间KNN搜索来表示局部结构的变化在[3]中以统计方式利用空间局部信息。两幅图像之间的局部区域的相似性通过对应的数量来测量;如果数量大于预定义的阈值，则位于区域中的所有对应都此外，还通过其他非参数方法- 例如，[1]在博弈论框架中测量每两个对应的兼容性作为回报，其中正确对应的概率由ESS算法迭代计算[34];[17]估计了一个亲和矩阵来表示对应的相容性，并提出了一种谱技术来选择内点。这些算法虽然包含了对应关系之间的相容性信息，但并不能充分挖掘相容对应关系中的局部信息。相比之下，我们使用兼容性特定的neighbors通过数据驱动的方式将本地信息集成到每个对应关系中。学习方法。深度学习近年来取得了巨大的成功-例如，图像分类[16，21731，13]、对象检测[11，10，29]和图像分割[21]。然而，直接使用标准的CNN是不可行的对应选择，因为对应表示是不规则的和无序的。在[36]中，采用基于多层感知器的深度学习框架来寻找内点，但没有任何局部特征提取或聚合。考虑到点云数据具有与对应关系相似的特征，可以参考最近开发的用于点云分类和分割的Point- Net [25]和PointNet++[26]进行对应关系选择尽管如此，每个点都在PointNet中单独处理，不涉及任何本地信息; PointNet++在分组层中利用空间上最近的信息，即使这种空间上局部的信息对于对应性可能是不可靠的。与这些基于学习的不规则数据处理方法不同，我们的方法分别通过兼容性度量和层次化方式涵盖了局部选择和局部集成问题3. 动机在匹配中寻找一致性（兼容性）和选择好的对应性是一个先有鸡还是先有蛋的问题：寻找一致性（例如对于假设的全局变换）将需要一组内点（即，关于良好对应性的知识）;但同时，内点的选择也依赖于找到可靠一致性的结果为了解决这个循环问题，我们建议利用本地信息的对应关系作为特征一致性的代理表示。局部信息是许多基于学习的图像/点云分类和分割方法的基石[31，13，21，25]，其中通常提取卷积核中的局部上下文特征。由于对应选择可以被认为是每个对应的二元分类问题（即，内点与外点），似乎有理由挖掘可靠的局部信息来建立良好的对应关系。如前所述，手工制作的方法已经采用了局部信息来选择正确的匹配。然而，与图像和点云的情况不同，直接使用空间局部信息进行特征对应选择不是一个好主意，如图所示。2（a）-内点的空间k近邻与两个离群点不相容。相比之下，由兼容性度量（将在下一节中正式定义）选择的邻居是一致的，如图所示。2（b），但是它们的位置不一定在空间上与查询对应关系相邻。由于内点的匹配关键点从真实世界中的不同视点指示相同的3D位置，因此容易保证内点之间的一致性。这样的观察促使我们开发一种特定于相容性的方法来挖掘相容性。(a) 空间k-近邻(b) 概率特定k-近邻图2.特征对应的（a）空间k-最近邻和（b）兼容性特定k-最近邻的直观图示。蓝线表示两个图像之间的初始特征对应性，黄线表示采样的内点，绿线和红线分别表示采样的内点的邻近者是内点和外点。两个离群值被包括在（a）空间k-最近邻中，其被认为是不一致部分;（b）相容性特定的k-最近邻是一致的，没有离群值，但它们的位置不一定在空间上接近。(a)<（b）20- 35%(c)35− 50%（d）>50%图3.空间knn（SPknn）和相容性特异性knn（CSknn）之间的比较从我们的实验数据集中采样了数百个图像对（Sect.5）并根据初始对应集的内点比率分为4个部分，即，（a）低于20%，（b）20%至35%，（c）35%至50%，和（d）高于50%。评估度量是正确对应的邻居的平均内点比率。帐篷邻居兼容性特定的邻居挖掘的优越性可以通过从实验数据集收集的统计数据进一步证明（第二节）。5）如图所示3.第三章。相容性特异最近邻的内点百分比显著高于空间特异最近邻的结果218..我JC我 我iTii在所有情况下都是最近邻，随着k的增加，间隙更加显著。这些经验性的发现强烈表明，邻居选择的兼容性特定的方法是更可靠的。4. 方法除了邻居挖掘之外，对应选择还需要可靠邻居提供的信息的适当表示。基于深度学习在许多视觉识别任务中的成功[13，29，21]，开发了一种基于学习的方法来进行对应所引入的兼容性度量所需的关键点。当图像经历视点或尺度变化时，局部仿射信息对于搜索一致的对应关系至关重要[5]。第二，表征周围局部结构之间变化′ci的（ki，ki）可以通过以下公式计算：H =′T−1，（1）′其中，一对3×3矩阵（Ti，Ti）描述了位置，匹配的关键点的位置和局部结构然后′我们可以通过以下公式计算Ti：选择[36]。[36]一个关键的策略是使用多-层感知器，单独处理无序对应。不幸的是，最近的这项工作未能解释-Ti=ΣΣAiki0 1、（二）光栅本地信息为每个对应，我们的工作的一个关键的新的见解是证明我们提出的NM网络利用本地对应选择的好处我们的框架采用ResNet [13]作为骨干，兼容性特定的邻居挖掘算法作为分组模块。4D原始对应被作为输入，并且每个对应的分类（即，内点或离群点）被输出。4.1. 问题陈述其中，Ai是表示由Hessian-affine检测器提取的局部仿射信息的2 × 2矩阵，并且ki是关键点的位置。第三，直观地，如果对应的变换Hi和Hj是一致的，则ci和cj是相容的;换句话说，由一致的变换对估计的局部结构变化应该是相似的。因此，我们采用了代表局部结构变化的重投影误差来测量（Hi，Hj）的不相似性，′给定一对图像（I，I），两组离散密钥-.ΣΣ.KiΣΣ。Ki.′点（K={k}，K′={k}）被检测到并且是本地的ej（ci）=. ρ（Hj·1）−ρ（Hi·）的情况。 、（3）1这些关键点周围的模式被描述为（P=Σ ΣTΣ ΣT′{p}，P′={p}）。初始对应集C={c}为′其中ρ（aBC）=a/c b/c. 请注意，COM-通过基于（K，K）的描述相似性。 对应选择归结为一个二元分类问题，重点是将每个c分类为inlier cinlier∈ Cinlier或outlier coutlier∈ Coutlier。4.2. 挖掘邻居特定于可行性的邻居挖掘在我们的网络中起着至关重要的作用，原因有两个。 第一、它利用我们提出的相容性度量来探索每个对应的局部空间并提取局部信息其次，它将无序对应集成到一个图中，其中节点对应于挖掘的邻居，（ci，cj）的相容性与重投影误差之和（ej（ci）+ei（cj））负相关。 作为将sij归一化到（0，1]的范围的策略，我们提出使用高斯核-即，s（c，c）=e−λ（ej（ci）+ei（cj）），（4）其中λ是超参数。注意，λ不会影响s（ci，cj）的排序;因此搜索每个对应的兼容邻居对λ不敏感。 对于任意给定的ci，通过首先选择c i的邻居，即，j（j= 1，2，...，k），这些对应关系与top-k s（ci，cj），然后依次将ci与所有可以执行卷积以用于进一步的特征提取和聚集。正如在Sect中提到的。3，给定一对对应关系（ci，cj），量化compati，由s（ci，cj）表示的能力得分是非平凡的，这是由于缺乏-标签信息。一个有希望的攻击是，它的邻居。4.3. 网络架构如图4所示的网络体系结构包括两个关键模块，分组和ResNet块。我们的网-′ ′（ki，ki）和（kj，kj）周围局部结构的变化如果ci和cj是相容的，则它们是相似的[1]。基于这个重要的观察，我们建议通过利用如下的变化来计算s（ci，cj）首先，使用Hessian-affine检测器[15]来检测关键点;它提供了周围的局部仿射信息219工作设计部分灵感来自于分层提取充 分 利 用 通 信 级 别 本 地 信 息 的 特 征 （ 例 如 ，PointNet++ [26]）。NM-Net的详细信息如下所示。特征提取和聚合。在NM-Net中，沿着三条线提取和聚合特征。一是220我JJJJ1×4转化率，32特征聚合1×1转化率，1放置和相应的标签-即，1ΣNL（ω，C）=N i=1αiH（yi，S（g（ci，ω），（6）(a) 网络架构32 × k 256 × 1(b) 特征聚合图4. NM-Net架构。NM-Net是（a）用于特征对应的分类网络。设计了一个分组模块，首先通过兼容性度量挖掘可靠邻居在（a）的左下虚线框中，黑点表示查询对应关系，而那些蓝点是其兼容性特定的邻居。(b)说明了通过一系列ResNet块从邻居中提取的特征的层次聚合使用分组模块为每个对应提取局部信息，其中采用兼容性特定的knn搜索无序的原始对应被转换为N个图Gi（i=1，2，.，N），其中节点按s（ci，cj）排序，从而产生一组规则组织，这些组织对对应顺序不变。第二，通过一组卷积分层提取和聚合特征，Σdfn=ωfn−1，（5）j=1其中fn是G i中第j个节点在第n层r的特征，d是卷积核的大小，ωj表示学习的权重。 将N × k特征图依次聚合为N×1，特征维数从32增加到256，如图所示。第4（b）段。与[36]相反，我们的卷积采用规则图作为输入，而不是孤立的对应关系，具有可靠的局部特征。第三，对于全局特征提取，实例归一化[33]用于规范化每个ResNet块中的特征映射，这已被证明比[36]中的平均池化和最大池化更损失函数一个简单而有效的交叉熵损失函数被用来计算出之间的偏差，其中g是NM-Net的输出，S表示逻辑函数，yi表示ci的地面真值标签，H表示二进制交叉熵函数，αi是平衡正负样本的自适应权重。不使用[36]中的回归损失，因为在某些应用中，例如多一致性匹配和非刚性匹配，地面真实全局变换可能不可用。正如我们接下来将展示的那样，我们更简单的损失函数形式可以实现更好的性能。5. 实验本节包括对涵盖各种背景的四个标准数据集的广泛实验评估-即，窄和宽基线匹配，用于重构的匹配（即，结构从运动），并与多个匹配。我们还提出了几个国家的最先进的方法，包括手工制作的方法（即，RANSAC [9]、GTM [1]和LPM [23]）和基于学习的方法（即，PointNet [25]、PointNet++ [26]和LGC-Net [36]）。5.1. 实验装置优化和架构细节。NM-Net的配置（图4（a））为C（32，1，4）-GP-R（32，1，3）-R（32，1，3）-R（64，1，3）-R（64，1，3）-R（128，1，3）-R（128，1，3）-R（256，1，3）-R（256，1，3）-C（256，1，1）-C（1，1，1），其中C（n，h，w）表示具有n个输出通道和h×w卷积核的卷积层，GP表示分组模块，R（n，h，w）表示包括两个卷积层C（n，h，w）的ResNet块 每个卷积层后面都有实例规范化，批量规范化和ReLU激活，除了最后一个。NM-Net由Adam [8]训练，学习率为10−3，批量大小为16。对于LGC-Net，我们使用作 者 发 布 的 代 码 来 训练 模 型 。 对 于Point-Net 和PointNet++，我们采用ResNet主干，遵循[36]中的成果。为了验证兼容性特定的邻居挖掘方法的有效性，还实现了另一个版本的NM-Net（命名为NM-Net-sp），其中兼容性特定的knn搜索被空间knn搜索所取代。包括邻居k和λ的数量的参数（等式4）分别设置为8和10−3基准数据集。在我们的实验中使用了四个数据集-即，窄、宽、COLMAP [30]和多[37]（表1）。前两个数据集由我们使用无人机在四个场景中收集，并且我们分别保持10和20帧的采样间隔以获得窄基线匹配数据和宽基线匹配数据。对于窄，兼容X输入对应1×N×4共享邻居32×N×1分组32×N×kResNet块ResNet块（..256×N×1（..共享1×N×1221数据集#图像对#培训验证次数测试次数内值比（%）挑战窄24070168493610361040.827VP变更宽1142679981713171332.771VP变更COLMAP [30]1885013195282728277.496VP变更，轮换多个[37]45---40.828动态脚本表1. 实验数据集的属性。VP表示视点，内点比率表示在整个数据集上计算的初始对应集中内点的平均比例。方法精密度（%）召回率（%）F-测量值（%）MSEMae中值Max最小值（10−2）RANSAC [9]86.92360.39769.1942.0172.6222.8094.9780.755GTM [1]88.70752.94965.6532.0422.7282.8864.9682.467LPM [23]72.66768.50470.1732.0872.8793.1074.86925.453PointNet [25]79.00386.16382.1022.2932.7873.5034.7281.180[26]第二十六话83.67785.04584.1122.2482.7733.3285.1283.899[36]第三十六话95.23898.40596.6112.0962.2553.0215.0060.558NM-Net-sp96.94697.65997.2832.4822.6643.6875.0380.245网络管理97.16997.87097.5012.4362.6083.6305.0210.390方法精密度（%）召回率（%）F-测量值（%）MSEMae中值Max最小值（10−2）RANSAC [9]80.74051.19860.3502.0522.7113.1255.0401.347GTM [1]79.98947.71158.8812.0402.7843.0685.0411.046LPM [23]62.94064.48762.8282.0382.9213.0804.92619.782PointNet [25]64.73077.28770.0682.2822.8633.4584.9055.528[26]第二十六话73.92681.85677.2452.1802.7713.2555.0133.020[36]第三十六话88.13997.13891.2642.0592.2302.9955.0611.226NM-Net-sp91.74294.03992.7492.5132.7313.7515.1100.650网络管理92.33294.25193.1452.4882.7183.7815.1130.553方法精密度（%）召回率（%）F-测量值（%）MSEMae中值Max最小值（10−2）RANSAC [9]25.15614.47717.4641.9842.9853.1695.0441.383GTM [1]22.93119.91319.0752.0043.0733.2455.1024.804LPM [23]15.87934.29319.5952.0193.0373.1134.69317.298PointNet [25]13.59641.76519.7102.0512.8643.1934.87814.138[26]第二十六话18.65941.95324.3012.0602.9023.2004.8774.150[36]第三十六话26.38371.13233.9491.9812.5543.0714.7171.265NM-Net-sp29.29659.71037.5031.9832.4463.0475.1252.250网络管理31.00358.49938.8871.9532.4023.0274.9891.514表2. 评价结果。从上到下的三个表分别是NARROW、WIDE和COLMAP数据集的结果。精确度、召回率和F-测量被着色以突出显示，因为它们显式地测量对应选择的性能NM-Net-sp表示具有空间邻居的NM-Net的变体。每列中的最佳结果以粗体显示。WIDE和COLMAP，地面实况摄像机参数由VisualSFM[35]获得，对应的地面实况标签通过将相应的极线距离[12]与阈值（10−4）进行比较来计算。MULTI是一个小型数据集，由45个图像对组成，每个对应关系都有可用的地面实况标签。我们使用这个数据集来测试在多一致性匹配的情况下的泛化。评价标准。为了测量对应选择性能，我们使用精确度（P），召回率（R），[23]如：[24]如：[25]如：[26]如：[27]如：[28]如：[29]此外，考虑到在一些图像对准和3D重建任务中需要全局变换的准确估计[32，2，4]，通过所选对应关系估计的基本矩阵E与地面实况Egt之间的偏差由MSE、MAE、中值、最大值和最小值测量，如[28]中所示。由于P、R和F明确反映了对应选择的性能，因此我们将重点从这些度量的角度分析222方法P（%）R（%）F（%）PointNet [25]48.2235.8298.717[26]第二十六话64.6617.87113.327[36]第三十六话61.73636.84941.849网络管理51.89833.65335.605(a) （b）国家管理网图5. COLMAP数据集上的可视化结果。 绿线和红线分别表示LGC-Net和NM-Net所选对应集中的内点和离群点。5.2. 单个一致性找到单个一致性对应于全局变换（例如， 本质矩阵 ） 是 特 征 对 应 的 流 行 应 用 [32 ， 2] 。 我 们 在NARROW，WIDE和COLMAP数据集上的实验结果在表2中列出，这些数据集在每个图像对中包含单一的一致性。如表2（a）、（b）和（c）所示，NM-Net在F度量方面明显优于手工算法和其他基于学习的方法。首先，当与手工制作的算法，如RANSAC，GTM（使用相同的二进制项在方程。4）和LPM（采用空间k-最近信息），NM- Net在所有三个数据集上的表现都优于它们约20个百分点。第二，NM-Net明显优于一组代表性的基于学习的方法。对于点网和LGC网，分别采用平均池化和上下文归一化的方法提取全局特征。对于PointNet++，通过空间knn搜索为每个对应关系添加本地信息。NM-Net还提取全局特征和局部特征，但依赖于Eq.（四）、我们的框架的优越性可以很容易地验证。第三，在所有数据集上，NM-Net的性能都优于NM-Net-sp; 该 差 距 在 COLMAP 上 变 得 更 加 显 著 ，COLMAP是具有极低初始内点比率的 更 具 挑 战 性 的数据集（7. 496%）。这意味着我们的相容性特异性knn搜索比stan搜索对高离群值比率更鲁棒，dard空间knn搜索。一些代表性的可视化计算结果如图所示。5，其中NM-Net与当前最先进的深度学习框架LGC-Net进行了比较。更多的视觉结果可以在补充材料中找到。5.3. 多重一致性如[37]所述，动态场景下的多一致性特征匹配仍然是一个开放的研究问题。与静态场景的全局变换相比，与多个变换对应的几个局部变换被包括在初始表3. 在MULTI数据集上的推广。测试模型在NARROW数据集上进行预训练。这三个参数分别是精确度（P）、召回率（R）和F度量（F）。(a) （b）国家管理网图6. MULTI数据集上的可视化结果。不同的颜色代表不同的特征。对应集由于MULTI仅包含45个图像对，因此采用在NARROW上预训练的模型（包括类似的内点比率（表1））来测试从单一一致性到多个一致性的表3和图6分别给出了在MULTI数据集上的定量和定性结果。虽然LGC-Net比NM-Net获得了更高的F-测度（仍然是第二好的），但NM-Net能够挑选出所有类型的一致性;而LGC-Net只能找到一种一致性。请注意，LGC-Net是在混合损失的监督下训练的，该混合损失包括对应于全局变换的回归损失，这解释了为什么LGC-Net对于多个局部变换的多一致性匹配效果较差。相比之下，NM-Net是用对多个错误不敏感的分类损失来训练的5.4. 方法分析参数k。每个对应点的邻居数k是NM网的一个核心参数，它决定了每个图中局部特征的感受域G. 因此，在NARROW、WIDE和COLMAP上研究了具有不同邻域数的NM网的几个版本。如图7，当k太小（4）或太大（32）时，NM-Net会经历性能下降。当k=4时，每个对应的搜索空间太小而不能提取足够的可用局部特征;当k = 32时，对于内点c内点，G内点中的邻居的一致性将下降，并且一些离群点将被不期望地包括为滋扰。 基于上述分析，我们使用k = 8作为NM-Net中邻居的默认大小。学习效果验证。 因为邻居们223我我(a)窄（b）宽（c）列映射图7. 参数k的分析我们用不同的邻域大小k（{4，8，16，32}）值训练我们的NM-Net，同时保持其他设置相同，并检查NARROW，WIDE和COLMAP数据集的性能变化。图8. 学习效果验证。手工制作的方法通过将邻居的兼容性得分之和与阈值进行比较来判断对应关系的正确性。该阈值在5到7.9之间变化，以减轻阈值设置的影响。匹配性度量搜索到的对应点对内点的一致性比对离群点的一致性好，理论上对应点在G内点的匹配性得分应该比在G离群点的匹配性得分高。出现了一个潜在问题：是否可以根据得分直接对对应关系进行分类？为了解决这个问题，设计了一种手工制作的方法来计算每个图Gi中的得分之和作为ssum。然后，如果s和高于预定义阈值，则ci将被确定为内点手工制作的方法和NM-Net在COLMAP数据集上的比较见图。8.显然，NM-Net实现了比手工制作的所有阈值更高由于视点变化和摄像机旋转等不确定性，不同图像对之间的对应关系分布存在明显因此，利用原始分数来区分内值和离群值是不可靠的。与手工制作的方法相比，在我们提出的方法中，分数被用作索引来搜索兼容的邻居隐藏在这些邻居中的局部特征可以通过强大的深度学习网络进行充分探索兼容性度量分析。 由于兼容性特定的knn搜索是NM-Net中生成知识的关键过程初始图G中元素的一致性直接影响原始信息的有效性。为了更清楚地说明这一重要问题，对兼容性度量（等式10）的分析。4)进行如下。由 等 式 搜 索 的 邻 居 的 内 点 比 率 。 图 4 显 示 了NARROW、WIDE和COLMAP数据集上的数据。9.第九条。兼容性度量被认为是原因-（a）内点的邻居（b）外点图9. 兼容性度量分析。通过我们的兼容性度量识别的邻居的内围值比率（等式2）。4)在NARROW、WIDE和COLMAP数据集上计算（a）内值和（b）离群值的比率，以检查该度量是否可以提供可区分的局部信息。能，原因如下。首先，内点的邻居比外点的邻居显著更 一 致 ， 内 点 比 率 高 3 倍 。 其 次 ， 我 们 的 方 法 在NARROW和WIDE数据集上都实现了近似100%的内点比率，如图所示。9（a），其中几乎所有搜索到的内点邻居都是一致的（即，inliers）。然而，在更具挑战性的COLMAP数据集上，正确匹配的邻居的内点比率大大下降。这一结果表明，从兼容性度量的鲁棒性的角度来看，仍然有很大的改进空间我们把这个问题留给今后的研究。6. 结论我们提出了一个层次分类网络命名为NM网，以选择正确的匹配从初始对应，它充分挖掘的兼容性特定的本地为每个对应。实验表明，NM-Net的行为有利于国家的最先进的（手工制作的和基于学习的）方法。我们的方法目前的缺点是需要关键点检测器与局部仿射信息来计算兼容性得分。我们希望在我们未来的工作中开发一个更先进的兼容性度量没有这样的限制。致谢。 本文的研究得到了国家自然科学基金61876211和111计划“计算智能与智能控制”项目B18024的部分资助。224引用[1] AndreaAlbarelli，EmanueleRodol a`，andAndreaTorsello. 光束法平差的稳健博弈内点选择2010年3维数据处理、可视化与传输国际研讨会[2] Selim Benhimane和Ezio Malis使用有效的二阶最小化的实时基于图像的飞机跟踪。在IEEE/RSJ智能机器人和系统集，第1卷，第943[3] JiaWang Bian ， Wen-Yan Lin ， Yasuyuki Matsushita ，Sai-Kit Yeung，Tan Dat Nguyen，and Ming-Ming Cheng.Gms：基于网格的运动统计，用于快速、超鲁棒的特征对应。在IEEE计算机视觉和模式识别会议论文集，2017年。[4] 马修·布朗和大卫·G·洛。使用不变特征的自动全景图像拼接。国际计算机视觉杂志，74（1）：59[5] H. Y. Chen，Y. Y. Lin和B. Y.尘用于鲁棒特征匹配的联合分割引导霍夫变换 。IEEE Transactions on PatternAnalysis and Machine Intelligence，37（12）：2388，2015。[6] Ondrej Chum和Jiri Matas。与prosac匹配-渐进样本共识。IEEE计算机视觉和模式识别会议论文集，第220-226页，2005年[7] Ondˇrej Chum、Jiˇr´ı Matas和Josef Kittler。局部优化的ransac。Pattern Recognition，第236-243页[8] D.P.Kingma和J.Ba. Adam：一种随机优化方法。arXiv预印本arXiv：1412.6980，2014，2014。[9] Martin A Fischler和Robert C Bolles。随机样本一致性：模型 拟合 的范 例， 应用 于图像 分析 和自 动制 图。Communications of the ACM，24（6）：381[10] 罗斯·格希克。快速R-CNN。IEEE国际计算机视觉会议论文集，第1440-1448页，2015年[11] Ross Girshick，Jeff Donahue，Trevor Darrell和JitendraMalik。丰富的特征层次结构，用于精确的对象检测和语 义 分 割 。 在 Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，第580-587页[12] Richard Hartley和Andrew Zisserman。计算机视觉中的多视几何学。剑桥大学出版社，2003年。[13] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页[14] 海科·赫希穆勒基于半全局匹配和互信息的立体图像处理 IEEE Transactions on Pattern Analysis and MachineIntelligence，30（2）：328[15] Mikolajczyk K和Schmid C.尺度仿射不变兴趣点检测器。国际计算机视觉杂志，60（1）：63[16] Alex Krizhevsky、Ilya Sutskever和Geoffrey E.辛顿使用深度卷积神经网络的图像网分类。神经信息处理系统国际会议，第1097-1105页，2012年[17] 马里斯·里奥迪努和马夏尔·赫伯特使用成对约束的对应问题的谱技术。在IEEE计算机视觉国际会议论文集，第1482-1489页[18] 李 相 如 和 胡 占 义 。 利 用 对 应 函 数 剔 除 不 匹 配 项 .International Journal of Computer Vision，89（1）：1[19] Wen-Yan Daniel Lin，Ming-Ming Cheng，Jiangbo Lu，Hong- sheng Yang，Minh N Do，and Philip Torr.全局运动建模的双边欧洲计算机视觉会议论文集，第341-356页。Springer，2014.[20] 刘海荣和严水成。通过空间相干对应的共同视觉模式发现 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议 的Proceedings，第1609-1616页[21] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。在IEEE计算机视觉和模式识别会议的论文集，第3431-3440页[22] 大卫·G·洛从尺度不变关键点中提取独特的图像特征。International Journal of Computer Vision，60（2）：91[23] Jiayi Ma，Ji Zhao，Hanqi Guo，Junjun Jiang，HuabingZhou，and Yuan Gao.局部保持匹配。在人工智能国际联合会议的会议记录中，第4492-4498页[24] Laurens van der Maaten和Geoffrey Hinton使用t-sne可视化 数 据 。 Journal of Machine Learning Research ， 9（Nov）：2579[25] Charles R Qi， Hao Su ，Kaichun Mo， and Leonidas JGuibas.Pointnet：对点集进行深度学习，用于3D分类和分割。在IEEE计算机视觉和模式识别会议论文集，第1卷，第4页，2017年。[26] Charles Ruizhongtai Qi，Li Yi，Hao Su，and Leonidas JGuibas. Pointnet++：度量空间中点集的深度层次特征学习。神经信息处理系统国际会议，第5099-5108页，2017年。[27] R Raguram，O Chum，M Pollefeys，J Matas，and J. M.弗 拉 姆 Usac ： 随 机 样 本 共 识 的 通 用 框 架 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，35（8）：2022[28] Rene 'Ranftl和Vladlen Koltun。深度基本矩阵估计。在欧洲计算机视觉会议论文集，第284-299页[29] 任少卿、何开明、罗斯·格尔希克、孙健。更快的r-cnn：利用区域建议网络进行实时目标检测。神经信息处理系统国际会议，第91-99页，2015年[30] JohannesLutzSchoünber ger和Jan-MichaelFrahm。结构从运动重新审视。在Procee
我的内容管理
展开
