8092D2-Net：一种用于局部特征联合描述和检测的Mihai Dusmanu1，2，3 Rocco1，2 Tomas Pajdla4 Marc Pollefeys3，5 Josef Sivic1，2，4Akihiko Torii6 Torsten Sattler71个DI，ENS 因里亚星3苏黎世联邦理工学院计算机科学系4布拉格CTU CIIRC5微软6东京工业大学7查尔姆斯理工大学Chalmers University of Technology摘要在这项工作中，我们解决了困难的成像条件下找到可靠的像素级对应的问题。我们提出了一种方法，其中单个卷积神经网络扮演双重角色：它同时是一个密集的特征描述符和特征检测器。 通过将检测推迟到稍后阶段，所获得的关键点比基于低级结构的早期检测的其传统对应部分更稳定。我们表明，该模型可以使用从现成的大规模SfM重建中提取的所提出的方法在困难的亚琛昼夜定位数据集和InLoc室内定位基准上都获得了最先进的性能，并且在图像匹配和3D重建的其他基准上具有竞争力的性能。1. 介绍建立图像之间的像素级对应关系是计算机视觉的基本问题之一，在3D计算机视觉、视频压缩、跟踪、图像检索和视觉定位中具有应用。稀疏局部特征[6-这些方法遵循先检测后描述的方法，首先应用特征检测器[7，13，19，29，31，33，49，64]来识别一组关键点或兴趣点。然后，检测器将在关键点周围提取的图像块提供给以下特征描述阶段[6该阶段的输出是每个补丁的紧凑表示。 稀疏局部特征提供了一组优点：对应可以匹配有效-1De′ partement4布拉格捷克技术大学捷克信息学、机器人学和控制论研究所图1：通过D2-Net方法获得的匹配示例。所提出的方法可以找到图像的对应关系，即使在显着的外观差异所造成的强烈变化，如白天到黑夜，在描绘风格的变化，或在图像退化所造成的运动模糊。最近通过（近似）最近邻搜索[36]和欧几里得距离。稀疏特征提供了一种有效的记忆表示，从而使运动恢复结构（SfM）[20，52]或视觉定位[25，46，57]等方法能够缩放。关键点检测器通常考虑低级图像信息，例如角[19]或斑点状结构[29，31]。因此，本地特征可以8093通常在图像中精确定位，这是3D重建的重要属性[17，52]。稀疏局部特征已成功地应用于广泛的成像条件下。然而，它们通常在极端的外观变化下表现不佳，在白天和黑夜之间[69]或季节[45]，或在弱纹理的场景[58]。 最近的结果表明，这种观察到的性能下降的主要原因是关键点检测器中缺乏可重复性：虽然局部描述符考虑较大的补丁和潜在的编码更高级别的结构，关键点检测器只考虑小的图像区域。结果，在强烈的外观变化下，检测是不稳定的。这是由于检测器所使用的低级信息通常更明显地受到低级图像统计（诸如像素强度）的变化的影响。尽管如此，已经观察到即使不能可靠地检测到关键点，局部描述符仍然可以成功匹配[45，58，61，69]。因此，放弃检测阶段而代之以密集地提取描述符的方法在具有挑战性的条件下表现得更好。然而，这种鲁棒性的提高是以更高的匹配时间为代价的//下/(a) detect-then-describe（b）检测和描述图2：不同特征检测和描述方法之间的比较。流水线（a）对应于两阶段检测然后描述方法的不同变体。相比之下，我们提出的管道（b）使用单个CNN，其提取用作描述符和检测器的密集特征水平信息固有地导致更强大但不太准确的关键点2. 相关工作和内存消耗。在本文中，我们的目标是获得两个世界的最佳，即，稀疏的特征集，其在具有挑战性的条件下是鲁棒的，为此，我们提出了一种描述和检测方法来进行稀疏局部特征检测和描述：我们建议推迟检测阶段，而不是基于低级信息早期执行特征检测。我们首先通过深度卷积神经网络（CNN）计算一组特征图。然后，这些特征图被用于计算描述符（作为在特定像素位置处通过所有图的切片）并检测关键点（作为特征图的局部最大值）。结果，特征检测器与特征描述符紧密耦合。检测由此对应于具有应当非常适合匹配的局部不同描述符的像素。与此同时，使用CNN深层的特征图使我们能够基于更高级别的信息进行特征检测和描述[67]。实验表明，我们的方法所需的内存显着低于密集的方法。与此同时，它在具有挑战性的条件下表现出色甚至更好（c.f。图如昼夜变化[45]和弱纹理场景[58]。我们的方法已经实现了最先进的性能，无需任何培训。它可以通过对地标场景的大数据集进行微调来进一步改进[26]。当然，我们的方法也有一些缺点：与经典稀疏特征相比，我们的方法由于需要密集提取描述符而效率较低。尽管如此，该阶段可以经由通过CNN的单次前向传递以合理的效率完成基于更高的检测地方特色。最常见的稀疏特征提取方法--先检测后描述方法--首先执行特征检测 [2019-07-19 00：00：00]从以每个关键点为中心的补丁中追踪特征描述符[7，9，24，29，44]。关键点检测器通常负责通过相应地对补丁进行归一化来提供针对诸如缩放、旋转或视点变化之类的影响的鲁棒性或然而，这些责任中的一些也可以委托给描述者[66]。图2a说明了该流水线的常见变化，从使用手工制作的检测器[7，19，29，31，33]和描述符[7，9，24，29，44]，用学习的替代方案替换描述符[6，54，55]或检测器[49，68]，或者学习检测器和描述符[38，64]。为了提高效率，特征检测器通常只考虑小的图像区域[64]，并且通常关注低级别的结构，例如角点[19]或斑点[29]。然后，描述符在关键点周围的较大补丁中捕获更高级别的信息。与此相反，本文提出了一个单一的分支描述和检测方法来稀疏特征提取，如图所示。2b.因此，我们的方法能够检测属于更高级别结构和局部唯一描述符的关键点。与我们的方法最接近的工作是SuperPoint [13]，因为它也在检测和描述之间共享深度然而，它们依赖于不同的解码器分支，这些解码器分支独立地训练特定的损失。相反，我们的方法共享检测和描述之间的所有参数，并使用联合制定，同时优化这两项任务。我们的实验表明，我们的描述和检测策略执行显着更好，8094IJ在挑战性条件下，例如，当匹配白天和夜间图像时，比以前的方法更有效。密集描述符提取和匹配。 检测然后描述方法的替代方案是放弃检测阶段，并在整个图像上密集地执行描述阶段[10，15，48，52]。在实践中，这种方法已经证明比稀疏特征匹配更好的匹配结果[45，58，69]，特别是非稀疏特征匹配。输入图像I，以获得3D张量F=F（I），F∈Rh×w×n，其中h×w是特征图的空间分辨率，n是通道数。3.1. 特征描述与其他先前的工作[37，43，58]一样，3D张量F的最直接的解释是描述符向量d的密集集：[2019 - 06 -19]第69话大开眼界这表明检测阶段是检测-然后-国际新闻报=Fij：，d ∈Rn，（1）描述方法，这激发了我们的方法。图像检索图像检索的任务[3，18，37，40，60，61]还涉及在具有强照明或视点变化的挑战性情况下找到图像之间的对应关系这些方法中的几种从密集描述符提取开始[3，37，60，61]，然后将这些描述符聚合成紧凑的图像级描述符以供检索。与我们的方法最相关的工作是[37，60]：[37]开发了一种类似于我们的方法，其中在密集描述阶段的顶部添加了一个注意力模块来执行关键点选择。然而，他们的方法被设计为只产生少数可靠的关键点，以减少检索过程中的误报率实验结果表明，该方法在匹配和摄像机定位方面有明显的优势;[60]隐含地检测一组关键点作为所有特征图的全局最大值，然后将该信息汇集到全局图像描述符中。[60]启发我们将特征检测为特征图的局部极大值。目标检测。所提出的描述和检测方法在概念上也类似于对象检测中使用的现代方法[28，41，42]。这些方法也开始于密集特征提取步骤，随后是一组区域建议的评分然后执行非最大抑制阶段以仅选择相对于分类分数最局部突出的提议。虽然这些方法共享概念上的相似性，但它们针对非常不同的任务，并且不能直接应用于获得逐像素图像对应。这项工作建立在这些以前的想法，并提出了一种方法来执行联合检测和描述的关键点，下面介绍。3. 联合检测和描述流水线其中i = 1，. . . ，h且j = l，. . . 、w. 这些描述符向量可以很容易地比较图像之间建立对应使用欧几里德距离。在训练阶段期间，这些描述符将被调整，使得场景中的相同点产生相似的描述符，即使当图像包含强烈的外观变化时。在实践中，我们在比较它们之前对描述符应用L2归一化：dij=dij/dij2。3.2. 特征检测3D张量F的不同解释是作为2D响应D的集合[60]：Dk=F：：k，Dk∈Rh×w，（2）其中k=l，. . .，n.在这种解释中，特征提取函数F可以被认为是n个不同的特征检测器函数Dk，每个产生2D响应图Dk。 这些检测响应图类似于尺度不变特征变换（SIFT）[29]中获得的高斯差分（DoG）响应图或Harris角点检测器[ 19 ]中获得的角点评分图在我们的工作中，这些原始分数被后处理以仅选择位置的子集作为输出关键点。接下来描述该硬特征检测。在传统的特征检测器（如DoG）中，检测图将通过执行空间非局部最大值抑制来稀疏化然而，与传统的特征检测器不同的是，在我们的方法中，存在多个检测图Dk（k = 1，. . . ，n），并且可以对它们中的任何一个进行检测。因此，对于要检测的点（i，j），我们需要：（i，j）是一个检测k是局部最大值。在Dk中，其中k=arg maxDt.（三）相反 到 的 经典检测-描述ap-tij采用两阶段管道的方法，我们建议执行密集特征提取以获得同时是检测器和描述符的表示。由于检测器和描述符共享底层表示，我们将我们的方法称为D2。我们的方法如图所示。3 .第三章。该方法的第一步是将CNNF应用于直观地，对于每个像素（i，j），这对应于选择-选择最优检测器Dk（通道选择），然后验证在p0处是否存在局部最大值位置（i，j）软特征检测。在训练期间，上述硬检测过程被软化以适合于8095一B联合检测与描述特征提取局部描述符软检测模块软NMS最大值比率软检测得分图3：提出的检测和描述（D2）网络。特征提取CNNF用于提取起双重作用的特征图（i）局部描述符di j通过在空间位置（i，j）处遍历所有n个特征图Dk来简单地获得;（ii）通过在特征图上执行非局部最大值抑制，然后跨每个描述符执行非最大值抑制来获得检测-在在训练中，关键点检测得分sij是根据软局部最大得分α和每个描述符的与最大得分的比率β来计算的。反向传播首先，我们定义一个软局部最大值。从较低分辨率特征映射到较高分辨率的分数αk=.expkΣi j.Σ，（4）第一，以下列方式：ΣijΣ（i′，j′）∈N（i，j）exp凯吉Fρ=Fρ+γ ρFγ。（八）其中N（i，j）是像素（i，j）的9个相邻像素（包括其自身）的集合。然后，我们定义软信道选择，它计算最大值比率。每个描述符，模拟逐通道非最大抑制：k k，t注意，特征图Fp具有不同的分辨率。为了实现（8）中的求和，使用双线性插值将特征映射Fγ的大小调整为Fρ通过将上文描述的后处理应用于融合的特征图F_p来获得检测。为了βij=D ij maxDij.（五）不为了防止重新检测功能，我们使用以下响应门控机制：从粗尺度开始，其次，为了兼顾这两个标准，我们最大-在所有特征图k上对两个分数的乘积进行mize，以获得单个分数图：检测到的位置;这些掩模被上采样（最近邻）到下一尺度的分辨率;然后忽略落入标记区域的检测。.KkΣγij= maxKαijβij.（六）4. 联合优化检测和描述最后，通过执行图像级归一化来获得在pix el（i，j）处的软检测分数si，j，Σsij=γijγi′j′ .（七）（i′，j′）多尺度检测虽然CNN描述符由于使用数据增强的预训练而具有一定程度的尺度不变性，但它们对于尺度变化不是固有不变的，并且在视点存在显著差异的为了获得对尺度变化更鲁棒的特征，我们建议使用图像金字塔[2]，就像手工制作的局部特征检测器[27，29，31]或甚至一些对象检测器[16]中通常所做的那样这仅在测试期间执行。给定输入图像I，包含三个不同分辨率的图像金字塔Iρ=0。5，1，2（对应于半分辨率，输入分辨率和双分辨率）被构造并用于提取每个分辨率下的特征图Fρ然后，传播较大的图像结构本节描述了损失，用于训练的数据集，并提供了实现细节。4.1. 训练损失为了训练所提出的模型，该模型使用单个CNNF进行检测和描述，我们需要适当的损失L，以共同优化检测和描述目标。在检测的情况下，我们希望关键点在视点或照明变化下可重复。在描述的情况下，我们希望描述符是独特的，这样它们就不会不匹配。为此，我们提出了对三重边际排名损失的扩展，其已成功用于描述符学习[6，34]，也用于检测阶段。我们将首先回顾三重边际排名损失，然后提出我们的扩展版本的联合检测和描述。给定一对图像（I1，I2）和它们之间的对应关系c：AParticipateB（其中A∈I1，B∈I2），我们的三元组边缘排序损失版本试图最小化相应描述符d（1）和d（2）的距离，同时最大化与其他混淆项的距离。DD8096N1N2PBSs(1)（二）描述符d（1）或d（2）在任一图像中，这可能ex-稀疏SfM点云。对于每一对，秒的所有点-N1N 2这是由于相似的图像结构。为此目的，我们将对应描述符之间的正描述符距离p（c）定义为：p（c）=d（1）−d（2）2，（9）具有深度信息的第二图像被投影到第一个图像。运行相对于第一图像的深度图的深度检查以移除被遮挡的像素。最终得到327036个图像对。该数据集被分割为具有18，149个图像对的验证数据集（来自A B78个场景，每个场景少于500个图像对）和一列火车-负距离n（c），它占了d（1）或d（2）的混淆描述符定义为：从剩下的118个场景中提取数据集。A B.4.3美元。实现细节n（c）=最小值d、 （10）A N2N1B的 VGG16 架构 [56]， 预训练 在图像-使用geNet [12]并在conv4 3层后截断其中负样本d（1）和d（2）是最难的以初始化特征提取网络F。位于正方形局部邻域之外的底片正确的对应：N1=argmind（1）−d（2）2s.t. K，（11）P∈I1对于N2也是如此。然后，针对裕度M的三元组裕度排序损失可以被定义为：训练密集特征提取器的最后一层（conv4 3）使用Adam [23]进行了50个epoch的微调，初始学习率为10−3，每10个epoch进一步除以2。来自每个场景的固定数量（100）的随机图像对用于在每个时期进行训练，以便补偿数据集中存在的场景不平衡。对于每一对，我们选择了一个运行-m（c）=最大值.0，M+p（c）2Σ-n（c）2.（十二）dom256×256 crop centered around one correspondence.我们使用批量大小为1，并确保训练直观地，这种三重边际排名损失寻求通过惩罚将导致错误匹配分配的任何混淆描述符来加强描述符的独特性为了另外寻求检测的可重复性，以以下方式将检测项添加到三重标记分级损失中：（2）第一次见面对呈现至少128个对应以便获得有意义的梯度。试验. 在测试时，为了增加特征图的分辨率，来自F的具有步幅2的最后一个池化层（池3）被具有步幅1的平均池化层替换。然后，随后的卷积层（conv4 1到conv4 3）被替换为扩张的卷积。L（I1，I2）=0c∈Cc c m（p（c），n（c）），（13）q∈CQQ[21]以2的速率旋转，因此它们的感受野保持不变。通过这些修改，获得特征图的分辨率为输入的四分之一其中，s（1）和s（2）是在点处的得分（7）上的软检测i分辨率，这允许更多的试探性关键点和C cA和B分别在I1和I2中，C是I1和I2之间所有对应的集合。拟议损失产生的加权平均数基于它们的检测分数在所有匹配上的边缘项m。因此，为了使损失最小化，最有特色的对应关系（具有较低的边际项）将获得较高的相对分数，反之亦然-具有较高相对分数的对应关系被鼓励具有与其余部分不同的4.2. 训练数据为了生成像素级对应的训练数据，我们使用了MegaDepth 数 据 集 [26] ， 该 数 据 集 由 使 用 COLMAP[50，53]从1，070，468张网络照片重建的196个作者提供了102，681幅图像的相机内/外特性和多视图立体的深度图。为了提取对应关系，我们首先考虑-将所有图像对中至少有50%重叠的更好的定位。检测到的关键点的位置是在SIFT [29]中使用的方法之后，在特征图级别使用局部细化进行改进。然后，描述符被双线性内插在细化的位置。我们的实现将在github.com/mihaidusmanu/d2-net上提供。5. 实验评价我们工作背后的主要动机是开发一种能够更好地处理变色条件的局部特征方法。首先，我们评估我们的方法在一个标准的图像匹配任务的基础上序列与光照或视点变化。然后，我们在两个更复杂的计算机视觉管道中展示了我们的方法的结果：三维重建和视觉定位。特别是，视觉定位任务是在极具挑战性的条件下进行评估的，例如将夜间图像与白天生成的3D模型进行80971.00.80.60.40.2整体照明Viewpoint方法#特征#匹配他det. + RootSIFT六、7K2.8KHAN + HN++ [34，35]3 .第三章。9 K2。[38]第三十八章：一个女人五千 2K[13]第十三话7公里0. 9K[37]第三十七话6 K1。9KD2SS（我方）3. 0 K1。2KD2MS（我们的）4。9 K1。7K0.01234567891012345678910阈值[px]12345678910D2 SS训练（我们的）6. 0K2. 5KD2MS训练（我们的）8. 3K2. 8K图4：对HPatches [5]图像对的评估。对于每种方法，示出了作为匹配阈值（以像素为单位）的函数的平均匹配精度（MMA）。我们还报告了检测到的特征的平均数和相互最近邻匹配的平均数。 我们的方法在阈值为6之后实现了最佳的整体性能。5px，均使用单（SS）和多（MS）标度。图像[45，47]和具有挑战性的室内场景[58]中的局部图像，这些场景由弱纹理表面和重复结构主导我们的方法的结果的定性例子在图中。1.一、请参阅补充材料的定性例子。5.1. 图像匹配在第一个实验中，我们考虑一个标准的图像匹配的情况下，给定两个图像，我们想提取和匹配它们之间的功能对于这个实验，我们使用HPatches数据集提供的完整图像序列[5]。在从各种数据集收集的116个可用序列中[1，5，11，22，32，62，65]，我们选择了108个。1每个序列由6个图像组成，这些图像具有逐渐增大的照明（52个序列，没有视点变化）或视点变化（56个序列，没有照明变化）。对于每个序列，我们将第一个图像与所有其他图像进行匹配，得到540对。评估方案。对于每个图像对，我们使用最近邻搜索匹配由每种方法提取的特征，只接受相互最近的邻居。如果使用数据集提供的单应性估计的重投影误差低于给定的匹配阈值，则认为匹配我们改变阈值并记录所有配对的平均匹配精度（MMA）[32]，即，每个图像对的正确匹配的平均百分比。作为经典检测然后描述策略的基线，我们使用RootSIFT [4，29]与Hessian仿射关键点检测器[31]，使用学习的形状估计器（HesAffNet [35] - HAN）和描述符（HardNet++ [34] - HN++2）的变体，以及端到端可训练变体（LF-Net [38]）。我们还比较了SuperPoint[13]和DELF [37]，它们在概念上与我们的方法更相似。结果图4显示了照明和视点变化的结果，以及两种条件下的平均精度。对于每种方法，我们还报告了检测到的特征的平均数和相互最近的平均数。1我们忽略了图像分辨率超过1200 ×1600像素，因为并非所有方法都能够处理该分辨率。2HardNet++在HPatches数据集上训练[5]。每个图像的邻居匹配。可以看出，我们的方法在匹配阈值为6时达到了最佳的整体性能。5像素或更多。DELF不会细化其关键点位置-因此，在特征图级检测相同的像素位置对于严格的阈值产生了完美的精度。即使对于照明序列来说是强大的，但是当用作局部特征提取器时，可以在视点序列中看到他们的方法的缺点。对于LF-Net，将关键点的数量增加到超过默认值（500）会使结果恶化。然而，[38]没有强制要求匹配是相互最近的邻居，我们怀疑他们的方法不适合这种类型的匹配。正如可以预期的那样，对于更严格的匹配阈值，我们的方法比检测然后描述的方法表现得更差：后者使用在低级斑点状结构上发射的检测器，这些结构本质上比我们的方法使用的高级特征同时，我们的特征也是在CNN特征的较低分辨率下检测到的。我们怀疑，视点变化序列的较差性能是由于以下方面的主要偏差：我们的训练数据集-大约90%的图像对的视点变化低于20°（以两个相机主轴之间的角度测量）。所提出的多尺度检测流水线提高了我们描述符的视点鲁棒性，但它也增加了更多的混淆描述符，对光照变化的鲁棒性产生了负面影响。5.2. 3D重建在第二个实验中，我们评估了我们提出的描述和检测方法在3D重建的背景下的性能。这项任务需要很好的局部化特征，因此可能对我们的方法具有挑战性。为了进行评估，我们使用了三个中等规模的互联网收集的数据集，这些数据集具有大量不同的摄像机和条件（马德里大都市、宪兵市场和伦敦塔[63]），来自最近的本地特征评估基准[51]。所有三个数据集都足够小，可以进行详尽的图像匹配，从而避免了MMA8098使用图像检索的必要性。评估方案。我们遵循[51]定义的协议，首先运行SfM[50]，然后运行多视图立体（MVS）[53]。对于SfM模型，我们报告了图像和3D点的数量、3D点的平均轨道长度和平均重投影误差。对于MVS模型，我们报告了密集点的数量除了重投影误差，数字越大越好。我们使用RootSIFT [4，29]（根据基准两者都遵循检测然后描述局部特征的方法。结果选项卡. 1显示了我们的实验结果。总的来说，结果表明，我们的方法在这项任务上的表现与最先进的局部特征不相上下。这表明，即使我们的特征与检测-然后-描述方法相比定位得不太准确，但它们对于SfM任务来说足够准确，因为我们的方法仍然能够配准相当数量的图像。由于在3D重建管道中执行的匹配的强比率测试滤波[29]，我们的方法重建较少的3D点。虽然这种过滤对于删除不正确的匹配和防止不正确的注册非常重要，但我们注意到，对于我们的方法，它也删除了重要数量的正确匹配（20%5.3. 非线性条件下的局部化先前的实验表明，我们的方法在 在最后的实验中，我们证明了我们的方法在两个非常具有挑战性的条件下为稀疏特征设置了最先进的技术：在光照变化剧烈和复杂的室内场景中定位图像。昼夜视觉定位。我们在本地重建任务[ 45 ]中评估了亚琛昼夜数据集[45，47]上的方法：对于数据集中包含的98个夜间图像中的每一个，给出了多达20个具有已知相机姿势的相关白天图像。在每个集合中的白天图像之间进行详尽的特征匹配之后，它们的已知姿态被用于对场景的3D结构进行三角测量。最后，这些产生的3D模型被用来定位夜间查询图像。该任务在[45]中提出，以在长期定位的背景下评估本地特征的性能，而无需特定的定位管道。我们使用[45]中的代码和评估协议，并报告夜间查询的百分比，[3]与[30]不同，我们使用比率检验来匹配作者建议的阈值-0。89岁。4更多详情请参见补充材料。#Reg. # Sparse.跟踪再现#密集数据集方法图像点长度误差点马德里RootSIFT [4，29]500116K六、320的情况。60px 1. 82个月都市[30]第三十话495144K个五、970的情况。65px 1. 56M1344图片D2 MS（我们的）50184K六、331 .一、28 px 1.46米D2 MS培训（我们的）495144K个六、391 .一、35 px 1.46米宪兵-RootSIFT [4，29]1035338K五、520的情况。69px 4. 23米markt[30]第三十话1004441K五、140的情况。73像素3 .第三章。88米1463图片D2 MS（我们的）1053250K五、081 .一、19像素3 .第三章。49米D2 MS培训（我们的）965310K五、551 .一、28像素3 .第三章。15米塔RootSIFT [4，29]804239K7 .第一次会议。760的情况。61像素3 .第三章。05个月伦敦[30]第三十话776341K六、710的情况。63像素二、73个月1576图片D2 MS（我们的）785180K五、321 .一、24像素二、73个月D2 MS培训（我们的）708287K五、201 .一、34像素二、86米表1：局部特征评估基准的评估[51]。每种方法用于每个场景的3D重建，并报告不同的统计数据。总体而言，我们的方法获得了与SIFT及其可训练对应物相当的性能，尽管使用了不太好的局部关键点。估计的摄像机位置和方向上的给定误差范围。我们比较了从DoG关键点[29]提取的直立RootSIFT描述符、具有HesAffNet特征的HardNet++描述符[34，35]、DELF[37]、Su-perPoint [13]和DenseSfM [45]。DenseSfM使用VGG16密集提取 CNN特征，然后进行密集的神经网络匹配（conv4，然后conv3）。对于具有控制检测到的特征的数量的阈值的所有方法（即，HAN + HN++、DELF和SuperPoint），我们采用了以下调谐方法：从默认值开始，我们增加和减少阈值逐渐停止，只要结果开始下降。较宽松的定位阈值被认为是更重要的。我们报告了每种方法能够实现的最佳结果。根据图5，我们的方法比所有基线都我们的稀疏特征方法甚至优于DenseSfM，尽管后者使用了更多的特征（因此也使用了更多的时间和内存）。结果清楚地验证了我们的描述和检测方法，因为它在这种极具挑战性的情况下显着优于检测然后描述方法结果还表明，我们的方法的较低的关键点精度并不妨碍它被用于旨在估计准确的相机姿态的应用室内视觉定位。我们还在InLoc数据集[58]上评估了我们的方法，InLoc数据集是最近提出的用于大规模室内定位的基准数据集。的数据集是具有挑战性的，由于其庞大的规模（10000个数据库图像覆盖两个建筑物），在数据库和查询之间的视点和/或照明的强烈差异图像和场景随时间的变化。8099对于这个实验，我们使用作者发布的代码将我们的功能集成到[58]中提出的管道的两个变体中。第一种变体，直接姿势E-8100直立RootSIFTDenseSfMHesAffNet+HardNet++正确本地化查询（%）SuperPoint百分百百分之九十百分之八十百分之七十百分之六十DELFD2SSD2SS培训方法#F=0。5米，2英尺1英寸。0米，5米5。0米、10米、10米、25米[29 ]第29话：我的世界3K36.754一百七十二。581. 6[45]第四十五话39.第三十九章八点六 284.七九九。0[34，35]11. 5K39. 861。2776888[13]第十三话6K 42.857一百 七十五。5867[37]第三十八章：一个女人862. 285七九八。0D2SS（我方）7 K41。866385.七九八。0D2MS（我们的）11。43.honor967387.899. 0百分之五十0 2.5 5 7.5 10距离阈值[m]0 10 20取向 阈值[度]14 . D2 SSTrained（ours）5K44.9663888 10019 .第二次世界大战3K44.9643888 100图5：亚琛昼夜数据集的评估[45，47]。我们报告在给定的错误阈值内注册的图像的百分比。我们的方法在严格的姿态阈值下显著提高了最先进的方法。本地化查询（%）方法0. 25米0。5 m 1。0m的直接PE- Aff. RootSIFT [4，29，31]十八岁5二十六岁四点 半4直接PE-D2 MS（我们的）27. 七点四十四点四十八。6稀疏PE- Aff. 21.第二十一章332.244 1稀疏PE-D2 MS（我们的）- 120 MB 35. 048 662.[58]第五十八章：我的世界0四十六岁。2581稀疏PE- Aff. 29 .我的超次元帝国542 654 5稀疏PE-D2MS +密集PV（我们的）38. 054 165 美国（公告牌另类歌曲榜）[58]41岁056 5699InLoc + D2 MS（ours）43. 261 一百七十四。2表2：InLoc数据集的评价[58]。我们的方法在直接PE和稀疏PE设置中都大大优于SIFT。单独使用时，它也优于密集匹配密集PE方法，同时在姿势估计过程中需要更少的内存。通过D2和InLoc的组合方法，我们在该数据集上获得了新的最新技术水平。估计（PE），匹配查询图像和通过图像检索找到的排名最高的数据库图像之间的特征[3]，并将这些匹配用于姿态估计。在第二种变体Sparse PE中，查询与前100个检索到的图像进行匹配，并使用空间验证[39]然后使用具有最大数量的验证匹配的数据库图像来估计查询相机姿态。选项卡. 2将我们的方法与[58]的基线进行了比较：原始的直接/稀疏PE管道基于具有RootSIFT描述符的仿射协变特征[4，29，31]。密集PE匹配图像之间密集提取 的 CNN 描 述 符 （ 使 用 VGG16 网 络 中 从 conv5 到conv3层的引导匹配）。 如[58]所示，我们报告了定位在不同阈值内的查询图像的百分比，仅考虑具有10mm或更小方向误差的图像我们还报告了每个图像的特征的平均内存使用情况可以看出，我们的方法优于两个基线。除了密集PE之外，[58]中提出的InLoc方法还使用密集信息（密集姿态验证（PV））来验证其估计姿态：从估计姿态渲染合成图像，然后与查询图像使用密集提取的SIFT描述符。相似性分数基于该比较来计算，并用于在密集PE之后对前10个图像进行重新排名。只有这个基线优于我们的稀疏特征方法，尽管计算成本更高。将我们的方法与Dense PV相结合也可以提高性能，但无法达到InLoc的水平。 这并不奇怪，因为InLoc能够利用密集数据。尽管如此，我们的研究结果表明，稀疏方法可以执行接近这个强大的基线。最后，通过将我们的方法和InLoc相结合，我们能够实现一种新的技术水平-我们采用了一种姿势选择算法，该算法使用每种方法的前10个图像的Dense PV最终，选择了182个密集PE姿势和174个稀疏PE（使用D2MS）姿势6. 结论我们提出了一种新的方法，局部特征提取使用描述和检测方法。检测不是在低级别图像结构上进行的，而是在获得更可靠的信息之前进行，并且与图像描述一起进行。我们已经证明，我们的方法在具有挑战性的条件下（如昼夜变化和室内场景）超越了摄像机定位的最新技术水平此外，即使我们的功能是不太好的本地化相比，经典的特征检测器，他们也适合3D重建。未来工作的一个明显方向是提高关键点检测的准确性。例如，这可以通过增加CNN特征图的空间分辨率或通过回归更准确的像素位置来完成。将类似比率测试的目标集成到我们的损失中可以帮助提高我们的方法在SfM等应用中的性能。致谢本工作部分得到了JSPS KAKENHI资助号15 H 05313，16 KK 0002，EU-H2020的LADIO 项 目 编 号 731970 ， ERC grant LEAP No. 336845 ，CIFAR机器大脑学习&计划。ERDF支持J. IMPACT项目下的Sivic（CZ.02.1.01/0.0/0.0/15 003/0000468）和T. Pajdla在工业4.0机器人项目下（CZ.02.1.01/0.0/0.0/15 003/0000470）。正确本地化查询8101引用[1] Henrik Aanæs、Anders Lindbjerg Dahl和Kim SteenstrupPedersen。有趣的兴趣点。IJCV，97（1）：18-35，2012. 6[2] Edward H.作者：Charles H.詹姆斯·安德森卑尔根，彼得·J。Burt，and Joan M.奥格登图像处理中的金字塔方法RCA工程师，29（6）：33-41，1984。4[3] Relja Arandjelovic，Petr Gronat，Akihiko Torii，TomasPa-jdla，and Josef Sivic. NetVLAD：用于弱监督位置识别的CNN架构。在Proc. CVPR，2016中。三、八[4] Relja Arandjelovic和Andrew Zisserman。每个人都应该知道的三件事来提高对象检索。 在procCVPR，2012年。六七八[5] Vassileios Balntas ， Karel Lenc ，Andrea Vedaldi， andKrys- tian Mikolajczyk.HPatches：手工制作和学习本地描述符的基准和评估在Proc. CVPR，2017中。6[6] Vassileios Balntas ， Edgar Riba ， Daniel Ponsa ， andKrystian Mikolajczyk.使用三元组和浅层卷积神经网络学习局部特征描述符。 在proc BMVC。，2016年。一、二、四[7] 赫伯特 ·贝、丁尼 ·图伊特拉 尔斯和吕克· 范古尔。SURF：加快了强大的功能。《欧洲法院民事诉讼程序》，2006年。一、二[8] 马修·布朗，华刚，西蒙·温德。局部图像描述符的区分学习。IEEE PAMI，33（1）：43-57，2011年。1[9] Michael Calonder、Vincent Lepetit、Christoph Strecha和Pascal Fua。二进制鲁棒独立基本特征。在Proc.ECCV，2010中。2[10] 克 里 斯 托 夫 ·B.Choy ， JunYoung Gwak ， SilvioSavarese ， and Manmohan Chandraker. 通 用 通 信 网 . 在NIPS，2016年。3[11] KaiCordes，BodoRosenhahn，andJoürnOstermann. 使用差分进化提高特征评估基准的准确性在IEEE Symposiumon Differential Evolution（IEEE），2011年。6[12] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. ImageNet：一个大规模的分层图像数据库。在Proc.CVPR，2009中。5[13] Daniel DeTone，Tomasz Malisiewicz，and Andrew Rabi-novich. SuperPoint：自我监督的兴趣点检测和描述。在CVPR研讨会，2018年。一二六七八[14] 董景明和Stefano Soatto。本地描述符中的域大小池：DSP-SIFT。在Proc.CVPR，2015中。1[15] 穆罕默德·E.Fathy，Quoc-Huy Tran，M.Zeeshan Zia，Paul Vernaza，and Manmohan Chandraker.2D和3D几何对应的分层度量学习和匹配。Proc. ECCV，2018。3[16] 佩 德 罗 ·F. 罗 斯 ？ 费 尔 岑 斯 瓦 尔 布 Girshick ， DavidMcAllester，and Deva Ramanan.使用区分性训练的基于部分的模型进行对象检测。IEEE PAMI，32（9）：1627-1645，2010年。4[17] 古川康孝和让·庞塞。精确、密集和强大的多视图立体视觉。IEEE PAMI，32（8）：1362-1376，2010年。2[18] 阿尔伯特·戈多，乔恩·阿尔玛