基准标记匹配的运动重构算法优于现有算法，通过限制图像匹配和改变图像添加顺序，产生完整准确的重建结果

基于基准标记匹配的运动重构算法Joseph DeGol1，Timothy Bretl1，and Derek Hoiem1， 21 伊利诺伊大学香槟分校{degol2，tbretl，dhoiem}@ illinois.edu2重建公司derek. reconstructinc.com抽象。在本文中，我们提出了一种增量结构从运动（SfM）算法，显着优于现有的算法时，基准标记存在于场景中，并匹配现有算法的性能时，没有标记。我们的算法使用标记来限制潜在的不正确的图像匹配，改变图像被添加到重建的顺序，并执行新的光束法平差约束。为了验证我们的算法，我们引入了一个新的数据集，其中包含16个具有挑战性特征的大型室内场景的图像集合（例如，空白走廊、玻璃外墙、砖墙），并在各处放置标记。我们表明，我们的算法产生完整的，准确的重建所有16个图像集，其中大部分导致其他算法失败。此外，通过选择性地掩蔽基准标记，我们表明，即使少量标记的存在也可以改善我们的算法的结果关键词：运动恢复结构，SFM，基准标记，3D重建，同时定位和映射，SLAM1介绍通常声称基准标记对3D重建有用[1标记器提供了高度可检测和可识别的特征，3D重建可以使用这些特征来克服具有挑战性的场景特性，诸如低纹理表面（例如，低纹理表面）。空白壁），反射表面（例如，窗口），和重复模式（例如，柱和门框）。图1显示了具有这些挑战性特征的数据集的示例。图1还显示了将标记视为纹理、仅将其用作附加轨迹或仅依赖于它们的方法的性能并不比忽略标记的方法更好甚至更差在本文中，我们提出了一个增量结构从运动（SfM）算法，显着优于这些其他方法时，标记存在于场景中。我们利用标记物可以以非常低的假阳性率（例如假阳性率）鉴定。AprilTag2与36h11标记的假阳性率为0.000044% [2]），以创建指导图像匹配和切除的可靠标记匹配图。我们对标记大小、形状和2J. DeGol和T.Bretl和D.HoiemFig. 1. 我们引入了一个新的数据集的无序图像集合的具有挑战性的室内场景与标记放置在整个（沿顶行的示例图像）。我们使用OpenSfM [8]处理数据，其中（a）标记被忽略，（b）标记用作纹理，以及（c）标记用作附加轨道;（4）MarkerMapper [9]，它只使用标记;以及（e）我们的方法，其使用标记来限制图像匹配、规定切除顺序并约束光束法平差。显然，我们的方法（e）优于其他方法。此外，其他方法的表现往往比忽略标记更差，这突出了我们方法的重要性光束法平差中的平面性，以进一步改善结果。重要的是，我们的方法受益于任何检测到的标志物，而不牺牲未检测到标志物时的性能，并且可以受益于甚至少量的标志物。为了评估我们的方法，我们引入了一个新的数据集与16个图像采集的室内场景。这些场景为SfM提出了挑战性的环境（例如：空白的走廊、反光的玻璃立面和重复的砖墙）。每个室内场景都有数十到数百个（取决于场景大小）大致均匀放置的标记。我们测试我们的系统和几个尖端的基准测试这些数据，并表明我们的系统表现良好。我们还选择性地屏蔽标记，并显示性能优雅地降低随着场景中标记的数量减少，朝向无标记的SfM总之，本文的贡献是：（1）SfM算法，其使用基准标记（当可用时）和兴趣点特征两者以用于改进的结果;以及（3）显示我们的方法的有效性的实验，即使当只有少量标记可见时。2相关工作Incremental SfM ： Early works by Schaffalitzky and Zisserman [10] andSnavely et al.[11]建立用于无序图像集合的特征提取、匹配和增量SfM的管道 焦点然后转向与Agarwal等人的工作大型图像集合。[12] Frahmet al.[13]他们使用基于外观的聚类来限制潜在的图像匹配;从数千张网络照片中重建罗马。Wu [14]的工作表明，抢占式特征匹配和适时的全局束调整可以保持高精度，同时将SfM的运行时间减少到大约O（n）。最近，几种新的SfMalgorithsareavailableincludigCOLMAP[15]byScho¨nberge基于基准标记匹配的3图二. 来自Neunert等人的示例图像。[16]数据集：desk（左上）、dataset1（右上）、cube（左下）和pavilion（右下）。第5节中的实验表明，我们的方法和当前的SfM方法在这些数据上表现良好，激发了我们的新数据集，它提供了新的挑战，并更好地区分了各种方法。和Frahm以及Mapillary的OpenSfM [8]这些令人印象深刻的工作为本文的工作提供使用基准标记进行3D重建：使用用于3D重建的标记的早期工作集中于在同时定位和映射（SLAM）系统中跟踪标记。Klopschitz和Schmalstieg [17]的工作跟踪视频帧中的特征点和标记匹配，以估计相机姿态并对3D中的标记位置进行三角测量。Lim和Lee [18]和Yamada等人[19]添加扩展卡尔曼滤波器（EKF），用于估计机器人相机姿态和3D中的标记位置。Neunert等人[16]将IMU测量集成到EKF-SLAM系统中，以改善标记跟踪期间的姿态估计。Feng等人[20]提出了基于标记的3D重建的增量SfM方法它们使用标记来创建初始重建，使用标记匹配添加新图像，并且向光束法平差添加约束以增强标记的数量和分布 。 Mun 〜 oz-Salin 的 w 或 k 为 etal 。 [9] 引 入 了 MarkerMapper 。MarkerMapper通过平面标记姿态估计克服了姿态模糊问题[21]，以创建3D相机和标记位置的初始建议只有MarkerMapper [9]和Feng et al.[20]从无序图像集合中进行3D重建。然而，这两种方法都不使用图像特征和标记检测来进行3D重建。第5节中的实验表明，图像特征和标记检测可以一起使用，以实现最佳的结果，并且，当很少或没有标记可用时，我们的系统的性能并不比基于非标记的SfM差。数据集：用于测试基于标记的3D重建的数据集有限。只有Neunert等人的数据集。[16]这是公开的。图2提供了来自该数据集的四个视频序列 由于只有四个序列（其中两个是只有1-3个标记的非常小的环境），该数据集对于当前的技术水平（例如，在第5节中，我们用我们的方法和其他当前的SfM方法处理该数据，并且都表现良好）。我们的新数据集（第3节）由16个新的图像集合组成，这些图像集合在具有SfM挑战性特征的环境中（例如许多低纹理的墙壁和反光玻璃）。我们希望我们的数据集将为SfM的未来工作提供新的挑战，无论是否有标记物的帮助。4J. DeGol和T.Bretl和D.Hoiem图三. 上图是ECE的平面图。用于图像收集的路径以红色、绿色和洋红色叠加。这些颜色对应于图像集名称和示例图像。例如，ECE Floor5 Stairs在ECE Floor4和5楼层平面中显示为洋红色线，并且带有示例图像的名称也为洋红色。3具有基准标记的我们介绍了16个新的无序图像集，用于评估包含基准标记的场景的运动结构每一组都来自三个建筑物之一：ECE、CEE或MUF。图3和图4提供了用于收集这些数据的这些建筑物的部分的平面图在每个楼层平面图上绘制路径，并且路径的颜色与图中的相应图像集匹配（例如，图1中的图像集）。ECE的第4层和第5层上的绿色路径与ECE第5层大厅图像集匹配）。对于每个集合，基准标记以足够的密度被放置在场景周围，以在每个图像中看到至少一个（并且图像被捕获以也满足这一点）。所有图像均使用iPhone7摄像头拍摄，分辨率为4032x3024像素。图中未示出七个图像集。这是因为它们是所示集合的组合或子集。具体地，ECE Floor5包括ECE Floor5 Hall和ECE Floor5 Stairs的所有图像。ECE Floor3 Loop包括ECE Floor3 Loop CW和ECE Floor3CCW的所有图像。CEE日包括CEE日CW和CEE日CCW的所有图像（加上一些额外的图像）。以这种方式收集数据的好处是，我们可以测试越来越大的数据集，这些数据集呈现不同的情况，可能会使图像集更容易或更困难。例如，第5节中的结果表明，ECE Floor3 LoopCW和ECE Floor3 Loop CCW通常比将它们一起放入ECE Floor3 Loop中更困难。这基于基准标记匹配的5见图4。上图是CEE和MUF的平面图。用于图像采集的路径以红色叠加显示了图像集名称和示例图像最有可能是因为图像之间的额外重叠，因为现在从更多的观看方向更经常地看到所有我们使用ECE、CEE和MUF，因为它们是大型室内场景，具有对SfM具有挑战性的特征（如第5节所示具体来说，ECE有长长的普通走廊，大玻璃墙分隔会议室，大的外窗，走廊形成一个循环。CEE有两层玻璃幕墙和重复的砖墙。MUF目前正在建设中，有很大的开放空间和有限的纹理。更多示例请参见补充材料4用标记物图5示出了我们的标记物辅助的增量SfM算法。蓝色框表示我们的算法的组件，这些组件与典型的最先进的增量SfM方法不同：检测标记、过滤图像对、切除图像和用于光束法平差的标记约束。4.1增量SfM概述增量SfM将图像集合作为输入。对于每个图像，从元数据（或在元数据不可用时使用试探法）估计焦距（和其他先验）。接下来，图像特征（例如，SIFT特征[22]）从每个图像中提取。这些图像特征跨图像对进行匹配。尝试在所有图像对的集合或基于过滤标准（例如，图像对的子集）选择的图像对的子集之间进行匹配。GPS位置[13]，词汇树[12]）。从特征匹配估计基本矩阵以过滤不良匹配并验证每个图像对是良好匹配。6J. DeGol和T.Bretl和D.Hoiem图五. 该图描述了典型的增量SfM方法：从元数据（例如，焦距）、检测特征、匹配特征和重构。蓝色框是我们在方法中添加或更改的区域。匹配后，开始重建。两个图像中的特征匹配用于创建初始3D重建（具有三角形3D点的两个图像的姿态）。然后，一次一个，将新图像添加到重建（切除）。通常基于该图像与已经重建的图像共享的特征匹配的数量来选择该图像。这些共享特征匹配用于估计该新相机的姿态并对新的3D点进行三角测量。束调整然后优化所有相机姿势和3D点位置以最小化重投影误差。最后，去除离群点。重复切除以将所有图像添加到重建。最终输出是点云和一组相机姿势，每个成功切除的图像对应一个姿势。4.2检测标记我们在每个输入图像上运行方形标记检测算法。并行处理图像。图像名称、标记id、角点位置和角点像素颜色被保存用于每次检测。4.3标记通知图像对在匹配和验证之前，我们创建一组可能匹配的图像对我们只尝试在此集合中的图像对上进行匹配。一种方法是添加所有可能的图像对;然而，这大大增加了匹配时间，并且可能导致导致重建中的错误的不良图像匹配。我们应用三个规则来使用标记检测来指示添加哪些图像。规则1：如果在两个图像中检测到相同的标记（至少一个），则添加图像对。规则2：如果一个图像不与任何其他图像共享检测到的标记，我们添加包含该图像的所有可能的对。规则3：如果所有添加的对的集合不形成一个连接的组件，则我们通过将单独组件中的每个图像的对添加到不在单独组件中的每个图像来连接单独组件。作为示例，考虑图6中的左上图。每个字母框表示一个图像，每个编号的边表示与这些图像共享的标记匹配的数量。应用规则1，我们添加以下可能的基于基准标记匹配的7图六、 左上图将图像描绘为具有表示图像对之间的匹配标记的数量的边缘的字母框。顶部中间和右上图描绘了图像之间的共同特征匹配的数量下图描绘了基于两个规则的图像A至G的切除顺序：（1）添加与重建共享最多标记匹配的图像;（2）使用最多共享特征匹配打破联系。图像对（A，B）、（A，C）、（B，C）、（B，D）、（C，E）和（F，H）。没有添加包括G的对，因此基于规则2，我们添加（G，A），（G，B），. . .，（G，H）.最后，由于（F，H）是单独的分量（规则3），我们添加（F，A），（F，B），. . .，（F，E）和（H，A），（H，B），. . .，（H，E）.结果表明，该策略可以大大加快处理速度，并消除许多不良的图像匹配。注意，其他滤波方法（例如，Vocab Tree [12]）可以与我们的方法结合使用，以添加或过滤图像对。4.4标记物知情切除切除是将新图像添加到现有重建的过程添加图像的顺序很重要，因为配准不佳的图像可能会传播导致失败的错误一种方法是选择与重建中的图像共享最多特征匹配的要切除的图像。当图像特征明显且丰富时，这种方法效果很好;然而，对于我们所针对的具有挑战性的场景，可能会发生失败相反，我们应用两个规则来使用标记检测来指示切除顺序。规则1：要切除的下一个图像与当前重建共享最多标记匹配。规则2：如果多个图像与当前重建共享相同数量的标记匹配，则选择共享最多特征匹配的图像。例如，考虑图6中的图。在左上图中，每个边缘表示那些图像共享的标记匹配的数量。在顶部中间和右上图中，每个编号的边缘表示那些图像共享的图像特征匹配的数量。下图描述了切除过程。首先，图像A和B用于初始重建（步骤1）。下一个被切除的图像是C，因为它与8J. DeGol和T.Bretl和D.HoiemJ我我我我NMVVVNMA和1与B）标记与当前重建匹配（步骤2）。之后，添加图像E，因为E和D两者共享与重建的3个标记匹配，但是E共享100个特征匹配，而D仅共享60个（步骤3）。然后添加图像D（步骤4）。没有剩余图像与当前重建共享标记匹配，因此基于共享图像特征匹配添加图像H（步骤5）。接下来添加F（步骤6），因为它现在与重建共享标记最后，添加G（步骤7）。4.5光束法平差在光束法平差中，我们求解相机姿态P和3D点X，其优化以下：min[w R E R（P，X）+w S E S（V）+w O E O（V）]。（一）P、 XV是在每个标记上的相邻3D拐角之间形成的矢量的集合（即，每个标记检测有四个矢量）。wR、wS和wO是权重。重投影误差[23]为ΣCER（P，X）=ΣN.ΣΣL xij，PiX（2）i=1j =1其中，C是相机的数量，N是3D点（标记点和特征点）的数量，L是损失函数，Xij是3D点Xj在图像i中的2D位置，并且Pi是相机i的投影函数。与[20]类似，我们还包括标记比例（ES，公式3）和标记正交性（EO，公式4）的误差项。标记比例：重建中的标记角之间的距离应当与已知的标记尺寸相匹配。我们将该误差定义为ES（V）=ΣTi=1. ¨ ¨12英寸— SΣ2. ¨ ¨+¨V23¨2— SΣ2. ¨ ¨+¨V34¨2— SΣ2. ¨ ¨+41-2— SΣ2（三）其中Vi是从角N的3D点到角N的3D点的3D矢量。标记i上的角M，T是标记的数量，并且S是标记大小。标记正交性：标记的相邻侧应该是垂直的。我们将此误差定义为EO（V）=ΣT我12i=1iΣ2。我23+23iΣ2。我34+34iΣ2。我41+41iΣ212（四）其中Vi是从角N的3D点到角N的3D点的3D矢量。标记i上的角M，并且T是标记的数量。V·V·V·V·V.基于基准标记匹配的94.6实现细节我们在OpenSfM v0.1.0 [8]之上实现我们的方法。我们使用默认的参数，这对无序的图像集合很好我们使用AprilTag2 [2]来检测标记。 对于所有实验，我们使用L的软L1损失; w R= 62500、w S= 100和w O=100的成本权重;以及标记大小S = 0。21米。原则上，我们的方法适用于任何方形标记检测器，并且可以与任何增量或全局[24，25]（切除除外）SfM方法集成。5结果我们使用以下方法处理新数据集：（1）OpenSfM [8]，一种开源的SfM算法，由Mapillary [26]积极使用和维护;（2）OpenSfM，但是标记上的所有特征点被掩蔽;（3）MarkerMap-per[9]，基于标记的SfM的现有技术算法;（4）OpenSfM，其中四个标记角用作重建中的轨迹;（5）方法。表1提供了关于定位图像数量、点数量和重投影误差的定量结果 故障重建由“-”表示。图7和图8提供了3D重建的定性结果。绿色的图3和图4中的平面图提供了每个重建应该如何看的指导方针（例如，ECE Floor3 Loop应为矩形）。由于这些数据集的挑战性，算法经常失败或有大的，明显的错误;因此，我们更关注定性结果，因为它们清楚地说明了改进。我们还处理Neunert等人。[16]数据集。由于它是视频数据，我们以因子5对帧进行子采样，以模拟无序的图像集合。所有OpenSfM方法和我们的方法成功地重建所有图像集。MarkerMapper在处理这个数据集时遇到了麻烦，因为每个图像中的标记重建和定时结果分别如表1和表2所示定性结果见补充材料。我们使用标记物知情匹配（第4.3节）和标记物知情切除（第4.4节）进行消融研究。对于每个数据集和方法，我们计算本地化图像的百分比。定位图像的平均百分比为98%（我们的完整方法）、68%（无标记物通知切除）、50%（无标记物通知匹配）和42%（标记物被掩蔽的OpenSfM-下一个最佳方法）。这些百分比表明，标记知情匹配和切除两者单独是有用的，但当一起使用时最有效。我们还在没有标记标度的情况下测试了我们的方法（ES，Eqn. 3)和正交性（Eqn.4)限制，并发现它们提供很少或没有增益，有时使结果更糟。有关的更多详细信息，请参见补充资料消融研究所有实验均使用Intel Xeon E5-2620 V4 2.1GHz 16核（32个虚拟核）处理器，具有128 GB RAM。未使用显卡。使用标记作为纹理通常会使重建变得更糟。面具-设置标记显示了在场景没有标记的情况下OpenSfM的执行10J. DeGol和T.Bretl和D.Hoiem见图7。用于OpenSfM的重建、具有标记掩蔽的OpenSfM、MarkerMap-per、具有标记轨道的OpenSfM以及我们在ECE图像集合上的方法。使用标记作为纹理通常会产生更差的结果（例如ECE Floor2 Hall、ECE Floor3 Loop CW、ECE Floor3 Loop和ECE Floor5 Stairs）。我们的方法产生完整的重建，是一样好或更好的比其他方法的所有图像集合。最佳结果由绿色复选标记表示基于基准标记匹配的11图8. 重建OpenSfM，OpenSfM与标记掩蔽，MarkerMapper，OpenSfM与标记轨道，以及我们的方法对CEE和MUF图像集合。再次，使用标记作为纹理通常产生更差的结果（例如，白天，白天，晚上。我们的方法产生完整的重建，是一样好或更好的比其他方法的所有图像集合。最佳结果由绿色复选标记表示。12J. DeGol和T.Bretl和D.Hoiem图像数量注册数量点数Avg.重复误差[px][8][8][9][10][八]《中国日报》[8]*[9] MT我们[8][8]*[9]第一章MT我们的ECE F2展厅74-70--71-15.9K--16.4K- 第3.1节--2.8ECE F3回路CCW192- -190-191- -808-61K- -200.8-2.8ECE F3回路CW170- -166-170- -736-58K- -358.1-2.7ECE F3回路362- -356-360- -920-105K- -324.0-2.8ECE F5馆239230 230 213 22323150K45K73647K63K2.8 2.7 141.0 2.72.7ECE F5楼梯8952 51-458920K20K-14K43K1.9 1.7-1.91.8ECE F5328313 315--32779K73K--109K2.3 2.3--2.3ECE F4墙3921 1839183913K9K2049K28K1.1 1.125.81.21.2CEE Day CW6355 52-526224K20K-28K30K1.6 1.6-1.61.6中欧和东欧日12065 116-11611930K52K-56K64K1.6 1.5-1.61.5CEE日252- 251 238 103246-89K768398104K- 1.7 204.8 0.21.8CEE Night CW9696 9696-9648K44K548-51K1.7 1.6 164.0-1.7中欧和东欧之夜CCW79- -79-77--580-40K- -116.6-1.5CEE之夜170- 166 170-170-61K760-77K- 1.6 181.4-1.6MUF F2896883 514-885882224K个133K-151K 251K2.5 2.5-2.12.9MUF F3361三四三-32435884K--55K89K2.8- -一种-2.42.8cube [16]327327 327-32732799K101K-100K99K0.8 0.8-0.80.8数据集1 [16]9191 913919131K30K831K33K0.9 0.90.60.90.8展馆[16]585585 585-585583十七万八千168K个-186千 十七万八千0.8 0.7-0.70.7表[16]8080 493880807K5K127K6K0.9 1.00.30.91.0表1.OpenSfM [8]、标记物被掩蔽的OpenSfM的重建结果（de-2010）。由[8]* 表示）、MarkerMapper [9]、具有标记轨迹的OpenSfM（由MT表示）以及我们的方法。故障重建（图7和图8）是空白的，因为数字可能会产生误导（例如所有摄像机定位到一个点）。我们的方法实现了类似或更好的结果，为所有重建的注册图像和点的数量比较图 7和图8中的列1（OpenSfM）和列 2（具有 掩蔽例如，ECEFloor2 Hall应该具有“L”形状，具有掩蔽标记的OpenSfM实现了该形状，但OpenSfM没有。掩蔽标记明显更好的其他示例是ECE Floor3 Loop CW、ECE Floor5 Stairs、CEE Day CCW、CEE Day和CEE Night。标记纹理并不总是产生不良结果（例如 MUF Floor3），但是标记纹理可能导致不良特征匹配，因为标记之间的外观相似（即，MUFFloor3）。黑色和白色方块）。这加强了对我们的方法的需要，该方法利用可见标记来改善结果。使用标记检测作为轨迹几乎没有效果。将图3和图4的列4（具有标记物轨迹的OpenSfM）与列1和列2（具有和不具有被掩蔽的标记物的OpenSfM）进行比较，示出了标记物轨迹很少改善重建，并且有时使它们更差（例如，标记物轨迹使重建更差）。ECE Floor5 和CEENight）。 我们怀疑这是因为标记角的定位可能不太准确（例如，3-5个像素[3]）。我们的方法在别人失败的地方取得了成功。 从图7和图8中，我们看到我们的方法为每个图像集产生了成功的重建。我们还看到，我们的方法比其他方法产生更好的结果。具有挑战性的设置。最值得注意的是ECE Floor3 Loop CW，ECE Floor3 Loop和CEE Day CCW，因为所有其他方法都失败或有重大错误。基于基准标记匹配的13#图像标记检测[s]匹配[s]重建[s][8][8]* MT我们[八]《中国日报》[8]*MT我们的[八]《中国日报》[8]*[9]第一章Mt我们ECE F274014141421518622373331222-363277ECE F3回路CCW1920323232135611601398293343327668522823097ECE F3回路CW170030303010718881152273279720848324302367ECE F3回路36205959594568382046758769944508219592399704ECE F5馆2390404040195516501974296281023638027743061ECE F5楼梯89016161630725831755425278-347658ECE F5328057575737873195394537263415083-72685513ECE F4墙3909996146478133462263263CEE Day CW63011111116012617149336216-489382中欧和东欧日120021212153543757013910111377-23051809CEE日25204141412373191925674407137525214841024987CEE Night CW9601616163582783809910837932511361010中欧和东欧之夜CCW790141414247193706942541832917654CEE之夜170030303010938731154216323222519332872984MUF F28960158 15815831180 25613 35844 559672055 40958-66095 60542MUF F3361064646450944302520575889776903-50179090cube [16]327066634732724277642340665232-42444134数据集1 [16]9101113513053042078475931619595展馆[16]5850777910392399219210022908 15931-21903 22594表[16]800111646063651131882205191表2. 用于OpenSfM [8]、具有标记掩蔽的OpenSfM（由[8]* 表示）、MarkerMapper[9]、具有标记轨迹的OpenSfM（由MT表示）以及我们的方法的重建定时。使用标记来限制可能的图像对显著减少了此外，因为切除更多图像，所以重建时间增加。总的来说，我们的方法在更短的时间内产生更好的重建对于ECE Floor5楼梯、ECE Floor5和CEE Day CW，其他方法产生合理的结果，但我们的方法更完整。我们的方法在别人成功的地方成功。 有几个图像集，其中所有（或大多数）的方法产生成功的重建（例如，ECE Floor5 大厅和CEENight CW）。在这些情况下，我们的方法也产生了很好的重建。这是很重要的，因为我们的算法改进了具有挑战性的图像集，而不会牺牲更容易的图像集的准确性。使用标记可缩短重建时间。表2提供了所有图像集的标记检测、匹配和重建SfM的其他部分的时间不包括在内，因为它们在方法之间不改变此外，只报告MarkerMapper的总运行时间，因为它不遵循与其他程序相同的管道。要注意的一个主要事项是，使用标记来限制图像匹配的对可以显著减少运行时间（例如，对于MUFFloor2，我们的方法花费5596秒，而其他OpenSfM方法花费5-6倍长）。增加时间以检测每个图像中的标记，但是与匹配中节省的时间相比，时间通常是可忽略的另一个有趣的点是重建时间经常增加。这是因为更多的图像能够与我们的方法注册很少的标记检测仍然改善重建。图9显示了标记物密度如何影响重建。特别是左边的六个14J. DeGol和T.Bretl和D.Hoiem见图9。左侧六幅图像显示了ECE Floor3 Loop CCW的重建如何随着标记密度的增加而改善。这里AMD意指每个图像的平均标记检测。右图显示了随着AMD增加而定位的图像百分比每种颜色代表一个不同的数据集。趋势线显示为黑色。随着AMD的增加，局部图像的百分比增加到100%。图像显示了ECEFloor3Loop CCW的重建如何随着标记密度的增加而改善这里AMD代表每个图像的平均标记检测（例如，AMD = 0.0意味着没有检测到标志物，并且AMD = 6.0意味着每个图像平均检测到6个标志物）。图9中的图显示了对于七个数据集，随着AMD的增加，本地化图像的百分比如何增加。之所以选择这些数据集，是因为我们的方法比其他方法有了明显的改进。趋势线以黑色绘制。我们从该图中看到，即使当AMD小于1时，标记也有帮助（有时甚至100%的图像被定位）。随着AMD的增加，本地化图像的数量增加到100%。放置AMD为6的足够标记将可能产生准确、完整的重建，其中90%以上的图像被定位。然而，标记物在SfM具有挑战性条件的区域中最有用，因此在这些具有挑战性的区域中放置更多的标记物并且在更容易的区域中放置更少（或零）的标记物可以帮助我们的方法实现准确的、完整的重建，并且总的标记物检测大大减少。6结论我们提出了一种增量SfM方法，显着优于现有的方法时，在场景中检测到基准标记。我们引入了一个新的数据集，其中包含16个室内场景的图像集合，其中整个场景都放置了方形标记。我们使用唯一的标记ID，以改善图像匹配和resc- tioning顺序，并表明这些改进大大提高了重建结果相比，其他方法。最后，我们表明，即使是少量的可见标记往往可以提高重建结果。谢谢。这项工作得到了NSF Grant CMMI-1446765和DoD国防科学与工程研究生奖学金（NDSEG）的支持。也感谢Reconstruct提供的计算资源，使这项研究成为可能，感谢Daniel Yuan、Jae Yong Lee和Shreya Jagarlamudi在数据收集方面提供的帮助基于基准标记匹配的15引用1. Birdal，T.，多布里登岛Ilic，S.：X-tag：用于灵活准确光束法平差的基准标签。2016第四届3D视觉国际会议（3DV）(Oct 2016年）5562. 王杰，Olson，E.：AprilTag 2：高效和鲁棒的基准点检测。在：IEEE/RSJ智能机器人和系统国际会议（IROS）的进展。（2016年10月）3. DeGol，J.，Bretl，T.，Hoiem，D.：Chromatag：彩色标记和快速检测算法。In：ICCV. （2017年）4. Garrido-Jurado，S.， nozSalinas，R. M.， 我的天-Cuevas，F.， 马林-我是M. ：自动生成和检测遮挡情况下的高度可靠的基准标记。模式识别47（6）（2014）22805. Fiala，M.：设计高度可靠的基准标记。IEEE Transactions on Pattern分析与机器智能32（7）（2010年7月）1317-13246. Bergamasco，F.，Albarelli，A.科斯莫湖Rodola，E.，Torsello，A.：准确 和基于循环码的鲁棒人工标记。IEEE Transactions on Pattern Analysis and MachineIntelligencePP（99）（2016）17. 卡尔维特湖 Gurdjos，P.， 格里沃兹角 Gasparini，S.：检测和精确定位-在极具挑战性的条件下校准圆形基准点。IEEE计算机视觉与模式识别会议（CVPR）（2016年6月）8. ：Opensfm. https://github.com/mapillary/opensfm9. Muoz-Salinas，R. Marn-Jimenez，M.J.，Yeguas-Bolivar，E.，Medina-Carnier，R.：平面标记的定位模式识别（2018）10. Schaffalitzky，F.，齐瑟曼，A.：无序图像集的多视图匹配，或者“我如何组织我的假日快照？“.欧洲计算机视觉会议（ECCV）（2002年）11. Snavely，N. Seitz，S.M.，Szeliski，R.： 摄影旅游：探索照片集在3D中。In：In Proc.ACM SIGGRAPH.（2006年）12. Agarwal，S.，Snavely，N.西蒙岛Seitz，S.M.，Szeliski，R.： 年建造罗马一天EEE第12届计算机视觉国际会议(Sept 2009年）. 72-7913. michael Frahm，J.，Fite-georgel，P.，Gallup，D.，Johnson，T.，Raguram河吴先生，C.的方法，洪仁，Dunn，E.，Lazebnik，S.，Pollefeys，M.在无云的一天建造罗马。（二零一零年）14. Wu，C.：从运动到线性时间增量结构。在：2013年3D视觉国际会议-3DV 2013。（二零一三年）15. Scho¨nberge r，J. L.， Frahm，J. M. ：从-mottionrevited. 在：IEEE计算机视觉和模式识别（CVPR）会议上（2016年）16. Neunert，M.，Bloesch，M.，Buchli，J.：一个开源的，基于基准的，视觉惯性运动捕捉系统。2016第19届信息融合国际会议（FUSION）（2016年）17. Klopschitz，M.，Schmalstieg，D.：广域基准标记模型的自动重建。2007年第六届IEEE和ACM混合和增强现实国际研讨会。（2007年）18. Lim，H.，Lee，Y.S.：使用基准标记的实时单相机猛击。In：2009 ICCAS-SICE.（二零零九年）19. Yamada，T.，Yairi，T.，Bener，S.H.，Machida，K.：以视觉标示器作室内软式飞艇之撞击研究。载于：国际化学品分析中心-统计信息中心，2009年。（2009年8月）64716J. DeGol和T.Bretl和D.Hoiem20. Feng，C.，中国农业科学院，Kamat，V.，C. Menassa，C.： 标记辅助结构从运动中 3D环境建模和对象姿态估计。在：建筑研究大会。（2016年）21. Schweighs，G.，Pinz，A.：基于平面目标的鲁棒姿态估计。IEEE Transactions onPattern Analysis and Machine Intelligence（2006）22. Lowe，D.G.：从尺度不变的关键点中提取独特的图像特征。国际计算机视觉杂志（2004）23. 哈特利，RI，齐瑟曼，A.：计算机视觉中的多视图几何。第二个edn。剑桥大学出版社，ISBN：0521540518（2004）24. Moulon，P. Monasse，P.马莱河其他：Openmvg。一个开放的多视图几何图形库。https://github.com/openMVG/openMVG25. Moulon，P. Monasse，P. Marlet，R.： 相对运动的全局融合胸围，准确和可扩展的结构从运动。2013年IEEE计算机视觉国际会议。（二零一三年）26. ：Mapillary。电子邮件www.mapillary.com/