NeFSAC：神经过滤的最小样本的运动不一致和条件差识别

+v：mala2255获取更多论文NeFSAC：神经过滤的最小样本Luca Cavalli1，Marc Pollefeys1， 2和Daniel Barath11瑞士苏黎世联邦理工学院计算机科学系2微软混合现实和人工智能苏黎世实验室luca. inf.ethz.ch抽象的。自RANSAC以来，大量的研究致力于提高其准确性和运行时间。然而，只有少数方法旨在早期识别无效的最小样本，在通常昂贵的模型估计和质量计算完成之前。为此，我们提出了NeFSAC，一种有效的算法，用于运动不一致和条件差的最小样本的神经过滤。我们训练NeFSAC来预测最小样本导致准确相对姿态的概率，仅基于图像对应的像素坐标。我们的神经过滤模型学习典型的运动模式导致不稳定姿态的样本，以及在可能的运动中进行调整，以有利于条件良好和可能正确的样本。新的轻量级架构实现了姿态估计的最小样本的主要不变量，以及一种新的训练方案解决了极端类不平衡的问题。NeFSAC可以插入任何现有的基于RANSAC的管道。我们将其集成到USAC中，并表明即使在极端的火车测试域差距下，它也能始终如一地提供强大的速度提升我们在来自三个公开的真实世界数据集的超过10万个图像对上测试了NeFSAC，发现它导致了一个数量级的速度提升，而十个发现比USAC更准确的结果。源代码可在https://github.com/cavalli1234/NeFSAC上获得。关键词：RANSAC，极线几何估计，最小样本，机器学习，运动先验，自动驾驶1介绍鲁棒模型估计是计算机视觉中的一个重要问题。RANSAC[18]自计算机视觉早期以来一直是一种非常成功和广泛应用的鲁棒模型估计方法，并且已经投入了大量的研究工作来改进它。虽然最初的努力[12，13，15，16，18，26]和一些最近的工作[2，5，10，31]旨在提高其准确性，运行时间和鲁棒性，通过手工设计的技术来应对众所周知的挑战，但最近我们看到在使用基于学习的技术[8，28，32，33，43]来增强RANSAC用于鲁棒模型估计方面取得了实质性进展，arXiv：2207.07872v1 [cs.CV] 2022年7+v：mala2255获取更多论文NeFSAC：0.1Es：43.4pix Ep：NeFSAC：0.6Es：0.3pix Ep：NeFSAC：0.8Es：0.9pix Ep：2L. Cavalli，M. Pollefeys，D. 巴拉斯(a) 具有离群值(b) 条件差(c) 调理好图1：最小样本过滤。 我们展示了用于基本矩阵估计的三个示例最小样本，其中Sampson误差Es以像素为单位（相对于地面真实基本矩阵的对应关系的最大Sampson误差），姿势误差（旋转和平移误差的最大值）Ep以度为单位，以及我们的模型的预测质量得分。（a）：由于离群值而编码不太可能的深度和运动的最小样本，仅使用像素（c）具有宽间隔对应的最小样本。它导致准确的姿态估计，并强烈推荐由NeFSAC。直接从数据中导出隐式模型。因为最大的挑战之一在RANSAC中，处理大的离群值比率，大多数现有的基于学习的工作被框定为离群值拒绝问题。这个任务自然好对于学习，由于在真实场景中正确的对应关系是强相关的，因此对应关系的全局集合可以用于预测哪个子集可能是正确的。然而，我们认为，而不是识别个别的异常值。 RANSAC中的另一个重要挑战是退化和病态的最小样本，例如如图1B所示。这些配置经常发生在真实场景中，例如，如果当观察接近平面的场景或小的纹理区域时，导致局部组的内部对应关系。这在RANSAC中是有问题的，因为这意味着通常昂贵的模型估计和质量计算是在许多样本上不必要地完成的，这固有地导致不准确的模型。此外，这样的模型往往有很多内点[16，23]，从而误导了质量计算。理想地，完美的最小样本滤波器将能够识别并避免这样的样本，以直接检查如图1c中的良好条件的样本。+v：mala2255获取更多论文NeFSAC：神经过滤的最小样本3除了具有固有的无效样本之外，现实生活中的图像往往遵循某些运动模式，这些运动模式也可以被学习并用于通过早期拒绝不正确的最小样本来进一步加速鲁棒估计。例如，在自动驾驶场景中，当相机安装到移动车辆时，它遵循显著限制有效最小样本配置的空间的独特运动模式。即使没有这样强的假设，例如，当重建互联网图像时，人们倾向于拍摄与重力方向近似对准的照片[17]，这再次对有效样本的空间给出了可能的约束。在最小样本上学习运动之前，RANSAC可以提前找到可能导致所寻找模型的运动，从而在不太可能或不可能的运动上花费更少的迭代。为此，我们提出了NeFSAC，它学会过滤RANSAC中无效和运动不一致的最小样本。NeFSAC可以直接集成在任何RANSAC变体中，例如在USAC[31]中，并且在提高估计精度的同时提供重要的加速。我们训练了一个非常轻量级的神经网络，在模型估计之前对最小样本进行评分，从而能够以微不足道的计算时间筛选出数千个最小样本。在最坏的情况下，当域间隙太大时，NeFSAC降级回随机滤波，这对RANSAC运行时间和精度都没有影响。尽管如此，新的域仅需要收集具有从任何现有姿态估计方法获得的准地面真实姿态的新图像对。我们整合我们的方法进入USAC，并测量了一个数量级的运行时间减少与估计精度的显着改善。总之，我们的贡献如下：（i）我们提出了NeFSAC，一种新的框架，通过学习有效地区分良好的最小样本来增强RANSAC我们的方法可以无缝集成到任何现有的基于RANSAC的管道中。(ii)我们提出了一种新的神经结构的任务，和一种新的训练方案，有效地学习样本的质量。（iii）我们表明，NeFSAC在RANSAC中提供了令人印象深刻的加速，即使不需要强运动约束，同时提高了准确性。在最坏的情况下，它退化到基线RANSAC，运行时开销可以忽略不计，准确性没有下降。2相关作品自RANSAC[18]以来，研究界的巨大努力集中在改进其组件上。许多工作旨在通过对内点和离群点分布进行建模并使用似然分数代替原始内 点 计 数 分 数 来改进模型评分技术[27 ， 36 ， 38 ， 39] 。 类似地，MAGSAC++[3，4，5]提出在可能的阈值范围内边缘化内点计数分数，降低分数对特定噪声尺度选择的敏感性。 LO-RANSAC [15]建议在搜索过程中对有希望的模型进行局部优化，随后对成本函数和内点选择[24]进行改进，并对离群点进行图切割掩蔽[2]。+v：mala2255获取更多论文4升。Cavalli，M. Pollefeys，D. 巴拉斯其中许多改进在USAC[31]和VSAC[23]中结合起来，以实现最先进的性能。与我们的工作更接近的是，另一项研究提出了对抽样方案的改进，以增加早期检测到全内围样本的可能性最广泛使用的方法是PROSAC[13] 算 法 ， 其 中 采 样 由 先 前 建 立 的 似 然 性 （ 例 如 ， ratio-test）。DSAC[9]首先通过RANSAC组件实现学习，然后是神经引导的RANSAC[8]和Deep MAGSAC++[37]，它们学习内点采样似然。其他作品使用空间技术通过优先选择相邻的对应关系[40]或通过分组相似的对应关系[29]来关联各个对应关系的内点似然。 这种方法与早期终止技术[12，26]相结合，可以显著改善鲁棒性和运行时间。然而，这些工作都不能识别不可能的运动或深度配置在最小样本，也不能检测最小样本的简并。此外，我们认为我们的工作是正交的，因为它可以使用在任何这些方法的顶部。手征测试[41]被广泛用于丢弃一些不可能的深度配置。该测试丢弃对于某些三角测量点意味着负深度的最小样本。不幸的是，虽然可以直接在单应性的最小样本上执行手征测试，但在本质矩阵或基本矩阵估计的情况下，它需要昂贵的对极几何估计。即使是全内点最小样本也可能处于退化配置中，并导致不稳定的相对姿态，例如，当观察接近平面的场景时。DEGENSAC [16]已经认识到并解决了这个问题，该DEGENSAC [16]在通过平面和视差算法[22]估计相关对极几何之后检查点样本的简并性和平面配置。此外，QDEGSAC[19]识别RANSAC中的准退化解，并在离群值集中搜索缺失的约束。从这些工作中，我们的目标是在昂贵的对极几何估计之前检测这种情况，为整个过程提供一致的速度。孤立点过滤技术的目的是过滤假定对应集以在稳健模型估计之前增加内点率。这些技术在对应关系中寻找空间模式并执行显式空间验证[6，10]或学习空间验证模型[28，43]，可选地以描述符信息为条件以执行完全匹配[33]。由于我们的方法不对个体对应性进行评分，而是联合最小样本，因此我们认为我们的贡献与离群值过滤技术正交尽管大量的研究致力于提高鲁棒模型估计与RANSAC，最小样本的早期选择仍然是探索不足。特别地，据我们所知，没有现有的工作提供了一个独特的解决方案来嵌入一般的运动和深度先验，以加速RANSAC。前向技术需要昂贵的对极几何估计来处理退化。在本文中，我们证明了一个轻量级的神经网络可以学习+v：mala2255获取更多论文L›→minΣF›→NeFSAC：神经过滤的最小样本5这样的滤波器足够好地提供运行时间的重要节省和准确性方面的改进。3最小样本在鲁棒模型估计中，一组数据点D={x∈Rc}，任选地被离群值污染，用于拟合模型M∈Rq，该模型使安装成本C=x∈DL（E（M，x））其中E：Rq×Rc<$→R是一个函数，计算数据点x相对于模型M的拟合误差，并且：是一个鲁棒的损失函数，对于大误差通常具有小的或零的梯度，以最小化离群数据点的影响。鲁棒估计问题的大多数真实实例是高度非线性的，因此RANSAC[18]提出的方法是离散地探索模型假设通过连续采样最小数据点集Di使得它们由能够精确拟合有限模型集的最小数量m个数据点x组成。然后，一旦根据某个终止标准找到满意的模型，搜索就停止，并且最终模型通常被局部优化以考虑其所有的内围数据点。使用最小集合的原因源于RANSAC终止准则，其中所需的迭代次数以指数方式取决于样本大小，以提供找到所寻求模型的概率保证。在这项工作中，我们的目标是通过学习在用于模型估计或与其余数据点进行比较之前对最小样本进行预过滤来大幅降低这种过程的计算费用请注意，这与以前的离群值拒绝工作有本质上的不同，相反，过滤掉单个数据点，目的是增加内点比率。虽然我们的公式可以在一般情况下应用，但在下文中，我们将专注于基本矩阵估计和基本矩阵估计的问题，其中数据点是图像对应（c= 4），并且最小样本分别由m= 5和m= 7对应构成。在本节中，我们为学习最小样本过滤任务所带来的几个挑战提出了解决方案：如何设计一个轻量级的神经架构，尊重最小样本的所有不变量;如何在极端类别不平衡的情况下监督它;以及如何在RANSAC中有效地应用它，并保证在最坏的情况下，我们的方法不会导致任何精度下降。3.1最小样本滤波网络我们的目标是学习一个函数：Rc×m[0， 1]来对最小样本进行评分，其中c是数据点的维度，m是拟合有限模型集所需的最小数据点数量。特别是我们感兴趣的基本矩阵估计（c= 4，m = 5）和基本矩阵估计（c= 4，m = 7）。请注意，我们忽略了关于两个图像之间的对应关系的全局配置的信息：这种简化导致了更快的+v：mala2255获取更多论文F6升。Cavalli，M. Pollefeys，D. 巴拉斯图2：NeFSAC我们预测的概率最小的样本导致一个良好的姿势只采取其坐标作为输入。我们实现了最小样本的主要不变量与共享的MLP和通道明智的最大池聚合。最后一个MLP输出在训练期间使用的n个部分分数，其功率加权乘积是RANSAC中使用的最终分数。圆形节点表示具有其相应标签的二进制交叉熵损失项。我们不会在虚线箭头上传播梯度。和更小的模型，具有非常小的过拟合能力。特别是，由于我们的主要目标是减少RANSAC中的计算负载，因此我们的函数模型需要非常轻量级。此外，我们的投入是结构化的，并且该模型需要遵守两个主要的不变量：它应该对于对应的排序是不变的，并且它应该对于两个图像的交换是不变的。我们从PointNet[30]中获得灵感，并将我们的主要骨干编码器与共享的MLP一起构建，这些MLP将每个对应关系独立地嵌入到相同的特征空间，然后将它们与通道最大池化相关，从而保持排列不变性。由于我们的第二个不变量只覆盖两种组合，我们使用两种替代方案运行我们的骨干编码器，然后在通过最终的MLP分类器之前最大化其特征。我们保持网络的浅和薄，以保持其运行时间相对于随后的RANSAC循环可以忽略不计。我们的网络架构的总体方案如图2所示。请注意，我们的最终MLP不会输出单个分数，而是输出几个部分分数，其幂加权乘积是最终预测分数。这是为了将随机最小样本遇到的极端类别不平衡与我们在3.2节中详细介绍的新技术进行对比。3.2数据预处理与网络监控我们希望监督我们的网络为每个最小样本预测一个分数，这样最小样本就能得到更高的分数，这更有可能导致一个好的模型估计。给定具有图像对应的数据集和地面真实姿态，琐碎的方法将是解决姿态对每个最小样本，根据旋转和平移角度误差之间的最大值将其标记为正类或负类，并训练分类器+v：mala2255获取更多论文NeFSAC：神经过滤的最小样本7二进制交叉熵虽然非常简单，但我们发现，在实践中，这种方法受到极端的阶级不平衡的影响。首先，这是由于这样一个事实，即对于r的内点比，由m个数据点组成的最小样本具有指数较低的rm 的内点比。其次，并非每个全内点极小样本都能产生准确甚至有意义的模型，如图1b所示。根据定义阳性样本所需的准确性，这个问题可能导致实际数据集中数百个数量级的不平衡率，使得传统的不平衡分类技术不足。我们的观察与实践中需要多少RANSAC迭代以确保相对姿态的有意义估计的常见直觉很好地我们通过提出将我们的网络的预测分为多个分支来解决这个挑战：一个分支B1预测最小样本是否由所有内点组成（标记在其相对于地面真实模型的对应关系的最大Sampson误差上），第二个分支B2预测最小样本是否导致姿势的良好估计，假设它仅由内点组成。在这种设置中，第一分支学习对不可能或不太可能的运动的最小样本进行评分，而不会遭受来自病态样本的额外不平衡和复杂性第二个分支，只在全内围样本上训练，学习降低导致噪声模型的病态配置我们强调第二个分支的重要性，因为这种配置不仅在实际场景中很常见，而且甚至对RANSAC有害，因为它们可以在图像上收集大量共识[16，23]并导致错误的提前终止。出于这个原因，我们的方法不仅可以提高运行时间，而且还可以提高它所使用的RANSAC流水线的准确性和鲁棒性。在某些情况下，可能的真实运动可以部分地受到专家知识的约束，这可能对我们的网络有用例如，在自动驾驶环境中，我们通常可以假设旋转和平移都我们建议通过使用额外的分支B3Bn，将专家知识集成到最小样本过滤器中，其中每个分支的任务是预测小型故障样本到由专家定义的分析模型这种额外的监督使特征提取网络偏向于寻找也可以用于专家指导的区分性特征，从而帮助每个分支进行泛 化 。 我 们 在 补 充 材 料 中 详 细 介 绍 了 用 于 自 动 驾 驶 应 用 和PhotoTourism的专家模型。最后，由于好的样本由所有内点组成，导致好的最终姿势并且符合专家模型，因此我们将最终得分预测为所有部分得分的乘积。由于每个项的不同预测能力不是先验已知的，因此我们对分支B1的乘积进行加权。. . Bn，权重为w1。. . wn在指数处（即，我们在对数空间中进行线性组合）并监督它来预测样本，这些样本都是内点并导致精确的模型。此外，我们不将梯度传播到分支分数B1Bn+v：mala2255获取更多论文我X≪8升。Cavalli，M. Pollefeys，D. 巴拉斯因此，为了避免来自幂项的不稳定梯度，独立于总得分来学习分支项。总的来说，我们的损失函数是：X（Bi，li）+X. YBwi，l1l2（1）我我其中，Bi是具有各自分配的标签1i和学习的分支权重wi的输出分支，并且是类别加权的交叉熵损失。注意，在等式3.2中，索引i= 1指的是对桑普森误差的监督，并且索引i= 2指的是对姿态误差的监督，其仅在最小样本无异常值时应用于分支B2分配标签li的计算详见补充资料。我们没有尝试为每个分支的损失调整不同的权重。3.3RANSAC中最小样本的滤波由于我们的模型学习通过概率对最小样本进行评分，将导致成功的姿态估计，在RANSAC中，我们感兴趣的是首先探索高分最小样本，并且具有终止标准以在找到准确模型时停止迭代。我们迭代地获取N个最小样本，根据网络预测的分数对它们进行排序，并且仅在RANSAC中处理前k N个，之后仅在必要时获取新的一批N个最小样本-如由RANSAC终止标准控制的。该过程保证即使在最坏的情况下，当实际运动与学习的运动不一致并且模型退化回一个随机滤波器，RANSAC仍然最终找到所寻求的模型。我们通过实验发现，好的值是N= 10000和k= 500，导致积极的过滤，但低得多的值（N= 128，k= 12）也适用于计算受限的应用程序。处理一个完整的批次需要1。RTX2080 GPU上为5ms， i7 7700K CPU上为20ms。为了简单起见，我们没有试验适应性策略。所提出的过滤可以直接结合国家的最先进的先发制人的模型验证策略和采样器。我们使用USAC[31]中提出的方法，即，序贯概率比检验[14]、PROSAC采样[13]以及LO-RANSAC[15]，以找到准确的结果。4个实验在本节中，我们提供了NeFSAC的实验见解及其在集成到最先进的RANSAC中时的影响。 我们首先研究了它在随机最小样本池上的过滤质量，并表明它可以将其平均精度（如第4.1节所定义）在照片收集场景中提高两倍以上（PhotoTourism [35]），在强烈运动约束场景中提高一个数量级以上（KITTI [20]）。此外，过滤质量可以很好地推广到不同的领域。第二，我们验证+v：mala2255获取更多论文联系我们NeFSAC：神经过滤的最小样本94845423936333027242118151296301.000 0.333 0.100 0.033 0.0100.004保留样品的比例（对数标尺）(a) 关于PhotoTourism15141312111098765432101.000 0.333 0.100 0.033 0.010 0.004保留样品的比例（对数标尺）(b) KITTI上的精密度图3：神经过滤的精度。 从用于E估计的最小样本池中，我们根据我们的模型保留得分最高的最小样本，并测量保留集的精度，即旋转和角度平移误差小于10 μ s的样本率，以及Sampson误差小于2个像素。图像间结果的分布用实线表示平均值，用垂直线表示中间两个四分位数。我们的方法在自动驾驶场景中将最小样本池的精度提高了一个数量级以上，在PhotoTourism上提高了两倍以上NeFSAC在USAC中集成时的性能[31]，并在实践中观察到一个数量级的加速，以及估计精度的显著提高。4.1过滤精度和消融研究在本节中，我们比较了我们的过滤网络的几种变体在最小样本上诱导的排序质量在实践中，对于每个测试基线和每个测试图像，我们取N=216个随机最小样本的池，并根据预测的模型得分对它们进行排序，以首先获得最佳样本然后，我们选择前k个最小样本用于滤波速率r1， 2， 4， 8， 16， 32， 64， 128， 256，其中k=N/r，并测量其精度，定义为导致具有小于10μ s的旋转和角度平移误差以及小于2像素的Sampson误差的模型的样本的速率 我们在运动约束的自动驾驶数据集和弱约束的图像收集数据集上进行测试。 我们使用KITTI [20]用于运动约束场景，并使用序列0到4进行训练，序列5用于验证和早期停止，序列6到10用于测试。我们使用1到7之间的随机帧差进行训练和验证，并使用1到5之间的随机帧差进行测试在KITTI中，我们主要看到有限速度的向前和转向运动，因此可以学习强运动先验。对于弱约束场景，我们使用来自2020年CVPR RANSAC[1]的PhotoTourism[35]数据，并建议进行训练-验证-测试分割。该数据集不包括图像序列，而是由著名地标的众包图像集合组成，因此该数据可以展示的运动先验非常有限。无 分 支 域 移位w/o 专家分支，带专 家 分 支 随 机 过滤器样品精密度[%]样品精密度[%]+v：mala2255获取更多论文10升。Cavalli，M. Pollefeys，D. 巴拉斯1098765432101.000 0.333 0.100 0.033 0.010 0.004(a) 关于PhotoTourism图4：专家分支的影响。与图3b中相同的评估，在KITTI上执行，并且仅使用来自序列0和帧差4的250个图像对进行训练。专家分支显著地帮助在数据稀缺条件下保持过滤准确性为了清晰起见，我们只显示平均值然而，仍然存在源自例如，这是因为人们通常将他们的照片与重力方向对齐，并且沿着垂直轴的平移范围是有限的。我们比较以下替代方案：（i）w/o专家分支：NeFSAC仅使用具有Sampson误差和姿势误差的分支 B1和 B2进行训练，如第3.2节所述。（ii）专家分支：除了B1和B2之外，NeFSAC还接受了另一个分支B3的培训，并接受了补充材料中规定的专家监督。（iii）无分支：直接训练NeFSAC以推断指示低Sampson误差和低姿态误差的完整标记1112。请注意，这是我们用于测试的相同度量，因此此基线在测试过程中具有内在优势尽管如此，我们表明，分支导致卓越的性能。（iv）域转移：NeFSAC已经在与测试中的数据集显著不同的数据集上进行了训练。我们使用在KITTI上训练的模型进行PhotoTourism测试，并使用在PhotoTourism上训练的模型我们不使用专家分支作为此基线。在图3a中，我们显示了来自PhotoTourism验证集的4000个图像对的结果。我们的神经过滤模型，没有任何专家分支提高精度（如上所述）的2.5倍，平均在峰值过滤率COM-与原来的最小样本池。在这种情况下，不准确和难以表述的专业知识会产生轻微的不利影响。没有任何分支的基线，即使它是唯一一个经过端到端训练以优化测试度量的基线即使存在极端的域间隙，在KITTI上训练的模型仍然能够提高原始样本池的质量，这表明NeFSAC对分布变化非常鲁棒。我们将这种鲁棒性归因于神经过滤在推理时的有限信息，因为我们的模型从未观察到对应关系的全局配置。在图3b中，我们显示了来自KITTI序列6到10的4000个图像对的结果。此数据集上的强运动统计数据允许NeFSAC改进最小样本池的精度提高了一个数量级以上w/ expert和完整数据w/expert无专家样品精密度[%]+v：mala2255获取更多论文NeFSAC：神经过滤的最小样本11旋转误差CDF1转换错误CDF1处理时间CDF10.80.60.40.80.60.40.80.60.40.20.20 5 10 1520角度误差（度）0.20 5 10 1520角度误差（度）00 0.1 0.2 0.3 0.4运行时间（秒）旋转误差CDF（a）基本矩阵估计转换错误CDF处理时间CDF10.80.60.410.80.60.410.80.60.40.20.20 5 10 1520角度误差（度）0.20 5 10 1520角度误差（度）00.05 0.1 0.15 0.2运行时间（秒）(b)基础矩阵估计图5：KITTI上的CDF。USAC对KITTI数据集序列6-10中的47700个图像对进行旋转和平移误差（度）和运行时间（秒）的累积分布函数（CDF），使用和不使用所提出的神经样本滤波。颜色表示帧差，例如：红色曲线使用帧差5.相应的平均值见表1。(18x)在峰值过滤率。过滤接近完美，直到25%的保持率。在这个数据集上，我们没有观察到三个主要变体之间的显著差异，这可能是由于存在一个非常简单和有区别的运动模型，该模型通过在KITTI上训练的所有基线进行了很好的学习然而，我们可以观察到，具有专家分支的模型在这个领域表现最好，其中专家监督更符合真实的数据集统计。有趣的是，我们发现这个模型的专家分支上的学习权重w3接近于零：这个分支在网络的最终预测中没有发挥重要作用，尽管它在训练过程中仍然对学习其他分支的良好特征有积极的影响在PhotoTourism上训练的模型，没有利用这个测试集的受限运动统计，仍然将原始最小样本池的精度提高了2倍，非常接近其在PhotoTourism测试中的原始性能。最后，在图4a中，我们测试了我们的专家分支在数据稀缺条件下的影响力我们保持与图3b中相同的评估协议和测试集，但是我们仅在来自KITTI的250个图像对上训练NeFSAC，所有图像对都取自序列0并且固定帧差为4。我们还报告了在完整训练集上训练的基线NeFSAC以进行可比性。我们观察到USAC +神经过滤USAC1 2 3 4 5 6概率概率概率概率概率概率+v：mala2255获取更多论文12升。Cavalli，M. Pollefeys，D. 巴拉斯0.80.60.40.20旋转误差CDFUSAC+神经过滤USAC0 5 10 1520角度误差（度）0.80.60.40.20转换错误CDF0 5 10 1520角度误差（度）10.80.60.40.20处理时间CDF0.1 0.2 0.3 0.40.5运行时间（秒）0.8旋转误差CDF（a）基本矩阵估计转换错误CDF处理时间CDF0.60.40.20.80.60.40.20.80.60.40.200 5 10 1520角度误差（度）00 5 10 1520角度误差（度）00.1 0.2 0.3 0.4 0.5运行时间（秒）(b)基础矩阵估计图6：马拉加民防部队。 USAC [31]对马拉加数据集[7]的27147个图像对进行了建议的神经最小样本滤波和未建议的神经最小样本滤波，其旋转和平移误差（度）的累积分布函数（CDF）以及极线几何估计的运行时间（秒）。相应的平均值见表1。当几乎没有训练数据可用时，专家分支的影响是非常显著的，从而将基线滤波精度的差距减半当在具有有限数据的新领域中训练NeFSAC时，这种情况可能4.2RANSAC内的比较实验RANSAC中的几个组件之间的相互作用是不平凡的：观察到随机最小样本池的平均精度提高了十倍，但在任何RANSAC中并不一定转化为十倍的等效加速在本节中，我们研究了NeFSAC对具有最先进组件的代表性RANSAC变体的影响我们选择USAC[31]与手征测试，PROSAC采样[13]，LO-RANSAC[15]和SPRT[14]作为抢先验证。虽然可能存在导致更好准确性的变体，例如，MAGSAC++[3]，它们的低运行时间仍然来自SPRT和PROSAC，因此预计会有类似的速度提升。我们在补充材料中展示了额外的实验。在下文中，我们针对自动驾驶的情况和针对非结构化图像集合的情况，比较了具有和不具有NeFSAC滤波的USAC的旋转误差ΔR、平移误差Δt和运行时间t自动驾驶。 我们在KITTI [20]上训练NeFSAC序列0到4，随机帧差在1和7之间，并使用序列5进行验证。概率概率概率概率概率概率+v：mala2255获取更多论文NeFSAC：神经过滤的最小样本13KITTI（47700对）马拉加（27147对）USACR（中文（简体）t（ms）型号数量R（中文（简体）t（ms）型号数量W/ONF （E）4.32.5234.89413.38.9350.03225w/ NF （E）4.32.369.72601.98.734.0753W/ONF （F）4.22.7213.419741.49.0380.23837w/ NF （F）4.22.385.93571.48.677.1467表1：KITTI和马拉加的结果。平均旋转和平移误差（度），运行时间（毫秒）以及USAC[31]内部在KITTI[20]和Malaga[7]数据集上测试的模型数量，用于基本（E）和基本矩阵（F）估计。NeFSAC提供了很大的速度提升，同时也提高了准确性相应的CDF在图1A和1B中五六本质矩阵基本矩阵USACR（中文（简体）t（ms）型号数量R（中文（简体）t（ms）型号数量不含NF2.77.9805.145504.822.5154.65559带NF2.16.176.53643.917.961.7764w/ NF*2.67.8103.06604.822.361.2740表2：照片旅游的结果。中值旋转和平移误差（度），平均运行时间（毫秒）以及USAC[31]内部在PhotoTourism[35]（来自[1];52200个图像对）数据集上测试的模型数量。NF* 是在KITTI上训练的[20]。NeFSAC提供了很大的速度提升，同时也提高了准确性相应的CDF在图中第七章是的。我们分别训练基本矩阵估计和基本矩阵估计的模型然后，我们在KITTI序列6到10以及马拉加[7]数据集上测试这些模型，以测试泛化能力。我们在图5和图6以及表1中报告了结果。在KITTI上，与USAC相比，NeFSAC+USAC在E估计上快三倍以上，在F估计上快两倍以上，精度略好。在Malaga上，NeFSAC实现了十倍的加速，并将E估计的平均旋转误差降低了1.4度，并且尽管在KITTI上进行了训练，但F估计的速度提高了五倍。摄 影 旅 游 。 我 们 根 据 2020 年 CVPR RANSAC 研 究 [1] 提 供 的PhotoTourism [35]数据训练NeFSAC。 我们使用标准分割进行训练、验证和测试。结果见图7和表2。NeFSAC在E估计上将运行时间再次提高了一个数量级，在F估计上提高了两倍，同时在两者上都提供了重要的准确性提高。我们积极的过滤设置，针对具有挑战性的图像对进行了调整我们进一步在KITTI上执行极端泛化测试训练NeFSAC（在表2中报告为NF*）。虽然在PhotoTourism上训练的模型更优越，但NeFSAC仍然设法带来了一个非常+v：mala2255获取更多论文14升。Cavalli，M. Pollefeys，D. 巴拉斯0.80.60.40.20旋转误差CDFUSAC+神经过滤USAC0 5 10 1520角度误差（度）0.60.40.20转换错误CDF0 5 10 1520角度误差（度）0.80.60.40.20处理时间CDF0.1 0.2 0.3 0.40.5运行时间（秒）旋转误差CDF(a) 本质矩阵估计转换错误CDF处理时间CDF0.60.40.20.50.40.30.20.110.80.60.40.200 5 10 1520角度误差（度）00 5 10 1520角度误差（度）00.1 0.2 0.3 0.4 0.5运行时间（秒）(b) 基础矩阵估计图7：CDF on PhotoTourism.USAC[31]对极几何估计的旋转和平移误差 （ 以 度 为 单 位 ） 和 运 行 时 间 （ 以 秒 为 单 位 ） 的 累 积 分 布 函 数（CDF），使用和不使用建议的神经最小样本滤波，对来自[1]中使用的照片旅游数据集的总共52200个图像对进行滤波。相应的平均值见表2。即使在这种极端域偏移下也能显著加速并在精度上有所改进这促使我们声称，我们的模型在一定程度上学习了关于任务的非常一般的知识，并且可以稳健地保持在最坏的情况下，即退化到基线RANSAC。5结论在本文中，我们提出了NeFSAC，这是一种用于RANSAC中最小样本的神经过滤的新框架，可以无缝集成到任何现有的RANSAC管道中。NeFSAC学习通过粗略的像素坐标来预测最小样本的质量，以过滤掉那些与不可能或不可能的运动和常见的条件差的配置一致的样本。我们发现，当训练数据中存在受约束的运动时，NeFSAC可以学习更强的滤波器，但即使在没有强运动先验的数据集中也可以非常有区别，就像在一般的图像集合中一样，同时对域偏移非常鲁棒我们表明，在实践中，NeFSAC可以在现代最先进的RANSAC变体中将基本和基本矩阵估计的运行时间减少一个数量级，同时通常显着提高估计精度。概率概率概率概率概率概率+v：mala2255获取更多论文NeFSAC：神经过滤的最小样本15鸣谢：这项工作得到了苏黎世联邦理工学院博士后奖学金和谷歌重点研究奖的支持首次发表在Springer Nature的第17届欧洲计算机视觉会议（ECCV 2022）上。经Springer Nature许可转载。6补充材料6.1实现细节我们网络中的所有MLP都使用斜率为0.01的Leaky ReLU激活，除了使用sigmoid激活函数的最终预测分支如果e i > e max，则用于姿态和极线误差ei的标签li被分配值零，如果ei

下载后可阅读完整内容，剩余1页未读，立即下载