未知相机和运动模型的对应关系的研究及应用

8730未知相机和运动模型的对应关系是什么？Thomas Probst1，Ajad Chhatkuli1，Danda Pani Paudel1，Luc VanGool1，21瑞士苏黎世联邦理工学院计算机视觉实验室2VISICS，ESAT/PSI，KU Leuven，比利时摘要在两视图几何中，摄像机模型和运动类型与图像点对应一起被用作关键知识，以解决三维视觉的几个关键问题。在特定的摄像机投影模型和运动类型的假设下，解决了运动恢复结构（SfM）和摄像机自标定等问题然而，这些关键假设可能并不总是合理的，即，我们可能经常事先既不知道照相机模型也不知道运动类型。在这种情况下，人们只能提取图像之间的点对应从这样的对应关系中，恢复由未知的相机模型和运动类型表示的两视图关系在本文中，我们分两步解决这个问题。首先，我们提出了一种方法，计算正确的两个视图的关系存在噪声和离群值。后来，我们研究了不同的可能性，以消除歧义的相机模型和运动类型所获得的关系通过大量的模拟和真实数据实验，我们在实际环境中验证了我们的理论和假设。1. 介绍运动恢复结构（SfM）[14，17，21]和绝大多数3D视觉应用依赖于图像之间的特征点对应性，同时假设已知的相机模型。SfM和其他3D视觉方法的一个关键组成部分是共识最大化[10，7，28，2，13，3，15，31]，其中通过搜索图像对应关系之间的特定关系来计算正确的内点集这种方法使得使用数百万张图像来重建3D成为可能，因为通过最大化共识来消除不可靠的点然而，只有当一个人确定最合适的两视图关系时，这才是正确的。事实上，为解决许多3D视觉问题而开发的方法只能用于对于某些相机和运动类型。例如，当前最先进的SfM方法假设相机服从透视投影模型，并且相机运动涉及至少一些平移[24，21，14]。类似地，前摄像机校准方法（自校准或具有已知模式）假定已知的摄像机模型[30，6]，并且有时还假定已知的运动类型[12]。在这种情况下，当该方法假设透视模型时，使用来自仿射相机的图像的实验注定会失败。因此，除了两视图关系之外，预先知道相机模型和运动类型是必要的事实上，人们需要知道运动（如果不是它的类型）来推理相机模型，反之亦然。因此，联合恢复相机模型和运动变得非常困难，导致因果关系困境。在这方面，这个问题可以分为两个重要的子问题。第一个是在不事先知道相机类型和运动的情况下选择正确的两视图关系。将未知模型拟合到点对应是一个具有挑战性的问题，并且通常是NP困难的。一方面，只有在尝试了所有可能的模型之后，人们才能希望知道正确的两视图关系。这正是在SfM的上下文中对基本矩阵和2D投影单应性所做的，作为几何验证[27，25，16]。然而，对于一个给定的问题，即使在尝试了所有的模型之后，人们也并不总是清楚应该如何在几个模型中进行选择。例如，我们总是可以拟合一个比实际模型约束更少的关系，以获得更高的内点计数。因此，简单地选择具有最大内点集的模型可能会导致不期望的结果。此外，在期望的相机运动基线和真实图像中的匹配性能之间存在自然冲突[18，1]。在这种情况下，可以通过将运动约束为稀疏而受益[23，11]。然而，可能事先不知道哪些动议没有提出。第二个问题是从正确发现的两视图关系中获得摄像机模型和运动类型。尽管许多关键结果8731i=1i=1i=1i=1已知[9，17，14，26]，我们试图回答和总结一个不同的问题，即，什么是正确的相机模型和运动类型给定的两个视图的关系？在本文中，我们对上述两个问题做出了贡献：i）当关系的确切类型未知时，计算具有点对应的两视图多项式关系，以及ii）从两视图关系中消除摄像机模型和运动类型的歧义。为了解决第一个问题，我们提出了一个统一的方法来拟合多项式的图像点对应，尽管未知的模型类型和离群值。为此，我们将模型搜索定义为找到与超过一半的点对应一致的多项式的稀疏集，直到一些小的固定误差。我们通过使用mono- mials的基础上，解决方案是已知的存在约束多项式。这是使用所谓的Vandermonde矩阵[4，5]完成的。在此过程中，我们解决了模型参数以及与随机采样和一致性（RANSAC）类似的内点对应关系[10]。与RANSAC不同，我们可以通过迭代地搜索单项系数的稀疏基的正交集合来恢复描述给定测量集合（对应性）此外，我们还鼓励运动是稀疏的，约束模型搜索更好地为小基线。我们的方法只需要事先知道多项式的最大次数，而不是多项式的实际数量。我们表示的问题作为一 个 混 合 编程 （ MIP ） ， 并 解 决它 使 用 分 支 定 界（BNB）的方法。我们的第二个贡献是分析的相机模型和运动类型使用计算的两个视图的关系。我们考虑每个相机和运动类型，并分析由此产生的两个视图的关系，标量的字母如a。最后，我们使用σ i（. ）对于给出第i个最大奇异值的函数。我们把由变量x∈Rn参数化的多项式环记为R[x]。多项式p（x）∈ R[x]使用系数B的基来表示。我们用vvp表示任何向量v的−p范数。2.1. 问题公式化我们考虑两个摄像机通过运动相关。假设两个相机的图像之间存在m个点对应{ui，vi}m然后我们有兴趣解决以下问题。问题2.1摄像机模型M和像点对应的运动参数θ是什么{ui，vi}m？这个问题是NP难的，在目前的形式下很难解决。因此，我们做出以下假设来搜索相机模型和运动参数。假设2.2问题2.1的最佳答案，即，（M，θ）遵守点对应{ui，vi}m并使M和θ的联合自由度最小化。我们用多项式来表示M和θ，正如文献[9，14，22]中所做的那样。在这方面，我们将假设2.2下的问题2.1表示为寻找低维簇的代数问题，其样本是点对应。考虑环R[x]∶= R[x1，...，xn]和一个代数簇V<$Rn，定义为使得V∶={x∈Rn∶pj（x）= 0，j= 1，. . .，r}。让ωi=（u，v）ωi是表示关系我们提供条件时，这样的相机模型i i和运动恢复是模糊的，为什么。为了量化模型拟合精度，我们评估了所提出的方法在合成和真实数据。在合成的情况下，我们模拟图像点correspondences与离群值为各种相机模型和运动类型。平均而言，我们的方法在未知模型拟合以及内-外分类方面优于RANSAC。我们还表明，我们的方法执行类似的RANSAC与已知的相机和运动模型上相同的任务。我们使用真实的数据，以显示运动消歧的驾驶序列证明了这种消歧在实际情况下的重要性2. 预赛符号。我们用大写字母表示矩阵，用双下标小写字母表示其元素：A=（aij）。类似地，我们写向量并将其索引为：a=（a i）.我们使用特殊的拉丁字母或希腊字母来表示集合，例如P。我们用拉丁文一对对应点。对于给定的一组样本，当n= {ωi}m时，我们希望找到最低维的簇V有大量的文献是关于计算来自变量V[4，5]的样本的固有维数的。然而，现有的方法没有明确考虑噪声和离群样本中存在的。因此，他们不适合我们的任务。在这项工作中，我们开发了一个易于处理的方法来估计的品种给定的样本测量，其中可能包含噪声和离群值。首先，我们感兴趣的是从损坏的样本集Vi中恢复表示Vi的多项式Pj（x）由V定义的拓扑空间可以被认为是半代数集、微分流形、度量空间、李群、范畴、超图等等。设I（V）∶={∑jgj（x）pj（x）∶gj（x）∈R[x]}是V的理想.未知变量V的理想I（V）中的每个多项式在样本上为零。不幸的是，相反的情况并不正确，即，不是理想I（λ）中的所有多项式在簇V上都为零。因此，恢复pj（x）来精确定义V不仅是NP难的，而且是不可判定的。8732⎢⎥我∞1 2N问题. 在这项工作中，我们限制了多项式的次数在I（λ），并假设V可以恢复从I（λ）的低次多项式。请注意，有限集合的理想I（I）可以使用线性代数计算，并借助于所谓的范德蒙矩阵[4，5]。定义2.3（范德蒙矩阵）范德蒙矩阵Md（x）是一个矩阵，每行单项式的几何级数，使得元素m ij是单项式x e= x e1x e2。. . x en的次数至多为d。例如，如果n=1，d= 3，且m= {u，v，w}，则M3（m）是范德蒙矩阵的形式，⎡⎢u3u2u1⎤另一个悬而未决的问题是I（C.R.B）的代表权问题。 从性质2.4中可以明显看出，I（λ）RB由Md（λ）的零空间表示。 但是依然不清楚如何选择和计算表示零空间的基。例如，通过对Md（R）的奇异值分解（SVD），可以得到I（R）RB的最小二乘正交基.不幸的是，这种基并不受欢迎，因为在噪声下，这可能导致稀疏基减少此外，样本中可能含有异常值，在这种情况下，由Md（Ω）的奇异值分解给出的标准正交基将是完全错误的. 在许多应用中，理想I（V）的计算需要稀疏生成元。特别地，我们的假设2.2隐含地要求基是稀疏的。因此，我们希望解决M3（m）=mv3⎥v2v1。下面的问题，为稀疏基Y的I（）<$RB。2019年12月23日星期一⎥问题2.9给定噪声容限，求或-当n≥2时，Md（n）是一个多元Vandermonde矩阵，具有以下性质：通过求解，性质2.4设B是表示线性指数的集合，argmin虽然我是100岁，R[x]和R的悬挂基是张成Yyi∈YB在符合以下条件 的情况下，≤，（一）由B. 那么，Md（k）的零空间是I（CHINESE）CHINESEB.我们希望通过学习理想的I（V）来学习变式V。理想的I（V）是使用范德蒙矩阵Md（V）以I（ V）的形式学习的。在这个过程中，我们依赖于基B的性质。B的两个理想性质是：性质2.5理想I（V）由I（V）<$RB生成。性质2.6I（V）<$RB<$I（V）<$RB等式成立。在性质2.5和2.6之间存在一种基本的张力。对于小B，可能不满足性质2.5。类似地，对于大B，可能违反性质2.6。幸运的是，下面的定理保证了B的存在性。定理2.7（希尔伯特基定理）多项式环R[ x ]中的每个理想都是双生成的。d i∞yii，j，i=/j。（1）涉及到最小化，这是稀疏近似的圣杯。不幸的是，100最小化是NP难的。此外，正交性的非线性目标和对非平凡解的搜索使得问题更加困难。3. 稀疏基估计在本节中，我们开发了一种方法来搜索多项式约束y∈ Y，作为问题2.9的解决方案。我们的方法通过解决以下问题迭代地估计个体稀疏标准正交基问题3.1对于给定的稀疏基w∈W ∈Y，通过求解来估计新的稀疏基，期望的属性2.6设置了样本argminy2000年，尺寸m.事实上，通过构造，m是Md（n）的秩的上界。这意味着下面的引理。在满足条件d（k）yk∞≤ k的情况下，yw ∈W。（二）引理2.8如果 财产 2.6 持有 是， 的不平等m≥ dim（B）− dim（I（V）<$RB）也必须为真。对于给定的样本集，秩的上界m是固定的。因此，其中一个问题是选择一个合适的集合B.已知适当选择B可以显著提高数值精度。我们将讨论我们的选择B，为我们的应用程序，在本文的后面。（2）的一个常见近似是用凸的λ1物镜代替λ0在这里，我们更感兴趣的是使用MIP来解决（23.1. 混合编程（MIP）命题3.2如果z∈ {0， 1}n表示基向量y的稀疏性，则问题3.1等价于求解8733⎢⎣⎦在MIP之后。minn阿利什岛，另一方面，这样的两视图关系可以或可以不说明关于摄像机和运动类型的任何事情，并且最终说明知道摄像机类型的实际摄像机运动我们现在y∈R，z∈{0，1}i在满足条件d（k）yk∞≤ k的情况下，|≤ z i，y ∈ w = 0，|≤zi,y⊺w=0,i，最小值=1，n/z i≥ 1。我（三）讨论问题2.1，从点对应关系中获得摄像机模型M和运动参数θ。为此，我们考虑各种摄像机投影和摄像机运动类型，并进一步分析每个条件。4.1. 投影和运动类型考虑到相机投影，我们分析了五个不同的-证明文件在补充文件中提供。虽然等价于（2），但（3）是易处理的，并且可以用BnB求解。在这里，我们避免平凡的零解决方案的约束，应变的总和超过组件的z大于1。然而，（3）仅针对稀疏多项式基进行优化，并且如果测量包含离群值则失败。因此，我们提出以下方法来处理离群值。3.2. 存在离群点时的稀疏基命题3.3对于M=M（n），z∈ { 0， 1}n，s∈ { 0， 1}m，ent相机型号：i）校准透视，ii）未校准透视，iii）正交，iv）弱透视和v）仿射相机。对于每个相机模型，我们将运动分为七种类型：i）具有旋转和平移全运动，ii）旋转，iii）平移，iv）绕x或y旋转，v）绕z旋转，vi）绕x或y平移和vii）绕z平移。仅给定图像，正交摄影机和弱透视摄影机投影仅相差一个比例因子。因此，我们在此分析中将它们视为等效相机，并使用术语ortho-且y ∈RnD，以下MIP确保至少一半的摄像头，以讨论这两种类型。下面我们首先定义转换和相关的两视图关系对应关系遵循通过以下获得的稀疏基：解决，在进行分析之前。minn阿利什岛，转换和模型。我们考虑摄像机通过旋转R∈SO3和平移进行变换y，z，si=13 3在满足my≤+ s m，j =1，. . . ，m，t∈R。 设欧拉角旋转为r∈R。我们考虑相机平移t，也表示为|≤ z i，y <$w = 0，<$i，<$w ∈W，|≤zi,y⊺w=0,∀i,∀w∈W,最小值=1，其中，n ∈z i≥ 1，n ∈ s j≤m/2。（四）变换矩阵T∈ T，其中T是所有平移的空间。校准透视相机的基本矩阵[17]为E∈ P 3x3的。 设P代表满足以下性质的矩阵空间：I j两个相等的非零奇异值σ1（E） = σ2（E）和证明文件在补充文件中提供。在（4）中，我们引入二元变量s∈ {0， 1}m，将对应对（u，v）的多项式分类为：σ3（E）=0。在正射相机中，本质矩阵是EO∈ O<$R3×3。它具有以下特性[14]。100cjj100天2 2 2 2如果sj=1，则为离群值，如果sj=0，则为内点。 我们表达了双-EO=a⎥+b-c-d=0， a，b，c，d，e∈R.对于Van-Because的每个测量行mj，dermonde矩阵M使用大M公式[20]。在（五）为了使问题易于处理，我们假设至少有一半的点是内点。然而，在实践中，约束可以被调整以适应离群值统计。在下面的部分中，我们讨论我们的基础选择方法的上下文中的两个视图的相机几何问题。4. 双视图几何应用第3节中讨论的稀疏基计算允许在存在异常值的情况下精确地计算与图像点对应相关的多项式。基础计算直接给出了正确的两个-n8734⎢下 一 个两 视 图 关 系模 型 是 基本 矩 阵 [9]， F∈ U<$R3×3。我们将U用于从未校准的透视相机获得的基本矩阵的空间。 透视基本矩阵有两个非零奇异值和第三奇异值0。与标定透视相机的本质矩阵不同，基本矩阵的两个非零奇异值矩阵一般不相等。在仿射相机的情况下，基本矩阵为FA∈A <$R3×3。FA具有以下性质：100c⎢ ⎥视图关系，它们是否是基本矩阵，100天R.（六）FA= Fa，b，c，d，e⎥基本矩阵或二维投影单应性。对abe⎣ ⎦∈8735i=1表1. 各种摄影机和运动类型的稀疏基的摘要。稀疏基总结如下。两视图关系为G，基的数目/维数r，实际选项。[u1] ×H[v1]=0或[v1]×H−1[u 1]=0（7）已知摄像机和运动类型d和i i i i下的自由度非零两视图模型参数p的数目。Cal. 视角Uncal。透视正交仿射G（r，d，p）G（r，d，p）G（r，d，p）G（r，d，p）全运动E（1，5，9）F（1、7、9）EO（1，4，5）FA（1，5，5）旋转H（3，3，9）H（3，8，9）EO（1，3，4）FA（1，4，4）译文E（1、3、6）F（1、3、6）H（1，2，5）H（1，2， 5）旋转xH（3，1，5）H（3、6、7）EO（1，1，2）FA（1，4，4）旋转yH（3，1，5）H（3，6，9）EO（1，1，2）FA（1，4，4）旋转zH（3，1，5）H（3、5、7）H（3，1，5）H（3、5、 7）翻译x/yE（1，1，2）F（1、3、6）EO（3，1，4）H（3，2， 5）Translation zE（1，1，2）F（1、3、6）EO（3，0，3）H（3，0， 3）根据关系，我们有P<$U和O<$A，而集合P、U、O和A都不相交。射影二维单应矩阵H∈PGL（ 2，R）是一个满秩变换，不同于本质矩阵和基本矩阵。单应性是一种点对点的关系，单应性空间PGL（ 2，R）与本质矩阵和基本矩阵的四个空间不相交在特殊情况下，单应性可表示为仿射变换A∈Aff（ 2，R），旋转R∈SO3，平移T∈T或恒等式I. 所有的双视图关系描述的模型，这是齐次量，因此，他们是等价的，在不同的尺度。不同条件下两视图关系的稀疏性。我们在表1中总结了不同相机模型和运动类型的各种两视图关系的稀疏性。在每种情况下，点对应{ui，vi}m通过基本矩阵、本质矩阵或2d投影单应性相关。这些两视图关系的属性根据相机类型和运动类型而变化。尽管模型参数的数量不同，所有这些关系都可以表示为像点对应中的2次多项式。因此，在（4）中使用的相应的范德蒙矩阵是2次的M2（M）一个有趣的问题存在于相机和运动的组合中，其中使用具有8个点的RANSAC的方法当图像点对应关系通过全息图而不是基本矩阵或本质矩阵相关时，会发生这种情况。用Vandermonde矩阵M2（M 2）求解问题（4），在任一种情况下都得到图像点对应之间的正确关系。当对应关系由单应性相关时，问题（4）的迭代应用将找到对应于以下等式系统中的任一个的三个独立我们通过使用所得到的方程组的基的变化来恢复单应性H，使得最终系统的稀疏性对应于等式的左方程。（七）、4.2.相机和运动类型恢复从计算的双视图模型恢复相机模型M和运动参数θ并不是微不足道的，事实上，正如我们在本文中所示，在大多数情况下，仅用点对应是不可能的了解相机和运动类型在许多3D视觉问题中至关重要[17，14，6]。我们从理论上分析了两视图模型的类型，并证明了当相机类型和运动类型可以消除歧义时，歧义的谎言，否则。我们在表2中提供了针对各种相机模型和运动类型的每个两视图关系的特性的总结。我们在下面讨论每个相机型号的模糊性校准的视角。 标定后的透视像在存在非零平移时由本质矩阵E∈ P关联，在不存在平移时由单应矩阵H∈PGL（ 2，R）关联。对于一个纯旋转的摄像机，诱导的关系是单应性[12]，它实际上是相应的相对旋转R∈SO（ 3）。有两种重要的情况下，相机模型不能被取消-从模型中分离出来。第一种是纯平移，在这种情况下，本质矩阵E=R[t]×是一个反对称矩阵，类似于未校准相机的情况。反对称矩阵E的同余变换K−EK−1导致反对称矩阵，两个相等的非零奇异值因此，不能从纯平移相机的图像点对应性来验证校准第二种情况下，当相机模型无法确定是当有一个纯旋转围绕Z轴。在这种情况下，可以直接验证正交摄影机是否给出相同的旋转单应性。对于没有倾斜组件的仿射相机也是如此在没有预先假设校准的透视相机的情况下，运动的消歧对于纯平移也是不可能的例如，关于X或Y轴旋转的正交相机的基本矩阵分别与在X或Y轴上具有纯平移的校准透视相机的基本矩阵相同。即使当关系是单应性时，运动计算，作为校准的透视相机，也总是可能的，其中我们没有由于相机平移而导致的平面单应性分解的通常的4倍模糊性8736OyO一表2. 每个摄影机和运动类型的两个视图关系的属性。 每个两视图关系之后是三个框，分别示出了相机类型、运动类型和给定已知相机类型的度量运动的唯一消歧。复选标记表示唯一性，十字标记表示不明确性。Cal. 透视Uncal 透视正交仿射全运动σ1（E）=σ 2（E）F ∈UEO∈OFA∈A旋转H= RHHI， H= KRK−1EO∈O，EO3， 3=0FA∈A，FA3， 3=0翻译E=[t]×=−EF=K[t]×K=−FH∈ TH∈ THHI，H=KR K−1旋转xH=RxH2， 1X=H3， 1=0EO=[rx]×=−EFA∈O，FA3， 3=0旋转yH=RyHHI，H=KR K−1EO=[ry]× =−EFA=[ry]× =−F旋转zH= RzH∈Aff（2，R）H= RzH ∈ Aff（2，R）平移x/yE= [tx/y]×= −EF= K[tx/y]× K= −FH ∈Tx/yH∈ T翻译zE=[tz]×=−EF=K[tz]×K=−FH= IH= I未校准的视角。未校准的透视相机通常具有来自投影的更多模糊性。对于全运动和旋转，相机模型可以通过F的奇异值或H的奇异值来消除歧义。如上所述，纯平移运动导致F = K−[t]×K−1= −F，其中F ∈P，这意味着未校准的相机不能与未校准的相机区分开。校准相机。 特别有趣的是关于X和Y轴的旋转的不对称性。关于X轴的旋转导致在第一列上具有两个零的单应性H，但是对于关于Y轴的纯旋转的情况没有什么可以说这种明显的不对称性仅仅是由于选择了导致上三角形内禀函数的对称轴未校准的摄像机类型只能针对全运动、旋转和绕X或Y轴的旋转进行消歧对于未校准相机的旋转，我们有以下建议。命题4.1旋转诱导二维单应性H，具有内在函数K I和平移 t= 0，我们有，H.H.H.H.H.H.I，（8）其中，r<$±[0 0 π/2]<$。证明文件在补充文件中提供。命题4.1声称，在未校准的透视相机的单应性是从来没有正交的，除非旋转是单位元或旋转π/2围绕Z轴。可以表明，当旋转为±π/2并且K的两个焦点相等时，H变为正交，的谱分解。在未校准的透视相机的情况下的运动可以被消除歧义转换成完全运动、平移、旋转和绕X轴或Z轴的旋转。然而，即使在假设未校准的透视相机之后，在不知道相机本质的情况下，度量运动总是模糊的[9]。一个值得注意的例外是在[12]中讨论的纯旋转，其中可以推理度量旋转。正交摄影机。正交相机图像通过本质矩阵EO∈ O或仿射单应性A ∈ Aff（2，R）相关。如果运动是完整的，则可以从图像中识别出正射相机纯旋转将导致最后一个对角元素为0的基本矩阵E0，与围绕X轴旋转的仿射凸轮相同在仅围绕X或Y轴的纯旋转的情况下，EO与校准的透视相机的纯平移的E类似地，围绕Z轴的纯旋转导致与校准的透视相机一样的旋转单应性。具有纯平移的运动导致类似于仿射相机中的仿射变换，因此相机模型不能完全消除歧义至于运动类型消歧，对于正交相机，完全运动、旋转和平移可以被识别为这样。运动的其余部分示出了与仿射相机或校准的透视相机的不确定性，如从表2中详述的关系中显而易见的。最后，即使使用已知的相机类型，由于浅浮雕模糊性，也不可能从正交相机的两个图像中精确分解相机运动[14，26]。这意味着其中一个旋转分量永远无法消除歧义，但其他运动可以分解。仿射相机。仿射摄像机图像通过基本矩阵FA或仿射同态H∈Aff（ 2，R）相关联。仿射相机模型可以被分解为全运动和纯旋转。在全运动中，仿射基本矩阵满足等 式 （ 1 ） 。 （ 6 ） 但 一 般 不 是 正 交 本 质 矩 阵 eq.（五）、由于仿射摄影机是正交摄影机的泛化，因此在所有其他运动类型中，它与正交摄影机唯一的例外是在绕Y轴纯旋转的情况下，其中模糊性是与绕Y轴旋转的正交相机和未校准的透视图一起使用✓✓✓✓✓✖✓✓✖✓✓✖✓✓✓✓✓✓✖✖✖✓✓✖✖✖✓✖✖✖✖✓✓✖✓✖✓✓✓✓✓✖✖✖✖✖✖✖✓✓✓✓✖✖✖✖✖✖✖✖✖✓✓✖✓✖✖✓✓✖✓✖✖✖✓✖✖✖✓✓✓✖✖✖✓✓✓✖✖✖✖✖✖✖✖✖8737t t tt t t t t t内点检测率离群值率R r不不不图1.合成数据的内-外值。 顶行示出当改变噪声幅度时的内点和外点%检测率，我们的方法在所有相机类型和运动类型中给出了预期的结果，从而产生与ransac-M相同的结果。摄像机沿Y轴平移。未校准的透视相机的另一个模糊性是围绕Z轴的纯仿射相机中的运动可以被识别为全运动、旋转和平移。在围绕Z轴的纯旋转的情况下，还可以进一步消除歧义给定仿射相机类型，由于仿射模糊性，无法计算度量运动，此外，由于浅浮雕模糊性，无法解析某些运动分量[145. 实验结果我们使用MATLAB来实现我们的方法编写为稀疏基。我们将RANSAC [10]用于基本矩阵作为未知模型的比较方法。我们把它写成兰萨克。我们用已知的模型ransac-M编写RANSAC，其中根据地面实况两视图关系类型使用RANSAC的特定实现我们使用合成数据和实际数据验证了理论讨论及其应用。我们选择阈值<$0= 1。5 px对于我们的方法和等效的ransac。我们进一步测试了一个全局最优的离群值拒绝方法[8]作为全局。5.1. 合成数据实验我们使用合成数据来验证在第4.1节中讨论的相机和运动类型的各种噪声和离群值条件下的理论结果。我们使用512像素的相机分辨率，并生成离群值比率从0到40%不等的匹配我们还测试了比较的方法与噪声，通过改变均匀噪声从0到4个像素。我们把0加到0。5均匀分布的像素噪声，图2. Oxford Robot Car数据集中序列的双视图姿势[19]。 在序列中，汽车没有停止，因此我们没有得到任何单应性。我们观察到，稀疏基获得的相对相机姿态是非常接近的结果从多视图SfM。图3.放大结果以显示与牛津序列第一部分的整体方法[19]在翻译估计方面的差异在所有预测中加入5%的异常值对于运动类型、相机类型和噪声/离群值的每种条件，我们使用20个模拟，每个模拟50个点来生成实验结果。然后，我们平均出不同的运动和相机类型的检测结果。图1显示了使用我们的方法和比较方法在模型计算期间获得的内点/离群点分类更重要的是，我们在实验中始终满足表2虽然我们期望在所有情况下ransac-M和稀疏基的性能相同，但在具有不同噪声的内点检测率中可以特别注意到小的差距我们的方法8738yR r rt t t t t t图4. TUM的双视图姿势。尽管基线较短，但我们能够更好地捕捉转弯和退化运动。我们引入r′和t′来表示估计并对稀疏基和全局基在图2的子序列上。由于基线较短，这两个序列对计算运动都构成了挑战。然而，稀疏基能够更好地调节运动计算当我们寻找两视图关系的稀疏基时，无论它是基本矩阵还是单应性。特别是，我们捕捉到车辆的平滑转弯（绕Y轴旋转）、汽车的一致向前运动（Z平移）和没有运动（子序列的中间），这在不搜索稀疏基的情况下是不可能的如图4所示的RANSAC。我们还注意到，如图4所示，ry和r′之间存在平滑过渡。y z从单应性矩阵而不是基本矩阵。稀疏基的平均表现稍好，这仅仅是由于阈值和我们规范化每个多项式的方式另一个问题是ransac和global的行为对于离群值的检测率随着离群值率的增加而增加。当图像对应之间的正确的两视图关系然而，基本矩阵是一个较弱的约束，特别是对于前几个离群值，ransac和global可以找到适合它们作为基本矩阵模型中的内点。然而，随着离群值率的增加，更多的离群值被正确地拒绝。相反，稀疏基总是适合正确的模型。5.2. 真实数据实验我们在真实数据集上进行实验，以展示我们的方法在实际环境中的表现。在第一个实验中，我们分别使用所有连续帧对来自Oxford Robot car数据集[19]的序列的前2400帧和图2和图4中的TUM RGBD [29]数据集中的序列牛津机器人汽车数据集由高质量的图像组成，其中可以预期一组良好的特征匹配。为了计算姿势，我们将每个视频帧与下一帧之后的视频帧进行匹配。我们通过随机选择匹配来保持稀疏基和ransac的点数m=100。两种方法使用相同的匹配集数据集中提供 的 里 程 计地 面 实 况 因 此 ， 我们 使 用 多 视 图 SfMCOLMAP 重 建 了 约 2400 帧 的 序 列 [24] 。 然 后 从COLMAP的SfM重建获得相对地面真实姿态。我们将地面实况姿态称为多视图SfM。我们在图2和图4中绘制了两个数据集的稀疏基和ransac之间的比较。我们毛皮-图5. 在真实图像中检测到内点。顶行示出了具有分辨率变化的图像的内点，底行示出了打印图片的透视图像的内点。在这两种情况下，稀疏基正确地拟合单应性作为两视图关系。我们进一步展示了在图5中的两个有趣的例子中使用我们的方法的匹配点的定性结果。我们首先在三种情况下使用SIFT [18]描述符在图5中，我们的方法稀疏基能够匹配相同的低分辨率和高分辨率图像，同时拒绝离群值。同时，当我们得到一个单位单应性时，我们可以推断这些对应来自相同的图像。我们在补充材料中提供了额外的实验。6. 结论我们提出了一种方法，该方法在存在噪声和异常值的情况下计算正确的两视图关系，即使在相机和运动类型未知的情况下，也可以通过寻找稀疏多项式来计算。在这种情况下，我们讨论了消除摄像机和运动的可能性。实验验证了我们的理论，并给出了我们的方法的实际应用。鸣谢。这项研究是由欧盟的地平线2020计划资助的687757瑞 士 技 术 和 创 新 委 员 会 （ CTI ） 批 准 号 ： 26253.1PFES-ES -已删除。8739引用[1] H.贝，A.埃斯，T. Tuytelaars和L.范古尔加速健壮功能（冲浪）。Comput.目视图像理解，110（3）：346-359，2008. 1[2] J. - C. Bazin，H.李岛S. 昆角芒索山口Vasseur和K.池内对 应 与 分 组 问 题 的 分 枝 定 界 法 IEEE transactions onpattern analysis and machine intelligence ， 35 （ 7 ） ：1565-1576，2013。1[3] J. C. Bazin，Y.徐河I. Hartley和M.波勒菲斯旋转和焦距未知的全局最优内点集最大化。2014年，在ECCV。1[4] . Bjorck和V. Per e yr a. 范德蒙方程组的解Mathematics ofComputation，24（112）：893-903，1970. 二、三[5] P. Breiding，S.K. 韦罗夫舍克湾Sturmfels和M.温斯坦从样本中学习代数簇。arXiv预印本arXiv：1802.09436，2018。二、三[6] M. Chandraker，S.Agarwal、F.Kahl，D.Nister和D.Krieg-man。通过绝对二次曲面的秩约束估计进行自动校准。IEEE计算机视觉与模式识别会议（CVPR），2007年。一、五[7] T. J. Chin，Y.H. Kee，A.Eriksson和F.诺伊曼混合整数线性规划的保证离群值去除。在CVPR，2016年。1[8] T.- J. Chin，P. Purkait，A. Eriksson和D.苏特树搜索的高效全局最优共识最大化。在IEEE计算机视觉和模式识别会议论文集，第2413-2421页7[9] O. D.福格拉斯用未校准的立体装置在三维空间中可以看到什么。见ECCV，第563-578页，1992年。二、四、六[10] M. A. Fischler和R. C.波尔斯随机样本同意：模型拟合的范例及其在图像分析和自动制图中的应用。Commun.ACM，24（6）：381-395，1981. 一、二、七[11] F. Fraundorfer，P. Tanskanen和M.波勒菲斯对于两个已知方位角的情况，校准相对位姿问题的最小情况解。ECCV，2010年。1[12] R. I.哈特利使用旋转相机从多个视图进行自校准。见ECCV，第471-478页，1994年。一、五、六[13] R. I. Hartley和F.卡尔通过旋转空间搜索进行全局优化。IJCV，82（1）：64-79，2009. 1[14] R. I. Hartley和A.齐瑟曼。 计算机视觉中的多视图几何。剑桥大学出版社，第二版，2004年。一、二、四、五、六、七[15] H.李鲁棒几何估计的保证全局最优性的一致集最大化。ICCV，2009年。1[16] A. Locher ，M. Havlena 和L. 范古 尔运动 中的渐 进在ECCV，2018。1[17] H. Longuet-Higgins从两个投影重建景物的一种计算机算法。自然，293：133-135，1981. 一、二、四、五[18] D. G.洛从尺度不变的关键点中提取独特的图像特征。International Journal of Computer Vision，60（2）：91-110，2004. 1、8[19] W. 马登恩湾帕斯科角Linegar和P.纽曼1年，1000公里：牛 津 RobotCar 数 据 集 。 The International Journal ofRobotics Research（IJRR），36（1）：3七、八[20] G. P·麦考密克可分解非凸规划的整体解的可计算性：部分凸性低估问题。Mathematical Programming，10（1）：147-175，1976. 4[21] D. 是的。五点关系问题的有效解决方案IEEE传输模式分析马赫内特尔，26（6）：756-777，2004. 1[22] D. 尼斯特岛O.Naroditsky和J.卑尔根视觉里程计。在IEEE计算机视觉和模式识别会议中，第652-659页，2004年。2[23] D.斯卡拉穆扎利用非完整约束的车载摄像机运动单点平移结构。Int. J. Comp. Vision，95（1）：74-85，2011. 1[24] J. L. S chonbe r ger和J. - M. 弗拉姆结构从运动重新审视。在计算机视觉和模式识别会议（CVPR），2016年。1、8[25] J. L. Schonberger和J. M.弗拉姆结构从运动重新审视。在CVPR，2016年。1[26] L. S. Shapiro，A. Zisserman和M.布雷迪经由仿射对极几何 的 3D 运 动 再 现 International Journal of ComputerVision，16（2）：147-182，1995。二、六[27] N. Snavely，S. M. Seitz和R.塞利斯基从互联网照片集建模世界 Int. J. Comput. Vision，80（2）：189-210，2007.1[28] P. Speciale，D. P. Paudel，M. R. Oswald，T.克罗格湖V.Gool和M.波勒菲斯线性矩阵不等式约束下的一致最大化在CVPR，2017年。1[29] J. Sturm，N. Engelhard，F. Endres，W. Burgard和D.克雷默斯。评估rgb-d sam系统的基准InIROS，2012. 8[30] Z. Zhang和A. R.汉森基于全息映射的三维重建在ARPA图像理解工作室，1996年。1[31] Y. Zheng，S. Sugimoto和M.奥富确定性最大化可行子系统用于单位范数约束的鲁棒模型拟合CVPR，2011。1