多视角相机的基于点和线的最小闭合解的位姿估计

基于点和线的多视角位姿估计的最小闭合解Pedro Miraldo1[0000 - 0002 - 8551 - 2448]，Tiago Dias1[0000 - 0002 - 7826 - 7421]，和Srikumar Ramalingam2[0000−0002−2844−4119]1InstitutoSuperiorrT´ecnico，Lisboa{pedro.miraldo，tiagojdias}@ tecnico.ulisboa.pt2犹他大学计算机学院srikumar@cs.utah.edu抽象。我们提出了一个最小的解决方案，姿态估计使用点和线的多视角相机。在本文中，我们把多视角相机作为一个刚性连接的透视相机的集合。这些类型的成像设备对于需要大覆盖范围的若干计算机视觉应用是有用的，诸如监视、自动驾驶汽车和运动捕捉工作室。虽然现有方法已经考虑了仅使用点或线的情况，但是对于多视角相机，还没有解决涉及点和线两者的混合情况我们提出了两种情况下的解决方案在第一种情况下，我们给出了两个点和一条线的2D到3D对应关系在后一种情况下，我们给出了一个点和两条线的2D到3D对应关系我们表明，解决方案的情况下，两个点和一条线可以制定为一个四度方程。这是有趣的，因为我们可以得到一个封闭形式的解决方案，从而实现高计算效率。涉及两条线和一个点的后一种情况可以映射到八次方程。我们展示了模拟和真实的实验来证明现有方法的优势和好处。关键词：多视角相机，位姿估计，点，线。1介绍姿态估计是一个基本问题，其用于各种各样的应用中，例如基于图像的定位（与易于遭受多路径效应的全球定位单元互补）、增强/虚拟现实、来自车载多相机系统的环绕视图和鸟瞰视图合成以及机器人臂的远程操纵姿态估计的基本思想是恢复相机相对于世界上一些已知的3D对象的位置和取向我们通常将世界坐标系与3D对象相关联，并且姿态估计表示世界坐标系与相机坐标系之间的刚性变换的计算。姿态估计的问题设置通常是相同的我们得到了2P. Miraldo，T. Dias和S. Ramalingam表1：透视、多透视和一般相机模型的最小姿势问题列表，使用点和/或线。最小问题点/线数量解决方案数量封闭形式论文透视带点3/04是的[3带线0/38没有[8、9]点线透视2/14是的[1]第一章点线透视1/28没有[1]第一章带点的3/08没有[10个国家]多视角线0/38没有[第十一届]点和线2/14是的我们点和线1/28没有我们带点的3/08没有[122D特征（点或线）和3D特征，目标是计算相机和世界之间的刚性变换。对于姿态估计问题，开发利用多于最小数量的对应的非最小解相对更容易。然而，多视图几何算法的非从业者可能会思考以下问题。真的有必要开发一个复杂的算法来使用最少数量的特征吗？什么是混合算法的需要，rithms [1，2]，利用点和线的特点？在实践中，对于带有离群值的噪声数据，非最小解算器产生的结果比最小解算器差。例如，在涉及拥挤的道路和动态障碍物的具有挑战性的姿态估计场景中，我们面临具有大量不正确的特征对应的问题具有使用点或线对应的灵活性虽然已经有几个求解器，但可以使用三个主要因素来区分一个求解器与另一个求解器：最小/非最小、特征和相机系统。例如，我们可以考虑用于中央相机系统的姿态估计算法，其是最小的并且仅使用点对应。选项卡. 1列出不同类型的相机系统和功能的几个最小解算器用于中央相机的最小解算器：使用3点对应的最小相机姿态解算器给出多达四个解，并且可以以封闭形式计算[3-7]。另一方面，使用3条线对应，我们得到8个解[8，9]，需要使用较慢的迭代方法。在[1]中，考虑了两种混合情景：1）2点1线，4个封闭解;和2）1点和2条线产生8个解，需要使用迭代方法。同时使用点和线的非最小解算器也被研究[15，16]。广义相机的最小解算器：通用相机模型[17 -20]由无约束3D投影射线和像素之间的个体关联表示，即当投影射线可能不在单个3D点处相交时世界上使用三个3D点和它们的2D对应来解决这个问题[12-14]。另一方面，对于使用3D直线及其图像的情况，也没有提出解决方案。基于点和线的多视角位姿估计3使用点和线的组合的情况。有使用点和线的非最小解算器[21，22]。多视角相机的最小解算器：我们将多视角相机称为对相对于彼此刚性附接的多个视角相机进行建模的系统。示例包括立体相机、安装在汽车上用于环绕视图捕获的多相机系统等。虽然多视角相机系统是非中心的并且可以被视为广义相机，但是它们不是完全不受约束的。在透视和多透视系统中，3D线作为2D线投影并且导致解释“平面”。多视角相机的最小解算器已经独立地针对点[10]和线[11]进行了解决。在本文中，我们提出了一种新的解决方案，用于多视角摄像机使用点和线的姿态估计。我们不知道解决这个问题的任何先前的工作。两3D点和线对应提供两个自由度（如图所示在[3-7，10，12-14]中，点和[8，9，11]中，线）。由于我们有6个DOF，为了计算相机姿态，我们需要至少三条线和/或点3。姿态估计也在其他设置下进行了研究[26-39]。本文的主要贡献总结如下：– 我们提出了用于给定2D和3D对应的多视角相机系统的两个最小姿态估计求解器3和图1）：1. 使用2个点和1条线，我们得到4个封闭形式的解;2. 使用1点和2条线，我们得到8个解。– 使用点和线的拟议求解器产生可比或优于仅采用点或线的结果（第2节）。4）;– 虽然大多数先前的方法需要迭代解决方案（见表1）。1）、2个点和1条线的对应关系产生有效的闭合形式求解器（对于诸如自动驾驶的现实世界应用非常有用）;以及– 我们展示了一个独立的SLAM系统，使用所提出的求解器进行大规模重建（第二节）。4）.2问题陈述我们的目标是解决最小的姿态估计多视角相机使用点和线。首先，我们使用点或线提出了一般的姿势问题（第二节）。2.1)然后，我们定义了本文研究的最小情况（Sec. 2.2）。2.1使用点或线的摄影机姿势为了区分世界和相机坐标系中的特征，我们分别使用W和C相机姿态通过对所述图像的估计来给出3在其他情况下，诸如折反射相机3D线在图像中投影为曲线，而在其他情况下，其有利于从图像[23- 25]中获得3D线4P. Miraldo，T. Dias和S. RamalingamJJ(a) 两点一线（二）一点一线。图1：说明本文解决的两个极小问题 我们在两个不同的设置中估计变换参数T_CW：我们有两个3D点、一条3D线和它们各自的图像（a）的情况;以及我们有两条3D线、一个3D点和它们各自的图像的情况（b）。旋转矩阵RCW∈SO（3）和平移向量tCW∈R3，它们定义了相机和世界坐标系之间的刚性变换TCW∈R4×4 =ΣΣRCW tCW01， 31.（一）多视角相机被视为相对于彼此刚性安装的各个视角相机的集合。我们使用Ci来表示在hh hperspetivecamera中的函数。各个相机和全局相机坐标系之间的距离是已知的，即，T CiC已知，对于所有i。接下来，我们定义多视角系统的姿态。1) 使用3D点的相机姿势对于一组3D点pW及其由于相机参数是已知的，因此多个图像的姿态可以是对于a {p W> → d Ci}，j = 1，. . . ，N，其中J Jd Ci ∈R3是逆投影方向，由在中看到的pWJ J摄像机Ci[40，41]。形式上，姿态由TCW给出，使得ΣδRdCi+ cCΣΣpWΣTCWjCiCj1I =j1对于所有j = 1，. . . ，N，（2）其中δj是pCi，w的未知数。R. t. c∈R3.J I2) 使用3D线的摄影机姿势：要在worldweusePlu¨ckercoordinates[42]，即：e. lW（¯lW，~lW）where¯lW，~lW∈R3j j j j j是李宁的导演和导演。如果您的相机没有损坏，已知，它们各自的图像可以由解释平面表示ΠCi∈R4=（π¯Ci，πˇCi）[40，41]，其中π¯Ci 这是一个正常的向量，用于平面和j j j jπˇC表示与原始坐标系的距离，在这种情况下等于零（解释平面通过中心）。基于点和线的多视角位姿估计5JJJ1J摄像机Ci）。在正确的姿态下，3D线位于由相应的2D线和相机中心形成的解释平面上。因此，所需的使用线的姿态由对于{1W→ΠCi}的TCW给出，使得J JΣ~W WljljlWT 0联系我们LW∈R4×4JTCW−TCiCΠCi =0，对于所有j=1，. . .、N、（3）其中：LW是直线W的Rix处的Pluuc km[42]这是一个比喻。Symmetricmatrixthatinearizesexternalproct，suchthata×b=ab;并且N是世界中的3D线与它们各自的解释平面之间的对应的数目。2.2使用点和线的类似于仅使用点或线的情况，通过在世界中具有这些特征中的三个以及它们各自的图像来计算最小姿态。这意味着，对于本文中提到的最小姿态，并且根据Sec. 1、有两种情况：–TCW的估计，已知：lW›→ΠC1; pW›→ dC2; pW›→ dC3;以及1 1 2 2 3 3TCiC，其中i= 1， 2， 3。此问题的图形表示如图1（a）;以及–TCW的估计，已知：lW→ΠC1; pW→ dC2;以及lW→ΠC3;1 1 2 2 3 3和TCiC，其中i= 1， 2， 3。这个问题在图中被描绘第1段（b）分段。我们将在下一节中展示这些最小问题的解决方案。3用点和线作为第一步，我们使用对数据的预定义变换来变换世界和相机坐标系（第二节）。第3.1节）。请注意，我们可以首先计算这个新坐标系中的姿态，然后通过使用预定义变换的逆变换来恢复原始坐标系使用这种预定义的变换可以大大简化底层的多项式方程，并使我们能够开发低次多项式的解决方案。3.1选择世界坐标系和摄影机坐标系让我们考虑初始变换，使得世界坐标系中的数据验证以下规范：– 以lW为中心;– 当纵轴与直线的方向对齐时，不不6P. Miraldo，T. Dias和S. Ramalingam2(a)世界坐标系（b）相机坐标系图2：所选世界和摄影机坐标系的描述（a）示出了所考虑的世界坐标系，而（b）呈现了所选择的相机坐标系。我们注意到，虽然世界坐标系被唯一地定义，但是相机坐标系可以被定义到z– 使得p W= Σ0 0 *ΣT，其中 * 取R中的任意值。这些规格的图示如图所示。第2段（a）分段。关于相机坐标系，我们的目标是具有以下规范：– Centerdin theC1;and– 其中z图中显示了相机系统中的COOR DIN的总体描述。第2段（b）分段。预定义的变换可以很容易地计算，并且在补充材料中示出了细节。在下面的小节中，我们将给出最小情况的解。3.2使用两个三维点和一条三维直线的求解在这里，我们提出了一个封闭的形式的解决方案，使用2点和1线。使用3D线及其相关联的解释平面上的共面性约束（3），并使用与点对应（2）相关联的共线性约束来计算最小姿态。从选定的坐标系（第3.1），相机坐标系和世界坐标系之间的旋转由下式给出：cθ0−sθcα sα0RCW =0 1 0sθ0cθ−sα cα0,(4)0 0 1未知数为cθsθ4和cαsα。可以注意到，作为预定义变换的结果，我们已经减少了旋转矩阵上的一个自由度。此外，一名拥有∗R CWt CW=*，其中*可以取R中的任何值。（五）04为了简化，我们分别将cos（θ）表示为cθ，将sin（θ）表示为sθ基于点和线的多视角位姿估计7123我45679111315161719十八岁现在，让我们考虑与第一点对应相关联的共线性的影响。从（2），我们有T. δdC + cCΣ = pW，（6）CW22 2 2其中dC = RCC dC2。然后，这可以作为未知数的函数来求解222t1，t2，t3，结果是t1=κ3[cθ，sθ，cα，sα，δ2];（7）t2=κ2[cα，sα，δ2];和d（8）t3=κ3[cθ，sθ，cα，sα，δ2]，（9）其中，k是k[. [D] D = D +D 在补充材料中发送所有系数的统一表示。接下来，我们考虑第二点的影响：T. δ d C+ c CΣ = p W。（十）CW33 3 3用（7）-（9）的结果代替（10）中的未知量t1，t2，t3，得到了θ，α，δ2，δκ3[cθ，sθ，cα，sα，δ2，δ3]=0;（11）κ2[cα，sα，δ2，δ3]=0;和d（12）κ3[cθ，sθ，cα，sα，δ2，δ3]=0。（十三）此外，考虑（5）中定义的约束的第三行，并通过（7）-（9）的结果来替换该等式中的t1、t2和t3，我们得到以下约束κ3[cθ，sθ，δ2]=0。（十四）现在，将（11）-（13）和（14）作为cθ，sθ，cα和sα的函数求解，我们得到κ1[δ2]κ1[δ2，δ3]κ2[δ2，δ3]κ2[δ2，δ3]cθ=8，sθ =10，cα =12，s α =14。 （十五）κ2[δ2，δ3]κ2[δ2，δ3]κ2[δ2，δ3]κ2[δ2，δ3]我们将其替换为三角关系式cθ2+sθ2−1 = 0和cα2+sα2−1 = 0，得到两个约束条件κ2[δ2，δ3] = 0w及κ2[δ2，δ3]κ2[δ2，δ3] = 0（16）κ2[δ2，δ3]然而，将该底部等式作为未知数δ2和δ3的函数进行求解就等于解决了κ2[δ2，δ3]=κ2[δ2，δ3]=0，（17）16 18它对应于两个二次曲线之间的交点的估计，其中，根据B′ezout的理论[ 43]，具有四个解。此为8P. Miraldo，T. Dias和S. Ramalingam19222324326[二]《中国日报》28[二]《中国日报》在文献中有许多通用的求解器来计算这些解（例如如[44然而，由于我们处理的是非常简单的多项式方程，我们推导出自己的四次多项式。 从（17）中，将一个多项式求解为δ2的函数，并根据其他函数中的平方根（使用简单的代数操作去除平方根），我们得到κ4[δ2]=0和d（18）κ1[δ2] √κ2[δ2]δ3=2021κ1[δ2].（十九）补充材料中提供了这些推导的详细情况最后，为了计算姿态，必须求解（18），其可以在闭合形式中计算（使用针对模块的函数），得到针对δ 2的四个实际解。通过在（19）中对δ2进行分组，可以获得对δ3的保留值（除非从这两种方法中获得对δ3的保留值，否则将被保留，因为（17）可以仅使用我们的解决方案。{δ2，δ3}这一对将在(15)计算相应的{cθ，sθ，cα，sα}，然后在（7）-（9）中估计{t1，t2，t3}。3.3使用两条三维直线和一个三维点的求解本小节介绍了使用2条线和1个点解决多视角姿势问题的方法。如前所述，我们考虑在第二节中定义的对输入数据的预定义变换。3.1，其已经包括与第一3D线相关联的共面性约束。在这些假设下，我们开始考虑与3D点及其相应图像（2）相关联的共线约束，然后使用第二3D线及其相应解释平面（3）的共面性约束。我们开始使用与SEC相同的步骤。3.2，即我们得到平移参数s作为cθ，sθ，cα，sα和δ2的函数，其特征由（7）-（9）给出。然后，我们用（7）-（9）的结果替换（5）的第三行中的平移参数，这给出（14）。然后，我们求解（14）和三角约束cθ2+sθ2−1 = 0，作为cθ和sθ的函数，得到.cθ=κ1[δ2] 和sθ=±κ2[δ2]。（二十）现在，我们考虑与第二行相关联的约束，因为T C3C 已知，由下式给出LW T−T ΠC= 0，（21）3CW3其中，−TC3C3. 替换上述中的转换参数3方程由（7）-（9）的结果得到，cθ由（20）的结果得到（注意，现在我们保留未知数sθ），得到四个次数为tω0的多项式方程，作为变量sδ2，sα，cα，sθ的函数. 将m的wo作为cα和sα的函数求解，我们得到κ2sθ，δcα=25κ1[sθ，δ2]κ2sθ，δ和sα=27。（二十二）κ1[sθ，δ2]= T基于点和线的多视角位姿估计9[二]《中国日报》30293132333439我现在，将这些结果替换为三角关系cα2+sα2−1 = 0，我们得到以下形式κ4sθ，δ29=0⇒κ4[sθ，δ2]=0。（二十三）κ2[sθ，δ2]29与公式（20）不同的是，将定义为δ2，h的函数的δθx作为多项式方程的平方根。然后，从（23）开始，我们将问题简化为：1）将具有sθ的项取到等式的右侧：κ4[sθ，δ2]=0⇒sθ4+κ2[δ2]sθ2+κ4[δ2]=−.κ1[δ2]sθ2Σ+κ3[δ2]sθ;（24）2）将两边平方，将所有项移动到等式的左侧：sθ8+κ2[δ2]sθ6+κ6[δ2]sθ4+κ6[δ2]sθ2+κ8[δ2]=0;（25）35 36 37 38最后，3）用（20）代替sθ（注意平方根和±信号被移除），我们得到κ8[δ2]=0，（26）其中最多可使用一种真正的解决方案。方法：1）由（26）的所有根计算δ2;2）由（20）的δ 2计算{c θ，s θ}; 3）由（26）的所有根计算δ2;4）由（20）的所有根计算{cθ，sθ}; 5）由（26）的所有根计算δ 2;6）由（20）的所有根计算{ c θ，sθ}。{cα，sα}来自（22）; 4）通过将所有这些未知数代入，我们得到{tl，t2，t3}，获得相机姿态的估计4实验结果在这些实验中，我们考虑Sec. 3和现有的多视角算法来使用三个点[10]或三条线[11]来解决姿势。所有的算法都是在MATLAB中实现的，并且在所有的实验室中都是可用的。我们首先使用合成数据（Sec. 4.1）：1）我们计算了实数解的个数并分析了它们的计算复杂度; 2）我们用噪声测试了每种方法。接下来，我们使用真实数据示出结果：1）我们在RANSAC框架中评估最4.2）;和2）我们使用每种方法在3D路径重建使用一个真正的多视角相机（第4.2节）。4.3）。4.1合成数据为了获得数据，我们随机地定义地面实况相机姿态TGT。生成三个透视相机（随机分布在环境中），其中假设它们相对于相机坐标系的位置是已知的，TCiC。然后，对于每个相机Ci，我们定义世界中的特征，以及它们在图像中的投影：pW<$→ dCi：世界pW中的点被投影到图像uIi，通过使用我我我预定义的校准矩阵。我们在图像像素中有噪声，得到对应的3D逆投影方向dCi。10P. Miraldo，T. Dias和S. RamalingamGT(a) 数值结果。（二）发生次数。算法2点1线1点2线[10]第10话[第11话总151. 3s516 6s512 2s1481年7s中值135µs439微秒480µs1161µs(c)用于求解摄影机姿势的计算时间的总和和中值。图3：使用本文中提出的方法（2点、1线和1点、2线）以及针对点（3点）和线（3线）的现有解决方案，针对姿态估计获得的具有数值误差的结果：将限定3D线IW的边缘的3D点投影到3D线IW中。我我我图像，{uIi，uIi}。对于边缘的每个图像点，我们添加噪声（正如我们所做的1，i2，i在预处理器中），并将预处理器中的预处理器Σojectiond irecΣ-项{dCi， dCi}。解释平面由ΠCi= dCi× dCi 0给出。月1月2i1，i月2在获得数据之后，我们应用已知变换TCiC以获得全局相机坐标系中的对应特征，使得pW›→ cC +δi dC，其中cC是透视相机中心，并且dC = RCC dCi。我我其中ΠC=T-TΠCi。我我我CiCi对于评估，我们开始运行的实验中，我们认为10- 6随机试验，不添加噪声的图像像素。我们使用本文中提出的两种方法，以及[10，11]中提出的算法。对于每个试验/方法，其中RCW和tCW是估计的旋转和平移参数，我们：1）计算引起偏差的相对旋转的估计旋转w.r.t.地面实况∆R = RCW RT，它可以由轴角旋转表示，并且误差被设置为以度为单位的相应角度;以及2）将tCW− t GT设置为平移误差5。图3（a）示出了这些方法在数值评估方面非常相似。手征约束：本 节 中 评 估 的 所有方法都会为姿势生成多个解决方案。我们的SEC方法3.2与次级3.3分别给出四个和八个解决方案我们抛弃了想象的解决方案和那些在物理上无法实现的所谓的手性约束[41]限制了相机后面的点（这只可能在我们使用点对应的情况下进行检查）。我们得到的结果为10- 6审判和没有手约束。图3（b）示出了5对于算法返回多个解决方案的情况，使用这些度量标准时，将其视为具有最小误差的情况。基于点和线的多视角位姿估计11图4：使用不同类型的特征的方法的比较结果，作为图像像素中的噪声的函数。2点，1线和1点，2线显示了本文中提出的方法的结果，而3点和线3线是[10，11]中提出的技术。对于使用更多点的算法，有效解（具有手性计算时间：为了结束这些测试，我们提出了评估的计算时间，每个算法计算所有的10 -6试验。 理论上，SEC中提出的方法。3.2是最快的，因为它是以封闭形式计算的。另一方面，我们的方法在Sec. 3.3三点的情况[10]需要计算八次多项式方程的根，这需要迭代技术。此外，三线[11]的情况不仅需要计算八次多项式方程，而且还需要计算3× 9矩阵的零空间，这也减慢了执行时间。结果显示在表中。3（c）验证上述假设。请注意，这些时序分析是使用Matlab完成的，将代码移植到C++将产生进一步的加速。接下来，我们评估的鲁棒性的方法在图像噪声。为此，我们考虑生成相同的数据集，但我们在图像中添加从0到5个像素的噪声。对于每个噪声水平，我们得到103次随机试验，计算所有四种算法的姿势（注意，每个算法所需的数据是不同的），并提取每个噪声水平的所有103次试验的平均值结果显示在图。4表明使用更多点的算法对噪声更鲁棒4.2在RANSAC框架对于这些实验，使用真实数据，我们评估了RANSAC框架中的最小解的结果[49，50]。由于我们使用点和线对应，因此需要为重新投影误差定义两个度量1)对于点，我们使用已知像素之间的几何距离和使用估计的相机姿态的3D点的重新投影;以及2）对于线，我们使用[51]中给出的结果，其对于地面真值线I GT和重新投影的线I（两者都在图像中）由下式给出：dL（1GT，1）2=.dP（u1，l）2+dP（u2，l）2∈xp（2∈（lGT，l）），（27）其中d P（. ）表示图像中的点与线之间的几何距离，并且U1U2是IGT的端点。12P. Miraldo，T. Dias和S. Ramalingam(a) 本实验结果中使用的图像和2D数据示例(b) 本实验中使用的3D数据集（蓝线和 红 点 ） 和 估 计 的 相 机 位 置 （ 绿色）。(c) RANSAC框架中的最小解：改变所需的内点数目以停止循环。(d) RANSAC框架中的最小解：改变阈值以停止循环。图5：评价拟议的技术和现有的方法。作为评估标准，我们考虑停止RANSAC循环所需的内点数量和阈值。之后计算了旋转和平移参数方面的误差，并在所有方法之间进行了比较。(a)和（b）示出了在这些实验中使用的三个视图和2D-3D数据（点和线）。(c)及（d）显示所建议的评估。然后，我们使用ETH3D基准[52]的数据集。数据集为我们提供了一组相机的校准和姿势，以及图像中的3D点及其对应关系。为了提取图像中的3D线条及其对应关系，我们使用来自数据集的相机校准姿态参数和Line3D++算法[51]。图像中的特征及其在世界中的相应坐标的示例在图1中示出5（a）和5（b）。我们使用这些数据运行两个实验，使用我们的方法和[10，11]，在RANSAC框架下我们首先定义点和线的阈值6。为了公平地选择这些阈值，我们运行[10，11]（分别仅使用点或线），并校准值以确保在误差方面类似的结果作为所需的内点数量的函数。我们在我们的技术中使用这些线和点阈值。然后，我们改变所需的内点数量（图像中所有点和线的百分比），并且对于每个内点，我们运行该方法104次。图5（c）我们展示了6请注意，由于上述指标之间的差异，这些阈值必须不同。基于点和线的多视角位姿估计13(a) 系统（b）图像样本。（c）恢复路径。图6：使用RANSAC框架的我们的方法在路径估计中的结果。在左侧，我们示出了所使用的成像设备（三个相机，它们之间的角度为45度在中间，我们示出了表示由我们的相机系统在同一实例处获取的两个序列的两列在右边，我们示出了使用所有评估的方法获得的重建路径。错误的结果（使用第4.1对于平移和旋转误差），作为内点百分比的函数。为了总结这些实验，我们在RANSAC框架中对固定数量的所需内点（在这种情况下，我们考虑40%的数据）进行了一些不同阈值的测试。为了改变阈值，我们从上一段中指示的值开始结果示于图5（d），阈值范围为原始阈值的50%至150%。积极因素：从图1A和图1B的结果可以看出。如图5（c）和5（d）所示，对于先前定义的阈值，使用三个点和三条线的两种方法具有类似的结果，并且当与我们的解决方案（使用2点1线和1点2线）的结果进行比较时，可以看出旋转和平移参数的误差通常显著更低。4.3基于多视角系统的使用所提出的方法，我们展示了一个多视角相机的三维重建流水线。为此，我们使用真实的成像设备（见图1）。图6（a）），并且从室外环境获取若干图像我们提取世界和图像特征之间的对应关系如下：(a) 我们使用VisualSFM框架[53，54]获得相机姿态和3D点与图像像素之间的对应关系;以及(b) 为了获得线对应，我们使用Line3D++算法[51]。该方法需要输入相机位置，其中我们使用VisualSFM应用程序给出的姿势。然后，我们使用Matlab校准工具箱单独校准每个摄像机。由系统的CAD提供了TCiC的配置文件形式14P. Miraldo，T. Dias和S. Ramalingam模型然后，我们运行本文中提出的方法和现有的解决方案，使用RANSAC框架，其中30%的所需内点和阈值在前一小节中使用。包括图像、3D-2D对应关系（线和点两者）和相机系统校准的数据集在所有人的网站中是可用的，以及在该实验的实验结构图中也是可用的总共拍摄了606张照片，200米（这些图片的例子显示在图。6（b））。平均每幅图像使用130条线和50个点，全球总共使用5814条3D线和2230个3D点。图6（c）示出了使用各种求解器的路径重构的结果，并且它们产生类似的结果。5讨论我们提出了2个最小解算器的多视角相机：（a）使用2点和1线产生4个解决方案，和（b）使用2线和1点产生8个解决方案。虽然后者的情况下，需要迭代的方法，前者可以有效地解决了封闭的形式。据我们所知，没有关于将混合特征用于多相机系统的先前工作。注意，现有的解决方案（即仅使用点或线）需要使用迭代技术。我们与其他最小解算器进行了比较，并且我们的表现与仅使用点或线的解算器相似或更好。虽然不同的最小解算器之间的性能差异只能是边际的，但更重要的是要注意，这些混合解算器在噪声，动态和具有挑战性的道路场景中可能是有益的和鲁棒的，在这些场景中甚至很难获得一些良好的对应关系。我们还展示了一个真正的实验，以恢复使用3摄像机系统的户外序列的路径。我们的方法可以被看作是一个泛化的现有的姿势求解器的中央相机，使用点和线的对应关系。如果我们设置TC1C=TC2C=TC3C，我们的方法解决了当前最先进的方法的透视相机的最小问题致谢P. Miraldo和T. Dias are with the Institute for Systems and Robotics（ISR/IST），LARSyS，InstitutoSup eriorT'ecnico，UniversityofLisboa，Portugal. 葡萄牙项目[UID/EEA/50009/2013][PTDC/EEI-SII/4698/2014]和赠款[SFRH/BPD/111495/2015]部分支持了该项目。我们感谢评审员和AC提供的宝贵反馈。基于点和线的多视角位姿估计15引用1. Ramalingam，S.，Bouaziz，S.，Sturm，P.：使用点和线两者来进行姿势估计以形成0 - 10个姿势。 In：IEEEInt' l C o n f. 在R〇b〇ticsandAut〇mati〇n（ICRA）中。（2011）47 162. Kuang，Y.，Astrom，K.：使用点、方向和直线的具有未知焦距的姿态估计。 In：IEEEInt' l C o n f. 在C〇mputerV isin（ICCV）中。（2013）5293. 哈拉里克河Lee，C.N.，Ottenberg，K.，Nolle，M.：审查和分析相关问题的解决方案。 我不是J。（JCV）13（3）（1994）3314. Gao，X.S.，Hou，X.R.，唐，J.，Cheng，H.F.：透视三点问题的完全解分类。IEEE Trans. on Pattern Analysis andMac hi neIntel i ge nce（T-PAMI）25（8）（2003）9305. 克奈普湖Scaramuzza，D.，西格瓦特河：一种新的参数化的透视三点问题的直接计算的绝对相机的位置和方向。在：IEEE Conf.计算机视觉与模式识别（Computer Vision and Patter Recognition，CVP R）（2011）29696. Ke，T.，Roumeliotis，S.I.：透视三点问题的一种有效代数解法。在：IEEE Conf.计算机视觉与模式识别（CVP R）电话：（2017）46187. 王，P.，Xu，G.，王志，程云：透视三点姿势问题的有效解决方案计算机视觉与图像理解（CVIU）166（2018）818. Dhome，M.，Richetin，M.，Lapreste，J.T.，Rives，G.：从单个透视图确定3D对象的IEEE模式分析与管理学报（T-PAMI）11（12）（1989）12659. Chen，H.H.：从线到面对应确定位姿：存在条件和关闭格式。 In：IEEEInt' l C o n f. 在C〇mputerV isin（ICCV）中。（1990年）37410. Lee，G.H.，Lin，B.，Pollefeys，M.，Fraundorfer，F.：多相机位姿估计问题的最小解。国际机器人研究杂志（IJRR）34（7）（2015）83711. Lee，G.H.：从线相关点估计非透视位姿的最小解。 In：Er opeanConf. 在C〇mputerVis〇n（ECCV）中。（2016）17012. Chen，C.S.，Chang，W.Y.：广义视觉传感器的位姿恢复。IEEE T系列《专利与技术》26（7）（2004）84813. Nister，D.：广义三点位姿问题的最小解。在：IEEE Conf.计算机视觉和模式识别（CVPR）。第1卷（2004年）56014. Miraldo，P.，Araujo，H.：最小一般姿态估计的简单而鲁棒的解决方案。In ：IEEEInt' l C o n f.在R〇b 〇ticsandAut 〇mati 〇n（ ICRA） 中 。（2014）211915. Ansar ， A. ， Daniilidis ， K. ： 使 用 点 或 线 的 线 性 姿 态 估 计 。 IEEETrans.onPAtteR nAnalysandMachineInteligence（T-PAMI）25（5）（2003）57816. Vakhitov，A.，Funke，J.，Moreno-Noguer，F.：精确和线性的时间姿态估计从点和线。在：欧洲会议。计算机视觉（ECCV）（2016）58317. 格罗斯伯格医学博士Nayar，S.K.：一种通用成像模型和一种用于找到其范围的方法。 In：IEEEInt' l C o n f. 在C〇mputerV isin（ICCV）中。 第2卷。（2001年）10816P. Miraldo，T. Dias和S. Ramalingam18. Sturm，P.，Ramalingam，S.：相机校准的一般概念。In：European Conf. 在C〇mputerVis〇n（ECCV）中。（2004）119. Miraldo，P.，Araujo，H.，Queiro，J.：基于点的校准，其使用几何模型的参数表示。 In：IEEEInt' l C o n f. 在C〇mputerV isin（ICCV）中。（2011）230420. Sturm，P.，Ramalingam，S.，Tardif，J.P.，Gasparini，S.，Barreto，J.：几何 计 算 机 视 觉 中 使 用 的 相 机 模 型 和 基 本 概 念 。 Foundationsandtrendsincommputterhicsandcommputtervision2（1-2）（2011）121. Schweighs，G.，Pinz，A.：这是一个O（n）时间复杂度为O（n）的问题。 In：BritishMachineVisionConf. （BMVC）。（2008年）122. Miraldo，P.，Araujo，H.，Gonalves，N.：使用直线的一般相机的位姿估计。IEEETrans. 〇nCybernics，45（10）：2156-216445（10）（2015）215623. Caglioti，V. Gasparini，S.：从单个2D图像在3D空间中定位直线。在：IEEE Conf.计算机视觉与模式识别（CVPR） 第1卷。（2005）112924. 斯瓦米纳坦河Wu，A.，Dong，H.：深度失真。在：全向视觉，相机网络和非经典相机（OMNIVIS）研讨会。（2008年）25. Bermudez-Cameo，J.，Barreto，J.P.，Lopez-Nicolas，G. Guerrero，J.J.：计算非中心相机中的线对的最小解。在：亚洲会议. on C〇mputerVision（ACCV）. （2014）58526. Camposeco，F.，Cohen，A.，Pollefeys，M.，Sattler，T.：混合姿态估计。In：IEEEConf. 在C〇mputerVisinandPater nRec o gnitin（CVPR）中。（2018）13627. Bujnak，M.，Kukelova，Z.，Pajdla，T.：提出了一种新的有效的解决具有未知焦距和径向畸变的摄像机绝对位姿问题的方法。In：Asian Conf. 在C〇mputerVis〇n（ACCV）中。（2011）1128. Micusik，B.，Wildenauer，H.：未校准绝对位姿概率的最小解，其中已知的新变量是高点。 In：IEEEInt' l C o n f.在3DV中是独立的（3DV）。（2013）14 329. Kukelova ， Z. ， Bujnak ， M. ， Pajdla ， T. ： 实 时 解 绝 对 位 姿problemwithhunknownradialidistornandforacalleng. In：IEEEInt'l C o n f. 在C〇mputerV isin（ICCV）中。（2013）281630. Kuang，Y.，Solem，J.E.，Kahl，F.，Astrom，K.：具有单个未知径向失真的相对姿态的最小解算器。在：IEEE Conf.计算机视觉与图形识别（CVPR）。（2014）3331. Wu ， C. ： P3.5P ： 具 有 未 知 焦 距 的 姿 态 估 计 。 在 ： IEEE Conf. 在ComputerVision和PatterrnRecognition（CVPR）上。（2015）244032. Kukelova，Z.，Bujnak，M.，Pajdla，T.：已知垂直方向的最小绝对位姿问题的封闭解。在：亚洲会议.计算机视觉（ACCV）（2010年）21633. 斯威尼角Flynn，J.，Nuernberger，B.，Turk，M.，Hollerer，T.：高效的计算解决方案，可用于大容量数