部分标定半广义姿态问题的解决方案及评估

2882基于混合点对应的部分标定半广义姿态Snehal Bhayani1 Torsten Sattler2 Viktor Larsson3Janne Heikkila¨1 Zuzana Kukelova41芬兰奥卢大学机器视觉与信号分析中心2布拉格捷克技术大学捷克信息学、机器人学和控制论研究所3瑞典隆德大学4布拉格捷克技术大学电气工程学院视觉识别小组摘要研究了部分标定摄像机的半广义位姿估计问题，具有未知焦距w.r.t.从2D-2D和2D-3D点对应的混合集合中，我们研究了广义相机系统内为了获得实际的解决方案，以前未解决的挑战性配置，我们测试不同的参数化，以及不同的解决策略的基础上，国家的最先进的方法，以产生有效的多项式求解器。 我们评估了三个最有前途的解决方案，即， H51f求解器具有五个2D-2D对应和一个2D-3D匹配，由通用相机内的同一相机查看，H32f求解器具有三个2D-2D和两个2D-3D对应，以及H13f求解器具有一个2D-2D和三个2D-3D匹配。我们表明，在存在噪声的3D点，这些求解器提供更好的估计比相应的绝对姿态求解器。1. 介绍估计摄像机几何形状，即，绝对或相对姿态和内部照相机校准是具有许多应用的计算机视觉中的基本问题，例如，在相机校准[35，47]中，运动恢复结构（SfM）[34，36，41，45]，定位[3，31，32]，视觉里程计[25，26]，和图像检索[29，44]。相机几何求解器通常用于RANSAC风格的假设和测试框架[10]。为了效率，因此重要的是采用从最小数量的点对应生成解的最小解算器。最小相对和绝对姿态问题已经被广泛研究了几十年，有许多校准相机的解决方案[10，27，28]，图1.我们考虑的问题，估计一个透视相机（红色）与未知的焦距w.r.t.由来自2D-3D（蓝色）和2D-2D（橙色）匹配的多个单独相机（绿色）组成的一般化相机。焦距未知的部分校准相机[4，19，20，22，38]，径向失真[6，17，18，22]，以及假设已知重力方向的解[9，16，33]。这些问题的最小解是基于不同的参数化和不同的求解方法。例如，具有未知焦距的相机的绝对姿态问题已经基于距离比[4]、来自[22，46]的3.5pt公式和基于旋转的Cayley参数化的解决方案（使用极其高效的3Q3求解器[19]来解决）广义相机：所有上述算法都是基于中心透视投影模型（可能具有径向失真）。最近，提出了几种广义相机广义凸轮[30]通常可以由具有不同投影中心的任意一组射线表示。这种照相机模型有许多应用，例如，在SfM [48]和视觉定位[37，43]中，我们要么使用多相机系统，要么必须将新相机（查询图像）注册到一组具有已知姿态的相机，该组相机被建模为由已知透视相机组成的的2883×后一种情况称为半广义姿态估计问题。在许多情况下，估计相机姿态w.r.t.与根据成对对极几何形状的估计相比，广义相机导致更准确的姿态，特别是由于广义相机的较大视场[40]。此外，与针孔对极几何相比，平移的尺度可以被恢复。虽然使用3Q3求解器[19]可以非常有效地解决估计广义相机的绝对姿态的问题（最终求解器在几μs内运行），但估计两个广义相机的相对姿态的问题要复杂得多[39]。 这个问题导致了一个复杂的系统，有15个多项式方程，64个解和一个Gr？bner基解算器[39]，这对于实时应用是不可行的。近年来，针对不同的半广义相对位姿问题，提出了几种不同的解法。在[48]中，作者考虑了一个半广义对极几何问题，即，从2D-2D对应关系估计一个视角和一个广义相机之间的相对姿态以及平移尺度的问题。 由于问题的几何形状复杂，仅给出了四种不同构型的最小解，即：例如，标定针孔摄像机的E5+1和E4+2解算器，焦距未知的针孔摄像机的Ef6+1和Ef5+2解算器。这里，广义相机由多个透视相机组成。4 +2表示这样的配置，其中四个点对应来自这些透视相机之一，而剩余的两个对应来自一个或两个其他透视相机。建议的E4+2和Ef5+2求解器是不切实际的实时应用，因为它们执行消除巨大的矩阵，并有运行时间为1。2ms和13. 6ms，分别。最近，[2] 表明，对于平面场景，半广义相对论，在使用适当的参数化和消除某些未知数后，通过求一个单变量多项式的根，可以作者提出了这种有效的最小解校准和部分校准的半广义同质性估计和所有不同的配置的2D-2D对应在一个广义相机。混合对应：在[13]中，作者建议使用2D-2D和2D-3D对应的组合，即，混合匹配，用于视觉定位。使用混合对应有几个优点。虽然2D-2D对应关系仅提供了对相机几何形状的一个约束，但是2D-3D对应关系提供了两个约束，并且因此减少了姿态估计所需的匹配数量。另一方面，对于查询图像中的许多2D检测，3D点可能不可用，即，不可能对这些点进行三角测量，或者这些3D点可能有噪声。因此，2D- 2D和2D-3D对应的组合可以带来以下益处：如[7]所示，和都可以得到更好的姿态估计。[13]列出了用于校准、部分校准（未知焦距）和未校准的透视相机的半广义姿态估计的混合点对应的所有可能的最小配置通用照相机虽然作者估计了所有情况下的解的数量他们还提出了一种解决方案，以解决未校准的相机与一个2D-2D对应和五个2D-3D对应的情况。最近，[7]提出了几个问题的最小解决方案，估计校准相机的姿态，相机与已知的垂直方向，从混合点对应。这些解决方案假设两个摄像机都是广义的，即，一个完全广义的案例。最终的求解器大多是使用基于Gr o¨ bner基的自动生成器[15]获得的。结合标定摄像机的最小解算器，提出了一种基于RANSAC的方法，该方法在每次RANSAC迭代中自动选择在下一次迭代中使用的求解器是使用概率引导的采样策略以数据驱动的方式选择的，允许其适应所提供的对应的质量该论文表明，适当地结合不同类型的对应关系和不同的相机姿态求解器，这样的对应关系可以显着提高RANSAC即使某些提出的解算器是有效的，即使对于校准的摄像机，也已经存在导致大解算器的配置，例如，使用四个2D-2D和一个2D-3D对应的求解器必须执行244 ×277矩阵的消除。在本文中，我们研究具有挑战性的未解决的问题，为了估计部分校准的照相机的半广义姿态，即，具有未知焦距w.r.t.一个广义相机，从2D-2D和2D-3D点对应的混合集合（c.f.图①的人。所提出的求解器填补了最小求解器库中仍然存在的空白，并为具有未知焦距1的相机的姿态估计提供了新的替代方案，可以在混合RANSAC框架[7]内有效使用。我们假设一个半广义的情况，与[7]中考虑的完全广义的情况相同，因为这种情况在应用中更常见，例如，在视觉定位，并导致更简单和更快的求解器。该文件的主要贡献是：1. 我们提出了解决方案，所有可能的最小点配置的半广义姿态估计，1请注意，在许多应用中，需要估计的完全未校准相机的唯一内在参数是未知的焦距。2884PPGPGGPGJPPG我GGG{GG G}PJG我 我我根据2D- 2D和2D-3D点对应的混合集合的部分校准的相机。所提出的求解器包括（i）具有五个2D-2D对应和一个2D-3D对应的H51f求解器，（ii）具有三个2D-2D对应和两个2D-3D对应的H32f求解器，以及（iii）具有一个2D-2D对应和三个2D-3D对应的H13f求解器。在所有三种情况下，我们考虑了广义相机内所有可能的将的局部坐标系与的局部坐标系对齐。此外，我们还需要估计相机的焦距f。为了简洁起见，我们用R代替RG，用t代替tG。让我们假设一个3D点Xj由每一个观察到透视照相机和照相机I，即，从广义照相机中选择第i个组成透视照相机。让我们将在i和i中检测到的图像点表示为pj=[xj ， yj ， 1]T 和gi j=[xGi ， yGi ，1]T，关于iv el y。J J2. 找到一个可行的公式，导致一个实际的解决方案，并推导出一个有效的和稳定的解决方案，得到的多项式系统通常需要许多非平凡的为了得到所有具有挑战性的配置的有效和稳定的求解器，我们测试了问题的不同参数化，使用的基本矩阵，单应性，四元数，和凯莱参数化的旋转，以及利用该符号，3D点Xj在P的局部坐标系中的坐标为XP=αjK−1pj，（1）其中K是相机的校准矩阵，并且αj表示中的点Xj的深度。类似的关系适用于3D点Xj在Gi的局部坐标系中的坐标，XGi=βijK−G1gij，（2）JI作为基于用于生成有效多项式求解器的现有技术方法的不同求解策略，例如，理想消除法[20]，启发式-其中KGi是相机的校准矩阵β ij表示点Xj在i中的深度。为了得到XP和XGi之间的关系，我们必须变换基于基础抽样方法[23]和结果[1]。JJ3. 我们在合成数据和真实数据上测试最实用的求解器。我们表明，在存在噪声的三维点和特殊类型的运动，例如，向前运动时，这些解算器提供比对应的绝对姿态解算器更好的估计。将它们放置在同一个坐标系中，即，在这种情况下是P的局部坐标系。这给了我们R（βi jRGK−G1gij+tG）+t=αjK−1pj。（三）注意，这里我们使用了R=RG和t=tG的事实。因为在我们的例子中，RGi，tGi和KGi是已知的，为了更好的可读性，我们代入qij=RGK−G1gij，得到我2. 问题公式i让我们考虑如图1所示的相机设置我们R（βi jqij+tG）+t=αjK−1pj。（四）这表示由2D-2D对应施加的约束将针孔查询相机表示为P，并且将广义摄像头G。假设广义相机G为DencePJ参与者（qij），tGi）的情况。 同样，如果我们有一个2D-3D核心-G完全校准，并且它由一组针孔相机组成，表示为1，2，. . .，k.本文考虑进行部分校准。其校准矩阵为形式K = diag（f，f，1），焦距f未知。 我们使用上索引来表示坐标系。我们考虑了广义相机的两个不同的坐标系：作为单个实体的广义相机的局部坐标系，以及每个针孔相机的局部坐标系，即。令RGi，tGi表示对准局部共轴所需的旋转和平移将Gi的坐标系转换为广义相机G的局部坐标系。 设RG，tG表示旋转，在广义相机G的局部坐标系中的2D点pj和3D点Xj之间的响应，则所得到的约束为RXG+t=αjK−1pj。（五）3. 极小解算器混 合 点 对 应 的 半 广 义 姿 态 问 题 具 有 七 个 自 由 度（d.o.f.），R和t各三个，f一个。根据由每个2D-2D点对应引起的约束（4），我们可以消除深度αj和βij，以获得不2885J所需的平移，以对齐G到P的局部坐标系：设XP∈R3，XG∈R3是点X在局部坐标系中的坐标，（pj）[KRqij]×（KRtGi+Kt）=0，（6）其中符号[a]×表示反对称ma。坐标系和局部坐标系，向量a∈R3. 因此，每个2D-2D点对应-尊重我。它认为P=R×G+t。G概率给了我们一个等式。 同样的，从康-由每个2D-3D点对应引起的G G应变（5）对于这样的摄像机设置，我们的目标是估计广义摄像机G和透视摄像机P之间的旋转RG∈SO（3）和平移tG∈R3，即，到我们可以去掉深度αj，得到G[pj]（KRX+Kt）=0，（7）×2886GGG≤GG×GPGJ↔↔JGJJ从F的分解和那些诱导的这就给出了两个线性无关的方程。混合点配置（m，n）由m个2D- 2D和n个2D-3D点对应组成。它导致总共m+2n个线性无关方程。因为在这种情况下，我们有7个d.o.f.，对于任何混合点配置（m，n），为了导致最小问题，我们要求m+2n=7。本 文 将 这 种 混 合 点 构 形 （ m ， n ） 的 求 解 器 记 为Hmnf。给定的混合点配置（m，n）可以具有不同的广义相机的不同构型 ，基于在广义照相机内由相同针孔照相机i检测到的2D-2D对应的最大数目Km为了简洁起见，我们将这种情况表示为[k]。参数化：对于我们生成的所有配置，使用三种不同类型的参数化的求解器：• 旋转平移（Rt）：该参数化对应于等式&&(6)和（7）。在这里，我们测试了旋转矩阵R的基于Cayley和四元数的参数化。对于受[49]启发的四元数表示，我们使用乘积KR的四变量重新参数化。这对于消除对称和将解的数量减半是很重要的。我们把初始多项式系统记为E.• 单应性（H）：我们针对所有配置测试了该参数化，其中至少三个2D-2D对应来自同一相机i。在这种情况下，我们可以将3D点投影到相机i以获得全息图估计所需的第四2D-2D点对应类似地，三个2D-3D对应定义了一个平面，并因此定义了由该平面引起的3 ×3同态矩阵H。三个对应给我们六个线性方程的元素H，因此可以用来参数化H使用三维零空间。这里，初始系统E由该参数化连同来自同态矩阵H的分解的方程和来自剩余对应的方程一起定义。注意，基于单应性的参数化不适用于H51f[1]的情况。• 基本矩阵（F）：我们测试了这种配置的参数化，其中我们具有来自相同相机12的五个或六个2D-2D对应关系。由于每一个这样的对应都给了我们对基本矩阵F的线性约束，我们可以使用理想消除法的变量[20]。我们还尝试了广义摄像机和针孔摄像机.为了求解由此产生的多项式方程组，我们使用了两种最先进的代数方法来生成有效的多项式求解器，即。例如，Gr？ bner基方法[21]包括基抽样策略[23]和基于隐变量结果的方法[1]。这导致我们生成了大量不同参数化、点配置、求解策略和求解器的组合在本文中，我们提出了所有生成的求解器中的最快求解器为每个混合点配置（m，n）和所有可能的广义相机配置[k].这些求解器总结在选项卡. 1.一、请注意，我们没有研究（7，0）的情况下，因为我们在这篇文章中的目标是研究混合点配置至少有一个2D-3D点对应。第一该表中的两列报告了求解器/问题名称和给定配置及其特定公式的解决方案3的数量，第三列列出了可以使用特定求解器求解的广义相机中相机的可行配置，第四列和第五列列出了使用基本采样策略生成的最小/最快求解器的大小[23]（消除模板矩阵大小），基于结果的方法[1]（广义特征值问题大小），第六列是导致该求解器的问题的参数化，最后两列描述混合点配置。接下来，我们描述了最快的求解器为每个研究的混合点配置，即，H13f、H32f和H51f。3.1. H13f在这种情况下，我们有一个2D-2D点对应p1（q11，tG1）和三个2D-3D点对应pj×G，j=2，. . . 4，因此只有一个混合点结构，即，配置[1]。对于此配置，导致最小解算器的参数化是单应性参数化。在这种情况下，三个3D点XG，j= 2，. . . ，4，在广义相机的局部坐标系中定义平面。 让我们将这个平面表示为π，将其向量表示为N，对平面法线的方向和距离原点。因此我们有XG∈ π =<$NTXG+1 = 0，j = 2，. . . 、4.（八）零空间在这里，初始系统E由该参数化定义，以及下面的方程：坐标系变换：W.l.o.g.，我们可以旋转和平移G的坐标系，使得N=剩余的点对应。为了简化每个配置和参数化中的初始方程组E，我们试图消除不同的2我们再次使用3D点来获得2D-2D点对应。3注意，对于某些问题，报告的解决方案数量与[13]中给出的解决方案数量不一致。 原因有两方面：首先，[13]没有考虑可能的对称性，其次，对于某些问题，作者计算了透视和广义相机具有共同未知焦距的情况下的解。然而，这种情况是不切实际的。使用四个resp对其进行参数化三维2887J⊂GPF∈××JΣ Σ ΣΣ（（H+ tNT）q）T[t]p =0。（十七）问题溶胶数量将军凸轮英国[23]Res. [1]第一章参数2D-2D2D-3DH13fH32fH51fH51fH51f12265650389[1]第一章[1]、[2]、[3][1]第一章[2]、[3][4]美国[5]70 ×82289 ×315506 ×562511 ×561390 ×4289 ×1891 ×91−537 ×537374 ×374243 ×24310 ×10HRtRtRtF135555321111表1.混合点对应的部分校准半广义姿态解算器。Hmnf表示m为2D-2D且n为2D-3D匹配[k]表示由广义相机G内的相机Gi检测到不多于k个2D-2D匹配的情况。Σ00dT，d0和tG1 =10000分。W.l.o.g.， 将R代入Eq。（14）到Eq.（16）我们有P，使得q11=110 1ΣT。 如下图所示，这些KK11K ×1变换简化了初始方程组。的零空间参数化：让我们定义ho-（15）和（17）中的方程是对非线性的约束已知量，HK，tK和K，以及已知量，HK由三个2D-3D点对应引起的成像和的坐标系之间的一致性经由通过平面π的点转移。将单应矩阵表示为H∈R3×3，我们可以写H = R − tNT。（九）由形式（5）的2D-3D点对应施加的约束变为HXG=αjK−1pj，j=2，. . . 4.第一章（十）让 我 们 写 tK=Kt 和 HK=KH 。 然 后 方 程 。 （ 9 ） 和（10）可以重写为HK=K（R−tNT）=KR−tKNT，（11）HKXG= α jpj，j = 2，. . . 4.第一章（十二）当量（12）给出了HK的九个元素中的六个线性方程。从这些方程我们可以得到矩阵HK的三维零空间参数化。因此，我们可以将HK表示为三个未知变量γ1、γ2和γ3的函数。事实上，我们可以将HK表示为HK=γ1L1+γ2L2+γ3L3，（13）其中L1、L2和L3是零空间的基向量的矩阵形式对HK的约束：现在我们推导出对矩阵的约束HK.我们可以重写Eq。(11)作为R=K−1（HK+tKNT）。（十四）由于RSO（3），我们有RRT=RTR= I。因此，我们有以下一组约束方程。（十四）：K−1HK+tKNTHK+tKNTTK−T=I，N=00dT和p1=x1y11T. 让我们将这些方程产生的理想定义为IC [ε][8]，其中ε包含来自HK的九个未知数，来自tK的三个未知数，焦距w=1的 逆 ， 以及d，x1和y1。注意，x1，y1和d是已知的，这里我们把它们当作已知的符号变量。现在，我们可以使用消去理想技术[20]从这个理想中消去tK和w。即， 我们计算一个消去理想I1，它只包含来自Hk的9个未知变量和3个已知变量d，x1和y1的多项式。注意，这种消除理想可以使用一些代数几何软件如Macaulay 2 [11]离线计算。我们发现，这样一个消除理想是由8个多项式（2个3次，1个4次，5个8次）在12个变量（9个未知和3个已知）。的更多细节消除理想见[8，20]。将HK的三变量参数化从Eq.(13)在理想I1的生成元中，我们得到了一个由三个未知数组成的八个方程组。使用Macaulay 2 [11]，我们验证了该系统有多达12个解决方案。该系统定义了H13f情况下的最小我们使用了两种最先进的代数方法， 基于Gr？bner基的自动生成器[21]，包括基采样策略[23]以及基于结果的生成器[1]，以生成三个未知数的八个方程的求解器。 我们发现，如果不使用所有八个方程，而只使用六个方程（两个3度，一个4度，三个8度），可以得到更小的求解器。 使用带有基抽样策略[23]的Gr？bner基方法，生成的求解器大小为77 89，而使用基于结果的方法[1]生成的求解器大小为91 91。我们在Tab中报告这些求解器大小1.一、从H中提取姿势：一旦我们计算出也可以旋转针孔相机2888（HK+tKNT）TK− TK−1（HK+tKNT）=I.（十五）由于所提出的坐标系变换，2D-2D点对应的约束（6）变为pT1[KRq1 1]×Kt=0.（十六）解HK，我们可以从方程估计w=1/f的值(15)通过变量消除和替换。根据w，我们可以计算校准矩阵K，然后计算同态矩阵H=K−1HK。这里的重要步骤是有效地提取相对姿态，2889Σ24小时2小时3小时J↔联系我们P×4550[q](KRX+α)为0，（22）445×314旋转针孔摄像机等我34我5我形式，用于第五点对应的我我34513434↔34−−34343 4 34 −α5即，旋转矩阵R和平移向量t，H. 我们的坐标系转换在这里起着至关重要将N=100dT代入等式(9)，我们有R = H +t=00天。（十八）R使用四元数。我们有五个未知数，一个用于校准矩阵K，三个用于旋转矩阵R，一个用于α5。使用自动生成器[21，23]，我们得到了一个大小为1866×1918的大型求解器，有52个解。我们的方法：为了简化这个求解器，我们重新设置参数-写作H=h1计算为R=，旋转矩阵可以是h1h2[h1]×h2。 A gain，fromEq.将乘积KR作为四个新变量的函数r1，r2，r3和r4。中 描 述 了 这种重新参数化(18)以及H的计算值，平移向量t可以被计算为补充材料（SM）。通过这种重新参数化，约束（21）和（22）为我们提供了一组五个五个变量r1，r2，r3，r4和α5的方程。两1t=（[h]h−h）。（十九）来自（22）的线性无关方程在r13.2. H32fd1 ×23R2。 因此，这两个变量都可以表示为在第二种配置中，我们有三个2D-2D点对应pj（qij，tGi）和两个2D-3D点对应pj×G。因此，存在三种可能的通用照相机配置，即，[1]、[2]和[3]。对于所有三种相机配置，我们使用旋转平移参数化获得了最小的解算器。&在[13]中已经提出了H32f的这种参数化，其中作者建议使用坐标变换，得到具有52个解的五个变量的五个方程的系统然而，这个系统是复杂的，它导致了一个巨大的求解器。在[13]中没有给出该求解器，仅讨论了参数化为了生成具有较少解的可行解，我们重新参数化产品KR。接下来，我们回顾[13]中提出的我们对所有三种配置[1]、[2]和[3]都获得了相同的求解器。坐标系变换：W.l.o.g.，我们可以翻译并旋转G的坐标系，使得XG=其他三个变量r3，r4和α5的函数。将 r1和r2的这些表达式替换为等式（21）中，我们得到了一个由三个变量r3，r4和α5组成的方程组，每个变量都是八次的。设多项式集为E=e1，e2，e3.由E生成的理想IC[r3，r4，α5]不是零维的[8]。具体地说，如果α5=0&r2+r21=0，或r2+r2=0，我们有一组平凡解E = 0。这些可能的退化可以通过相机的随机旋转来避免。为了从E生成求解器，我们必须删除E = 0的那些解，其中α5=0&r2+r21=0或r2+ r2= 0。 这可以通过饱和理想的I w.r.t. α5和r2+r2[8]。该饱和度导致使用生成器[21，24]生成的大小为475 501的为了生成更小的求解器，我们希望避免饱和w.r.t. α5，也避免添加额外的变量。因此，我们用额外的多项式增加E，这些多项式在E=0的所有非平凡解上为零，但如果α5= 0 &r2+r21 =0的情况。接下来我们展示如何生成这样的多项式。的E中的第i个多项式的形式为Σ0 0 1T和XG=0 00分。 另外可以Pe=（r2+r2−1）φ+α，（23）p5=1 0 1ΣT。 在这个坐标系中，其中φ和φ是r，r，α中的多项式。然后，布景p5ParticiXG导致方程E=0可以写成矩阵形式，00−11111φ1 ψ1φ3 ψ3r2+r2−1R0+ t = α 5K0=Kt=α 5 K0。（二十）Mb=0φ 2 <$2<$34=03×1。（二十四）将上述Kt的表达式代入约束3×2M的每个2×2子矩阵的行列式为零对于2D-2D点对应和第四2D-3D点对应，我们得到仅对于E=0的解，使得α50或r2+r2−1/= 0。 我们总共有三个这样的决定-（KRpj）T[qij]×（KRtgi+α5<$0<$）为0，（21）11nant表达式，每个都是变量r3，r4和α5的十次多项式，其中两个是线性相关的。让我们表示的增广系统组成的E和两个这些多项式为Ea。该系统有26种解决方案，不包含以下解决方案：α5=0&r2+r2−1=0。Ea生成的理想Ia2×1289034其中i ∈ {1，2，3}且j = 1，. . . 、3. 约束（21）现在只有当r2+r2= 0时才有平凡解。所以我们和（22）一起给出了全饱和I a w中的一组五个方程。r. t. r2+r2，并使用基于Gr？bner基的3 4K、R和α5。 我们使用启发式采样[23]对旋转矩阵方法进行参数化，以获得2891×PG××GGPG×I6第315章.我们未能使用基于结果的方法生成求解器[1]。3.3. H51f在这里，我们有五个2D-2D点对应（qij，tG）和一个2D-3D点对应p6ParticipXG，101010个。每个3D点都被投影到六个焦距逼真的摄像头其中五个摄像机代表广义摄像机，一个摄像机被认为是针孔摄像机。相机的方向和位置是随机选择的，使得它们从随机距离朝向原点从15岁到25岁不等 图像具有分辨率-它们一起给出了一个由7个方程组成的集合F。对于这种 情 况 ， 我 们 有 5 种 可 能 的 广 义 相 机 配 置 ， 即 ，[1]，. . . ，[5]。我们首先研究前4种构型。为了解决这些配置，我们再次测试了3组不同的参数化，即，R&t，H，F以及不同的简化，重新参数化，消元和求解策略. 结果证明，配置[1]，. . . ，[4]是本文研究的所有构型对于这些小问题使用旋转平移参数化生成测试解算器&然而，即使经过不同的reparametherization和简化，这些解决方案是巨大的。H51f的这4种相机配置的最小解算器的消元模板矩阵的大小列于表1中。1.关于这些求解器和参数化的更多细节可以在SM中找到。H51f [5]：与构型[1]相比，. . ，[4]，如果所有5个对应关系都被同一个相机对检测到，我们有最简单的场景。在这种情况下，问题被简化为从六个2D-2D点对应关系估计两个针孔相机之间的相对姿态，其中第六对应关系通过将3D点投影到相机i中来获得。这之后是根据由2D-3D点对应给出的剩余约束的尺度估计在[12]中已经提出了这样的解决方案然而，在那里，作者建议使用6pt求解器[38]用于双侧公共焦距，因此他们报告了15种解决方案。 这种配置是不实用的，因为通常是校准的，此外，它通常不具有与查询相机相同的焦距。在[12]中，作者没有测试所提出的求解器。在本文中，我们考虑一个更实际的情况下，校准。这导致从六个2D-2D对应估计的基本矩阵和焦距，称为单侧焦距概率。lem [5].这个问题有9个解决方案。为了解决这个问题，我们使用了[20]中提出的基于Gr？ bner基的求解器，它使用理想消除法消除了未知的焦距。与[5]相比，它产生了更小的9×18消除模板矩阵。 使用基于结果的生成器[1]，我们得到了一个大小为10 ×10的求解器。4. 合成实验对于我们的合成场景测试，我们使用已知的地面真实参数生成了5K 3D场景。在每个场景中，3D点随机分布在大小分辨率1000 1000px。 我们将高斯噪声添加到具有作为其深度的百分比变化的标准偏差σ的3D点的位置，以模拟用于这些3D点的三角测量的关键点的不同质量。为了模拟2D-2D对应中的噪声，我们添加了2px图像噪声。更多的实验，例如，用于增加图像噪声和固定的3D点噪声。我们评估了建议的H13f，H32f和H51f[5] 求 解 器 的 稳 定 性 。 SOTA 绝 对 姿 态 解 算 器P4Pf[19]。在3D点中具有增加的噪声的合成实验的图表在图中提供。2.我们在测试中考虑了三种不同的摄像机运动，向前和侧向的随机运动对于每个运动，我们测量了估计的旋转R，平移t（在SM中），和焦距f（在SM中），通过改变3D点中的噪声。请注意，我们测试了我们提出的H13f求解器的两个推导，一个基于Gr？ bner基[23]，一个基于结式[1]。这两种求解器具有不同的数值属性和大小。图注2，在存在增加的3D点噪声的情况下，对于所有三种运动，基于Gro？bner基的H51f[5]求解器和建议的H32f和H13f求解器（基于Gr o？bner基和基于结果）比SOTA P4Pf绝对位姿求解器具有更好的稳定性，其中H51f[5]求解器的性能略优于H32f和H13f求解器。这种行为的原因是我们的混合求解器不仅使用2D-3D对应，与P4Pf求解器不同。我们还观察到，H13 f的基于结果的求解器与H13 f的基于G r o？bner基的求解器相比具有相似或略好的稳定性。5. 真实实验我们在混合定位框架中评估了我们的H13f和H51f[5]求解器，并考虑了来自Cambridge Landmarks [14]数据集的四个场景。我们没有测试我们提出的H32f求解器，因为与其他提出的求解器相比，其模板大小使其实时使 用 不 太 实 用 。 对 于 每 个 查 询 图 像 ， 我 们 基 于DenseVLAD [42]图像描述符建立与前20个检索到的地图图像的暂定2D- 2D对应关系。根据传递匹配，我们将所有三角测量的点作为2D- 3D对应，并且另外添加未三角测量的或具有小于5的轨迹长度的所有2D-2D对应（因为这些是潜在的不太确定的3D点）。我们将求解器应用于混合LO-2892KingsCollege OldHospital商店正面StMarysChurch求解器+LO+LO+LO+LO运行时P4Pf41.170.333.052.279.689.359.283.80.06P3. 5Pf50.469.436.855.583.595.172.182.60.08H13f61.569.445.157.792.295.176.483.80.75H51f [5]42.970.836.346.782.589.362.382.80.19P35Pf+H 13f +H 51f [5]60.969.447.355.586.490.377.483.20.75表2.剑桥地标的混合定位。 该表显示了定位在1米和0.5米范围内的相机姿态的百分比。在表中，我们显示了香草RANSAC和LO-RANSAC的结果。为了公平比较，RANSAC中的模型评分对于所有方法都是相同的（考虑2D-2D和2D-3D对应性）。最佳结果以粗体突出显示，次佳结果以下划线突出显示。该表还显示了RANSAC的中值运行时间（以秒为单位）。随机运动4020向前运动403020侧向运动402000 0. 5 121000 0. 5 1200 0. 5 1 2400200X = X中深度的百分比（一）P4PFH32FH13F（GB+heur）H13F（隐藏变种res.）H51F [5]15001000500X = X（b）第（1）款400200X = X中深度的百分比（c）第（1）款0-20-10 010Log10相对翻译错误（d）其他事项0-20-10 010Log10相对旋转误差（e）0-20-10 0 10Log10相对焦距误差（f）第（1）款图2. 在存在增加的3D点噪声的情况下的旋转误差（第1行）。考虑了三种相机运动：随机运动（a，d）、向前运动（b，e）和侧向运动（c，f）。无噪声数据和随机运动求解器的数值稳定性（第2行）。RANSAC来自[7]，最小化重投影误差（2D-3D）和Sampson误差（2D-2D）。我们与基于点的求解器P4Pf [19]和P3进行比较。5Pf[21]，以及在[7]的混合框架中一起使用所有求解器。 选项卡. 2显示了在1m和0.5m范围内的查询百分比。为了突出求解器的准确性之间的差异，我们显示了RANSAC中有和没有局部细化我们看到我们的H13f求解器受噪声影响最小，从而获得最准确的解决方案。6. 结论本文研究了基于混合点对应的半广义姿态估计问题。通过测试不同的参数化、消元技术和求解策略，给出了2D-2D和2D-3D对应的所有最小构型的求解器，H13f，H32f和H51f，以及广义相机中所有可能的相机配置。最实用的解决方案在合成和真实场景上进行了评估，与经典的2D-3D方法相比，显示我们的求解器填补了最小求解器库中的空白，可以在混合RANSAC [7]中使用。致谢Torsten Sattler得到了欧盟地平线2020项目RICAIP的支持（赠款协议编号：857306）和欧洲区域发展基金项目IMPACT （ 编 号 ： CZ.02.1.01/0.0/0.0/15 003/0000468 ） 。ZuzanaKukelova 得 到 了 OP VVV 资 助 项 目 CZ.02.1.01/0.0/0.0/16019/0000765“信息学研究中心”的支持。Viktor Larsson得到了战略研究项目ELLIIT的支持。P4PFH32FH13F（GB+heur）H13F（隐藏变种res.）H51F [5]频率旋转误差（度）频率旋转误差（度）频率旋转误差（度）2893引用[1] SnehalBhayani，ZuzanaKuk el ov a，和JanneHeikaaa？。通过隐藏变量计算稳定的基于结果的最小解算器。2020年第25届国际模式识别会议（ICPR），第6104-6111页[2] Snehal Bhayani，Torsten Sattler，Daniel Barath，PatrikBe-lians ky，JanneHeikki la？，andZuzanaKuk el ov a. 校准和部分校准的半广义单应性。在2021年IEEE/CVF国际计算机视觉会议（ICCV），第5916-5925页[3] Eric Brachmann和Carsten Rother。专家样本共识适用于相机重新定位。在ICCV，2019年。[4] M. Bujnak，Z.Kukelova和T.帕杰拉焦距未知的摄像机p4p问题的一般解法CVPR，2008。[5] Martin Bujnak、Zuzana Kukelova和Tomas Pajdla。从具有单个已知焦距的图像集合进行3D重建。在ComputerVision，2009 IEEE第12届国际会议上，第1803-1810页。IEEE，2009年。[6] Martin Byrod 、 Zuzana Kukelova 、 Klas Josephson 、Tomas Pajdla和Kalle Astrom。快速和强大的数值解，以最小问题的相机与径向失真。2008年IEEE计算机视觉和模式识别会议，第1-8页[7] Federico Camposeco，Andrea Cohen，Marc Pollefeys，and Torsten Sattler.混合相机姿态估计。在计算机视觉和模式识别（CVPR）中，第136- 144页[8] David A. Cox，John Little，and Donal O'shea. 使用代数几何，第185卷。Springer Science Business Media，2006.[9] Yaqing Ding，Jian Yang，Jean Ponce，and Hui Kong.基于单应性的具有公共参考方向的相对姿态问题的有效解决方案。在2019年计算机视觉国际会议（ICCV）[10] Martin A Fischler和Robert C Bolles。随机样本一致性：一个范例模型拟合与应用程序的图像分析和自动制图。Communications of the ACM，24（6）：381[11] Daniel R.作者声明：Michael E.斯蒂尔曼Macaulay2，一个代数几何研究软件系统。可在www.example.com获得http://www.math.uiuc.edu/Macaulay2/。[12] K. Josephson和M. 通过ro d。具有径向畸变和未知焦距的位置估计CVPR，2009。[13] 克拉斯·约瑟夫森，马丁·拜罗德，弗雷德里克·卡尔，卡勒·阿斯特罗姆.使用混合特征对应的基于图像的定位。2007年IEEE计算机视觉和模式识别会议，第1-8页[14] AlexKendallMatthewGrimes 和 RobertoCipollaPoseNet：用于实时6自由度相机重新定位的卷积网络。在ICCV，2015年。[15] Zuzana Kukelova，Martin Bujnak和T