重力先验下的相机相对姿态估计及全局最优求解器

394基于重力先验的丁亚青1，丹尼尔·巴拉特2，3，4，杨健1，孔辉1，祖扎娜·库克洛娃21南京理工大学计算机科学与工程学院2布拉格捷克技术大学电气工程学院视觉识别组3布达佩斯SZTAKI MPLab4苏黎世联邦理工学院计算机科学系dingyaqing@njust.edu.cn摘要使用的智能手机、平板电脑和相机系统，例如，在汽车和UAV中，通常配备有可以精确测量重力矢量的IMU（惯性测量单元）使用此附加信息，摄像机可以对齐，减少它们的相对方位-C1一个自由度。有了这个假设，X1X2X...XnC2我们提出了一种新的全局最优求解器，最小化最小二乘意义上的代数误差，以估计超定情况下的相对姿态。基于对极线约束，我们将优化问题转化为求解两个只有两个未知数的多项式此外，一个快速求解器提出了使用一阶近似的旋转。建议的求解器进行了比较，与国家的最先进的四个现实世界的数据集与ap-prox。总共50000个图像对。此外，我们通过智能手机收集了一个数据集，包括10933个图像对，重力方向和地面真实3D重建。源代码和数据集可在https：//github.com/yaqding/opt_pose_gravity1. 介绍找到两个相机之间的相对姿态是具有许多应用的基本几何视觉问题之一，例如，在运动恢复结构[42，40，39，2，52，44]，视觉定位[53，48]和SLAM [34]中。稳健的相对姿态估计通常在假设和测试框架中完成，例如RANSAC [12]。与 标 准 RANSAC [12] 相 比 ， 局 部 优 化 （ LO ）RANSAC [7 ，31]及其 变体（ 如Graph-Cut RANSAC[3]、USAC [41]）在准确性和收敛性方面有了显著改善。这些RANSAC变体的关键思想是应用局部优化步骤以使用非最小样本来细化每个迄今为止最好的模型。使用非最小样本的主要好处是，它可以平均测量中的观测噪声。除了改善g1g2图1：两个摄像机C1和C2，重力方向g1，g2已知，观察n≥4个点X1，...，Xn.目标是找到相机的相对姿态。准确性，这通常通过及早找到准确的模型并因此触发终止标准来加速鲁棒估计最小和非最小求解器在LO-RANSAC框架中起着重要的作用。在文献中已经充分研究了具有不同相机配置的相对姿态估计的最小解。例如，给定两个校准的相机，可以从五个点对应关系有效地恢复相对姿态[38，28，21]。最近，基于点加方向的方法已经显示出优势。这种方法的基本思想是对准一个轴（例如，y轴）具有共同参考方向的摄像机，例如，重力矢量相对方向减少到1-DoF，并且可以仅从三个点对应关系估计相对姿态[13，37，49，43，10，9]。虽然从对应关系的非最小集合估计绝对相机姿态的问题（Pestival问题）已经受到了很多关注，并且公开了许多有效的和全局最优的解决方案[24，56，25，35，36，51，57，50]，这不适用于相对姿态估计问题，也称为N点问题。主要原因是N点问题导致了比P点问题更复杂的优化。395我我我yi我Iyi最常用的非最小相对姿态解算器是众所周知的直接线性变换（DLT）方法[22]。该方法可用于从8（众所周知的8点算法[17]）或更多点对应估计基本或基本矩阵。DLT方法假设矩阵元素是线性无关的。因此，该方法不能最小化校准相机的基本矩阵的5D空间中的适当定义的误差，并且必须从近似DLT解中恢复正确的基本矩阵[22]。因此，几种直接最小化驾驶汽车和无人机，相对旋转是小的，因此，我们提出了一个求解器估计的线性旋转有效。• 在广泛的真实和合成实验中，我们显示了在精度和速度方面的改进，超过了最先进的非最小N点相对姿态求解器。此外，我们提出了一个新的数据集，其中包含由智能手机拍摄的10993个图像对，这些图像对具有已知的重力方向和地面真实3D重建。2. 背景在相对姿态的5D空间中定义的能量函数最近出版了。 然而，这些方法假设我们给定在中观察到的3D点Xi两个校准视图。 设mi=[ui，vi，1]n，m′=要么不保证全局最优[18，23，32]，要么对于实际应用来说太慢[19，6，20]。Kneip等人。[26]提出了一种基于特征值的公式，该公式最小化了相对姿态问题的代数误差，该问题在消除相对平移后，在三维相对空间中参数化伊 吉[u i，v i，1]在两个图像中的投影，异构形式由于重力方向可以计算，例如，在惯性测量单元中，我们可以不失一般性地将相机的y这些对准通过旋转矩阵R和R′来完成，给出旋转图像点p′=R′m′，pi=Rmi。Af-强制旋转。然而，建议的迭代Levenberg-iiMarquardt解决方案并不能保证最优性，它重新在将旋转应用于投影的2D点之后，我们得到需要一个相当好的初始化。文献[5]中提出了相对位姿估计问题的基于特征值公式的可证明与λ′p′=λRp + t，（1）该解决方案使旋转和平移空间中的代数误差最小化，并 将 问 题 公 式 化 为 使 用 半 idef 求 解 的 二 次 规 划（QCQP）。Ry=cosθ0 sinθ0 1 0-sin θ0 cosθ（2）初始化程序（SDP）松弛。该方法不提供向前运动的良好姿态估计。溶液后来扩展到全局最优基本矩阵估计，其中θ是围绕垂直方向的未知旋转角度轴，t是未知的平移矢量，λi，λ′是未知的深度。伊[55]第五十五话最近在[54]中改进了N点问题的全局最优解[5]然而，与[5]中的公式相比，所提出的公式导致QCQP中的变量和约束更少求解器比[5]快2-3个数量级在本文中，为了实时地全局最优地估计相对位姿，我们假设视图共享一个共同的向量λ ipi、λ iRypi和t总是共面的。在那里-因此，这三个向量的标量三重积应该为零，我们得到（[p′]×R p）t = 0.（三）在这种情况下，深度参数λi、λ′被消除。旋转矩阵Ry（2）可以重新参数化为：mon参考方向。 这个案子很重要因为聪明所使用的电话、平板电脑和照相机系统，例如，在汽车和211−y0 2年2无人机通常配备有IMU（惯性测量-Ry=1 +y20 1+y0分，（4）单位），可以精确测量重力矢量。在这个假设下，相对旋转被减少到1。−2y0 1−y2其中y=tanθ。这个参数化引入了一个去-DoF和N点相对姿态问题是显著的2180度的通用性实际上可以忽略的旋转简化.本文的主要贡献是：• 我们提出了一种新的实时全局最优解算器，该解算器在最小二乘意义下最小化代数误差，并根据N点对应（N≥4）估计具有已知重力方向的校准相机的相对位姿。基于极线约束，我们将优化问题转化为求解两个多项式只有两个未知数，我们提出了两个不同的有效解决方案，这样的系统。• 此外，我们认为，对于移动机器人，au-396应用[29，11]。目标是在超定情况下全局最优地估计相对位姿参数θ和t，即，从N≥4个点对应。3. 问题公式化让我们假设我们有N个点对应。通过在矩阵中堆叠N个对应的约束（3），我们得到A=0，（5）397ii ×yiyR（15）2Dy2其中A是一个3×N矩阵，其第i列写为f=g3，其中g，g是多项式的次数3δ423A =[p′]Rp.（六）分别为6和8。 因此，f1，f2，f3可以重写为最小情况N=3导致det（A）=0，最多4df1h1df2h2df3h3解决方案，这在文献中已经得到了很好的研究[13，37，9，49]。我们主要研究了N≥4的情形。在dy=δ3，dy=δ4，dy=δ5，（13）当点对应被污染时通过噪声，目标是找到（5）的最小二乘最优解。问题形式化如下：阿格河，t mint<$Ct，（7）其中C = AA<$是3×3对称矩阵其中h1，h2，h3分别是y中次数为{4，6，8}的将公式代入（10）和（12），将（10）乘以δ4，（10）乘以δ5，并代入β=δα，我们得到下面两个未知数{β，y}的两个多项式方程。δβ3−β2g1+βg2 −g3=0，c11c 12c 13C=12c22c23c。（八）c13c 23c 33β2h1 -βH2+h3（十四）=0。C的元素是y中的一元多项式。当量（7）等价于最小化C的最小特征值，argmin αmin（C）。（九）y注意，（9）是与[26]中使用然而，由于Ry的特殊形式，它在1D空间而不是3D全旋转空间中产生了更简单的优化问题因此，与[26]中提出的迭代解相比，可以通过有效计算其所有稳定点来全局最优求解3×3矩阵C的三个特征值应满足以下三次约束α3−f1α2+f2α−f3=0，（10）哪里f1= trace（C），2 2 2我们的目标是有效地解决这些方程4. 全局最优解算器求解两个未知数的两个多项式方程组（14）的一种直接方法是使用Gro¨ bner基方法[8]并使用自动生成器生成特定的求解器，例如，[27、29、30]。利用[29]，我们得到了一个Gr öbner基解，其模板大小为17×45，用于Gauss-Jordan消去和28个解。然而，我们对真实世界和合成数据的实验表明，当我们给出超过30个点对应时，该求解器变得不稳定，这在实际应用中几乎总是如此。原因是高斯-约当消去法的矩阵经常是病态的。因此，为了找到一个稳定的解决方案，我们使用隐变量技术[8]。通过将y视为隐藏变量，即，考虑到Y作为系数并将其隐藏到系数矩阵中，我们f2=c11c22+c11c33+c22c33−c12−c 13−c 23，f3= det（C），（十一）可以将我们的系统（14）重写为是y中的单变量有理函数（等式2）。（11）可以通过展开det（C−αI）=0）导出。为了简单起见，让我们用α代替αmin。使C的最小特征值最小的必要条件是导数dα为零.在（10）中，f1，f2，f3和α是Σ−g3g2−g1δh3−h2h10Σ1βββ3DyY的功能。 因此，使用假设dα（10）的导数给出了=0，则其中g1，. . . ，g3，h1，. . . ，h3和δ是y中的多项式。有了这个公式，我们有两个方程，有4个monomial。因此，为了通过“线性化”来容易地解决该系统df1 α−Dydf2α+Dydf3 =0。（十二）Dy398δ3因此在我们的例子中，我们只需要将第一个等式乘以β，第二个等式乘以β。有理函数f（11）可以重写为f=g1，（2）（）（。 这样，我们得到5个方程，其中5个1 12δ2其中g1是关于y的四次多项式，δ=1+y。另一方面，由于元素内部的关联性，单项式，可以写成矩阵C，f2可以重写为f2=g2和f3可以B（y）ω=0，（16）399其中ω=[1β β2β3β4]ω，B（y）是5×5矩阵导致旋转的相当好的近似在−g3g2−g1δ0在这种情况下，旋转矩阵可以简化为：h3−h2 h100B（y）= 0 −g3g2−g1δ，（17）1 0θ0h3−h2 h100 0h3 −h2h1Ry=0 1 0−θ0 1，（20）其元素是y中的多项式。接下来，我们将给出（16）的两个解。斯特姆序列解。因为矩阵B（y）有一个右零向量，所以B（y）的行列式必须为零。的矩阵C（8 ）的元素是θ 的二次多项式。类似于（14），我们可以获得关于{θ，α}的两个多项式如下：α3−f1α2+f2α −f3=0，B（y）的稀疏结构允许我们使用拉普拉斯表达式，这是一个关于y的28次单变量多项式。然后，使用Sturm序列方法g1α2 -g2α+g3=0，（二十一）为了找到所获得的一元多项式的实根，其中f1，f2，f3是θ中{2，4，6}次的多项式，g1=df1，g2=df2，g3=df3是θ这是快速和有效的。更多关于Sturm的信息根括号，我们请读者参考[15]。多项式特征值解注意，（16）本质上是8次多项式特征值问题（PEP），可以写为：（y8B8+ y7B7+.） + B0）ω = 0，（18）其中B8，B7，...，B0是5×5系数矩阵。PEP（18）可以转化为特征值问题D∞=z∞，其中z=1/y，∞=[ω，zω，. . .，z7ω]ω，和40 × 40矩阵D的形式dθdθd#21518;度，分别为1、3、5。这个公式比（14）简单，因为多项式的次数较低该系统有多达15个实数解，使用[29]生成的Gro¨bner基求解器有一个大小为15×30的模板矩阵。然而，这个解算器是不稳定的。因此，我们使用Sturm序列和多项式特征值技术[28]作为非线性求解器来生成（20）的有效且稳定的求解器。主要步骤与第4节相同。唯一的区别是，我们只需要找到一个15次一元多项式的根或一个21×21矩阵的特征值。D =0我...000...0.........我−B−1B8−B−1B7−B−1B1- 是的（十九）6. 实验我们研究了所提出的基于PEP的最优（OPT）和线性化（LIN）求解器的性能及其变化。0 0 0注意，这个本征值公式是原始问题（15）的松弛，其不考虑多项式中的单项依赖性，因此，它引入了一些虚假的解。然而，这些虚假的解决方案中有六个可以很容易地删除。这些解对应于由矩阵B2和B1中的零列生成的矩阵D的零特征值。删除这些列和相应的行后，D的大小减少到34×34。D的实本征值，可以从实Schur分解计算，是z=1/y的解。注意，我们这种多项式特征值解比基于Sturm序列的解慢，但是，正如我们将在实验中展示的那样，它更稳定。5. 线性化解算器在视觉里程计和SLAM应用中，连续帧之间的相对旋转通常较小或可忽略。因此，一阶泰勒展开通常基于Sturm序列（OPT（S））和（LIN（S））的蚂蚁在合成图像和真实世界图像上的应用。在比较中，我们包括Ding等人的密切相关工作。（3PC）[9]和全局最优SDP解（SDP）[54]。此外，我们还比较了建议的求解器与5 PC算法[46]和标准化的8 PC求解器[17]（有和没有最终Levenberg-Marquardt [33]数值优化（8 PC+LM））。我们没有包括3PC+LM和5PC+LM，因为它们的性能与8PC+LM相似。6.1. 综合评价我们选择以下设置来生成合成数据。首先，生成200个随机3D点和200个具有随机姿态的图像对相机的焦距fg为测试性能而改变的参数是图像点位置中的噪声水平（σ）、两个相机之间的基线（t）、用于求解器的点数（N）、相机的视场（FOV）以及重力方向上的噪声水平τ默认设置：σ= 1像素，t=平均场景深度的5%，N= 20，FOV = 90mm，τ= 0mm。我们有理由假设，400e0.50-0.5-1-1.5处理时间OPT3PCSDPLINOPT（S）LIN（S）下表包含了建议的求解器执行的主要操作，以及它们的运行时间（单位：µs）。第二列显示高斯-约当消去法矩阵的大小，第三列显示特征值分解矩阵的大小，第四列显示Sturm序列求解的一元多项式的次数。-2100 200 300 400 500点编号图2：log10处理时间（以毫秒为单位）与用于估计的点数的函数关系图。这是对重力方向的几乎完美的测量，因为我们通过应用低通滤波器将重力与原始加速度计数据隔离来获得重力矢量。求解器的性能进行了测试，通过修改，ING从上述的一个单一的参数的值旋转误差定义为角度差在E之间。蒂岛配对旋转和配对真实旋转为arccos tr（RgR）−1/2，其中Rg和Re分别是地面实况和估计旋转。平移误差被测量为估计的平移向量和地面实况平移向量之间的角度，因为估计的平移仅按比例恢复。解算器精度。图3和图4报告了不同配置下的旋转（顶行）和平移（底行）误差从图3中可以看出，当重力方向是理想的情况下，所提出的最优解算器（OPT）优于所有现有的方法。然而，在实际应用中，从原始加速度计数据中分离出的重力矢量可能并不完美，并且我们还研究了重力方向噪声增加时的性能由于汽车和现代智能手机中使用的加速度计的噪声水平约为0.06kHz（或昂贵的图4显示，即使噪声水平高达0.2kHz，我们的OPT求解器仍然可以与SOTA相媲美。由于缺少空间和为了更好的图形可读性，我们在这里不包括OPT（S），LIN和LIN（S）求解器的结果。这些求解器的结果，包括增加相对旋转、向前运动和稳定性实验的结果，都在补充材料中。复杂性分析和运行时间。 的求解器的处理时间如图2所示。所提出的基于Sturm序列的最优OPT（S）和线性化LIN（S）比[54]的SDP最优求解器快两个数量级此外，它们比最小的3PC求解器快一个数量级[9]。的6.2. 真实世界实验为了在真实世界的数据上测试所提出的技术，我们选 择 了 Malaga[4]1 ， KITTI[14]2 和 ETH3D[45]3 数 据集。马拉加是完全收集在城市的情况下与车载传感器，包括一个高分辨率立体摄像机和五个激光扫描仪。我们使用一个高分辨率相机的序列和每个序列的每10所提出的求解器应用于每个连续的图像对。使用数据集中提供的GPS坐标组成地面实况路径。从数据集中总共使用了9064个KITTI里程计基准由22个立体声序列组成只有11个序列（00-10）被提供有用于训练的地面实况轨迹。因此，我们使用这11个序列来评估比较求解器。总共使用了23190个图像对。ETH3D数据集涵盖了各种室内和室外场景。使用高精度激光扫描仪获得了地面使用DSLR相机以及具有不同视场的同步多相机装置来捕获图像。我们总共使用了5162个图像对。为了在真实数据上测试非最小解算器，我 们 选 择 局 部 优 化 的 RANSAC ， 即 ， 图 形 切 割RANSAC4 [3]（GC-RANSAC）. 在GC-RANSAC（和其它局部优化的RANSAC），使用两个不同的求解器：（a）一个用于从最小样本估计姿态，以及（b）一个用于当对所有内点进行最终姿态抛光时或在局部优化步骤中拟合到大于最小对于（a），主要目标是使用尽可能少的对应来解决问题，因为处理时间指数地取决于姿态估计所需的对应的数量。我们测试了两个最小的求解器，Stewenius等人的5PC算法。[47]和Ding等人的3PC方法1https://www.mrpt.org/MalagaUrbanDataset2http://www.cvlibs.net/datasets/kitti3https://www.eth3d.net/第https://github.com/danini/graph-cut-ransaclog10时间（ms）求解器G-J本征Sturm时间（µs）OPT5 ×3434 ×34-115OPT（S）--2824林5 ×2121 ×21-54401OPT3PCSDP5PC8PC8PC+LM旋转误差翻译错误旋转误差翻译错误旋转误差翻译错误2 2 1 2110.5100.5 1.0 1.5 2.0图像噪声（像素）（一）05% 12% 20% 40%基线（b）第（1）款015 30 50 80N（c）第（1）款060 80 110 150FOV（度）（d）其他事项108 6 854 3 400.5 1.0 1.5 2.0图像噪声（像素）（五）05% 12% 20%基线（f）第（1）款040%30N（g）5080060 80 110 150FOV（度）（h）图3：顶部：旋转误差（单位：度）。下图：以度为单位的平移误差。各列显示求解器相对于增加的（a）图像噪声、（b）基线、（c）对应数和（d）视场的误差。对于图中未测试的参数，我们使用以下默认值：std。图像噪声的标准偏差为σ= 1 px;基线长度= 10%景深;对应数N = 20;视场FOV = 90nm，标准偏差为0.001。重力方向噪声τ=0π。2100.01 0.05 0.1 0.2重力矢量噪声（度）（一）10500.01 0.05 0.1 0.2重力矢量噪声（度）（b）第（1）款场景由于这些数据集包含具有相对小的基线的图像对，因此帧之间的姿态变化此外，由于OPT解算器找到代数误差的最优值，其可能不总是与几何误差的最小值一致，因此可能发生LIN解算器导致比OPT解算器更好的姿态估计。表1中报告了平均误差。所有提出的求解器导致更准确的结果比其他比较的方法。最准确的结果是通过组合图4：以度为单位的旋转和平移误差默认滚动和俯仰噪声增加的设置。[9]利用重力方向类似于我们的方法。（b）的目的是尽可能准确地估计姿态参数在（b）中，我们测试了所提出的求解器，归一化的8PC算法[17]，5PC求解器[47]和Ding等人的3PC方法[9]。我们从实际测试中排除了[54]，因为它非常慢，即使在C++中实现，如图所示。二、三个测试数据集上的旋转和平移误差（以度为单位）的累积分布函数（CDF）如图5所示。准确被解释为曲线接近左上角。所提出的OPT、LIN、OPT（S）和LIN（S）求解器始终是性能最好的方法之一有趣的OPT3PCSDP5PC8PC8PC+LM旋转误差旋转误差翻译错误翻译错误402是，LIN解算器导致这些上最精确的旋转和平移。5PC和LIN。6.3. 电话数据集为了进一步说明所提出的求解器的有用性，我们在来自手机的图像上测试了它们，其中重力方向是从内置的IMU获得的由于我们还没有找到这样的数据集，我们决定使用智能手机（iPhone 6s）捕获的图像构建一个。我们用后置摄像头在@30Hz下拍摄了6个序列。相应的IMU数据是用手机的传感器在@100Hz下捕获的然后，我们根据时间戳同步图像和IMU数据。为了获得可用于测试姿态解算器的地面实况，我们应用了RealityCapture [1]软件。共获得了10993对同步重力方向，地面真实姿态，校准和3D recruitment c- tions的图像。示例图像如图所示。六、比较求解器的CDF如左图403阿克斯阿雷兹河3PC+3PC5PC+3PC3PC+5PC5PC+5PC 3PC+8PC 5PC+8PC 3PC+OPT（S）5PC+OPT（S）5PC + LIN（S）3PC +OPT 5PC+ OPT 3PC+LIN 5PC+LIN0.80.70.60.50.40.30.210.90.80.70.60.5旋转误差CDF0 0.5 1 1.52角度误差（度）翻译错误CDF10.90.80.70.60.50.410.90.80.70.60.5旋转误差CDF0.1 0.2 0.3 0.40.5角度误差（度）翻译错误CDF0.80.70.60.50.40.30.20.100.50.40.30.20.1旋转误差CDF0.1 0.2 0.3 0.40.5角度误差（度）翻译错误CDF0.40 5 10 1520角度误差（度）0.40 2 4 6 810角度误差（度）00 2 4 6 8 10角度误差（度）(a) Malaga(b) KITTI(c) ETH3D图5：GC-RANSAC的旋转和平移误差（度）的累积分布函数，由不同的最小和非最小求解器在数据集Malaga（9，064图像对），KITTI（23，190）和ETH 3D（5，162）上组合而成。准确被解释为曲线接近左上角。图7a的两个曲线图。可以看到与以前相同的趋势，即，所提出的最佳和线性化求解器导致最精确的旋转和平移。然而，OPT和LIN在该数据集上导致类似的准确性。这是因为与为自动驾驶设计的数据集相比，视图变化略大。更大的视图变化增加了求解器LIN的近似性质，从而使其结果稍微不那么准确。尽管如此，它仍然是准确性方面表现最好的方法之一。图6：来自捕获的电话数据集的图像。它由10993个图像对组成，具有同步的重力方向、地面真实姿态和3D重建。6.4. 处理时间对所有数据集的所有47863个图像对进行稳健估计的处理时间的CDF在图7b.基于Sturm序列的求解器是最快的。与其他方法相比，最优求解器（OPT）重要的是要提到，即使是最慢 的组 合（即 ，5PC+OPT）的 平均 运行时 间为61ms。因此，所有测试的组合导致实时性能。7. 扩展和讨论普通案件。理论上，所提出的技术可以应用于一般情况（没有重力先验）。在这种情况下，对于旋转的凯莱参数化，矩阵C的元素是x、y、z的多项式。C的三个特征值必须满足（10），但现在有三个偏导数<$α，<$α，<$α应该为零。这给出了关于四个未知数的四个多项式{α，x，y，z}。使用Macaulay [16]，我们发现这个多项式系统有2,000多个解。这样一个系统的求解器是不切实际的，因为大小为2000×2000的矩阵的特征值分解是非常慢的。但这意味着有2,000多个车站。 因此，局部优化方法（例如，[26]或概率概率概率概率概率概率4043PC+3PC5PC+3PC3PC+5PC5PC+5PC 3PC+8PC 5PC+8PC 3PC+OPT（S）5PC+OPT（S）5PC + LIN（S）3PC +OPT 5PC+ OPT 3PC+LIN 5PC+LIN旋转误差CDF1翻译错误CDF1处理时间CDF10.80.80.80.60.60.60.40.40.40.20.20.200.1 0.2 0.3 0.4 0.5角度误差（度）（一）00 2 4 6 810角度误差（度）00.02 0.04 0.06 0.08处理时间（秒）（b）第（1）款图7：（a）GC-RANSAC的旋转和平移误差（以度为单位）的累积分布函数（CDF），由不同的最小和非最小求解器在由10993个图像对组成的捕获电话数据集上组合而成。准确或快速被解释为靠近左上角的曲线。（b）对所有数据集（47，863个图像对）进行稳健估计的处理时间（秒）的CDFf2=0，其中f1=trace（C），f2=det（C）。其余步骤与SEC类似4，最多有8个解决方案。在这种情况下，多项式特征值解需要找到10×10矩阵的特征值向前运动。在我们的实验中，我们观察到全局最优解算器[54，5]在向前运动的情况下估计不准确的姿势对于该运动，建议的全局最优解算器返回最佳结果。由于篇幅不够，我们把前向运动的实验包括在补充材料中。表1：平均值GC-RANSAC [3]结合不同姿态求解器的旋转和平移误差（以度为单位）在数据集Malaga、KITTI、ETH 3D（总共47，863个图像对）上报告列1-最好的结果以红色显示，第二好的结果以蓝色显示。误差的累积分布函数如图所示。五、8PC+LM）可能会卡在这些极小值中。平面运动。 在平面摄像机运动的情况下，这是具有刚性安装摄像机的无人驾驶地面车辆的常见场景，我们有约束t y=0。因此，可以去除（9）中的矩阵C矩阵C变成2×2矩阵，其中两个特征值应满足二次约束α2−f1α+8. 结论我们提出了全局最优的解决方案来估计两个相机的相对姿态，由重力方向对齐，从一个大于最小的点对应集。所有提出的求解器，即使是线性化的，导致结果优于国家的最先进的精度方面约。来自四个广泛使用的数据集的50k图像对。基于线性化或Sturm序列的技术导致具有平均22ms运行时间的极快估计（即，总RANSAC时间），而准确度没有恶化或可忽略不计此外，我们还捕获了一个新的数据集，其中包括由带有重力传感器的智能手机拍摄的超过10，000张照片。致谢。本研究得到了国家自然科学基金（批准号U1713208），“111” 计 划 B13022 ， OP VVV 资 助 项 目 www.example.com 16 019/0000765“信息学研究中心”，ERC-CZ资助MSMT LL 1901，以及创新和技术部NRDI办公室在自治系统国家实验室计划框架内的支持CZ.02.1.01/0.0/0.0/。概率概率概率M> m马拉加阿罗尔特KITTI阿罗尔特ETH3D阿罗尔特avg3PCOPT2.619.860.041.970.3323.946.463PCOPT（S）3.0210.170.041.990.3827.457.183PC林2.619.580.041.970.3122.316.143PCLIN（S）2.9910.170.041.960.4025.596.863PC3PC2.9912.391.004.750.7024.997.803PC5PC2.896.770.253.221.8234.608.263PC8PC2.434.460.102.111.1437.808.015PCOPT2.413.590.051.900.4128.716.185PCOPT（S）2.493.730.051.910.4431.116.625PC林2.413.490.051.890.3726.865.855PCLIN（S）2.473.740.041.880.4629.326.32405引用[1] RealityCapture。http://www.capturingreality.com网站。6[2] Sameer Agarwal，Yasutaka Furukawa，Noah Snavely，Ian Si-mon，Brian Curless，Steven M Seitz，and RichardSzeliski.一天建成罗马。ACM通讯，2011年。1[3] 丹尼尔·巴拉斯和吉赛尔·马塔斯图形切割RANSAC。在计算机视觉和模式识别（CVPR），2018年。一，五，八[4] J. - L. Blanco-Claraco，F. -A'。 Mor e no-Due ndumeras和J.G.吉姆·内兹。城市数据集：现实城市场景中的高速率立 体 声 和 International Journal of Robotics Research（IJRR），2014年。5[5] Jesus Briales Laurent Kneip和Javier Gonzalez-Jimenez。非最小相对姿态问题的可证明全局最优解。在计算机视觉和模式识别（CVPR），2018年。二、八[6] 谢谢通过代数误差的约束最小化的摄像机位移。模式分析和机器智能（PAMI），2008年。2[7] Ondej Chum ， Ji 'martas 和 Josef Kittler 。 局 部 优 化 的ransac。在联合模式识别研讨会，2003年。1[8] David A.考克斯，约翰·利特尔，多纳尔·奥谢。利用代数几何学。Springer Science Business Media，2006. 3[9] 丁雅青，杨健，孔辉。一种有效的具有共同方向的相对位姿估计方法2020年IEEE机器人与自动化国际会议，2020年。一、三、四、五、六、八[10] Yaqing Ding，Jian Yang，Jean Ponce，and Hui Kong.一种有效解决基于单应性的具有公共参考方向的相对位姿问题的方法。2019年国际计算机视觉会议（ICCV）。1[11] Yaqing Ding，Jian Yang，Jean Ponce，and Hui Kong.从具有未知焦距的共享共同方向的在计算机视觉和模式识别（CVPR），2020年。2[12] Martin A. Fischler和Robert C.博尔斯随机样本一致性：模型拟合应用于图像分析和自动制图的范例。ACM通讯，1981年。1[13] Friedrich Fraundorfer ， Petri Tanskanen ， and MarcPollefeys.对于两个已知方位角的情况，校准的相对姿态问 题 的 最 小 情 况 解 在 2010 年 欧 洲 计 算 机 视 觉 会 议（ECCV）上。第1、3条[14] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们准备好自动驾驶了吗？Kitti Vision基准套件。计算机视觉和模式识别（CVPR），2012年。5[15] Wal t erGellert ， M.Hel l wich ， HK ？austne r， HK ？uustne r. 数学简明百科全书。Springer Science BusinessMedia，2012.4[16] Daniel R.作者声明：Michael E.斯蒂尔曼Macaulay 2，代数几何研究软件系统，2002。7[17] 理查德·哈特利为8点算法辩护。计算机视觉国际会议（ICCV），1995年。二四六八[18] 理查德·哈特利几何估计问题中的代数误差最小化。计算机视觉国际会议（ICCV），1998年。2[19] 理查德·哈特利和弗雷德里克·卡尔通过旋转空间搜索和本质矩阵的最优估计实现全局优化。在2007年国际计算机视觉会议（ICCV）上。2[20] 理查德·哈特利和弗雷德里克·卡尔通过旋转空间搜索进行全局优化。国际计算机视觉杂志，2009年。2[21] 理查德·哈特利和李宏东。一种有效的隐变量最小情况摄 像 机 运 动 估 计 方 法 。 模 式 分 析 和 机 器 智 能（PAMI），2012年。1[22] 理查德·哈特利和安德鲁·齐瑟曼计算机视觉中的多视图几何学。剑桥大学出版社，2003年。2[23] UweHelmke，KnutHuper，PeiYeanLee，andJohnMoore. 流形上用高斯-牛顿迭代法估计本质矩阵国际计算机视觉杂志，2007年。2[24] 乔尔A。Hesch和Stergios I.鲁梅里奥提斯pnp的直接最小二 乘 （ dls ） 方 法 。 2011 年 国 际 计 算 机 视 觉 会 议（ICCV）。1[25] LaurentKneip ， HongdongLi ， andYongduekSeo.Upnp：一个最优的o（n）的解决方案，以绝对的姿态问题，具有uniform的适用性。2014年欧洲计算机视觉会议（ECCV）。1[26] Laurent Kneip和Simon Lynen。帧到帧旋转的直接优化。2013年国际计算机视觉会议（ICCV）。二、三、七[27] 祖扎娜·库克洛娃，马丁·布伊纳克，托马斯·帕德拉。最小问题求解器的自动生成器。欧洲计算机视觉会议（ECCV），2008年。3[28] 祖扎娜·库克洛娃，马丁·布伊纳克，托马斯·帕德拉。计算机视觉中极小问题的多项式特征值解。模式分析和机器智能（PAMI），2012年。1、4[29] 维克多·拉尔森，卡勒·阿斯特伦，马格努斯· 奥斯卡松。Effi-基于合宿约简的最小问题的有效求解器。计算机视觉与模式识别（CVPR），2017年。二、三、四[30] ViktorLarsson，MagnusOskarsson，KalleAstrom，AlgeWallis ， Zuzana Kukelova ， and Tomas Pajdla. 超 越Gröbner基：Ba是最小解的选择。在计算机视觉和模式识别（CVPR），2018年。3[31] 卡雷尔·列贝达，吉尔·马塔斯和昂德雷杰·查姆.修复局部优化的RANSAC完整实验评估。英国机器视觉会议（BMVC），2012年。1[32] YiMa，JanaKosEscherichia'，ShankarSastry。运动和结构估计的优化准则 国际计算机视觉杂志，2001年。2[33] Jo r geJ. Mor e'. 勒文贝-马夸特算法：实现与理论。在数值分析中。1978. 4[34] 劳尔·穆尔-阿塔尔和胡安·D·塔尔·多。Orb-slam 2：一个开源的单目，立体和rgb-d相机系统。IEEE Transactionson Robotics，2017。1406[35] 中野学cayley参数化pnp问题的全局最优dls方法英国机器视觉会议（BMVC），2015年。1[36] 中野学一种解决pnp，pnpf和pnpfr问题的通用方法。2016年欧洲计算机视觉会议（ECCV）。1[37] Oleg Naroditsky，Xun S.放大图片作者：Zhou，JeanGallier，Stergios I. Roumeliotis和Kostas Daniilovi。利用方向对应的视觉里程计的两种有效解决方案模式分析和机器智能（PAMI），2012年。第1、3条[38] 我看到你了。五点关系问题的有效解决方案模式分析与机器智能（PAMI），2004年。1[39] MarcPollefe ys ， Da vidNiste'r ， J-MFrahm ， AmirAk-barzadeh ， Philippos Mordohai ， Brian Clipp ， C