焦距未知情况下共向两视相对位姿估计的最小解

7045焦距未知情况下共向两视相对位姿估计的最小解丁雅青杨健JeanPonce孔辉摘要我们提出了最小的解决方案，相对姿态估计问题，从两个视图共享一个共同的方向与未知的焦距。这与配备有IMU（惯性测量单元）的照相机有关，智能手机平板电脑类似于6点算法的两个相机具有未知的，但相等的焦距和7点算法的两个相机具有不同的和未知的焦距，我们推导出新的4点和5点算法，分别为这两种情况。所提出的算法可以处理共面点，这是一个退化的六点和七点的副本。我们提出了一个详细的分析和比较，与最先进的。在人工合成数据和智能手机上的真实图像上的实验结果证明了所提算法的有效性。1. 介绍利用最小点对应关系从两个视点估计摄像机的相对运动是计算机视觉中的一个经典问题例如，给定内部校准的摄像机，众所周知，可以使用5点算法[16，21，28]来估计相对姿态。一个重要的情况下出现时，唯一未知的摄像机内部参数是焦距（半校准的情况下）。由于大多数现代CCD或CMOS摄像机具有方形像素和中心主点，因此在实践中很重要如果两个相机具有共享的未知焦距，则可以使用六点对应关系来估计相对运动和公共焦距[16，21，22，30]。如果两个相机的焦距不同且未知，则需要至少七个点对应来恢复相对运动和焦距[3，15]。最小情况江苏省教育部高维信息智能感知与系统重点实验室、江苏省图像科学重点实验室南京理工大学计算机科学与工程学院，{dingyaqing，csjyang，konghui}@ njust.edu.cn法国巴黎INRIA。jean. inria.fr法 国 巴黎 ， 法 国 ， 法国 科 学 院 ，法 国 国 家 科学 院 ，法国国家科学研究中心，法国国家科学院图1：本文中使用的坐标的可视化。相机有一个共同的重力方向。可以从IMU读数获得重力矢量g=[gx，gy，gz]，并且可以提取相对于世界坐标（重力）的滚转角和俯仰角。然后可以旋转这些点，使y轴与重力方向相匹配算法可以与RANSAC [10]一起在例如SfM（运动恢复结构）流水线中使用。使用尽可能少的点对于减少处理时间至关重要。然而，这通常需要额外的约束或数据。例如，如果两个视图之间的共同重力方向是已知的，则可以减少相对姿态估计所需的点的数量[9，12，27，29，31]。在本文中，我们假设这些视图有一个共同的方向。这种情况与智能设备相关，智能手机、平板电脑，它们具有IMU来测量重力方向。我们可以对齐其中一个轴（例如，y轴）与此方向的相机（图1）。然后只有一个未知的旋转参数，这样我们就可以使用更少的点对应。在此假设下，我们提出了最小的解决方案的两个视图的相对构成问题与未知的焦距。本文的主要贡献是：• 对于具有相同未知焦距的两个摄像机，我们提出了一种4点算法来估计摄像机70461+s我˜Rp运动和焦距。• 对于具有不同和未知焦点的两个摄像机可以假设相机具有方形像素，并且主点与图像中心重合长度，我们表明，只有五个点，需要之三[16]。因此，我们可以让K−1-1=恢复摄像机运动和焦距。• 我们提出了多项式特征值解1= diag（1，1，f1），K2diag（1，1，f2）用于第一和第二相机。以来λ R′R′K−1m′与λ R R RK−1m的叉积2pR2我1ypR1我和行动矩阵解决方案提出的问题。最密切相关的工作，我们是由丁等。[9]，作为对其他translationT_∞的估计，我们得到′′ ′ ′ ⊤ ⊤其使用单应性和重力方向解决具有未知焦距的相对姿态问题不像他们，我们不需要假设共面点，所提出的方法更一般。与标准的6点和7点算法相比，该方法具有两个优点。(i)它需要更少的通信，（RpRr[ui，vi，f2]）×（RyRpRr[ui，vi，f1]） ·T=0. （三）在这种情况下，深度参数λ1、λ2被消除。旋转矩阵Ry可以写为：θ0sinθ0这对于RANSAC是重要的，（ii）它们对于噪声数据更准确。此外，拟议的4-和5-Ry=0 1 0- sin θ 0 余弦θ（4）点算法可以处理点位于平面，这是现有6点和7点算法的退化配置[18]。其中θ是围绕重力方向的旋转角度。因此，旋转矩阵Ry可以重写为：11−s202s2. 问题陈述设mi=[ui，vi，1]T和m′=[u′，v′，1]T是任意的Ry= 1+s20 1+s20−2s01−s2（5）我我我第一层对应点的非均匀坐标其中s = tan θ。这个公式引入了简并和第二图像。欧几里得变换（R，T）180度2旋转，这在实际应用中几乎可以忽略不计两个帧之间的SE（3）可以表示为：折叠术由于（3）是齐次的，因此比例因子12λ K−1m′=λ RK−1m+T，（1）（5）可以省略。 我们的目标是估计旋转，22我111镜头的平移和焦距，其中λ1、λ2是图像点m1、m′的深度，并且K1、K2分别是第一和第二相机的相机固有矩阵。在本文中，我们假设视图有一个共同的参考方向。我们可以使用手机或平板电脑上的IMU计算的重力方向作为此参考方向。不失一般性，我们可以将两个相机的y轴与公共参考方向对准。使用该方向，我们可以计算用于对准的两个对应相机的滚动角和俯仰角通常，如果我们想知道相机和IMU之间的外部参数，我们需要知道相机的内部参数。然而，诸如智能手机和平板电脑之类的智能设备是特殊的，因为相机的轴线之间的关系和惯性测量单元通常近似为0°、±90°、180° [9，14]。点对应的数目3. 共享和未知焦距-E4 f第一种情况是两个摄像头的焦距相同。例如，场景由一款焦距恒定的智能手机。在这种情况下，我们有一个关于{s，f，tx，ty，tz}的4自由度问题（有5个未知数，但平移达到一定的尺度因子）。由于每个点对应给出一个约束，我们至少需要4个点。 通过堆叠4点对应的约束行，约束（3）可以写成A T=0，（6）其中A是4×3数据矩阵，A的第i行是A=（R′R′[u′，v′，f]<$）×（R R R[u，v，f]<$）。（七）在这种情况下，我们可以直接获得旋转之间IpR我我ypR我我摄像头和惯性测量单元让在这种情况下，（1）可以写成′′−1′ −1由于（6）有非平凡解，矩阵A一定是秩亏的，这意味着它所有3×3子矩阵的每个行列式都为零。物业1. 的3×3子矩阵的行列式2λ2RpRrK2 mi=λ1RyRpRrK1 mi+T，（2⎣7047˜）其中，Ry是从偏航角（围绕A可以写为det（Aijk）=（1 + s）h（s，f），其中h（s，f）是{s，f}中的多项式（下标ijk指示矩阵A的行）。′′y轴），T=RpRrT是对齐后的平移是的。 对于大多数现代CCD或CMOS相机来说，它是真实的。可以使用Matlab或其他sym来验证此属性曲线计算软件。 在这种情况下，我们可以减少704832-C−1C-C−1C-C−1C-C−1C多项式的次数特别地，我们在两个未知数{s，f}中得到了C4= 4个8次多项式（最高次数项为s4f4）h1（s，f）=det（A123）/（1+s2），其中，B′是6×30系数矩阵，X′是向量，如果所有30个单项式，则（12）可以重写为（s4C4+s3C3+s2C2+sC1+C0）v=0，（14）h（s，f）=det（A）/（1+s2），其中v=（1，f，f2，f3，f4，f5）n，C4，C3，C2，C1，andC02 124h（s，f）=det（A）/（1+s2），（八）是6×6系数矩阵：3 134h4（s，f）=det（A234）/（1+s2）.接下来，我们描述了如何解决这个方程组的多项式特征值法和行动矩阵法，分别。3.1. 多项式特征值解C0（b1，b2，b3，b4，b5，b6），C1- 10（b7，b8，b9，b10，b11，b12），C2- 10（b13，b14，b15，b16，b17，b18），C3- 10（b19，b20，b21，b22，b23，b24），C4- 10（b25，b26，b27，b28，b29，b30），（十五）多项式特征值方法已经成功地用于计算机视觉中的许多最小问题，例如9点单参数径向失真问题[11]，其中bn是6×30矩阵B′的第n列。基于[2]，s的解是24 ×24矩阵的特征值：5点和6点相对位姿问题[21]、6点一个未知焦距问题[4]和自校准问题[17]。我们证明了多项式系统（8）可以有效地使用多项式⎡D=100%0我0 00 0我00 0 0我⎤好吧（十六）特征值法进行了一些修改。40414243如[2]所示，多项式特征值问题是以下形式M（λ）v=0，（9）其中M（λ）是由λ参数化的方阵，v是不含λ的所有变量的单项式的向量。M（λ）定义为我们得到了24个特征值，它们是s的解。相应的特征向量包含f的解，即，特征向量的第二行除以第一行。然而，其中四个解不满足向量v的内部约束，例如，v3=v2。这是因为我们正在解决原始版本的松弛版本，因此存在冗余的解决方案。因此，有多达20个可能的M（λ）<$λlCl+λl−1Cl−1 +···+λC1 +C0，（10）解决方案（包括复杂的）。计算机代数系统Macaulay 2[13]也表明，存在遗传-其中Cl，Cl−1，.， C1，C0是平方系数矩阵.注意，first（8）可以写为BX=0，（11）其中B是4×25系数矩阵，X=（1，f，f2，f3，f4，s，sf，sf2，sf3，sf4，s2，s2f，s2f2，s2f3，s2f4，s3，s3f，s3f2，s3f3，s3f4，s4，s4f，s4f2，s4f3，s4f4）是所有25个单项式的向量。未知数s和f都出现在四次单项式中，所以我们可以选择其中之一，例如，s作为（9）中的λ四个多项式可以20个解决方案 一旦计算出{s，f}，就可以从矩阵A的零空间中提取平移。实际上，我们只需要计算A的3×3子矩阵之一的零空间。然后，我们可以得到20个可能的焦距（包括负焦距和复焦距）和旋转，它们对应于40个可能的平移（每个旋转对应于两个可能的相反平移）。选项）。在这些解中，我们只对具有正焦距的实数解最后，两个视图之间的完整旋转和平移由下式给出：′⊤′⊤R = Rr RpRyRpRr，7049Rp重写为M（s）v=0，（12）其中v=（1，f，f2，f3，f4），v是f中的5×1单值向量.有四个多项式，但v有五个el-T=R′R′3.2. 动作矩阵解T~。（十七）元素。因此，我们需要通过将原始多项式乘以f来添加额外的多项式（对于这个问题来说已经足够了我们得到四个额外的多项式，并选择其中两个。在这种情况下，（11）和（12）可以重写为B′X′=0，（13）多项式系统（8）也可以通过以下方法求解：矩阵方法[6]。我们只给出了该方法的简单实现，并请读者参考[6，19，5，23，25]了解详细信息。如[5]所述，为了创建动作矩阵，我们需要通过乘以初始多项式来生成自适应多项式，7050322 2 1 1 1 2关于monomials附加多项式的次数达到10次，这意味着我们需要将原始多项式乘以{s，f，s2，sf，f2}。这样，共有24个多项式和46个单项式。取出后这60个单项。 等式（21）可以重写为：（s4C4+s3C3+s2C2+sC1+C0）v=0，（22）其中v=（1，f2，f2，f1，f1f2，f1f2，f2，f2f2，f2f2，f3，8个不必要的多项式和10个单项式，2 2 1 11 2 1f3f2，f3f2）n是12个单项式的向量，C4，C3，C2，在行动矩阵中使用，我们获得了一个16×36的模板，高斯-乔丹消去法4. 不同和未知的焦距-E5 f1f2另一个重要的情况是当两个相机具有不同的和未知的焦距时，场景由多个智能电话或具有变焦照相机的智能电话捕获。这是一个5自由度的问题，{s，f1，f2，tx，ty，tz}。在这种情况下，我们至少需要5个点。1 1 2C1和C0是12×12系数矩阵C0（b1，b2，.，b12），C1（b7，b8，.，b24），C2（b1 3，b1 4，.，b36），C3（b1 9，b2 0，.，b48），C4（b2 5，b2 6，.，b60），（二十三）A5×3的第i行可以表示为：′′ ′ ′ ⊤其中bn是12×60矩阵B′的第n列。我们求出s的解作为48×48的48个特征值Ai=（RpRr[ui，vi，f2]）×（RyRpRr[ui，vi，f1]）的情况。（十八）矩阵（类似于（16）中的D）。在将第一个字母归一化后，由于A的3×3子矩阵的每个行列式必须为零，我们可以得到C5=10多项式：h1（s，f）=det（A123）/（1+s2），h2（s，f）=det（A124）/（1+s2），（十九）...h10（s，f）=det（A345）/（1+s2）.根据性质1，多项式的次数为8（最高次数项为s4f2f2）。特征向量为1的尝试，第二和第四个是f2和f1的解 计算机代数系统Macaulay 2 [13]表明，一般有24个解。冗余解可以通过如前所述检查向量v的内部约束来消除，例如，v3=v2。最后，有多达24个可能的解决方案（包括复杂的）。可以消除具有负焦距的解决方案 一旦计算出{s，f1，f2}，剩余的步长等于共享和未知焦距的情况。动作矩阵解12多项式系统（19）也可以使用下式求解：多项式特征值解我们可以首先将十个多项式方程的系统重写为BX=0，（20）其中B是10 × 45系数矩阵，X ={sif jf k|行动矩阵法。由于多项式要复杂得多，我们建议使用在线自动生成器，例如，[25 ]第20段。我们得到了一个67×91的高斯-约当消去模板。1 2i=0，1，2，3，4;j=0，1，2;k=0，1，2}是由所有45个单项式形成的向量。 我们仍然选择s作为（9）中的λ。这十个多项式可以重写为M（s）v =0，其中v =（1，f2，f2，f1，f1f2，f1f2，f2，f2f2，f2f2）v是f1，f2中所有9个单项式的向量。 有十个多项式，而v只有九个元素。看来我们可以选九个多项式来构建求解器，就像Sec。第3.1条然而，我们发现9×9系数矩阵C4，C0的最大秩都是8，这使得系统是病态的.所以我们需要增加额外的多项式来得到良态矩阵C4，C0. 实际上，将原始多项式乘以f1（或f2）就足够了。在这种情况下，总共有20个多项式和60个单项式，我们可以选择12个多项式来确保C4，C0是良好条件的。然后，这12个多项式可以写为：B′X′=0，（21）其中B′是12×60系数矩阵，X ′={sif jf k|7051Rp5. 简并构型退化配置可能由数据或临界运动引起。 四个或更多共线点将是冗余的，因为共线点最多有三个线性独立约束[12]。 这种情况在实践中是非常罕见的，可以通过鲁棒估计来处理，例如RANSAC [10]。光轴位于平面内时的任意平面运动是标准6点和7点算法的临界运动[18]。对于提出的4点和5点算法，退化位形可表示为Rr=Rp=I和R′=R′=I，这意味着两台相机的y轴与重力方向重合。这导致了一个不同的多项式系统（更小的次数），这将使矩阵C4和C0奇异。然而，滚转角和俯仰角都等于零的概率非常低，因此我们不讨论这种情况。 另一方面，我们的五点算法有一个额外的退化情况：Rr= R′和R′= R′，1 2r p pi= 0，1，2，3，4; j = 0，1，2，3; k = 0，1，2}是所有向量 ，即，对于两个视图，滚转角和俯仰角相等它7052eG√是光轴相交的特殊情况，这是不同和未知焦距问题的退化情况[18]。纯旋转使本质矩阵变为零矩阵，也是标准本质矩阵算法的退化情形。相比之下，我们的方法可以处理纯旋转，因为约束是直接对旋转矩阵。实验结果见第二节。6.2.40200-16-12-8-4 0 440200-16-12-8-4 0 46. 仿真结果在本节中，我们评估了在增加图像和IMU噪声的情况下，所提出的算法在合成数据上的性能。合成数据在安装后。我们随机抽取200个分布在3D立方体[−3，3]×[−3，3]×[3，8]上的3D点。另一方面，为了说明所提出的方法可以处理平面场景，我们还采样了200个分布在平面上的3D点。相机的焦距设置为fg∈[300，3000]像素，图像设为2f×2f。每个3D点由两个摄像机观察随意但可行的姿势 与[28，12，29，9]相似，我们关注两个重要的实际运动：侧向运动（平行于场景）和向前运动（沿z轴）。两个摄像机之间的距离设置为平均场景深度的10%。另外，第一和第二相机围绕每个轴旋转我们生成了10，000对具有不同变换的图像请注意，所有的算法都有多个解决方案，所以我们需要选择可以在实际应用中恢复的解决方案。因此，我们计算每个解相对于点集的几何误差，并选择具有最小误差的解。6.1. 数值稳定性我们首先评估所提出的算法与无噪声数据的数值稳定性旋转误差ΔR、平移误差Δt和焦距误差Δf定义如下• ΔR= arccos（（trace（RgRT）−1）/2），• t= arccos（（tTte）/（• f=|fe− fg|/fg，图2：焦距的核平滑直方图使用无噪声数据运行10，000次所提出的算法的错误。多项式特征值解略优于作用矩阵解。4pt-作用表示4点多项式特征值解和4点作用矩阵解，5pt-多项式和5 pt-作用分别表示所提出的5点多项式特征值解和5点作用矩阵解。为了节省空间，我们只显示了稳定性评估的焦距误差，因为其他误差在性质上是相似的。图2示出了对于共享和未知焦距以及不同和未知焦距问题，在侧向运动（左）和向前运动（右）下焦距误差的核平滑直方图。我们可以看到，所有提出的算法都是数值稳定的，并且不包含大的误差。多项式特征值解决方案的性能略好于动作矩阵解决方案，因此我们在接下来的实验中使用它们。6.2. 纯旋转在本节中，我们将证明所提出的求解器与纯旋转情况兼容，而无需知道运动的先验知识。图3报告了我们的多项式特征值求解器在纯旋转下使用无噪声数据的焦距和旋转误差。看起来精度不如侧向运动或向前运动，但对于实际应用来说已经足够好了。另一方面，在实践中，平移可能不完全等于零，因此性能是可以接受的。100 60其中R、t、f表示地面实况旋转，trans-40GGglation和焦距，并且Re、te、fe分别是对应的估计旋转、平移和焦距。 我们测量估计的平移方向和真实方向之间的角度误差，因为估计的平移是按比例的。对于不同的和不-500-10-5 0 5200-10-5 0 5已知的焦距问题，我们计算焦距误差的几何平均值f=f1f2。该测量方法已广泛应用于相机姿态估计中。[28，4，21，29，24，9]。 在本实验中，4pt-polyeig图3：核平滑的误差直方图10，000次运行，纯旋转下无噪声数据。左：共享和未知的焦距。右：不同的和未知的焦距.70530.50.30.30.40.30.20.20.20.10.10.1000.20.40.60.81000.10.20.30.40.5000.10.20.30.40.5（一）（b）第（1）款（c）第（1）款0.50.50.50.40.40.40.30.30.30.20.20.20.10.10.1000.20.40.60.81000.10.20.30.40.5000.10.20.30.40.5（d）其他事项（e）（f）第（1）款图4：在不同噪声条件下的前向运动性能。第一行：共享和未知焦距。底行：不同和未知的焦距。从左至右：（a）（d）图像噪声增加;（b）（e）在0.5像素标准偏差的恒定图像噪声的情况下，滚动噪声增加;（c）（f）在0.5像素标准偏差的恒定图像噪声的情况下，俯仰噪声增加。6.3. 噪声恢复力为了评估对图像噪声的敏感性，我们将标准偏差范围为0到1个像素的高斯噪声另外，在实际应用中，IMU读数所测量的重力方向并不完美加速度计读数和相机与IMU的旋转对准中的动态可能引入误差由于低成本IMU中滚转角和髓心角的角精度约为0.5μ m，而高精度IMU中的角精度小于0.02μ m[20]。我们还模拟了噪声的情况下，（滚动，俯仰）噪声范围从0到0.5度的标准偏差与恒定的图像噪声的0.5像素的标准偏差。为了与标准算法公平地进行比较，我们使用（17）来计算我们算法的完全旋转和平移的误差。在本实验中，4pt和5pt分别表示4点和5点多项式特征值解。6pt表示在[22]中提出的最先进的6点算法，7pt表示使用Bougnoux公式[3]从基本矩阵提取两个不同焦距的7点算法，3.5pt和H4pt分别表示在[9]中提出的用于共享和未知以及变化焦距问题的最先进的基于单应性的算法后缀-general和-plane表示这些方法是用general和planar来计算的。7054场景，分别。为了节省空间，我们只显示了在向前运动下的焦距误差的结果，因为其他误差在性质上是相似的。补充材料中给出了旋转和平移误差以及侧向运动的结果共享和未知焦距图4（a）显示了在前向运动条件下，对于共享焦距和未知焦距问题，图像噪声增加时焦距误差的箱形图。对于没有图像噪声的完美平面场景，标准的6点算法失败，因为它是退化的情况。我们的4点算法比6点算法更好地表现在不同程度的图像噪声的一般和平面场景。基于3.5点单应性的算法在平面场景中表现最好，但它需要假设点位于平面上。图4（b）和图4（c）显示了在滚动和俯仰噪声增加的情况下的焦距误差。当滚动或俯仰噪声达到0.5度时，我们的4点算法仍然优于6点算法，并且与平面场景的基于单应性的算法相当。不同和未知的焦距图4（d）显示了在不同和未知焦距问题下，在向前运动下具有增加的图像噪声的焦距误差的箱形图。我们的5点7055log（1−wq）算法SVDQREigenTime（us）Max No.的具有离群值的迭代（1−w）表1：所提出的算法（灰色）与最先进的技术。算法的性能优于7点算法在不同程度的图像噪声的一般和平面场景。与基于平面场景的四点单应性算法相比，该算法也具有一定的优势图4（e）和图4（f）分别显示了滚动和俯仰噪声增加时的焦距误差。似乎我们的5点铝出租m是轻微敏感的滚动噪音。当基音噪声达到0.5度时，我们的5点算法仍然优于7点算法和基于单应性的4点在一般情况下，与精确的重力信息，所提出的方法优于标准的6和7点算法，并可以处理共面点。请注意，6点和7点算法是通用方法，而我们的算法需要重力信息，这在很大程度上是由智能手机、平板电脑的可用性所驱动的。6.4. 计算复杂度表1报告了使用Matlab在基于Intel i7- 8700 K 3.7GHz的台式机上所有算法的主要步骤和运行时间（平均10，000次试验）。我们使用C++-mex实现所有多项式求解器（基于Eigen线性代数库）。对于共享和未知的焦 距 问 题 ， 一 个 假 设 估 计 的 4pt-polyeig 的 时 间 是110µs。对于不同和未知的焦距问题，5 pt-polyeig的计时为310µs。我们的5点算法的高运行时间是由于大规模的矩阵的特征值计算，但它是足够快的实际应用。实数解的最大数量越少越好，因为每个实数解都需要用RANSAC内的一组点进行评估然而，由于焦距的限制，许多无意义的实解可以被放弃.由于实际上需要在RANSAC或其他鲁棒统计中使用算法来拒绝离群值，因此必要的迭代次数对于效率考虑 非 常 重 要 。 我 们 还 报 告 了 基 于 log （ 1-p ） 的 理 论RANSAC迭代次数，其中p=0的情况。其中p是RANSAC在运行之后提供有用结果的期望概率，w是数据中的内点，q是算法所需的点对应的数量随着离群点率的增加，所提出的算法显着减少了迭代次数我们表明，在实际实验中的改进，以及。虽然基于单应性的算法只需要4个点，但它们是基于点共面的假设。7. 来自智能手机的为了在实际数据上评估所提出的算法，我们记录了分辨率为1920×1080的8个序列和使用iPhone 6s的IMU数据。然后我们根据时间同步帧和IMU数据-卫生棉条原始数据包含重力和加速度，因此我们需要应用高通滤波器来将重力与原始加速度计数据隔离开来[8，7]。我们使用每个序列（i. 例如， {1，11}，{2，12}，{3，13}，· · ·），因为对于连续帧，相关平移可能非常小。例如序列的图像显示在图5中。我们提取SIFT [26]图像的特征点和描述符由于我们只想给出一个公平的比较，我们使用标准的RANSAC [10]，没有任何优化来估计焦距和相对姿态。RANSAC置信度设置为0.99，最大迭代次数设置为5000。对于基本矩阵，距离阈值被设置为2个像素，对于单应性，距离阈值被设置为2.5个像素。我们使用从CMOS参数（1610像素）计算的焦距和从RealityCapture [1]获得的运动由于页面限制，我们只显示第一个序列的结果其他序列的结果见补充材料。表2（a）显示了共享和未知焦距情况下估计旋转、平移和焦距的中位误差和平均误差。正如我们所看到的，所提出的4点算法优于标准算法。我们还报告了迭代和内点的平均数。为真正的解决方案0.300.500.70 0.904pt-polyeig-6 ×624 ×24110201772566 4.6×1043.5磅[9]8 ×9152 ×15224 ×241200201772566 4.6×104[22]第二十二话6 ×921 ×2115 ×157215372926315 4.6×1065pt-polyeig-12 ×1248 ×483102425145小行星18934.6×10570563.5磅[9][22]第二十二话4ptH4pt [9]7分[3]5分旋转误差（度中位数）0.53110.86070.14651.18583.43090.3793是说3.28401.07080.22242.85674.08950.5607度中值翻译误差5.02193.93521.22849.54347.78422.8436是说10.20425.90411.717316.834313.50884.8110焦距误差（%）中位数24.7238.035.2152.2144.1826.11是说42.0241.1511.3157.4743.3531.37迭代次数平均值5000+1214232375000+112474（85）四百五十二（一百八十）内点平均数156733730157696707（一）（b）第（1）款表2：前向运动下第一序列（1162张图像）上不同算法的比较。(a)共享和未知的焦距。（b）不同和未知的焦距。最好的结果用粗体标记详情见正文在基于单应性的方法中，我们首先使用标准的4点单应性算法来拒绝离群值，如[9]所然后，我们使用3.5点单应性求解器来找到内点内的最佳解决方案。由于场景是一般的并且不包含主导平面，因此标准4点单应性算法的RANSAC总是达到最大值（5000）。然而，基于3.5点单应性的算法使用内点仅需要12次迭代。 与6点算法相比，我们的4点算法需要更少的迭代次数：237对1423，内点的数量几乎相同。我们的4点算法平均少了三个内点，这可能是由于IMU读数中的噪声。表2（b）显示了不同和未知焦距问题的结果。在这种情况下，所提出的算法仍然优于7点算法和基于单应性的4点算法。然而，我们发现，焦距的误差是大的，没有平等的约束的焦距。这可能是由于用于捕获序列的运动接近简并构型（见第2节）。5）并且平移比场景深度小得多。请注意，对于7点al-λ m，有时内点和基本矩阵似乎是正确的，但提取的焦距是无效的。因此，我们还报告了产生物理上可能的焦距（正值且大于图像宽度的五分之一）的样本数量与7点算法相比图5：用iPhone 6s记录的8个序列的示例图像我们的5点算法需要更少的迭代：452对2474。在这些样品中，我们的180个样品具有物理上可能的焦距，而7点焦距只有85另一方面，我们的5点算法比7点算法具有这是因为有时基本矩阵有很好的内点，但焦距是没有意义的。在这种情况下，应该放弃这种解决办法。简而言之，所提出的算法更准确并且需要更少的迭代，但是当然回想一下，标准算法是通用方法，而所提出的算法使用重力方向，这对于智能设备是8. 结论在本文中，我们提出了最小的解决方案，以估计相对姿态的情况下，共享一个共同的方向与未知的焦距。这是智能设备的实际相关情况，智能设备可以使用IMU读数提供重力方向。我们已经讨论了共享和未知，以及不同和已知焦距的情况。综合评价和在智能手机上的实际实验表明，所提出的算法是足够稳定我们相信，所提出的算法是有前途的，因为它是可以想象的，相机将始终与惯性测量单元致谢。作者要感谢匿名评论者的建设性意见。这项工作得到了国家自然科学基金的部分资助。U1713208，“111”计划B13022，Inria/纽约大学合作和Louis Vuit-ton/ENS人工智能主席。此外，这项工作部分由法国政府资助，由国家研究机构管理，作为“未来投资”计划的一部分7057引用[1] 现实捕捉。http://www.capturingreality.com。7[2] 白兆军、詹姆斯·德梅尔、杰克·唐加拉、阿克塞尔·鲁赫和亨克·范德沃斯特。用于求解代数特征值问题的模板：实用指南SIAM，2000年。3[3] 西尔万·布格努从射影空间到欧几里德空间的任何实际情 况 下 ， 自 我 校 准 的 批 评 。 IEEEInternationalConference on Computer Vision （ ICCV ） ， 1998 年 。一、六、七、八[4] Martin Bujnak、Zuzana Kukelova和Tomas Pajdla。从具有 单 个 已 知 焦 距 的 图 像 集 合 进 行 3D 重 建IEEEInternationalConferenceonComputerVision（ICCV），2009年。三、五[5] 马丁：罗德，卡拉·约瑟夫森，还有卡尔·阿斯特伦。稳定多项式方程求解及其在计算机视觉中的应用。国际计算机视觉杂志，2009年。3[6] 大卫·A·考克斯，约翰·利特尔和多纳尔·奥谢。使用代数几何，第185卷。Springer Science Business Media，2006.3[7] Android开发者。 http://developer.android.com。 7[8] IOS开发人员。https://developer.apple.com网站。7[9] Yaqing Ding，Jian Yang，Jean Ponce，and Hui Kong.一种有效解决基于单应性的具有公共参考方向的相对在IEEE国际计算机视觉会议（ICCV）上，2019年10月。一、二、五、六、七、八[10] Martin A Fischler和Robert C Bolles。随机样本一致性：一个范例模型拟合与应用程序的图像分析和自动制图。ACM通讯，1981年。一、四、七[11] 安德鲁·菲茨吉本多视图几何和镜头畸变的同时线性估计。在IEEE Conference on Computer Vision and PatternRecognition（CVPR）中，第1卷。3[12] Friedrich Fraundorfer ， Petri Tanskanen ， and MarcPollefeys.对于两个已知取向角的情况，校准的相对姿态问 题 的 最 小 情 况 解 2010 年 欧 洲 计 算 机 视 觉 会 议（ECCV）一、四、五[13] 丹尼尔·R·格雷森和迈克尔·E·斯蒂尔曼。Macaulay 2，代数几何研究软件系统，2002。三、四[14] 关邦磊，于奇峰，弗里德里希·弗劳恩多夫。使用单应性约束的imu相机系统旋转对准的最小解计算机视觉和图像理解，2018年。2[15] 理查德·哈特利未标定摄像机的相对摄像机位置估计。在欧洲计算机视觉会议，1992。1[16] 理查德·哈特利和李洪东一种有效的隐变量最小情况摄像 机 运 动 估 计 方 法 。 IEEE Transactions on patternanalysis and machine intelligence，2012。一、二[17] 珍妮·海基拉用稀疏消去法解决计算机视觉中的小问题2017年10月在IEEE计算机视觉国际会议（ICCV）上发表3[18] 弗雷德里克·卡尔和比尔·崔格斯。从运动看欧几里得结构中的临界运动。在IEEE计算机视觉和模式识别会议（CVPR），1999年。二、四、五[19] Zuzana Kukelova，Martin Bujnak和Tomas Pajdla。最小问题求解器的自动生成器。在2008年的欧洲计算机视觉会议（ECCV）上。3[20] Zuzana Kukelova，Martin Bujnak和Tomas Pajdla。已知垂直方向的最小绝对位姿问题的封闭解2010年亚洲计算机视觉会议。6[21] Zuzana Kukelova，Martin Bujnak和Tomas Pajdla。计算机 视 觉 中 极 小 问 题 的 多 项 式 特 征 值 解 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，2012。一、三、五[22] Zuzana Kukelova ， Joe Kileel ， Bernd Sturmfels ， andTomas Pajdla.一个聪明的消除策略，有效的最小解算器。在IEEE计算机视觉和模式识别会议（CVPR），2017年。一、六、七、八[23] ViktorLarsson，KalleA˚stroúm，andMagnusOskarsson.Effi-基于合宿约简的最小问题的有效求解器。在IEEE计算机视觉和模式识别会议（CVPR）上，2017年6月。3[24] Viktor Larsson、Zuzana Kukelova和Yinqiang Zheng。未知主点的摄像机位姿估计。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。5[25] ViktorLarsson，MagnusOskarsson，KalleAstrom？m，AlgeWallis，Zuzana Kukelova，and Tomas Pajdla.超越广义基：极小解的基选择。在IEEE计算机视觉和模式识别会议上，2018年6月。三、四[26] 大卫·G·洛从尺度不变关键点中提取独特的图像特征。国际计算机视觉杂志，60（2）：91-110，2004. 7[27] Oleg Naroditsky，Xun S Zhou，Jean Gallier，Stergios IRoumeliotis，and Kostas Daniilidis.利用方向对应的视觉里 程 计 的 两 种 有 效 解 决 方 案 。IEEE transactions onpattern analysis and machine intelligence，2012。1[28] D a vidNis e'r. 一个新的解决方案来解决五点关系问题。IEEE Transactions on Pattern Analysis and MachineIntelligence，2004。一、五[29] Oli vierSaurer，PascalVasseur，Re'miBoutteau，Ce'dricDe-monceaux，Marc Pollefeys，and Friedrich Fraundorfer.具有 共 同 方 向 的 基 于 直 方 图 的 自 运 动 估 计 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，2017。一、五[30] 亨利克·圣·韦尼乌斯，Da vidNister，F redrikKahl，和FredrikSchaffalitzky。焦距未知时相对位姿的最小解.IEEE计算机视觉与模式识别会议（CVPR），2005年。1[31] 克里斯·斯威尼约翰·弗林马修·特克。求解具有部分已知旋转的相对姿态是二次特征值问题。3DV，2014. 1