重力先验条件下全景拼接的极小解

1重力先验条件下全景拼接的极小解丁亚青1，Daniel Barath2，Zuzana Kukelova31南京理工大学计算机科学与工程学院2苏黎世联邦理工学院计算机科学系计算机视觉与几何组3布拉格捷克技术大学电气工程学院视觉识别小组dingyaqing@njust.edu.cn摘要当捕捉全景时，人们倾向于将他们的相机与垂直轴对齐，即，重力的方向此外，现代设备，例如智能手机和平板电脑都配备了IMU（惯性测量单元），可以精确测量重力矢量。使用该先验，相机的y轴可以被对准或假设已经被对准，从而将相对取向减少到1-D 0 F（自由度）。利用这一假设，我们提出了新的最小的解决方案，全景拼接的图像所采取的相机与重合的光学中心，即。进行纯旋转。我们考虑六个实际的摄像机的配置，从完全校准的一个未知的固定或变化的焦距和有或没有径向失真的摄像机的时代。求解器在合成场景上进行了测试，在Sun360数据集的500k多个真实图像对上进行了测试，并从我们使用配备IMU的两部智能手机捕获的场景中进行了测试。新的求解器具有类似或更好的精度比国家的最先进的，并优于他们的处理时间。1. 介绍全景图像拼接是计算机视觉中的一个基本问题。它不仅可用于创建视觉上令人愉悦的图像马赛克，还可用于在下游任务中进一步处理之前组合来自多个相机的输入所生成的图像覆盖大的视场，并且在各种应用中是有用的，例如：基于图像的定位[3]、SLAM [25，18]、自动驾驶[33]、体育广播[7]、视频监控[35]以及增强和虚拟现实[17，27]。当解决这个问题时，我们给出了从空间中的单个点拍摄的图像序列，其中相机围绕一些3D轴旋转。其目的是将图像映射到一个共同的参考框架中，并创建由捕获的图像组成的更大的图像，因此，覆盖比每个单独的图像更宽的视场。在G图1：具有已知重力矢量g的全景拼接。换句话说，目标是估计具有重合光学中心的照相机的未知相对旋转和内部参数，即，进行纯旋转运动的照相机。这个问题通常被认为是在计算机视觉社区中解决的，有许多现有的解决方案[15，5，10，19，6，22]。然而，在本文中，我们将表明，现有的解决方案不利用所有可用的信息，可以很容易地从最近的设备获得该信息可用于简化问题公式化并加速求解。典型的全景拼接流水线由以下三个主要步骤组成1. 成对匹配：在第一步骤中，获得图像特征，并且在所有图像对之间匹配试探性对应。2. 鲁棒成对估计：根据在第一步骤中找到的对应关系，鲁棒地估计相机对的内在和外在参数此外，选择与参数一致的对应关系。鲁棒估计通常基于从最小 数 量 的 输 入 对 应 来 解 决 拼 接 问 题 ， 即 ， 在RANSAC框架[5]中使用最小解算器来解决问题3. 束调整（BA）：使用非线性优化在所有图像上联合细化内在和外在参数的成对估计。在本文中，我们解决这个管道的第二步，即，从最小数量的对应关系的鲁棒成对估计有几个最小解算器可以55795580(a) 全全景图像（b）图像对（c）拼接图2：SUN360（顶部）和Smartphone（底部）数据集的示例场景和拼接结果可以在全景拼接流水线的该步骤中使用用于拼接的基本公知求解器之一假设完全校准的针孔相机，并根据两点对应关系估计未知旋转[16]。然而，相机内参数在实践中可能是未知的，这在现实世界中是经常的情况。不同摄像机配置的解决方案可分为两大类：对于窄视场照相机的未知焦距，以及对于广角照相机的未知焦距和径向畸变情况。对于未知焦距的情况，最常用的求解器之一是用于单应性估计的归一化4点线性解[15]。在[5]中，作者证明了2和3个对应足以获得由具有1和2个未知焦距的旋转引起的单应性。实际上，几乎所有相机都表现出一定量的镜头失真。此外，具有显著径向失真的广角透镜现在通常用于智能设备中。这些广角相机引入了不可忽略的大先前的工作[10，19]表明，在最小解算器内对镜头失真进行建模对于获得高质量的单应性估计是在成对步骤中没有建模失真的情况下，不仅初始姿态和校准估计不太准确，而且用于非线性优化的内点集在没有这些点的情况下，BA阶段中的非线性优化可能无法正确地估计镜头畸变并产生良好的拼接结果。为了解决这个问题，Fitzgibbon [10]使用单参数划分模型，以使用5点对应性同时利用该划分模型，提出了用于具有相等和未知径向失真的全景拼接的最小3点求解器[19，6]。在[22]中，提出了两个求解器用于估计具有不同径向失真的两个相机之间的单应性所有提到的最小解算器估计完整的3-D 0 F旋转。特别是对于具有径向失真的相机全景图通常用与重力方向对准的相机或移动电话来捕获。此外，最近的设备通常配备有可以准确地测量重力方向的IMU传感器。使用重力先验，相机的y轴可以被对准，从而将它们的相对取向减小到1-D 0 F。这种先验不仅简化了必须求解的几何和多项式系统，而且还减少了估计所需的对应关系的数量。这是非常重要的，因为运行时间的RANSAC样的鲁棒估计指数依赖于样本大小。重力先验用于简化最小相对姿态[11，12，28，32，24，30，8，9]，绝对姿态[21，31，2]和一般径向失真单应性解算器[29]。当然，在全景拼接中没有考虑到这一点。我们提出了第一个最小的解决方案，全景拼接的图像由两个相机与重合的光学中心，即经历纯旋转，利用重力先验。我们考虑六种实际配置：(i) H1（G）-校准用例 ：捕获图像5581u∼D2我2我∈DD其中K2=fK2=diag（1，1，w2），w2=fK1=2我=dia g（1，1，f1）。由于K~2包含未知数通过具有已知焦距的照相机（例如，来自EXIF标签）和已知或可忽略的径向失真。(ii) H1 f（G）-等焦距 ：图像由具有固定的未知焦距和已知或可忽略的径向失真的相机捕获。(iii) H1λ（G）-相等径向失真 ：图像由具有已知焦距的相机（例如，从EXIF标签），并修复了未知的径向失真。两视图几何形状和镜头失真的估计[10]，用于径向失真单应性的估计[22]，以及还用于具有径向失真的全景拼接[6，19]。在单参数分割模型[10]中，使用未失真参数λ对具有齐次坐标pd=[ud，vd，1]的像点进行未失真的未失真函数u具有以下形式pu= u（pd，λ）=[ud，vd，1+ λ（u2+ v2）]T.（二）(iv) H2λf（G）-等焦距和径向畸变 ：图像由具有固定未知焦距和径向畸变的相机捕获(v) H2f1，2（G）-变化的焦距 ：图像由具有不同焦距的照相机捕获，例如，变焦相机，具有可忽略的或已知的失真。(vi) H3λ1 ，2λ1 ，2 λ 1 ，2（G）-变化的焦距和径向失真 ：最一般的情况，其中图像由具有不同焦距和失真的相机捕获，例如，使用广角摄像机在本文中，我们假设重力方向已知。这是一个合理的假设，因为全景图通常是由与重力方向对准的相机或移动电话捕获的。此外，智能设备配备了IMU传感器，可以精确测量重力矢量。使用重力方向，我们可以计算滚动角和俯仰角，并使用它们来对齐相机的y让我们将用于两个相机的对准的已知旋转矩阵表示为R1和R2。在这种情况下，（1）可以写成d2iR2K−1pu=d1iRyR1K−1pu，（3）在图像拍摄过程中放大了22i111合成数据和超过500k的真实图像对的实验表明，我们的新的求解器是supere- rior的处理时间方面的最先进的方法，同时导致可比或更好的精度。注意，我们的求解器的应用不仅限于全景拼接。这种解算器也可以用于其它应用，例如，用于校准旋转监视器-其中Ry是相对于偏航角的未知旋转（围绕y轴的未知旋转）。对于大多数现代CCD或CMOS相机，可以合理地假设相机具有方形像素并且主点与图像中心重合[14]。在这种情况下，校准矩阵具有K1=diag（f1，f1，1）和K2=diag（f2，f2，1）的形式。未失真像点pu和pu之间的关系（3）体育比赛中的喷枪[1]或PTZ摄像机[7]，其中相机经历纯粹的旋转运动，并产生可以使用3×3单应矩阵H为具有更大视场的图像用于后续任务，例如，定位，并作为CNN的输入。2. 问题陈述给定由两个摄像机观察到的一组3D点{Xi}，（4）Hp1i，（4）其中H=K2RT2RyR1K−11，且表示等于比例因子。可以通过将（4）与反对称矩阵[pu]×相乘来消除等于d1i的尺度，从而得到进行纯旋转运动，令pd=[ud，vd，1]Tuu和dD d T1i1i 1我[p2i]×Hp1i = 0。（五）p2i= [u2i，v2i，1]被相应测量此外，等式（5）可以乘以f1，得到这两个相机中Xi在f2中的扭曲图像投影它们的同质形式。未失真像点pu=u u1我杜杜[p2i]×Gp1i= 0，（6）u（p1i，λ1）和p2i=u（p2i，λ2），用某个无失真函数u（·，λ）无失真，由下式关系22我11我哪里G=K~RTRRK~-1，（7）d2iK−1pu其中d1我，d2i=d1iRK−1pu，（1）2 是在-22岁第11章约11约-1三内禀相机矩阵，并且RSO（3）是相机之间的未知相对旋转。我们使用单参数划分模型[10]来参数化径向未失真函数u。该模型特别适合于最小解算器，因为它能够用单个参数表示宽范围的失真，并且通常导致比其他失真更简单的方程p22f1K−11是射影深度，K1，K5582F2只有在它的最后一行和最后一列中，来自（6）的一个等式才不含w2=1和λ2。旋转矩阵Ry可以使用下式来参数化：Cayley参数化，其产生如下仅具有一个参数的2次多项式矩阵：11−s20 2s模型。该模型已用于同步Ry=1+s20 1+s20−2s0 1−s2。（八）55832--2我------Ds1、2、3个--2 2T2 2T2 2 2 2T2 2 2 2T2 2 2 2 2 2T在这种情况下，s对应于tanθ，θ是偏航角。因此，cosθ=1−s2，sinθ=2s。因为（5）是是一个实际的情况下，出现在许多情况下，当我们有一个固定的未校准的相机拍摄的图像1+s21+s2未知的焦距和可忽略的失真。均匀，比例因子12 （8）可以忽略。1+s注意，（8）引入了180◦的简并性旋转这是一个关于s，f的2-DOF问题从一个点对应中解决。 给一分然而，在[32，9，23]中表明，这种简并在实践中不是问题。另一种公式是使用余弦和正弦参数化，其需要两个参数并产生额外的三角恒等约束，因此，具有更多解的较慢求解器。因此，本文只对Cayley参数化进行了研究我们的目标是估计旋转，焦距，并可能，径向失真参数的两个摄像机使用的点对应的最小数量。3. 最小解在本节中，我们本新最小四种实际照相机配置的解决方案，即，解算器H1（G），H1f（G），H1λ（G），H2λf（G）.在增刊中描述了用于变化焦距和径向畸变的新的最小解算器H2f1，2（G）和H3λ1，2f1，2材料（SM）。3.1. 校准箱-H1（G）当两个照相机具有已知的焦距和已知的或零的径向失真时，λ1=λ2=0。因此，新的H1（G）求解器可以用于由校准的相机或具有已知焦距的相机（例如，来自EXIF标签）和可忽略的失真，即，狭窄的视野。在实践中，H1（G）还可以用于由广角智能手机相机捕获的图像，其通常是自动不失真的。这是关于Ry（8）中的s由于（6）包含秩为2的斜对称矩阵，因此每个点对应给出两个线性独立的约束（6）。因此，一个点对应导致过约束问题。解决这个问题的一种方法是使用（6）中的单个方程。这样的求解器必须找到一个未知数中的一个二次方程的根然而，它可能对噪声敏感因此，我们在最小二乘意义上将此问题公式化为min（e2（s）+e2（s）+e2（s）），（9）S其中ei（s），i=1，2，3是来自矩阵方程（6）的sH1（G）求解器通过计算e（s）=e2（s）+e2（s）+e2（s）的所有驻点并选择满足以下条件的解来找到（9）的解：对应，约束（6）导致三个方程，其中只有两个是线性无关的（因为矩阵[pu]x）。这些方程具有以下形式a1·[s fw，s f，s w，s，sfw，sf，sw，s，fw，f，w，1]=0，（10）a2·[s fw，s f，s w，s，sfw，sf，sw，s，fw，f，w，1]=0，（11）其中ai、a2、a3是可以根据点对应关系和重力方向计算的系数向量且w = 1/f。注意，方程（10）和（11）可以乘以f=l/w以获得两个未知数s、f和9个单项式s2f2、s2f、s2、sf2、sf、s、f2、f、l的多项式方程。使用（12），f可以表示为s中的有理函数。取代这个前-将其压缩到（10）或（11）中并将其与分母相乘，给出了6次s中的一元多项式然而，该多项式总是具有可以消除的因子1+s2这样，我们得到一个四次方程在s，它可以在封闭形式求解最后，对于Ry和f，存在多达4个可能的解。3.3.通用径向失真求解器-H1λ（G）当两个照相机具有已知的焦距和相等但未知的径向畸变时，λ1=λ2=λ。当图像由固定的广角相机捕获时，会发生这种情况，该相机的焦距可以从EXIF标签中提取。这是关于s，λ的2-DOF问题。 与Sec相似。3.2，（6）中的一点对应给出了以下形式的三个方程（两个线性无关方程）：[s2λ2，s2λ，s2，sλ2，sλ，s，λ2，λ，1]T=0，（13）a2·[s λ，s λ，s，sλ，sλ，s，λ，λ，1]=0，（14）其中a1、a2、a3是可以从点对应和重力方向计算的系数向量。使用（15），λ可以表示为s中的有理函数。把这个表达式代入（13）或（14），再乘以分母，得到一个单变量6次多项式这个多项式又有一个因子1 +s2，可以去掉，得到一个关于s的四次方程。最后，有多达4种可能的解决方案。1、2、3个最小化（9）。这导致解决一个单变量多项式-度为3的膜，即， de（s）= 0。3.2.通用焦距求解器-H1 f（G）在下一个配置中，我们考虑具有共同未知焦距的两个相机，即， f1= f2= f，以及已知的或零的径向失真，即， λ1= λ2= 0。这3.4.公共焦距，失真-H2λf（G）最后，我们解决了由具有固定的未知焦距和径向畸变 的 相 机 拍 摄 图 像 的 问 题 ， 即 。 f1=f2=f 和λ1=λ2=λ。 在这种情况下，有三个未知数s，f，λ，我们需要至少1.5个点对应。在实践中，我们仍然需要5584~×个×个--2我--H4H4f（G）H2H2fH5λH3λfH1（G）H1f（G）H1λ（G）H2λf（G）参考径向变形编号的点数不。重力优先纯RDOF[第十五条]418[八]《中国日报》424C7[16个]21C3[五]《中国日报》23C4[10个国家]C5189[19][6]C318C511（1）CC114（2）CC2C14（2）CC2C26（2）CC3表1：所提出的基于重力（灰色）和最先进的解算器的属性括号中的解决方案的数量是指当相机的y轴被认为与重力方向物理对准时的特殊情况。采样2个点，但我们只需要4个线性无关方程中的3个。第四个方程可以用来消除几何上不可行的解。来自（6）的三个方程中的两个是6次的，一个是4次的，即，四次方程对应于矩阵[pu]×的不包含λ的最后一行，并且仅乘以不包含f的K2的前两行。因此，为了解决该问题，我们使用来自第一对应关系的6次和4次方程以及来自第二对应关系的4次方程我们得到以下三个方程al·[s2f2λ2，s2f2λ，s2f2，s2fλ，s2f，s2，sf2λ2，sf2λ，sf2，sf λ，sf，s，f2λ2，f2λ，f2，fλ，f，l]= 0，（16）a2·[s2fλ，s2f，s2，sfλ，sf，s，fλ，f，1]= 0，（17）a3·[s2fλ，s2f，s2，sfλ，sf，s，fλ，f，l]= 0。（十八）参数λ总是与f一起出现，因此我们设τ=fλ。在这种情况下，上面的三个等式被写为a1·[s2τ2，s2fτ，s2f2，s2τ，s2f，s2，sτ2，sfτ，sf2，sf τ，sf，s，τ，fτ，f2，τ，f，1]= 0，（19）a2·[s2τ，s2f，s2，sτ，sf，s，τ，f，l]= 0，（20）a3·[s2t，s2f，s2，sτ，sf，s，τ，f，l]= 0。（二十一）这个系统的未知数s，f，τ可以用Gr ¨ bner基方法求解。使用自动生成器[23]，我们获得了一个求解器，该求解器执行大小为30 38的模板矩阵的G-J消除，以及88动作矩阵的特征分解，即，该系统具有8个解决方案。总是有两个不可行的虚解的形式s2=1和只有多达6个可能的真正的。求解这样的系统的替代且更有效的方式是从原始方程中消除f，τ使用（20）和（21），τ和f可以表示为s中的有理函数。然后代入τ和f到（19），我们得到一个单变量多项式在s次5585-×-×矩阵，在我们的求解器中的系统中有许多零系数。在这种情况下，所有四个求解器都非常简单，并且导致一个二次方程。所有拼接解算器的属性如表1所示。4. 实验在本节中，我们研究了所提出的H1（G）、H1f（G）、H1λ（G）和H2λf（G）求解器在合成图像和真实图像上的性能为了比较，考虑以下现有技术的求解器：（1）一般4pt单应性求解器H4[15]; （2）具有未知f和已知重力的单应性H4f（G）[8];（3）校准的拼接求解器H2 [16];（4）具有未知f的拼接求解器H2f [5];（5）具有未知失真λ的单应性，H5λ [10];（6）具有未知f和λ的拼接，H3λf [19，6]。由于[6]解决了与[19]相同的问题，但[6]中的方法比[19]更稳定，因此我们在实验中包括[6]。所有解算器连同它们的性质和实验中使用的颜色编码总结在表1中。我们的求解器H2f1，2（G）和H3λ1，2f1，2（G）用于不同焦距和径向畸变的实验以及最先进的求解器H3f1，2 [5]、H5λ1，2 [22]和H6λ1，2 [22]在SM中。所有求解器都将随机选择其各自大小的最小样本作为输入。4.1. 综合评价我们选择以下设置来生成合成数据。200个点随机分布在框中[3，3][ 3、3][4，6]中的第一相机的局部坐标系中的第一相机的 局 部 坐 标 系 。随机但可行的旋转被应用于这些点。焦距fg被设置为1000像素。我们生成1000对具有不同旋转的图像。焦距误差为|/f g ， 其 中 f e 是 e 。 |/fg,wherefeisthee.s t.我;tedfocalΣlengt hΣ. ThΣe旋转误差为R= arccostr-一个、/28. 该多项式的因子为1+s2，可以是消除，导致S中的六次方程，其可以是使用Sturm序列有效地解决[13]。3.5. 特例如果照相机的y轴被认为与重力方向物理对准，即，R1、R2相同其中Re是估计的，并且Rg是基础事实3。自由度旋转矩阵。这是公平的比较，因为它也考虑了重力方向上的误差，当使用所提出的求解器时，该误差被并入Re图3a报告了假定零失真的求解器的焦距（左列）和旋转误差（右）。顶行示出了在增加的IM下的性能Re Rg5586----×个0.4 320.2110.50.5001 2 3 4 501 2 3 4 501 2 3 4 5-0.51个2个三、四、五0.40.2图像噪声（像素）图像噪声（像素）32110.5图像噪声（像素）0.50图像噪声（像素）00.1 0.2 0.3 0.4 0.500.1 0.2 0.3 0.4 0.500.1 0.2 0.3 0.4 0.5-0.51 2 3 4 50.40.20滚动噪声（deg）0.1 0.2 0.3 0.4 0.5变桨噪声（deg）滚动噪声（deg）32100.1 0.2 0.3 0.4 0.5变桨噪声（deg）10.50滚动噪声（deg）0.1 0.2 0.3 0.4 0.5变桨噪声（deg）0.50-0.5滚动噪声（deg）0.1 0.2 0.3 0.4 0.5变桨噪声（deg）(a) 无径向变形。（b）径向变形。图3：（a）零失真情况下的相对焦距误差和旋转误差的箱形图。左列：相对焦距误差。右列：旋转错误。 （b）畸变求解器的相对焦距误差和绝对畸变误差的箱形图。左列：相对焦距误差。右列：绝对失真误差。从上到下：增加的图像测量噪声、增加的滚动噪声和恒定的2像素标准偏差图像测量噪声、增加的俯仰噪声和恒定的2像素标准偏差图像测量噪声。不同标准差的年龄噪声。所提出的H1（G）（红色）和H1f（绿色）解算器在变化的图像噪声下比其他解算器表现得明显更好。由于在实际应用中，相机的对准或IMU测量的重力矢量并不完美，因此我们还向滚动角和俯仰角添加了噪声中间和底部行显示了在2像素标准偏差的恒定图像噪声下具有增加的滚动和俯仰噪声的性能我们的求解器与最先进的方法相当，即使滚动和俯仰噪声高达0.5◦。选择噪声的上限以跟随来自较低等级MEMS IMU的噪声[24]。如今，在现代智能电话和相机IMU系统中使用的加速度计具有约0. 06◦和昂贵的“好”的有低于0。02◦[12].我们还研究了径向失真求解器的性能。失真参数被设置为 Ag=0。4，对应于介质失真。误差被定义为λgλe，其中λe是估计的失真。图3b报告了相对焦距（左）和绝对径向畸变误差（右）。我们的新解算器H1λ（G）（蓝色）和H1λf（G）（洋红色）优于对噪声非常敏感的最新解算器H3λf和H5λ对于H5λ，我们使用[5]中的方法提取焦距。4.2. 现实世界的实验为了在真实世界的数据上测试所提出的技术，我们选择了SUN360[34]全景数据集。SUN360数据库的目的是为学术研究人员提供全面的注释全景图集合，涵盖360 180度全视角，可显示各种环境场景、地点和物体。为了构建数据集的核心，下载了高分辨率的全景图像，并将其分为不同的地点类别。为了从每个360◦全景场景中获得径向失真的图像对，我们以10◦的步长剪切模拟80◦FOV相机的图像。因此，两个连续图像之间围绕垂直轴的旋转总是10◦。最后，通过将每个场景中的所有图像与公共视场配对来形成图像对总共生成了579，800个此外，为了在没有失真的情况下也测试该方法，我们使用地面真实失真参数对图像进行去失真在每个图像中，检测到8000个SIFT关键点，以便具有合理密集的点云和稳定的结果[20]。我们把相互最近邻检查和标准-Rel.焦距误差Rel.焦距误差Rel.焦距误差旋转误差（度）旋转误差（度）旋转误差（度）Rel.焦距误差Rel.焦距误差Rel.焦距误差ABS.失真误差ABS.失真误差ABS.失真误差5587×× ××个标准距离比检验[26]，以建立暂定对应关系[20]。为了得到可用于计算重投影误差的地面实况对应，我们组成地面实况单应性，并且在给定所使用的内点-离群点阈值的情况下选择其内点。未估计焦距的方法提供了基础事实。为了在真实世界数据上测试求解器，我们选择了GC-RANSAC [4]。在GC-RANSAC中，使用两个不同的求解器：（a）一个用于从最小样本估计单应性，以及（b）一个用于当对所有内点进行最终单应性抛光时或在局部优化步骤中拟合到大于最小样本。对于（a），目标是使用尽可能少的对应来解决问题，因为处理时间指数地取决于估计所需的对应的数量。建议的求解器包含在此步骤中。对于（b），当在失真图像上测试方法时，我们应用H6λ1，2求解器[22]从大于最小值的样本中估计单应性和失真参数。因此，即使最小的求解器不估计径向失真获得合理的准确的解决方案。在使用未失真图像的情况下，我们应用归一化H4[15]单应性估计器。将内围阈值设定为3个像素。注意，照相机的y轴与重力方向物理对齐的情况，即，R1=R2=I，具有纯旋转，是H4f（G）[8]求解器的退化配置。在这种情况下，该求解器不会给出有意义的结果。由于我们的真实数据接近于这种简并情况（近似对齐），我们在真实实验中排除了H4f表2报告了失真和未失真图像上的平均处理时间（以ms为单位）、重新投影误差（以像素为单位）和焦距误差（以%为单位）在畸变图像上的相应累积分布函数（CDF）如图所示4.第一章准确被解释为曲线接近左上角。无失真图像的CDF在补充材料中。不失真的图像。在图像已经被反扭曲之后，所有方法导致相当类似的重投影误差。在校准的情况下，建议的H1（G）求解器是最快的，同时导致类似的准确结果作为其他求解器。在估计焦距的方法中，所提出的H1f（G）求解器导致最准确的焦距，同时是最快的。扭曲的图像。当具有未知径向失真和已知焦距的图像时，所提出的H1λ（G）解算器在重投影误差方面获得最准确的拼接结果，同时是最快的。在未知焦距的情况下，所提出的H1f（G）求解器具有最低的运行时间，并且它是第二最准确的算法。在这种情况下，H3λf方法是最准确的，然而，它也是最慢的。智能手机图像。 为了进一步展示未失真的SUN360图像SUN360图像失真r（px）f（%）t（ms）r（px）f（%）t（ms）H1（G）H1λ（G）0.70.7--9.111.63.02.6--19.312.2H20.7-10.93.5-25.1H40.7-13.02.9-26.5H5λ0.7-104.13.7-186.1H1f（G）0.70.17.82.42.916.5H2F0.70.112.43.12.625.9H2λf（G）0.70.315.03.81.722.3H3λf0.60.446.61.11.059.1表2：平均值运行时间（t; ms）、中值重投影（r; px）和焦距（f; %）误差，来自SUN 360数据集的579，800个顶部：已知的焦距解算器。底部：未知的焦距解算器。最佳和次佳结果分别以红色和蓝色示出。对应的CDF在图4中。提出的求解器，我们测试了他们的数据记录从两个设备（iPhone 6s，iPhone 11专业版）与三个摄像头：iPhone 6s和iPhone 11的广角摄像头，焦距分别为29mm和26mm，以及iPhone 11的超广角摄像头，焦距分别为29mm和26mm。焦距为13mm。序列被捕获了在1280x720@30Hz下，在100Hz下捕获IMU读数。图像和IMU数据基于它们的时间戳同步获得了两个广角相机的4240个图像对和具有同步重力方向的超广角相机的3530个图像对通过相机的离线校准获得地面实况焦距由于我们不知道地面真值单应性，因此不知道地面真值内点，因此我们不测量这些数据集上的重新投影误差焦距误差和处理时间的CDF如图所示。5a.在这些实验中，所提出的H1f（G）求解器导致最准确的焦距，同时也是最快的方法。其他单点求解器也非常有效的其他测试算法相比4.3. 计算复杂度下表中报告了所比较的求解器的单个估计的复杂度和运行时间。解算器G-J本征多项式时间（µs）H48 9--8H4f（G）14 33 33 33 -121H2 - 6H2f-3×3-6H5λH3λfH1（G）H1f（G）H1λ2019 -05 -2511：00：009×18 18 × 18----------三个44408045555588×个10.80.60.40.210.80.60.40.210.80.60.40.200 0.02 0.04 0.06 0.080.1处理时间（秒）0电话：0510 - 15202530传真：0510-15202530重投影误差（像素）(a) 失真图像00.05 0.1 0.15 0.2 0.25相对焦距误差图4：当与不同的最小解算器组合时，GC-RANSAC [4]的处理时间（以秒为单位）、平均重新投影误差（以像素为单位）和相对焦距误差这些值是从SUN360数据集的总共579，800个图像对中计算出来的置信度设置为0。99并且内点阈值为3px。准确被解释为曲线接近左上角。相应的值报告在表2中。10.80.60.40.210.80.60.40.2100080060040020000.05 0.1 0.150.2相对焦距误差00 0.01 0.02 0.03 0.040.05处理时间（秒）000.20.4 0.6 0.8 1异常值比率(a) 捕获的智能手机数据集。（b）理论RANSAC迭代。图5：（a）当与不同的最小解算器组合时，GC-RANSAC [4]的处理时间（以秒为单位）和相对焦距误差的累积分布函数。这些值是从捕获的电话数据集中总共7，770个图像对计算出来的准确被解释为曲线接近左上角。（b）每个求解器的RANSAC迭代的理论数量，其被绘制为异常值比率的函数。置信度设置为0。九十九。我们只显示每个求解器执行的主要步骤单元格中的数字，例如表示应用G-J消去或特征分解的矩阵大小。第四列中的数字表示需要求解的一元多项式SM中有一个用于不同的f1，2和λ1，2RANSAC迭代的理论数量在图5b中示出，绘制为数据中的异常值比率的函数。可以看出，由于要求最少的对应关系，所提出的求解器即使在最具挑战性的情况下也导致少量请注意，我们在x轴上添加了一个小的随机偏移，以确保曲线不会完全重叠。5. 结论在本文中，我们提出了六个新的最小解算器的图像拼接，考虑不同的配置相机与重合的光轴和对齐的重力方向这些配置包括用于完全校准的相机、具有未知的固定或变化的焦距并且具有或不具有径向失真的相机的所提出的方法进行了测试，在合成场景和超过500k的图像对产生的球形图像的SUN 360数据集上的径向扭曲和undis- torted图像。由于我们还没有找到用于具有可用重力矢量的图像拼接的数据集，所以我们利用配备有IMU传感器的两个不同的智能手机（三个不同的相机）捕获了新的数据集。该数据集共包含7770个图像对。我们表明，新的求解器具有类似或更好的精度比国家的最先进的求解器，并优于他们的处理时间。源代码和数据集可在https：//github.com/yaqding/stitching-gravity致 谢 。 本 研 究 得 到 了 国 家 自 然 科 学 基 金 项 目 （ 批 准 号 ：20010010000000）的资助。U1713208）、“111”计划B13022和ERC-CZ授权MSMTLL 1901。概率概率概率概率RANSAC迭代概率5589引用[1] Lourdes Agapito Eric Hayman和Ian Reid旋转和变焦摄像机的自标定。国际计算机视觉杂志，45（2）：107-127，2001。三个[2] Cenek Albl、Zuzana Kukelova和Tomas Pajdla。已知垂直方向的卷帘门绝对姿势问题在计算机视觉和模式识别（CVPR），2016年。2[3] Clemens Arth，Manfred Klopschitz，Gerhard Reitmayr，and Dieter Schmalstieg.移动设备上全景图像的实时自定位。2011年第10届IEEE混合与增强现实国际研讨会，第37-46页，2011年。一个[4] Daniel Barath和Jiˇr´ı Matas。图形切割RANSAC。在计算机视觉和模式识别（CVPR），2018年。七、八[5] Matth e wBr o wn，RichardIHartle y，andD a vidNist e'r. 全景拼 接的 最小 解决 方案 。计 算机 视觉 和模 式识 别（CVPR），2007年。一、二、五、六[6] MartinByr o¨ d，Matth e wABr o wn，andKalleA˚str o¨ m. 最小的解决方案，全景拼接与径向失真. 英国机器视觉会议（BMVC），2009年。一、二、三、五[7] Jianhui Chen，Fangrui Zhu，and James J Little.体育运动中PTZ摄像机标定的两点法。2018年IEEE计算机视觉应用冬季会议（WACV），第287-295页。IEEE，2018年。第1、3条[8] Yaqing Ding，Jian Yang，Jean Ponce，and Hui Kong.基于单应性的具有公共参考方向的相对姿态问题的有效解决方案。在2019年计算机视觉国际会议（ICCV）。二、五、七[9] Yaqing Ding，Jian Yang，Jean Ponce，and Hui Kong.从具有未知焦距的共享共同方向的在计算机视觉和模式识别（CVPR），2020年。二、四[10] 安德鲁·菲茨吉本多视图几何和镜头畸变的同时线性估计。计算机视觉和模式识别（CVPR），2001年。一、二、三、五[11] Jan-Michael Frahm和Reinhard Koch。已知旋转的摄像机校准。在计算机视觉，IEEE国际会议，第3卷，第1418-1418页中。IEEE计算机学会，2003年。二个[12] Friedrich Fraundorfer ， Petri Tanskanen ， and MarcPollefeys.对于两个已知取向角的情况，校准的相对姿态问题的最小情况解在欧洲计算机视觉会议（ECCV）上，2010年。二、六[13] Walter Gellert、MHel l wich、HKa¨stne r和HK u¨ stne r。数学简明百科全书。Springer Science Business Media，2012.五个[14] 理查德·哈特利和李洪东。一种有效的隐变量最小情况摄 像 机 运 动 估 计 方 法 。 模 式 分 析 和 机 器 智 能（PAMI），2012年。三个[15] Richard Hartley和Andrew Zisserman。计算机视觉中的多视几何学。剑桥大学出版社，2003年。一、二、五、七[16] Berthold KP Horn使用单位四元数的绝对定向的封闭形式解。乔萨，1987年。二、五[17] Manish Jethwa ， Andrew Zisserman ， and Andrew WFitzgib-bon.实时全景马赛克和增强现实。在BMVC，第1-11页，1998中。一个[18] 季顺平、秦子杰、山杰、路梦。从多个鱼眼摄像机拍摄的 全 景 照 片 。 ISPRS Journal of Photogrammetry andRemote Sensing，159：169-183，2020。1[19] 金海林。镜头畸变全景拼接的三点最小解。计算机视觉和模式识别（CVPR），2008年。一、二、三、五[20] Yuhe Jin ，Dmytro Mishkin， Anastasia Mishchuk ，JiriMatas，Pascal Fua，Kwang Moo Yi，and Eduard Trulls.跨宽基线的图像匹配：从纸到实践。国际计算机视觉杂志（IJCV），2020。六、七[21] Zuzana Kukelova，Martin Bujnak和Tomas Pajdla。已知垂直方向的最小绝对位姿问题的封闭解2010年亚洲计算机视觉会议。二个[22] Zuzana Kukelova ， Jan Heller ， Martin Bujnak ， andTomas Pa-jdla.径向畸变单应性。在计算机视觉和模式识别（CVPR），2015。一二三五七[23] ViktorLarsson，KalleA˚str oúm，andMagnusOskarsson. 基于合合的归约的最小问题的有效求解器。在计算机视觉和模式识别（CVPR），2017年。四、五[24] Gim Hee Lee，Marc Pollefeys，and Friedrich Fraundorfer.已知垂直方向的多相机系统的相对位姿估计。在计算机视觉和模式识别（CVPR），2014年。二、六[25] 托马斯·勒梅尔和西蒙·拉克鲁瓦全景视野的猛击。Journal of Field Robotics，24（1-2）：91-111，2007. 一个[26] D. G.洛基于局部尺度不变特征的目标识别。国际计算机视觉会议（ICCV），1999年。七个[27] 安德鲁·麦夸里和安东尼·斯蒂德电影虚拟现实：评估显示器类型对全景视频观看体验的影响。在2017年IEEE虚拟现实（VR）中，第45-54页IEEE，2017年。一个[28] Oleg Naroditsky，Xun S Zhou，Jean Gallier，Stergios IRoumeliotis