没有合适的资源?快使用搜索试试~ 我知道了~
1929具有单一仿射对应的相对位姿的极小解关邦磊1,赵继伟,张莉1,孙芳1, Friedrich Fraundorfer弗里德里希·弗劳恩多夫2,31国防科技大学航天科学与工程学院2奥地利格拉茨科技大学计算机图形与视觉研究所3德国航空航天中心遥感技术研究所guanbanglei12@nudt.edu.cnzhaoji84@gmail.comzhanglinudt@163.comsunfang@nudt.edu.cnfraundorfer@icg.tugraz.at摘要在本文中,我们提出了四种情况下,最小的解决方案,利用特征点之间的仿射变换的两个视图的相对姿态估计它示出,在平面运动假设下或与垂直方向的知识,一个单一的仿射对应是足够的,以重新覆盖相对相机姿势。考虑的四种情况是作为封闭形式和最小二乘解的校准相机的两视图平面相对运动这些算法可以有效地用于RANSAC循环内的离群值检测和用于初始运动估计。所有的方法进行评估的合成数据和真实世界的数据集从KITTI基准。实验结果表明,我们的方法优于可比的国家的最先进的方法的准确性与所需的RANSAC迭代次数减少的好处。1. 介绍几十年来,同时定位和映射(SLAM)、视觉测距(VO)和运动恢复结构(SfM)一直是计算机视觉中的活跃研究课题[34,36]。这些技术已被广泛应用于各种应用中,并在自动驾驶等未来技术中发挥重要作用从两个视图的相对位姿估计被认为是一个基本的算法,这是SLAM和SfM管道的重要组成部分。因此,提高相对姿态估计算法的准确性、效率和鲁棒性仍然是相关的兴趣[1,2,37,41]。大多数SLAM和SfM管道遵循这样的方案,其中子管道之间的2D-2D假定对应关系是由子管道之间的2D-2D假定对应关系确定的。*通讯作者。图1.两个摄像机之间的仿射对应关系。局部仿射变换A变换点对应(pi,pj)周围的片。通过特征匹配来建立连续视图。然后,通常采用诸如随机采样一致性(RANSAC)[13]的鲁棒运动估计框架来识别和去除匹配离群值。最后,仅使用后续视图之间的内点匹配来估计最终的相对姿态[34]。该离群值去除步骤对于姿态估计步骤的鲁棒性和可靠性是至关重要的。此外,离群值去除过程的效率直接影响SLAM和SfM的实时性能,特别是因为RANSAC估计器的计算复杂度相对于所需数据点的数量呈指数增加因此,相对姿态估计的最小情况解仍然具有重要意义[5,2,42,11]。相对姿态估计的最小解的思想可以追溯到Hartley和Zisserman的七点法[20]。 其他经典著作是五点法[30]和单应性估计法[20]。通过利用相机运动的运动约束或利用附加传感器(如惯性测量单元(IMU)),可以进一步减少所需的点对应的最小数量,这使得离群值去除更有效,并且在数值上更稳定。例如,在平面运动假设下,两个点足以恢复相机运动,因为姿势只有两个自由度(DOF)[31,8,9]。另一1930一个例子是利用阿克曼转向原理,它允许我们仅用一个点对应来参数化相机运动[35,21]。这些场景对于自动驾驶车辆和地面机器人来说是典型的。对于无人驾驶飞行器(UAV)和智能手机,相机通常与IMU结合使用[17]。部分IMU测量可以用于为相机图像提供已知的在这种情况下,相对姿态估计因此可以仅利用三个点对应。[14、29、40、33]。现在可以用仿射协变特征检测器(如ASIFT [27]和MODS [26] ) 代 替 简 单 的 点 对 应 。 这 种 仿 射 对 应(AC)由点对应和2×2仿射变换组成,见图1。已经证明1 AC对几何模型估计产生三个约束[7,32,3]。在本文中,我们利用这些额外的仿射参数的相对姿态估计的过程中,允许减少所需的correspondences的数量。我们提出了以下4种使用单个仿射对应的相对姿态估计的新颖最小解:• 提出了三种平面运动约束下的求解器。我们证明,一个单一的仿射对应是足够的恢复平面运动的一个校准的相机(2DOF)和仅焦距未知的部分未校准的相机(3DOF)。• 第四个求解器的情况下,一个已知的垂直方向,提出。具有共同方向的标定摄像机的自运动估计具有3自由度,我们将示出仅需要单个仿射对应来估计这种情况的相对姿态。本文的其余部分组织如下。首先,我们回顾第2节中的相关工作。在第3节中,我们提出了三种最小的平面运动估计解决方案。在第4节中,我们提出了一个最小的解决方案,两个视图的相对运动估计与已知的垂直方向。在第5节中,我们使用合成和真实世界的数据集来评估所提出的方法的性能。最后,第6节给出了结论。2. 相关工作对于未校准的摄像机,最少7个点对应足以估计基本质量[20]。如果相机部分未校准,使得只有公共焦距未知,则需要至少6个点对应来估计相对姿态[38,23]。对于校准的摄像机,至少需要5个点对应来估计基本矩阵[30]。如果所有的3D点都位于平面上,则点对应关系由平面单应性和重复次数相关所需的点对应减少到4个[20]。通过分解本质矩阵或单应矩阵可以恢复两视图的相对姿态。为了进一步提高相对姿态估计的计算效率和可靠性,关于相机运动或附加信息的假设可以帮助减少跨视图所需的点对应的数量例如,如果摄像机安装在地面机器人上并遵循平面运动,则两个视图的相对姿态仅具有2DOF,并且可以通过使用2点对应来估计[31,8,9]。通过考虑Acker-mann运动模型,仅1点对应就足以恢复摄像机运动[35]。当附加信息可以由诸如IMU的自适应传感器提供时,相对姿态估计的D0F也可以减小。如果摄像机的旋转完全由IMU提供,则只有两个视图的平移是未知的,并且可以很容易地用2点对应来解决[22]。更常见的情况是假设已知共同的旋转该共同方向可以从IMU(其提供相机的已知俯仰角和滚转角)确定,但也可以从跨两个视图提取的消失点确定当已知共同的旋转方向时,已经提出了各种算法来利用该信息估计相对姿态[14,29,40,33,16,10]。最近,已经提出了一些方法,它们通过利用两个特征匹配之间的附加仿射参数来减少所需点的数量。当使用SIFT [ 25 ]或SURF [ 6 ]特征检测器时,这些额外的信息可以来自特征从由特征的旋转角度扩展的五个这样的点对应可以计算基本矩阵[2]。类似地,当包括特征的相应旋转角度和尺度时,可以通过使用两个对应来估计单应性[4]。高度感兴趣的是使用由仿射协变特征检测器获得的仿射对应的方法,例如ASIFT [27]和MODS [26]。一个AC对几何模型估计产生三个约束。这允许从3个AC估计基本矩阵[7]。单应性和基本矩阵的估计可以从2个AC [32,12,3]完成。有一项独立的工作也使用单个AC来估计相对平面运动[18]。此外,在[32]中示出,在存在许多离群值的情况下,与视觉里程计的点对应相比,AC具有益处。3. 平面运动下的相对位姿估计对于图2所示的平面运动,我们通过利用一个仿射对应关系来推导三个最小解算器1931J1 2 34只. (1)我们开发了两个最小解算器校准相机。由于一个AC提供了三个独立的方程,并且对于姿态存在两个未知数,因此方程系统是超定的。我们提出了两种变体,包括封闭形式的解决方案和最小二乘解决方案。(2)对于未校准的相机与未知的焦距只有,我们提出了一个最小的解决方案,以及这种情况下。此外,广泛使用的仿射协变特征检测器,例如ASIFT [27],直接提供两个视图之间的仿射对应关系。在这里,我们利用仿射变换在平面运动下的相对姿态估计,以进一步减少所需的点对应的数量首先,我们引入仿射对应,它被认为是一个三元组:(pi,pj,A).将围绕p i和p j的补片相关的局部仿射变换A定义如下[2]:ΣΣA=a11a 12a21a 22.(五)本质矩阵E和局部仿射变换A的关系可以描述如下[3](ETpj)(1:2)=−(ATEpi)(1:2),(6)其中,ni,ETpj和nj,Epi是关于iv el y的视图i和j中的核线。矩阵是一个3×3的矩阵:图2.俯视图中两个摄像机之间的平面运动。那里A=Σ Σ0分。(七)0 0有两个未知数:偏航角θ和平移方向φ。3.1. 平面运动的标定凸轮法求解利用已知的固有相机参数,视图i到j之间的极线约束如下给出[20]:pTEpi=0,(1)其中pi=[ui,vi,1]T和pj=[uj,vj,1]T分别是视图i和j中的特征点的归一化齐次图像坐标E=[t]×R是本质矩阵,其中R和t表示相对旋转和trans-r。通过替换Eq。(3)进入Eq。(6)得到了仿射变换与相对位姿之间的关系式a11vicos(θ−φ)+a 21sin(φ)−(a 21ui+vj)cos(φ)= 0,(8)sin(θ−φ)+(a12vi+uj)cos(θ−φ)+a 22sin(φ)−a 22 uicos(φ)=0。(九)3.1.1闭式解对于仿射对应关系,方程的组合。(四)、( 8 ) 和 ( 9 ) 可 以 表 示 为 Cx=0 , 其 中 x=[sin( θ−φ ) , cos ( θ−φ ) , sin ( φ ) , cos(φ)]T。为了便于描述以下方法,我们表示:分别地对于平面运动,我们假设.x1,sin(θ−φ),x2,cos(θ−φ)(十)摄像机垂直于地平面,不失一般性,见图2。在两个不同的视图之间只有Y轴旋转和2D平移,因此,并且从视图i到j的平移t可以x3,sin(φ),x4,cos(φ)通过忽略x的条目之间的隐式约束,即,x2+x2= 1且x2+x2= 1,则x应位于可以写成:cos(θ)0−sin(θ)ρsin(φ)C的零空间因此,系统x的解可以是直接基于CTC对应的特征向量得到响应于最小特征值。一旦得到xRy=0 1 0sin(θ)0cos(θ)t =−Ry0ρcos(φ)。(二)角φ和θ为.其中ρ是视图i和j之间的距离。基于等式(2)将平面运动下的本质矩阵E=[t]×Ry重新表示为:φ= arctan2(x3,x4),θ= arctan 2(x1,x2)+ φ。3.1.2最小二乘解1932(十一)0 cos(θ−φ)0等式(4)、(8)和(9)以及E= ρ − cos(φ)0sin(φ)。(三)0 sin(θ−φ)0将上述方程代入Eq. (1)、三角函数可以重新公式化为:aix1+bix2+cix3+dix4=0,i=1,2,3x2+x2= 1(十二)1 2核线约束可以写为:x2+x2= 13 4vi s in(θ−φ)+viujcos(θ−φ)+vj s in(φ)−uivjcos(φ)=0。(四)系数ai、bi、ci和di表示方程中的问题系数(4)、(8)和(9)。该方程组具有1933i=1i=1i=1i=14个未知数和5个独立约束,因此它是过约束的。我们通过以下方式找到最小二乘解:v<$igx1+v<$iu<$jg2x2+v<$jgx3−u<$iv<$jg2x4 =0a1v<$igx2+a3x3−(a3u<$i+v<$j)gx4 =0103x+(av<$+u<$)gx+a x-augx=0(16)min(aix1+bix2+cix3+dix4)12ij2 4 34i4{xi}4x2+x2= 1i=1i=11 22 2 2 2x2+x2= 1S.T. x1+x2=1,x3+x4 = 1。34用拉格朗日乘子法求问题(13)中的所有平稳点。拉格朗日乘数是L(x1,x2,x3,x4,λ1,λ2)Σ3=(aix1+bix2+cix3+dix4)2i=1的 上述 方程 系统 包含 5未知数{x1,x2,x3,x4,g},阶数为3。 可以通过自动求解器生成器[24]获得模板大小为20 × 23的格罗布纳基求解器。也说明最 多 有 6 种 解 决 方 案 。 注 意 , 一 个 平 凡 解(g=x1=x3=0,x2=x4=1)可以被安全地移除,因为g=f−1必须大于0。+λ1(x2+ x2− 1)+ λ2(x2+ x2− 1)。(十四)1 2 3 44. 已知顶点的相对位姿估计通过对{xi}4和校准方向{λi}2,并将它们设为零,我们得到一个等式,具有未知数的系统{xi}4(2){λi},请参阅花絮 该方程组包含6个未知数{x1,x2,x3,x4,λ1,λ2},阶数为2。 可以通过自动求解器生成器[24]获得模板大小为42 × 50的Gr?bner基求解器。也说明最多有8种解决方案。3.2. 平面运动和未知焦距的求解器在这一小节中,我们假设有一个相机,除了一个未知的焦距外,其他参数都是已知的。 这是实践中遇到的典型案例。 对于大多数相机,通常可以合理地假设相机具有方形像素,并且主点很好地近似于图像中心[19]。通过假设摄像机的唯一未知校准参数是焦距f,摄像机的固有矩阵被简化为K =diag(f,f,1)。由于内禀矩阵是未知的,我们不能得到归一化图像平面中点特征的坐标回想一下,视图i和j中的点的归一化均匀图像坐标分别是pi=[ui,vi,1]T和pj=[uj,vj,1]T不损失基因-图3.已知垂直方向的摄像机运动。未知量包括偏航角θ和平移[tx,ty,tz]T。在本节中,我们提出了一个最小的解决方案,用于两个视图的相对运动估计与已知的垂直方向,它只使用一个仿射对应,见图3。在这种情况下,我们有一个惯性测量单元与摄像机耦合。假设可以直接从IMU获得相机的滚动角和俯仰角,我们可以将每个相机坐标系与测量的重力方向对准。摄像机的Y轴平行于重力方向,摄像机的X-Z平面垂直于重力方向。用于将相机坐标系对准到经对准的相机坐标系的旋转矩阵Rimu可表达为:Rimu= RxRz为了提高像平面的精度,我们把主点设为像平面的中心1 0 0cos(θz)sin(θz)0表示原始图像平面i中的点的坐标,并且=0cos(θx)sin(θx)−sin(θz)cos(θz)0j作为p<$i=[u<$i,v<$i,1]T和p<$j=[u<$j,v<$j,1]T,关于ively。我们也记为g=f−1,并得到以下关系式0−sin(θx)cos(θx)0 0 1.ui=f−1u<$i=gu<$i,vi=f−1v<$i=gv<$i,(十五)其中θx和θz分别表示俯仰角和横滚角此外,将Ri和Rj表示为方向u=f−1u<$ =gu<$,v=f−1v<$=gv<$.IMUIMUj j j j j j j通过替换Eq。(15)在Eqs。(4)、(8)、(9)、(10)、(11),IMU分别为视图i和j提供的信息,活泼地然后,视图i和j中的对齐图像坐标可表示为得到三个方程。为了减少符号的负担,我们替换Eq.(10)三个方程的积分。 通过组合坡里 我IMUP1,=R1934p~jJIMU pj.(十七)它们具有两个三角约束,我们得到如下的多项式方程组通过利用IMU测量,原始视图i和j之间的相对姿态可以写为=R1935IMUIMUIMUIMUIMUIMU)E R)ERIMUIMU.R =(R)J)TRyRi,(十八)对于仿射对应(pi,pj,A),t=(Rim u)Tt。其中Ry是对齐视图i和j之间的旋转矩阵,并且Rt是对齐视图i和j之间的平移。那么原始视图之间的基本矩阵i和j可以描述如下方程式的国度Eqs.(23)可以表示为:Mx=0,其中x=[e1,e2,e3,e4,e5,e6]T是本质矩阵的未知元素的向量。的M的零空间是三维的。多项式方程组x在一个公共尺度下的解可由三个零的线性组合确定。E =[t]×R=[(Rj)Tt]×(Rj)TRyRi(十九)空间基向量:x =βm1+γm2+m3,(26)=(Rj)TERi -是的其中零空间基向量{m}是com-IMUIMUi i=1,2,3注意,E=[t]×Ry表示对齐视图i和j之间的简化本质矩阵。现在,我们替换Eq。(19)到Eq.(六):由矩阵M的SVD推出,β和γ是协方差矩阵系数为了确定β和γ的系数,注意对于本质矩阵有两个内部约束,即:得双曲余切值.我IMUTTjIMUpj)(1:2)=−(AT(RjT˜iIMUpi)(1:2)。(二十)基本矩阵的奇异性和迹约束:det(E)=0,(27)上述等式可以基于Eq. (十七):2E<$E<$ TE<$−trace(E<$E<$T)E<$=0。(28)以Eq. (26)在Eqs。(27)和(28),聚-我IMU )TE<$ Tp<$j)(1:2)=−(A<$ T(Rj)(1:2)。(二十一)具有未知数β和γ的范数方程组可以被生成-根据进一步的推导,我们将pi、pj、E和A表示如下:pi,[ui,vi,wi]T,pj,[uj,vj,wj]T被清除。一个简单的方法来解决方程系统-TEM使用通用自动求解器生成器[24]。受文[14]的启发,我们用一种更简单的方法将方程组转化为一元四次方程,见补充.0−tz塔西cos(θ)0−sin(θ)详细资料。 一旦系数β和γE=[t]×Ry=tz0−tx0 1 0得到了简化的本质矩阵E_(?)−tytx0sin(θ)0 cos(θ)tsin(θ)−ttcos(θ)由Eq.(26)并且可以分解为Ry和通过利用Eq. (2 2). 最后,Y Z Y=tzcos(θ)−txsin(θ)0−txcos(θ) −tzsin(θ)视图i和j可以通过等式2获得。(十八)、−tycos(θ)第一季第二集第三集,2004年4月0日至 5日,−e3e 6e 1a100%A=A T(Rj )T,a4一个2002一个2005txa˜3a˜6tysin(θ)((R((R1936J5. 实验所提出的方法的 性能 进行 评估,使用合成和真实场景数据。为了处理离群值,最小解算器可以使用RANSAC集成到鲁棒估计器中为r10 0 02000年2月在RANSAC中,选择产生最高数量的内点的相对姿态对于直方图投票,我们Ri=R iR i,r3r104 r105IMUXzr106r107r108(二十二)通过选择His的峰值来估计相对姿态togram,其通过从所有仿射对应估计姿态而形成。通过替换Eq。(22)到Eq.(21),我们得到两个方程(uia1+wia3+ujr1+wjr6)e 1+(via 1+ujr3)e2+(wia1+ujr6−uia 3−wjr1)e 3+(uia 2+vjr1)e4+(wia2+vjr6)e5+(via3+wjr3)e6=0,(23)(uia4+wia6+ujr2+wjr7)e 1+(via 4+ujr4)e2+(wia4−uia6+ujr 7−wjr2)e 3+(uia5+vjr2)e4+(wia5+vjr7)e5+(via6+wjr4)e6=0。(二十四)此外,对极约束pTEpi=0可以写为:(uiuj+wiwj)e1+ujvie2+(ujwi−uiwj)e3对于平面运动下的相对姿态估计,第3.1节中提出的求解器被称为1AC-投票(其使用具有封闭形式解的直方图投票)、1AC-CS(其使用具有封闭形式解的RANSAC)和1AC-LS(其使用具有最小二乘解的RANSAC)。第3.2节中焦距未知的平面运动的求解器称为1AC-未知F,它也使用RANSAC。比较方法包括6pt-Kukelova1[23] 、 5pt-Nister[30] 、 2AC-Barath[3]和2 pt-Choi[8]。所有比较方法被集成到RANSAC方案中。+uivje4+vjwie5+viwje6=0。(二十五)1f+E+f相对姿态解算器。1937GT对于已知垂直方向的相对姿态估计,我们在第4节中提出的求解器参考如1AC方法。建议的求解器与5pt-Nister[30],3 pt-Sweeney[40],3pt-Saurer[33],2pt-Saurer[33]和2AC-Barath[3]。所有这些最小的求解器被集成到一个RANSAC计划。由于篇幅所限,在补充资料中提供了效率比较为了证明我们的方法在真实场景中的适用性,KITTI数据集[15]用于验证性能。5.1. 合成数据实验合成场景由一个地平面和501.61.41.210.80.60.40.201.510.50 0.5 1 1.52噪声标准差(像素)(a) 带图像噪声的εR10864200 0.5 1 1.5 2噪声标准差(像素)(b) 带图像噪声的εt8642随机平面,其随机分布在-5至5米(X轴方向)、-5至5米(Y轴方向)和10至20米(Z轴方向)的50分00 0.2 0.4 0.6 0.8 1非平面运动噪声(度)(c) 非平面运动噪声的εR00 0.2 0.4 0.6 0.8 1非平面运动噪声(度)(d) 非平面运动噪声的εt在地平面中随机产生。 我们选择在每个随机平面上随机地有一个点,所以在随机平面上也有50个点。与每个点对应相关的相应仿射变换是从单应性计算的,单应性是通过使用来自同一平面的四个投影图像点来估计的[4]。两个视图之间的基线设置为2米。资源-摄像头分辨率为640× 480像素。焦距设置为400像素,主点设置为(320,240)。旋转和平移误差由误差的均方根误差(RMSE)评估我们报告了1000个试验的5分位数划分2(五分位数)的前两个区间内的数据点的结果。在合成实验中分别比较视图i和j之间的相对旋转和平移旋转误差比较地面真实旋转和估计旋转之间的角度差。平移误差还比较地面实况平移和估计平移之间的角度差,因为视图i和j之间的估计平移仅按比例已知。具体而言,我们定义:• 旋转误差:εR= arccos((trace(RgtRT)−1)/2)图4.平面运动估计的旋转和平移误差(单位:度)。(a)(b):在理想平面运动下改变图像噪声。(c)(d):改变非平面运动噪声并将图像噪声固定为1。0像素标准差。左列报告旋转错误。右列报告翻译错误。在理想的平面运动下,该方法提供了比比较方法更好的结果。值得一提的是,我们的1AC-UnknownF方法即使在不使用焦距的真实值时也比比较方法表现得更好为了测试我们的方法在非平面运动下的性能,我们随机生成6DOF相对姿态的非平面分量,并将其添加到相机运动中,包括X轴旋转,Z轴旋转和YZ平面平移方向[8]。非平面运动噪声的幅度被设置为高斯噪声,其标准偏差范围为0μ m至1μ m。图像噪声 设置为1。0像素标准差。图4(c)和(d)示出了所提出的方法相对于非平面运动噪声的幅度的性能6pt-Kukelova法、5 pt-Nister法和2AC-Barath法对非平面运动噪声• 翻译误差:εt=arccos((tTt)/(tgt (见附件)水平,因为这些方法估计两个视图的6DOF相对姿态。这四种方法的性能都比较好,其中Rgt和tgt分别表示真实旋转和平移R和t分别表示相应的估计旋转和平移5.1.1平面运动估计在这种情况下,相机的运动由(θ,φ)描述,参见图2。这两个角度的变化范围为-10°C至10° C。图4(a)和(b)显示了所提出的方法相对于增加的影响幅度的性能。年龄噪音 我们提出的所有平面运动的方法2个k分位数将有序数据集划分为k个规则区间比 方 法 6pt-Kukelova , 5pt-Nister 和 2pt-Choi在最大幅度的非平面运动噪声高达1。0◦.同时,当非平面运动噪声小于0时,这四种方法的精度也优于2AC-Barath方法。3◦.5.1.2已知垂直方向的运动在这组实验中,摄像机运动的方向分别设置为向前、侧向和随机运动。第二个视图围绕每个轴旋转,三个旋转角度从-10°到10◦.滚转角和俯仰角是已知的,6pt-Kukelova5pt-Nister2AC-Barath2pt-Choi1AC-CS1AC-LS1AC-投票1AC-未知F6pt-Kukelova5pt-Nister2AC-Barath2pt-Choi1AC-CS1AC-LS1AC-投票1AC-未知F6pt-Kukelova 1AC-CS5pt-Nister 1AC-LS2AC-Barath 1AC-投票2 pt-Choi 1AC-未知F6pt-Kukelova 1AC-CS5pt-Nister 1AC-LS2AC-Barath 1AC-投票2 pt-Choi 1AC-未知F旋转误差(度)旋转误差(度)翻译错误(度)翻译错误(度)19381.41.210.80.60.40.201.210.80.60.40.20 0.5 1 1.52噪声标准差(像素)(a) 带图像噪声的εR65432100 0.5 1 1.5 2噪声标准差(像素)(b) 带图像噪声的εt654321在随机运动的情况下,比方法5 pt-Nister和2AC-Barath,即使旋转噪声大约是1 0◦.在向前和侧向运动下,当旋转噪声保持在0以下时,我们的方法的精度也优于方法5 pt-Nister和2AC-Barath。3◦.5.2. 真实数据实验我们的方法在真实图像数据上的性能在KITTI数据集上进行了评估[15]。所有提供地面实况数据的序列都用于本实验。总共有大约23000张图像,可用作序列0到10。00 0.2 0.4 0.6 0.81旋转噪声(以度为单位)(俯仰)(c) 具有桨距角噪声的εR1.210.80.60.40.200 0.2 0.4 0.6 0.8 1旋转噪声(以度为单位)(滚动)(e)有滚转角噪声的εR00 0.2 0.4 0.6 0.8 1旋转噪声(以度为单位)(俯仰)(d)具有桨距角噪声的εt65432100 0.2 0.4 0.6 0.8 1旋转噪声(以度为单位)(滚动)(f)有滚转角噪声的εt5.2.1基于图像对的位姿估计利用KITTI数据集进行了两组实验执行ASIFT特征提取和匹配[27]以获得连续帧之间的仿射对应关系。直方图投票和RANSAC方案在这个实验中进行了测试。在RANSAC中设置2个像素的内点阈值和100次在第一个实验中,我们测试了平面运动下的相对位姿估计算法该动议估计-图5.随机运动下的旋转和平移误差(单位:度)。(a)(b):用完美的IMU数据改变图像噪声。(c)(f):改变IMU角度噪声,并将图像噪声固定为1。0像素标准差。左列报告旋转错误。的右列报告翻译错误。用于将相机坐标系与重力方向对准。提出的1AC方法与5 pt-Nister[30],3 pt-Sweeney[40],3pt-Saurer[33],2pt-Saurer[33]和2AC-Barath[3]。由于篇幅所限,我们只展示了随机运动下的结果。 在前向和侧向运动下的结果可在补充材料中得到。图5(a)和(b)显示了所提出的方法相对于具有完美IMU数据的图像噪声幅度的性能。我们的方法是鲁棒的增加图像噪声,并提供了明显优于以往的方法。图5(c)和图5(f)显示了所提出的方法在图像噪声设置为1时增加IMU数据上的噪声的性能。0像素标准差。1AC方法基本上优于3 pt-Sweeney、3 pt-Saurer和2 pt-Saurer方法。方法5 pt-Nister和2AC-Barath不受俯仰误差和滚转误差的影响,因为它们计算不像以前那样利用已知的垂直方向。 有趣的是,我们的方法执行得更好-将两个连续图像(θ,φ)之间的信息结果与对应的地面真值进行比较。每个单独序列的中值误差用于评估性能。将所提出的方法与2 pt-Choi[8]进行了比较。在平面运动假设下的旋转和平移误差的结果如表1所示。表1表明,我们所有的平面运动方法都比2 pt-Choi方法提供了更好的结果在所有方法中,1AC-Voting方法的整体性能最好,特别是1AC-Voting方法的旋转精度Seq.[8]第八话1AC-CS1AC-LS1AC-投票εRεtεRεtεRεtεRεt000.203 5.1690.1331.3350.155 1.345 0.0161.493010.150 3.6170.1171.1350.134 1.149 0.0101.165020.154 3.3640.062 1.1520.082 1.191 0.017 1.029030.177 6.4410.084 1.1570.1001.152 0.0131.225040.115 2.8710.029 1.1320.041 1.155 0.012 1.018050.143 4.4070.0711.2760.085 1.304 0.0111.614060.152 3.3790.0511.3020.068 1.340 0.0081.655070.127 4.7640.059 1.4870.0741.462 0.0141.769080.137 4.3120.064 1.4280.0811.427 0.0141.591090.141 3.5080.0621.2150.081 1.218 0.0211.221100.145 3.8290.0671.2990.0901.299 0.0181.464表1.平面运动假设下KITTI序列的旋转和平移误差(单位:度)。5pt-Nister3pt-Sweeney3pt-Saurer2pt-Saurer2AC-Barath1AC法5pt-Nister3pt-Sweeney3pt-Saurer2pt-Saurer2AC-Barath1AC法5pt-Nister 3pt-Saurer 2AC-Barath3pt-Sweeney2 pt-Saurer 1AC法5pt-Nister 3pt-Saurer 2AC-Barath3pt-Sweeney2 pt-Saurer 1AC法5pt-Nister 3pt-Saurer 2AC-Barath3pt-Sweeney2 pt-Saurer 1AC法旋转误差(度)5pt-Nister 3pt-Saurer 2AC-Barath3pt-Sweeney2 pt-Saurer 1AC法旋转误差(度)旋转误差(度)翻译错误(度)翻译错误(度)翻译错误(度)193950040030020050040030020029.15521.93514.7151000-300-200-1000100200300X/m1000-300-200-1000100200300X/m7.4940.274表2.已知垂直方向的KITTI序列的旋转和平移误差(单位:度)。在第二个实验中,我们测试了相对姿态估计算法与已知的垂直方向,即。,1AC方法。为了模拟IMU测量,6005004003002001000(a) Seq.00600500400300200100049.60837.54025.47113.4031.335已知相机视图的重力矢量,图像0100200300400500600700800900Z/m0100200300400500600700800900Z/m坐标被预旋转从地面实况数据获得的RxRz表2列出了旋转和平移估计的结果所提出的方法也与5 pt-Nister[30],3 pt-Sweeney[40],3pt-Saurer[33],2pt-Saurer[33]和2AC-Barath[3]。表2表明,除了序列02、09和10的翻译错误之外,我们的方法5.2.2视觉里程计我们演示了在单目视觉里程计管道中使用1AC方法来评估其在实际应用中的性能。我们的单眼视觉系统基于ORB-SLAM 2[28]。用ASIFT特征匹配提取的仿射对应关系代替ORB特征。该方法结合RANSAC的IAC方法估计出相邻两帧之间的相对姿态,并将其用于替换原始地图初始化和匀速运动模型。与地面实况对准后的估计轨迹如图6所示。沿轨迹的颜色编码绝对轨迹误差(ATE)[39]。由于篇幅所限,我们只给出了两个序列的轨迹。其他序列的结果可以在补充材料3中找到。可以看出,所提出的IAC方法在所比较的轨迹中具有最小的ATE。此外,我们还评估了估计轨迹和地面真实轨迹之间的相对位姿误差(RPE),其测量了固定时间间隔内轨迹的相对准确度[39]。使用RPE度量的旋转和平移的RMSE如表所示。3 .第三章。我们的单眼视觉里程计通常具有比ORB-SLAM 2更小的旋转和平移误差。3ORB-SLAM 2和我们的单目视觉里程计都无法为序列01产生有效的结果,因为它是一条几乎没有易处理的近距离物体的高速公路。(b) Seq.02图6.估计的视觉里程轨迹。左列报告ORB-SLAM 2的结果。右栏报告了我们的单眼视觉里程计的结果。彩色曲线是估计的轨迹,带星星的黑色曲线是地面真实轨迹。最好用彩色观看。Seq.[28]第二十八话1AC-SLAMSeq.[28]第二十八话1AC-SLAMεRεtεRεtεRεtεRεt000.821 0.9230.803 0.421060.142 1.4780.126 0.995020.200 1.0520.156 0.686070.149 0.8790.137 0.330030.1130.2440.1180.185080.177 1.7780.159 0.659040.151 0.4170.097 0.307090.221 0.7770.172 0.502050.264 0.6810.254 0.306100.129 0.6330.238 1.008表3.使用KITTI序列的RPE度量进行旋转和平移的RMSE。旋转误差单位:℃下翻译误差单位:米。6. 结论在本文中,我们表明,通过利用仿射参数,可以估计的相对姿态,在平面运动假设下只有一个仿射对应的相机。三个最小情况下的解决方案已被提出来恢复摄像机的平面运动此外,还提出了一种最小情况解来估计相对位姿 对于已知垂直方向的情况, 这些方法中的假设对于自动驾驶汽车和地面机器人操作的场景是共同的。通过对合成数据和真实图像数据集的评估,我们证明了我们的方法可以有效地用于离群点去除和视觉里程计中的初始运动估计。致谢这项工作得到了国家自然科学基金(11902349)的部分资助X/mZ/mX/mSeq.[30]第三十话 [40]第四十话[33]第三十三话 [33]第三十三话2AC-Barath [3] 1AC法εRεtεRεtεRεt εRεtεRεtεRεt000.137 2.254 0.065 2.165 0.153 2.231 .336 7.675 0.196 4.673 0.0382.006010.120 1.988 0.082 2.342 0.091 2.211 0.186 9.806 0.111 4.198 0.0501.507020.134 1.787 0.0591.6580.113 1.723 0.293 6.034 4.6940.0391.861030.109 2.507 2.7230.161 2.620 0.316 9.249 6.0640.0412.143040.111 1.692 0.048 1.558 0.043 1.616 4.8164.0360.0331.538050.116 2.059 0.054 1.895 0.115 1.961 0.253 7.238 4.4810.0311.725060.130 1.783 0.068 1.615 0.111 1.658 5.7504.0260.0461.538Z/m1940引用[1] Sameer Agarwal 、 Hon-Leung Lee 、 Bernd Sturmfels 和Rekha R.托马斯关于极矩阵的存在性。InternationalJournal of Computer Vision , 121 ( 3 ) : 403-415 ,2017。[2] 丹尼尔·巴拉斯。未标定摄像机的五点基本矩阵估计在IEEE计算机视觉和模式识别上,第235-243页[3] Daniel Barath和Levente Hajder。从两个仿射对应中有效地 恢 复 基 本 矩 阵 IEEE Trans- actions on ImageProcessing,27(11):5328[4] 丹尼尔·巴拉斯和祖扎娜·库克洛娃。来自两个方向和尺度协变特征的单应性在IEEE International Conference onComputer Vision,第1091-1099页,2019年。[5] 丹尼尔·巴拉斯,泰克拉·托特,和莱文特·哈德尔。利用两个仿射对应关系估计两视图焦距的最小解。在IEEE计算机视觉和模式识别会议上,第6003-6011页[6] Herbert Bay,Andreas Ess,Tinne Tuyt
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功