没有合适的资源?快使用搜索试试~ 我知道了~
1基于事件的视觉惯性里程计Alex Zihao Zhu,Nikolay Atanasov,KostasDaniilovania宾夕法尼亚大学{alexzhu,atanasov,kostas}@ seas.upenn.edu摘要基于事件的相机通过跨相机上的所有像素异步地检测图像强度的变化来提供新的视觉感测模型。通过以极高的速率(高达1MHz)提供这些事件,它们允许在传统相机可能失败的高速和高动态范围情况下进行感测。在本文中,我们提出了第一个算法融合一个纯粹的基于事件的跟踪算法与惯性测量单元,提供准确的度量跟踪相机的全6自由度的我们的算法是异步的,并提供measurement更新的速率成比例的相机速度。该算法选择图像平面中的特征,并跟踪事件流中这些特征周围的时空窗口。扩展卡尔曼滤波器与无结构测量模型,然后融合的功能跟踪与输出的惯性测量单元。然后使用来自过滤器的相机姿势来初始化跟踪器的下一步骤并拒绝失败的跟踪。我们证明了我们的方法在许多具有挑战性的情况下成功地跟踪了事件相机数据集[16]上的相机运动。1. 介绍基于事件的相机以超高速率(1MHz)捕捉场景中的变化,因此能够处理非常快速的运动,而不会受到图像模糊、时间混叠、高带宽或高强度范围的影响。由于没有捕获绝对强度,因此没有可以从传感器读出的帧的概念。因此,传统的计算机视觉低级和中级技术,如空间区分和空间分割,都不能直接应用。虽然最近的方法[11]试图重建帧,但我们相信,基本的几何估计问题(如视觉里程计)可以仅使用异步事件定义的特征来解决。本文介绍了一种新的特征跟踪方法和一种视觉-惯性里程计估计方案,以便在不使用任何强度框架的情况下从事件和惯性测量中跟踪六自由度位姿。视觉-惯性里程计的最新技术依赖于特征跟踪,时间窗[14]。由于缺乏任何强度邻域,在异步事件之间难以获得这样的轨迹。我们提出了一种数据关联方案,其中多个空间相邻的事件与一个特征软关联,该特征的运动是使用加权事件位置计算的。这导致了一个期望最大化算法,估计光流。然后使用校正到估计的光流值的事件最后,在平移方向未知的情况下,将3D旋转的滤波估计用于2特征RANSAC内点选择。在特征跟踪过程中,我们绝不使用固定的时间窗口:总是使用计算的光流的长度来定义时空邻域。给定随时间变化的几个特征轨迹,我们采用扩展卡尔曼滤波器来估计特征的寿命期间的所有相机姿态与MSCKF [14]类似,我们从测量方程中消除了深度,这样我们就不必在状态向量中保留三角特征我们的贡献可归纳如下:一种新的事件关联方案,通过采用两个EM步骤和可变的时间帧,根据从里程滤波器获得的流量和旋转估计,产生鲁棒的特征跟踪。第一个基于事件的摄像机视觉里程计系统,利用惯性信息。我们在非常快的基准序列上展示了结果,并且我们在高速和高性能方面表现出了与经典时间稀疏KLT特征的优越性。高动态范围的情况下。2. 相关工作Weikersdorfer等人[22]提出了基于事件的姿态估计的第一项工作他们后来在[23]中扩展了这项工作,将之前的工作与2D映射线程融合在一起,以在人工纹理环境中执行SLAM。类似地,Censi et al.[3]使用已知的活动标记图,使用粒子滤波器进行局部化。[7]中的工作还假设一组已知的图像、姿态和深度图,以使用EKF执行还有几种方法--5391···5392}E{}LE联系我们IE∈∈∈..ΣL {∈--将基于事件的摄像机与其他传感器结合以执行跟踪。[2]中的工作将基于事件的相机与单独的CMOS相机相结合,以使用事件来估计CMOS相机的帧间运动,以便估计相机速度。类似地,Tedaldi et al.[19]使用来自DAVIS相机的图像帧来执行特征检测并生成模板来跟踪事件流中的特征,Kueng等人。[12]用标准包装(ak,ωk,τk)。传感器工作的环境被建模为地标的集合:=LjR3 mj=1在离散时间t1,t2,. . . ,基于事件的摄像机生成-- 产生如下测量界标位置的透视投影3的Σ Σπ[X Y Z]T:=1X视觉里程框架,以执行最大比例的姿势es-ZY估计在[21]中,基于事件的相机与深度传感器结合用于3D映射,并使用[22]中的粒子滤波器进行定位。然而,将基于事件的相机与CMOS或深度相机融合会产生与使用任一相机的方法相同的用于基于事件的姿态跟踪的替代方法依赖于联合估计原始的基于强度的图像和姿态。Kim等人[10]在EKF框架中提出了这个问题,但该方法仅限于估计旋转。作者在[11]中扩展了这一工作,并使用[1]中的方法来联合估计图像梯度、3D场景和6dof姿态。我们的方法是一个6自由度跟踪方法,没有任何先验知识的场景。与[12]中的最新工作相比,我们的方法不需要任何图像帧,并且我们的跟踪算法以软方式处理数据关联。通过仅在事件流内跟踪特征,我们能够在高动态范围情况下跟踪非常快的运动,而不需要像[11]中那样重建底层图像梯度。与[12]和[11]相比,我们的方法还使用软数据关联,后者做出硬决策以将事件与3D地标的最接近投影相关联,导致需要在[12]中进行自举。通过将跟踪与来自IMU的信息融合,我们还能够完全重建相机姿态,包括比例因子,这是视觉技术无法做到的。3. 问题公式化考虑由惯性测量单元(IMU)和基于事件的相机组成的传感器包不失一般性,假设相机和IMU帧是重合的。1传感器封装的状态:h(L,s):=π(R(q<$)(L-p))(2)xi=h(Lα(i),s(ti))+η(ti),η(ti)<$N(0, n)其中α:N1,. . . m是表示事件和界标之间的数据关联的未知函数,R(q)是对应于由四元数q生成的旋转的旋转矩阵。问题1(基于事件的视觉惯性里程计)。给定惯性测量和事件测量,估计传感器状态s(t)随时间的变化。4. 概述视觉跟踪器使用传感器状态和事件信息来随时间跟踪图像平面内的地标集合(统称为特征)的投影,而滤波算法将这些视觉特征轨迹与IMU数据融合以更新传感器状态。为了充分利用基于事件的相机的异步性质,在每一步的时间窗口根据光流自适应地改变。我们的算法的完整轮廓可以在图中找到。1和Alg。1.一、我们的跟踪算法利用了由同一地标生成的所有事件位于时空域中的曲线上的属性,并且给定曲线的参数,可以沿着曲线在时间上传播到空间中的此外,在任何时间点沿着该曲线的梯度表示在该时间的标志投影的光流因此,我们可以将跟踪问题简化为找到事件和地标投影之间的数据关联,并估计沿同一点生成的事件的梯度Σs:=q<$Σbg v ba p(一)为了简化问题,我们假设小时空窗口内的光流是一致的,由位置pR3、速度vR3、传感器坐标系中的全局坐标系的方向(由单位四元数q<$SO(3)2表示)以及加速度计和陀螺仪测量偏差ba和bg组成。在离散时间τ1、τ2、. . . ,IMU提供加速度和角速度测量I:=1在实践中,外部相机/IMU校准可以在关闭时执行stant.也就是说,这些窗口内的曲线变成直线,估计流量相当于估计这些直线的斜率。为了施加该约束,我们基于使用计算的光流估计的每个投影的界标位置在图像中行进k个像素的时间来动态地更新时间窗口的大小dt。这样,我们假设小位移的光流恒定,这已经被证明是成立的。line [6].DAVIS-240 C中的IMU和相机框架对齐。2该条强调该四元数是表示传感器在全局坐标系中的方向的单位四元数的共轭。3不失一般性,图像测量值以归一化像素坐标表示。在实践中需要进行内在校准。5393EF∈∈−−t − T i我不是传感器输出时间窗口选择器时间窗口大小寿命新功能检测器估计Feture Trac King事件EM 1流EM 2特征两点RANSACIMU#功能状态预测预测状态更新重投影RANSAC已完成的功能特征轨迹跟踪服务器#已完成的曲目图1:EVIO算法概述。来自基于事件的相机和IMU的数据在由我们的算法确定的时间窗口中进行处理。对于每个时间窗口,IMU值用于传播状态,并且使用两个期望最大化步骤来跟踪特征,这两个期望最大化步骤估计特征的光流以及它们相对于模板的对准。异常对应关系被移除,并且结果被存储在特征跟踪服务器中。当特征丢失时,通过第二RANSAC步骤解析其特征轨迹,并且所得到的轨迹用于更新传感器状态。然后使用所有特征的估计光流来确定下一个时间窗口的大小。在实践中给定这些时间窗口,我们计算非重叠时间窗口{[T1,T2],[T2,T3],. . . } WhereTi+1−Ti=dti。问题1a(基于事件的特征跟踪)。给定事件测量、时间Ti处的相机状态si:=s(Ti)和时间窗口大小dti,估计图像平面中的t[Ti,Ti+1]的特征投影(t)和下一个时间窗口大小dti+1。给定问题1a的解决方案和来自IMU的一组读数,我们的状态估计算法在第12节中。6然后采用具有无结构视觉模型的扩展卡尔曼滤波器,如在[14]中首次介绍的。结构化EKF方案对每两个后续相机姿态之间的所有特征施加视觉约束,并且因此优化相机姿态和特征位置两者。另一方面,无结构模型允许我们算法1EVIO输入:传感器状态si,事件E,IMU读数I,窗口大小DTI在给定si的情况下,跟踪事件流E中的特征{f}(Alg.2)在图像平面中选择新特征(第第5.5节)计算下一个时间窗口dti+1的大小(秒 5.4)在给定{f}和I(Alg. 第三章其位置使用传统的图像技术初始化5.5)。我们的方法执行两个期望最大化(EM)优化(第二节)。5.1和第二节5.2)将事件的3-D时空窗口与图像平面中的5.1. 光流估计特征f(t)在图像平面中的运动可以使用其光流fstec(t)描述如下:∫t在观察每个特征的所有相机姿态之间施加约束,导致仅包含IMU和相机姿态的状态向量。这大大减少了状态向量的大小,并允许在长特征轨迹上边缘化我们提出状态估计问题作为下面的子问题:问题1b(视觉惯性里程计)。给定时间{τk}处的惯性测量I、时间Ti处的相机状态si、时间窗口大小dti以及t ∈ [Ti,Ti+1]的特征轨迹F(t),估计相机状态si+1。5. 基于事件的特征跟踪给定相机状态si和时间窗口[Ti,Ti+1],问题1a的目标是跟踪图像域中的特征集合F(t),t∈[Ti,Ti+1],f(t)=f(Ti)+fstec(t)d=f(Ti)+(t Ti)u(t)我不是其中u(t):=1<$tfstec(t)d <$是f(s)对于s[Ti,t]的平均流。 如果[Ti,Ti+1]足够小,我们可以假设平均流量u是常数,并且等于其投影在图像平面中接近f的所有界标L j的平均流量。 为了将这种观察形式化,我们将f(Ti)周围的时空窗口定义为事件的集合,这些事件向后传播到其在时间Ti的投影接近f(Ti)附近的地标:Wi:={(x,t)∈ E,L ∈ L|(x − t <$u)− f(Ti)<$l−f(Ti)<$≤ <$,t∈[Ti,Ti+1]}(3)其中<$是以像素为单位的窗口大小,t<$:=t Ti,l:=h(L,s),如(2)中所定义。5394∈KJ2Jj=1相反,我们近似{l}j图2:算法的图形概述。从左至右:1.时空窗口内的事件流。注意由线性光流形成的对角线。2.事件直接整合到图像上,无需流量校正。3.用估计流量来描述事件。注意运动模糊的移除。4.在仿射变形之前的后期传播事件集。蓝色圆圈的大小是抽取后每个点的权重。5.仿射变形后传播事件的后期集合。假设[Ti,Ti+1]很小,则Wi中的任何事件ek和界标Lj都应满足以下等式:(xk−t<$ku)−lj<$21{α(k)=j}=0(4)f(t),t[Ti,Ti+1],近似恒定,并且ni个事件的空间时间窗口Wi与f相关联,光流u可以通过迭代以下EM步骤来估计其中指示符要求事件k与φ((xk−tku);li−1,)k∈[n]地标J。然而,由于数据之间的关联αE)rkj=φ((xj,-tu);li−1,)我j∈[ni−1](八)事件和地标在未知的,我们可以希望满足上述要求仅在预期中:j′ΣniK Kni−1r(xj′-li−1)tk=1j=1kj kjkEα(k)<$(xk−t<$ku)−lj<$21{α(k)=j}M)u=nik=1i−1j=1kjt<$2(九)=rkj<$(xk−t<$ku)−lj)<$2=0(5)其中rkj:=P(α(k)=j)。 给定特征流u f(Ti),由于(2)中的测量模型,我们将事件ek从地标Lj生成的 概 率 建 模 为 与 高 斯 分 布 的 概 率 密 度 函 数 φ((xk−t<$ku);lj,n)成比例,平均证据给定光流估计,E步骤通过在时间上向后传播事件并应用(2)中的测量模型来计算事件ek和近似地标投影εli-1之间的数据关联的似然性rkj给定rkj,M步是加权线性最小平方问题,它对应于超定系统udT=Y,其中:lj和协方差Σ√¯√¯ΣT令[ni]:={1,. . . ,ni}是事件的枚举,d:=Σr12t1,. .. 、rkjtk,. . .Σ在Wi.(5)中的光流约束和数据为-关联概率rkj允许我们估计光学Y:=第12章(x1-li−1),. . . ,Zhairkj(xk-li−1),. . .特征f(Ti)的流u如下:为了得到正规方程,我们将minuΣni Σmrkj<$(xk−t<$ku)−lj)<$2(6)并得到u=(Y d)/(dTd)。在每个功能的初始化期间,k=1j =1不幸的是,地标投影{lj}m需要已知的,因此我们进一步替换{\displaystyle{\displaystyle{\mathbb {j}中的先前事件。与当前事件和流,{(x−t<$u),(x,t)∈Wi}计算数据关联概率是未知的。在-[25 ]第20段。 再一次,这个近似值接近真实值。Mj=1与设定在上述优化中当u接近真实流时投影的界标位置在这种情况下,M步骤变为:i−1ΣniΣn1R(x−x)(t<$-t<$)l:={(x+(Ti−t)ui−1)|(x,t)∈Wi−1}(7)R5395MJj=1ni−1k=1j=1kjkjkjJ前向传播的事件从上一次迭代到u=nik=1Σnij=1 rkj(tk-t<$j)2当前时间这一组提供了一个接近的近似值,{lj}j=1,因为当ui−1接近真实光流时,(4)要求{\displaystyle{\mathbb{i-1}中的每个点都接近一些其中,如(8)中那样计算rkj。 该方法具有重要意义-稍微慢一点,因为E步骤中的距离计算每次迭代使用两组不同的点这是底特律-对于大多数邻居搜索数据结构,例如k-d,在时间Ti,由于投影fea的连续性真实轨迹这导致用于估计特征f(Ti)的光流的以下结果。1.提案 如果时间窗足够小[Ti,Ti+1]使得特征的平均光流u树,因为数据结构必须在每次迭代时重建。然而,由于每个特征仅执行一次该步骤,因此对于长特征轨迹,该步骤被有效地边缘化。我们参考[25]以获得该初始化步骤的完整证明。5396--KKKj =1 kjKǁuǁ2K k=1Jj=1KJ=Ini{l}:.Σni∗¯˜5.2. 模板对齐和RANSAC虽然Prop.1足以解决问题1a,但是由于每个流估计中的噪声,特征位置估计可能随着特征随时间被跟踪而漂移。为了纠正这种漂移,我们将其估计为仿射翘曲,warps{arpli}ni(7)第一凸轮中的模板-算法2基于事件的特征跟踪输入传感器状态si,当前时间Ti,窗口大小dti,t∈ [Ti,Ti+dti]的事件E,特征{f}和相关模板{li−1}、{li}跟踪观察特征的时代姿势。我们假设-响应界标l在3-D中是平面的,使得我们可以可选地将仿射包裹表示为3-D旋转和缩放。从Ti处的当前摄像机姿态到Ti处的第一摄像机姿态的3D旋转iRi可以从用于解决问题1b的滤波器获得(参见第1.1节)。(六)。因此,我们认为,在 本 节 中,我 们 仅集 中 于 估 计{{\displaystyle{\pi}}和{\displaystyle {\pi}}之间的缩放σ和平移b。首先,我们将每个点旋转到第一个相机帧,并以旋转后的特征位置如下:查找Wi内的活动(3)cost ←∞whilecost>100do更新rkj(8)、u(9)和cost(6)使用u将事件反向传播到Ti成本←∞而成本>1000美元,更新rkj(11)、(σ,b)(11)和cost(10)f←f −b +dtiudti +1 <$3/中位数({u})(第5.4)return{f}和dti+1.. 我不知道。.ΣΣf(T)+u dtyi=πiRik1-πi <$Ri我我我15.3. 异常画面排除其中π是(2)中定义的投影函数。请注意,li将事件传播到时间Ti+1,因此我们将为了从上述优化中去除离群值,仅需要点对((xk−t<$ku)和(σyk−b)),以及近似tutef(Ti)+uidti作为f(Ti+1)的估计。然后利用与SEC的想法相同5.1,我们寻求缩放σ和trans-t-最小化{y}和{y}之间的不匹配的模拟投影地标,Mahalanobis距离为4,在优化中使用低于设定阈值的值这阿吉纳河Jj=1min Σni 新岛k k=1rkj<$σyi−b−<$l i<$|2(10)也是为了大量减少计算在所有特征都被更新之后,给定特征对应性和来自状态的帧之间的旋转,执行两点RANSAC [20σ,b王空军k=1j =1删除跟踪失败的要素。给定两个对应和旋转,我们估计基本该优化问题具有与问题(6)类似的形式。并且,如前所述,可以通过以下EM步骤求解:φ(yk;li,)矩阵,并评估对应集上的Sampson误差5以确定内点集。完整的特征跟踪过程如图2所示,并在Alg.二、E)rkj=Jφ(y;li,) ,k∈[ni],j∈[ni]y<$:=1卢塞恩岛j′kΣniykk=1j′l:=1ni新岛j=1J.J.5.4. 时间窗口大小选择为了设置时间窗口大小,使得每个特征在窗口内移动k个像素,我们利用控制器,‚除了 根据估计,。Σni1.j=1rkj(yk−y)T(lj−l)光流,u,特征f在给定时间Ti的光流,σ=,nik=1nir(y−y)T(yk−y<$)要素在图像中移动1个像素的预计时间1乌斯怀恩岛新岛Σni 新岛是2. 因此,要估计要素σM)b=卢恩1rkjyk−nrkjlj移动k个像素,时间就是dt(f)=k给定一组ik=1j =1ΣnΣnσik=1j=1Σn我们设置下一个时间窗口大小,as:dti+1=median({dt(f)|f∈ F})。 假设i1k−伊伊 rkjlj4ni 1.对于每个特征fdoΣ5397e=x2Ex1ni=1j=1的 马氏 距离之间 一 点 x和 一个分布-具有平均值μ和标准分布μ的t定义为:d:=圣恩岛√(x−µ)T(x− µ)。Kj= 15给定两点x1、x2和凸轮之间的对应关系,j=1其中M阶跃如定标ICP [26]中那样求解。(十一)在点之间的平移t和旋转R的情况下,基本质量被定义为:E=t×R,采样误差定义为:不(Ex1)2+(Ex1)2+(Ex2)2+(Ex2)21 2 1 253980000特征之间的深度差异不大,该窗口大小应确保每个特征将在下一个时间窗口中行进大约k个像素对于我们所有的实验,k被设置为3。5.5.特征检测与传统的基于图像的跟踪技术一样,我们的基于事件的特征跟踪器也受到孔径问题的影响。给定一个只有一条直线的特征窗口,我们只能估计与这条直线的斜率垂直的光流分量。因此,必须仔细选择特征,以避免选择具有单一强边缘方向的窗口为此,我们在图像中找到在多个为了从事件流产生图像,我们简单地将事件的正交投影到图像平面上。由于我们约束每个时间窗口,使得特征仅行进k个像素,因此该投影应该重构底层图像的边缘图,具有多达k个像素的运动模糊,这不应该足以破坏角检测。实际的角点检测是使用FAST角点[17]执行的,图像被分割成固定大小的单元,并且角点具有最高的Shi-Tomasi分数[18]在每个单元格中选择[5]。6. 状态估计为了估计相机随时间的3D姿态,我们采用了具有无结构视觉模型的扩展卡尔曼滤波器,如在[14]中首次开发的。为了简洁,我们不扩展滤波器的细节,而是将感兴趣的读者参考[13]和[14]。在时间T1,滤波器跟踪当前传感器状态(1)以及观察到当前正被跟踪的特征的所有过去的完整的状态是:算法3状态估计输入传感器状态si,特征{f}t∈[Ti,Ti+dti]的IMU值I滤波器计算传感器状态均值和协方差(12)增强新相机状态对于要被边缘化的每个滤波器轨道,删除不一致的观测值使用GN优化对特征进行三角剖分计算不相关残差r(j)(13)把所有的r(j)执行QR分解以获得最终残差(14)更新状态和状态协方差为了进行协方差传播,我们采用了[9]中提出的离散时间模型和协方差预测更新。当来自跟踪器的更新到达时,我们在当前时间用新的相机姿态来增强状态,并使用将IMU状态映射到相机状态的雅可比矩阵来更新协方差。然后,我们处理任何需要边缘化的丢弃功能。对于任何这样的特征fj,可以通过高斯牛顿优化使用其过去的观测和相机姿态来估计特征Fj的3D位置,假设相机姿态是已知的[4]。然后可以使用(2)计算该估计到给定相机姿态的投影每个相机姿态处的每个特征的残差r(j)是观察到的特征位置与估计的特征位置之间的差然后,我们将r(j)左乘特征雅可比矩阵HF的左零空间A,如[14]所示,以消除特征位置直到一阶近似:r(j)=ATr(j)S:=S(T)=STq<$(T)Tp(T)T. . .q<$(T)Tp(T)TATH(j)S我我我i−ni−n i iS F00(十三)rn=QTr0(14)其中n是最早跟踪的特征的长度。在更新步骤之间,传感器状态的预测使用落入以下的IMU测量来传播:1ΣH0=Q1Σ ΣTH20补间更新步骤。注意,由于基于事件的相机的高时间分辨率,在每个IMU测量之间可能存在多个更新步骤。在这种情况下,我们使用最后一次IMU测量来执行传播。给定线加速度αk和角速度ωk测量值,使用五阶龙格-库塔积分来传播传感器状态:对所有特征执行消除过程,并且堆叠剩余的不相关残差r(j)以获得最终残差r0。在[14]中,我们执行一个最终步骤,以降低上述残差的维数对矩阵H0进行QR分解,可以消除大部分残差(14). 然后,EKF更新步骤为KRS=Krn,其中K是卡尔曼增益。1.当一个功能轨迹被边缘化时,我们应用一个q<$stec(τk)=2<$(ωk−bg(τk))q<$(τk)bsteca (τk)= 0(十二)第二RANSAC步骤,以找到基于重投影,投影到空间中的同一点pstec(τk)=v(τk)vstec(τk)=R(q<$(τk))T(ak−ba(τk))+gQ5399bstecg(τk)=0错误.这将从轨迹中删除移动对象和其他错误测量。5400--图3:每个序列中具有重叠事件的示例图像从左到右:形状,海报,盒子,动态,HDR。0.250.20.150.10.050.40.350.30.250.20.150.10.05dynamic_translation原始错误1.41.210.80.60.40.2hdr_boxes原始错误00 10 20 30 40 5060时间(s)00 5 10 15 20 2530移动距离(m)00 10 20 30 40 50 60移动距离(m)图4:从左到右:HDR框序列中的时间窗口大小,动态平移和HDR框序列的绝对位置和旋转误差EVIO结果为实线,而KLT结果为虚线。1.551.51.451.41.351.31.25EVIOOptiTrack1.22.221.8- 1.2-1.4-1.6-1.81.61.51.41.3x(m)1.6-1个y(m)EVIOOptiTrack1.21.110.90.810.50.80.6表1:所有序列中EVIO和KLTVIO之间的平均位置和旋转误差统计比较。位置误差报告为行进距离的百分比。旋转误差以度为单位报告移动的距离。01.21-0.51.4x(m)y(m)图5:从形状平移(顶部)和HDR框(底部)跟踪的轨迹每个序列的前15秒被显示,以避免混乱,因为轨迹往往重叠。7. 实验我们在事件-相机数据集上评估我们的过滤器的准确性[16]。事件相机数据集包含许多由DAVIS-240 C相机捕获的序列,其中包含来自事件、IMU和图像的信息。还在室内OptiTrack设备中捕获了许多序列,该设备提供3D地面实况姿态。在所有实验中,dt0被初始化为收集50000个事件的时间。两个EM步骤的协方差矩阵被设置为2I,其中I是单位矩阵。在每个EM步骤中,模板点集使用球体抽取[8]进行子采样,半径为1像素。作为两组模板在两个EM步骤中都保持恒定,我们能够生成k-d树结构以执行Mahalanobis距离检查和E步骤,从而显著提高了速度。Mahalanobis阈值设定为4像素。目前,我们在C++中实现的特征跟踪器能够在6核Intel i7处理器上实时运行多达15个特征,以实现中等光流。与[25]相比,使用先验模板进行流量估计,并使用3D旋转进行模板对齐,使得运行时间有了非常显著的改善在这些实验中,跟踪具有31x31的空间窗口的100个特征。不幸的是,由于我们必须处理一组连续的时间窗口,因此没有等效的较低帧速率,因此跟踪大量特征会导致目前的实时性能低于实时性能然而,我们相信,通过进一步优化,该算法可以实时运行正误差(m)旋转误差(rad)正误差(m)旋转误差时间窗口大小z(m误差z(m误差EVIOKLTVIO序列是说位置误差(%)是说旋转误差(deg/m)是说位置误差(%)是说旋转误差(deg/m)形状翻译形状6dof海报翻译海报6dofHDR海报盒翻译盒6dofHDR盒子动态翻译动态六自由度2.422.690.943.562.632.693.611.231.904.070.520.400.020.560.110.090.340.050.020.561.988.950.972.172.672.282.915.652.120.040.060.010.080.090.010.030.110.030.0554012EV IO对于我们的评估,我们只检查具有地面实况和IMU的序列(图中的示例)。3)省略室外和模拟序列。此外,我们省略了旋转序列,因为需要平移运动来对相机姿势之间的点进行三角测量。我们比较我们的基于事件的跟踪算法与传统的基于图像的算法,通过在来自DAVIS相机的图像上运行KLT跟踪器,并通过相同的EKF管道(我们将称之为KLTVIO)传递跟踪的特征使用KLT的MATLAB实现在图4中,我们显示了每次迭代的时间大小。请注意,序列末尾附近的迭代发生在大约100 Hz处。对于定量评估,我们比较了EVIO和KLTVIO的位置给定在时间Ti的相机姿态估计,我们线性地内插两个最近的OptiTrack测量的姿态以估计此时的地面实况姿态。位置误差使用欧几里德距离计算,旋转误差计算为errrot=1tr(I3− RTROptiT机架)。样本结果图6:在时间窗口(红色)内事件覆盖在强度图像顶部的情况下,从左至右:框6dof序列:大部分后墙没有事件。形状6dof:事件仅在稀疏形状集的边缘上生成,其中部分也主要在无纹理的墙上RANSAC这相当于特征跟踪器估计特征运动的正确方向(即,沿着对极线),但是具有不正确的幅度。不幸的是,这是两点RANSAC无法重新解决的错误。此外,EM2中的错误也可能无法检测到故障轨道,例如在模板点非常密集的情况下,因此每个传播事件都接近模板点,而不管缩放和平移如何。由于EKF是最小二乘最小化器,任何这样的离群轨迹都对国家有重大影响,示出了动态转换和HDR框序列图4.第一章在图5中,我们还显示了我们的算法在15秒内跟踪的两个样本轨迹,其中我们可以定性地看到估计的轨迹与地面实况非常在表1中,我们将平均位置误差表示为总行进距离的百分比,并将旋转误差表示为每个序列行进距离的百分比,这是VIO应用的常用度量[8]。8. 讨论从实验结果可以看出,在正常序列中,我们的方法优于基于图像的方法。特别是,EVIO在基于事件的相机具有优势的序列中优于KLTVIO,例如在动态序列和高动态范围场景中具有高速运动。在检查轨迹时(请参阅补充视频),我们的方法能够重建整体形状,尽管有一些漂移,而基于KLT的方法在跟踪完全失败的情况下容易出错。不幸的是,由于序列的工作空间相对较小(3m x 3m),仅从误差值很难区分漂移和故障。在表1中,我们可以看到我们的旋转误差通常比预期的要大得多。在检查特征轨迹时(请参见补充视频),我们可以看到,虽然大多数特征轨迹非常好,并且大多数失败的轨迹被RANSAC步骤拒绝,但仍有一小部分但很大一部分特征轨迹失败,但没有立即被拒绝。估算然而,总的来说,我们基于事件的特征跟踪通常能够比基于图像的技术在更长的时间内跟踪更多的特征,我们相信我们应该能够去除这些离群值,并通过在未来的工作中对特征运动施加更多的约束来显着减少错误这些离群值在KLTVIO中不太常见,因为它在拒绝特征运动时被调整为过于保守(尽管这总体上会导致较短的特征轨迹)。此外,该数据集的主要挑战性方面之一源于以下事实:由于基于事件的相机倾向于仅在边缘状特征上触发事件,因此低纹理区域生成非常少的事件(如果有的话)。在许多序列中,摄影机经过无纹理区域(例如房间的后墙),导致在包含墙的图像部分中不生成事件因此,在这些区域上不跟踪任何特征。当图像中的这些区域很大时,如图6中的示例所示,这会在滤波器姿态估计中引入偏差,并增加跟踪误差。这通常倾向于影响EVIO而不是KLTVIO,因为没有事件生成的区域可能仍然具有一些纹理,除了形状6dof序列,其中KLT跟踪器在开始时失败。因此,这种信息的缺乏是特征跟踪失败的重要因素。总之,我们提出了一种新的基于事件的视觉惯性里程计算法,使用基于事件的特征跟踪与概率数据关联和EKF与无结构的视觉模型。我们表明,我们的工作是基于视觉的跟踪算法相媲美,它是能够跟踪长相机轨迹与少量的漂移。5402引用[1] P. Bardow,A.J. Davison和S.罗伊特内格从事件照相机的同时光流和强度估计。在IEEE计算机视觉和模式识别会议论文集,第884-892页2[2] A. Censi和D.斯卡拉穆扎低延迟基于事件的视觉里程计。2014年IEEE机器人与自动化国际会议(ICRA),第703-710页。IEEE,2014。2[3] A. Censi,J. Strubel,C. Brandli,T. Delbruck和D.小心点。使用动态视觉传感器通过有源led标记跟踪进行低延迟定位2013年IEEE/RSJ智能机器人和系统国际会议,第891-898页。IEEE,2013。1[4] L.作者:Clement,V. Lambert和J.凯利滤波器霸权之争:多状态约束卡尔曼滤波器与滑窗滤波器的比较研究计算机和机器人视觉(CRV),2015年第12届会议,第23-30页,2015年6[5] C. Forster,M. Pizzoli和D.斯卡拉穆扎SVO:快速半直接单眼视觉里程计.在机器人和自动化(ICRA),2014年IEEE国际会议上,第15-22页。IEEE,2014。6[6] P. Furgale,J.Alberder和R.西格沃特多传感器系统的统一 时 间 在 IEEE/RSJ Int. Conf. on Intelligent Robots andSystems(IROS),pages 1280-1286,2013. 2[7] G. Gallego,J.E. Lund,E.米格勒Rebecq,T.Delbruck和D.斯卡拉穆扎基于事件的6自由度摄像机跟踪,适用于高速应用。arXiv预印本arXiv:1607.03468,2016年。1[8] A. Geiger,P. Lenz,和R.盖革,等.乌塔松我们准备好了吗?Kitti Vision基准套件。在计算机视觉和模式识别会议(CVPR),2012。七、八[9] J. A. Hesch,D.G. Kottas,S.L. Bowman和S.I. 鲁梅利-奥蒂斯。可观测性约束的视觉辅助惯性导航。明尼苏达大学的Comp. Sci. &工程师:MARS实验室,技术部。Rep,1,2012. 6[10] H. Kim,A.汉达河Benosman,S.H. Ieng和A.J. 大卫-儿子。同时镶嵌和跟踪与事件摄像机。英国机器视觉会议。IEEE,2014。2[11] H. Kim,S. Leutenegger和A. J·戴维森利用事件摄影机进行实时三维重建与六自由度追踪。欧洲计算机视觉会议,第349施普林格,2016年。一、二[12] B. Kueng,E. Mueggler,G. Gallego和D.斯卡拉穆扎使用基 于事 件的 特征 轨迹 的低延 迟视 觉里 程计 。在IEEE/RSJ智能机器人和系统国际会议(IROS),编号EPFL-CONF-220001,2016年。2[13] A. I. Mourikis和S.I. 鲁梅利奥蒂斯用于视觉辅助惯性导航的多状态约束2006. 6[14] A. I. Mourikis和S.I. 鲁梅利奥蒂斯用于视觉辅助惯性导航的多状态技术报告,2007年。一、三、六[15] E. 穆格勒, C. 福斯特 N. 鲍姆利 G. 加列戈,以及D. 斯卡拉穆扎来自动态视觉传感器的事件的寿命估计2015年IEEE机器人与自动化国际会议(ICRA),第4874-4881页。IEEE,2015年。5[16] E. 米格勒 Rebecq,G. Gallego,T. 德尔布鲁克,D.斯卡拉穆扎事件摄像机数据集和模拟器:用于姿态估计、视觉里程计和slam的基于事件的数据。1、7[17] E.罗斯滕河Porter和T.德拉蒙德更快更好:角点检测的机器学习方法。IEEE transactions on pattern analysis andmachine intelligence,32(1):105-119,2010。6[18] J. Shi等人很好的跟踪功能。在计算机VI中-1994年,Sion and Pattern1994年CVPR会议录1994年IEEE计算机协会会议,第593- 600页。IEEE,1994年。6[19] D.泰达尔迪湾Gallego,E. Mueggler和D.斯卡拉穆扎用动态和有源像素视觉传感器(戴维斯)进行特征检测和跟 踪 。 基 于 事 件 的 控 制 , 通 信 和 信 号 处 理(EBCCSP),2016年第二届国际会议,第1-7页。IEEE,2016. 2[20] C. Troiani,A.马蒂内利角Laugier和D.斯卡拉穆扎应用于微型飞行器的摄像机惯性测量系统的基于2点的离群值 剔 除 。 在 2014 年 IEEE国 际 机 器 人 与 自 动 化 会 议(ICRA)上,第5530-5536页。IEEE,2014。5[21] D. Weikersdorfer,D.B. Adrian,D.Cremers和J.康拉特基于事件的3d大满贯与深度增强动态视觉传感器。在IEEE国际会议上机器人和自动化(ICRA),第359-364页,2014年。2[22] D. Weikersdorfer和J.康拉特基于事件的粒子滤波机器人自定位。在Robotics and Biomimetics(ROBIO),2012IEEE International Conference on,第866IEEE,2012。一、二[23] D.魏克斯多费尔河Hoffmann和J.康拉特基于事件的视觉系统的同时定位和映射。在计算机视觉系统国际会议上,第133-142页。Springer Berlin Heidelberg,2013. 1[24] A. Zhu,N. Atanasov和K.丹尼尔迪斯具有概率数据关联的基于事件的特征2016年。[25] A. Z. Zhu,N. Atanasov和K.丹尼尔迪斯具有概率数据关联的基于事件的2017年IEEE,2017年。四、七[26] T. Zinßer,J. Schmidt,and H.尼曼。点集配准与综合规模估计。第八届模
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功