没有合适的资源?快使用搜索试试~ 我知道了~
使用事件和帧的异步光度特征Daniel Gehrig、Henri Rebecq、Guillermo Gallego和Davide Scaramuzza部门苏黎世大学和苏黎世联邦理工学院的抽象。我们提出了一种方法,利用事件相机和标准相机的互补性,以低延迟跟踪视觉特征。事件相机是输出像素级亮度变化(称为它们提供优于标准相机的显著优点然而,因为相同的场景模式可以根据运动方向产生不同的事件,所以跨时间建立事件对应是具有挑战性的。相比之下,标准相机提供不依赖于运动方向的强度测量(帧)。我们的方法提取帧上的特征,然后使用事件异步跟踪它们,从而充分利用两种类型的数据:帧提供不依赖于运动方向的光度表示,并且事件提供低等待时间更新。与基于启发式的先前工作相比,这是直接使用原始强度测量的第一原则性方法,基于最大似然框架内的生成事件模型。因此,我们的方法产生的特征轨迹都更准确(亚像素精度)和更长的比现有技术的状态,在各种各样的场景。多媒体素材有关此工作的补充视频,请访问https://youtu.be/A7UfeUnG6c41介绍动态视觉传感器(DVS)[ 1]等活动摄像机的工作方式与传统摄像机非常不同(图1)。①的人。它们具有独立的像素,所述独立的像素在它们发生时仅在场景中的边缘变化的出现中形成(称为“边缘”)因此,它们的输出不是强度图像,而是异步事件流。活动摄像机擅长感知运动,并且它们的延迟非常低(1微秒)。然而,它们不提供绝对强度测量,而是它们仅测量强度的变化。相反,标准相机为每个像素提供直接因此,事件摄像机和标准摄像机是互补的,这就要求开发2D. 格里克,H.Rebecq,G.加列戈湾斯卡拉穆扎能够结合两种摄像机的特定优点以低延迟执行计算机视觉任务的新颖算法。事实上,动态和有源像素视觉传感器(DAVIS)[2]最近(2014年)就是本着这种精神推出的。它是在同一像素阵列中包括异步的基于事件的传感器和标准的基于帧的相机的传感器。我们解决的问题,使用事件和帧,如DAVIS提供的功能我们的目标是结合这两种类型的强度测量,以最大限度地提高跟踪精度和年龄,为此,我们开发了一个最大似然方法的基础上生成的事件模型。特征跟踪是计算机视觉中的一个重要研究课题,在过去的几十年中得到了广泛的研究。它是数字的核心组成部分-例如,对象跟踪[3]或同步定位和地图绘制(SLAM)[4虽然用于基于帧的相机的特征检测和跟踪方法所有像素,即使在场景中没有运动的情况下。相反,事件摄像机仅获取用于跟踪的相关信息并异步响应,从而填充连续帧之间的盲时间。在这项工作中,我们提出了一个功能跟踪器,它的工作原理是提取帧中的角,随后跟踪他们只使用事件。这使我们能够利用事件的异步、高动态范围和低延迟性质来产生具有高时间分辨率的特征轨迹然而,这种异步性质意味着将来自同一对象的各个事件关联起来成为一个挑战,这被称为数据关联问题。在以前的作品中使用的光度学来解决数据关联,我们提出了一个最大似然方法的基础上生成的事件模型,使用的光度信息的帧来解决这个问题。总之,我们的贡献如下:我们介绍了第一个特征跟踪器,它以一种方式结合了事件和帧,(i)充分利用了导致事件的亮度梯度的强度,(ii)规避了事件和帧像素之间的数据关联问题,以及(iii)利用生成模型来解释事件如何与帧中的亮度模式相关。我们提供了与最先进的方法[8,9]的比较,并表明我们的跟踪器提供了更准确和更长的特征跟踪我们使用公开可用的事件相机数据集[10]中的场景彻底评估了所提出的跟踪器,并在具有大对比度的人造环境和自然场景中显示了其性能。2相关工作利用事件摄像机进行特征检测和跟踪是一个主要的研究课题[8,9,12···使用事件和帧的异步光度特征跟踪3(a)(b)第(1)款图1:图图1(a):当面对旋转盘上的黑点时,标准基于帧的相机和事件相机的输出的比较(图改编自[11])。标准摄像机以固定速率输出帧,因此在场景中没有运动时发送冗余信息。事件摄像机以微秒延迟响应像素级亮度变化图1(b):组合的帧和基于事件的传感器(如DAVIS [2])提供标准帧和其间发生的事件。事件根据极性着色:蓝色(亮度增加)和红色(亮度降低)。它们解决了计算机视觉中的这些经典问题,这些经典问题是标准相机无法实现的具有挑战性的场景,例如低功率、高速和高动态范围(HDR)场景。最近,流行的基于图像的关键点检测器的扩展,例如Harris [19]和FAST [20],已经被开发用于事件相机[17,18]。基于光流分布的检测器[21]用于识别应用也已被提出用于事件相机[16]。最后,大多数基于事件的跟踪器使用预定义的[13]或从一组事件[9]构建的二进制特征模板,它们通过迭代的点模板将事件对准到该模板,例如迭代的闭合点(ICp)[ 22]。我们的工作与[8]最相关,因为两者都将帧和事件结合起来进行特征跟踪。[8]中的方法检测灰度帧中Harris角周围的Canny边缘的补丁,然后使用事件流上的ICP跟踪这种局部边缘模式。因此,Canny边缘的片充当模板,事件被配准到该模板以产生跟踪信息。在事件主要由强边缘生成的简化假设下,Canny边缘映射模板用作引起事件的底层灰度模式的代理。[ 8]中的方法将跟踪问题转换为几何点集对准问题:将事件坐标与由Canny边缘的像素位置给出的点模板进行比较。因此,没有生成事件的像素有效地不被处理。然而,该方法具有两个缺点:(i)丢失了关于边缘强度的信息(因为用于跟踪的点模板是从二元边缘图获得的)(i i)明确的对应(即,数据关联)需要建立事件和模板之间的数据关联以[9]中的方法可以被解释为[8]的扩展,其中(i)由运动校正的事件点集替换的Canny边缘补丁和(ii)使用期望最大化(EM)-ICP以软方式计算的对应性。4D. 格里克,H.Rebecq,G.加列戈湾斯卡拉穆扎(a)Frame.(b)左右运动。(c)上下运动。(d)对角线运动。图图2:在事件相机前面沿不同方向移动棋盘(a)的结果(b)-(d)示出了亮度增量图像(等式(1))。(2))通过在短时间间隔内累积事件而获得。不改变强度的像素以灰色表示,而增加或降低强度的像素分别以亮和暗表示显然,(b)(仅垂直边缘),(c)(仅水平边缘),和(d)在没有由(a)提供的基础光度信息的先验知识的情况下不能彼此相关。与[8,9]一样,我们的方法可用于跟踪通用特征,而不是受约束的边缘模式。然而,我们的方法与[8,9]的不同之处在于(i)我们考虑了导致事件的边缘模式的强度,以及(ii)我们不需要在事件和边缘映射模板之间建立对应关系。与使用点集模板进行事件对齐的[8,9]相比,我们的作为所提出的基于图像的配准方法(第4节)的结果,隐含地建立对应关系,但在此之前,让我们激励为什么建立对应关系对于事件相机是具有挑战性的3数据关联对特征跟踪跟踪场景特征(即, 边缘模式)与事件摄像机的区别在于,由于该传感器响应强度的时间变化(由图像平面上的移动边缘引起),特征的外观根据运动而变化,因此,随时间连续变化(见图2)。2)的情况。使用事件的特征跟踪需要在不同时间的事件之间建立对应(即,数据关联),这是困难的,由于上述变化的特征外观(图2)的情况。相反,如果额外信息可用,例如待捕获的粒子的绝对强度(即,绝对强度)。例如, 特征的时间-在不同的情况下,例如在图1中。在图2(a)中,则可以经由建立事件与附加地图之间的对应关系来间接地建立事件对应关系。然而,这另外需要连续地估计图案的运动(光流)。事实上,这是我们方法的一个重要组成部分。如我们在第4节中所示,我们的方法是基于一个模型,使用给定的帧和光流的估计来生成时变事件特征外观的预测。这种生成模型在先前的特征跟踪方法中没有被考虑,例如[8,9]。使用事件和帧的异步光度特征跟踪5∫联系我们=事件fekg极性积分阿茨DT亮度增量∆L(u)帧patchL^@L^@xR梯度预测亮度点积增量光流∆L^(u)(a) △ L(u)由事件(2)给出。@L^@y(b) 在第(3)段中,我们使用了SQL Server(u)。图3:由事件(2)与使用生成模型(3)从帧和光流预测。不改变强度的L(u)的像素在Δ L中以灰色表示,而增加或降低强度的像素分别以亮和暗表示。4方法事件相机具有响应于连续亮度信号IL(u,t)的变化的独立像素。具体地,事件ek=(xk,yk,tk,pk)在像素uk =(xk,yk)处被触发,并且在时间tk处,只要自像素处的最后事件以来的亮度增加达到阈值±C(其中C>0):. ∆L(uk,tk)L(uk,tk)−L(uk,tk−∆tk)=pk C,(1)其中Δtk是自同一像素处的最后一个事件以来的时间,pk1, +1是事件极性(即,亮 度 变化的符号)。当量(1)是理想传感器的事件生成方程[23,24]。4.1来自事件和帧的亮度增量图像事件极性在时间间隔Δ τ上的逐像素累积产生图像Δ L(u),其具有在时间间隔Δτ期间发生的亮度变化量。间隔(图3a),∆L(u)=Σtk∈∆τpk C δ(u-uk),(2)其中δ是由于其离散参数(晶格上的像素)而产生的克罗内克增量。对于小Δ τ,例如图1的示例。3a,亮度增量(2)是由于根据公式2的移动边缘:∆L(u)≈ −L(u)·v(u)∆τ,(3)1事件摄像机(如DVS [1])响应对数亮度变化,即,.L=logI,亮度信号为I,因此(1)表示对数变化。2当量可以通过将亮度恒定性假设(即,opticalf lo w constraint)L(u(t),t)+L(u(t),t)·u(t)=0,其中ithimge-pointo i n toin tin ti n t不客气。Lv≡ u,在Tylor中有pproximation∆L(u,t)=L(u,t)−L(u,t−∆τ)≈t(u,t)∆τ。·vτ6D. 格里克,H.Rebecq,G.加列戈湾斯卡拉穆扎⊥∇P−∇·帧L1(时间t= 0)扭曲Wxc(t)∆L(u)xc(0)L^(W(u;p(t)))亮度事件增量(时间t >0)图4:对两个独立块的跟踪的图示。在时间t>0的时空窗口中的事件被收集到亮度增量的补丁L(u)(橙色),通过经线进行比较(即,几何变换),在初始特征位置(蓝色)周围的L(在t = 0时给出)上创建新的图像。如图所示计算补丁。5,并在目标函数(6)中进行比较。也就是说,增量由亮度梯度L(u)=引起。 L,.x 伊以速度v(u)在位移Δu = vΔ τ上进行(见图第3b段)。为(3)中的点积表示,如果运动平行于边缘(vL),则增量消失,即,不生成事件。从现在开始(和图。 3b)我们没有使用ahat,∆L和由L组成的公式来定义新的表达式(3)。4.2优化框架遵循最大似然方法,我们建议使用来自事件(2)的观察到的亮度变化Δ L与来自公式(3)的亮度信号L的预测的亮度变化Δ L之间的差异,以根据优化得分来确定最佳地解释事件的许多参数更具体地说,我们提出了使用事件和帧的特征跟踪问题,作为图像配准[25,26],在图像(2)和(3)之间。有效地,框架作为特征模板,事件注册。作为标准,让我们假设(2)和(3)在包含独特图案的小块()上进行比较,并且进一步假设光流v对于块中的所有像素都是恒定的(与[25]相同的正则化)。在时间t=0时,由一个初始化条件给出LettinggLbytes,并将LettinggLbytes由在稍后的时间t的时空窗口中的事件给出(参见图1)。4),我们的目标是找到配准参数p和速度v,其最大化由ΔL(u)和dΔL(u;p,v)=L(W(u;p))vΔτ,其中W是用于配准的扭曲图。我们明确地模型光流v而不是通过过去的配准参数的有限差来近似它,以避免引入近似误差并避免来自过去的噪声特征位置的误差传播显示两个亮度增量的框图使用事件和帧的异步光度特征跟踪7∫−=ˆ√NeE|∈p,vL(P)L2(P)=P∆L(u; p, v)L2(P)¨.事件fekg极性积分DT亮度增量∆L(u)特征位置翘曲梯度梯度帧@L^@xpatchL^预 测 亮度增量误差计算点积光流Rp扭曲参数∆L^(W(u;p))@L^@y·vτ扭曲W扭曲W图图5:示出了如何针对图1的贴片计算被比较的亮度增量的框图。4.第一章图的顶部是来自事件积分的亮度增量(2)。底部是来自帧(3)的生成事件模型。计算,包括翘曲W的影响,在图中给出。五、假设thatthediffence∆LΔLfollowsazero-meanaditiveGaussiandistit utionwith variance σ2 [1],我们定义事件集合E的似然函数{ek}k=1producing∆Las1p(p, v,L)=exp2πσ2.1−2σ2∫。∆L(u)PΣ∆L(u;p,v)Σ2du.(四)相对于运动参数p和v最大化该可能性(因为L(isnonn)y ie ldh etomericridal的L2范数的最小化,min∆L(u)−∆L(u;p,v)22(五). ∫其中f(u)2f2(u)du。然而,目标函数(5)取决于在对比灵敏度C上(经由(2)),其在实践中通常是未知的。受[26]的启发,我们提出最小化单位范数之间的差异补丁:¨ü∆L(u)¨∆L(u;p,v) ¨分钟¨−¨2(6)p, v ¨ ¨∆L(u)其抵消了C和Δ τ中的项,并且仅取决于特征速度v的方向。在该通用公式中,可以考虑与图像配准相同类型的参数扭曲W(投影、仿射等)。为了简单起见,我们考虑由图像平面中的刚体运动给出的扭曲W(u; p)=R(p)u + t(p),(7)其中(R,t)SE(2)。使用Ceres软件[27]中提供的非线性最小二乘框架优化目标函数(6)。阿茨2L2(P)−8D. 格里克,H.Rebecq,G.加列戈湾斯卡拉穆扎∇算法1使用事件和帧的光度特征跟踪功能初始化:- DetectHarriscorn ers[19]ontheframeL(u),extra c ti ntesitypathesaronerpoitsanddc ompu teL(u).- 设置补片∆L(u)= 0,将初始配准参数p设置为标识的参数扭曲,并设置要在每个补丁上积分的事件数量Ne。特征跟踪:对于每个传入事件,- 更新包含事件的补丁(即,逐像素累加极性(2))。对于每个补丁∆L(u)(一旦收集了Ne个事件(2)),- 最小化目标函数(6),以得到参数p和光流v。- 更新特征块的配准参数p(例如,位置)。- 重置补丁(L(u)= 0)并重新计算Ne。4.3方法讨论所提出的方法(6)的最有趣的特征之一是它基于事件(3)的生成模型。如图5,帧L被用于在v(根据点积加权)上进行迭代,以便最佳地拟合运动相关的事件数据Δ L,因此我们的方法不仅估计事件特征的翘曲参数,而且估计其光流。这种光流依赖性在以前的工作中没有明确建模,例如[8,9]。此外,对于该测试应用程序,我们使用了框架的完整框架L,asopposedtoo其Canny(即,二进制阈值)版本[8],它提供了更高的准确性和跟踪不太突出的模式的能力。我们的方法的另一个特征是,与ICP方法[8,9]相反,它不存在建立事件到特征对应关系的问题。我们借用隐含的像素到像素的数据关联典型的图像配准方法,通过创建,从事件,一个方便的图像表示。因此,我们的方法具有较小的复杂度(建立数据关联在ICP [8]中具有二次复杂度),并且更鲁棒,因为它不太容易陷入由数据关联引起的局部最小值(如第5节所示)。(3)第三章。随着优化迭代的进行,所有事件对应关系根据扭曲的像素网格的演变作为单个实体另外,监视最小成本值(6)的演变提供了检测特征轨迹丢失的可靠标准,并且因此初始化新的特征轨迹(例如,在下一帧中或通过按需获取新帧)。4.4算法我们的异步、低延迟特征跟踪器的步骤总结在算法1中,其由两个阶段组成:(i)特征补丁的初始化和(ii)根据(6)使用事件跟踪补丁中的模式。多个补丁彼此独立地被跟踪为了计算补丁∆L(u),使用事件和帧的异步光度特征跟踪9×(2),我们在给定数量的事件Ne[28因此,一旦在贴片(2)上获取Ne个事件,跟踪就是异步的,这通常以高于标准相机的帧速率(高〜10倍)的速率发生补充材料提供了相对于N e的方法的灵敏度的分析和用于计算在算法1中使用的敏感值的公式。5实验为了说明我们的方法的高精度,我们首先评估它的模拟数据,在那里我们可以控制场景深度,相机运动,和其他模型参数。然后,我们在真实数据上测试我们的方法,包括高对比度和自然场景,具有挑战性的效果,如遮挡,视差和光照变化。最后,我们证明了我们的跟踪器可以使用从一组事件[34,35]重建的帧进行操作,这些事件具有比标准相机更高的动态范围,从而为高动态范围(HDR)场景中的特征跟踪打开了大门。对于所有实验,我们使用25 × 25像素大小为3的补丁Δ L(u)和相应的事件落入补丁内的图像平面上移动的功能。在合成数据集上,我们使用3D场景模型和相机姿势来计算地面实况特征轨迹。在真实数据集上,我们使用KLT [25]作为基础事实。由于我们的特征轨迹是以比地面实况更高的时间分辨率产生的,如果特征轨迹在样本之间不是线性的,则内插地面实况特征位置可能导致错误的误差估计因此,我们通过将每个地面实况样本与由两个最接近的特征位置在时间上的线性插值给出的特征位置进行比较并对地面实况与估计位置之间的欧几里得距离进行平均来评估误差5.1模拟数据。评估跟踪精度通过使用模拟数据,我们评估我们的功能跟踪器的准确性限制为此,我们使用了[ 10]中提出的事件相机模拟器和具有不同类型的事件、对象和对象的3D场景(图10)。(六)。可以通过平均特征跟踪误差如何随时间演变来评估跟踪器的准确性(图12)。6(c));误差越小越好。使用第一帧初始化所有特征,然后跟踪直到丢弃,如果它们离开视场或者如果配准误差(6)超过阈值1,则发生丢弃。6. 我们在您的年龄找到了一个,因为这个时间表是在初始化和处置过程中被发现的。特征存活的时间越长,跟踪器就越健壮。模拟数据集的结果如图所示 6和表1。 我们的方法以非常高的精度跟踪特征,大约为0。平均4像素误差,其可以被视为跟踪误差的下限(在无噪声3补片尺寸选择的依据可参见补充材料。10D. 格里克,H.Rebecq,G.加列戈湾斯卡拉穆扎(a)(b)(c)第(1)款图6:模拟数据上的特征跟踪结果。(a)用于在模拟器中生成合成事件的示例纹理[10]。(b)定性特征轨迹表示为时空中的曲线。(c)平均跟踪误差(中心线)和幸存特征的分数(中心线周围的带的宽度)作为时间的函数。我们的功能跟踪为0。平均4像素精度表1:模拟数据的平均像素误差和平均特征年龄。数据集错误[px]要素年龄[s]模拟四月标签0.20 1.52sim 3planes 0.29 0.78辛岩0.42 1.00SIM 3wall 0.67 0.40条件)。剩余的误差可能是由于(3)中的线性化近似。请注意,功能年龄只是为了完整性而报告,因为模拟时间无法与真实数据的物理时间进行比较(第5节)。2)的情况。5.2真实数据我们将我们的方法与最先进的方法进行比较[8,9]。在几个数据集上对这些方法进行了评价对于[8],跟踪在帧上提取的同一组特征,而对于[9],在运动校正的事件图像上初始化特征并跟踪后续事件。结果报告于图1中。7和表2中。图中的曲线7示出了作为时间的函数的平均跟踪误差(中心线)。彩色带的宽度指示存活到该时间点的特征的比例。随着特征轨迹逐渐丢失,带的宽度随时间减小。频带越宽,特征跟踪器就越健壮。我们的方法在跟踪精度和轨道长度方面都优于[8]和[9]在简单的,黑色和白色的场景(图。7(a)和7(d)),例如[8]中的那些,我们的方法平均是两倍准确,并且产生的轨迹几乎是[8]的三倍长。与[9]相比,我们的方法也更准确和鲁棒。对于高度纹理化的场景(图7(b)和7(e)),我们的跟踪器保持准确性,即使在补丁中到处生成许多事件,这导致[8,9]中的显著高误差。虽然我们的方法和[9]实现了相似的特征年龄,但我们的方法更准确。同样,我们的使用事件和帧的异步光度特征跟踪11(a) 黑白场景(b)高纹理场景(c)自然场景(d)形状6dof(e)盒子6dof(f)岩石图7:简单黑白场景(a)、高度纹理化场景(b)和自然场景(c)上的特征跟踪。图(d)到(f)显示了我们的方法和[8,9]在三个数据集上的平均跟踪误差(中心线)和幸存特征的分数(中心线周围的带),每个数据集用于(a)-(c)中的每种场景。补充材料中提供了更多的情节。表2:各种数据集的平均像素误差和平均特征年龄。场景数据集错误[px]我们的方法 甘[8]Zhu [9]壮举我们的方法年龄贡[s][八]《中国日报》Zhu [9]黑白六自由度棋盘格0.640.781.751.583.042.363.948.231.532.761.307.12高纹理海报六自由度0.672.862.992.650.652.56盒子6dof0.903.102.471.560.781.56自然自行车0.753.653.661.150.491.26岩石0.802.113.240.780.851.13[ 8] 比 [9] 更 好 , 比 [9] 更 准 确 , 在 自 然 场 景 ( 图 ) 。 7 ( c ) 和 7(f))。对于这些场景[9]表现出最高的平均特征年龄。然而,作为纯粹基于事件的方法,它由于改变事件外观而遭受漂移,如在图1中最明显的。7(f)项。我们的方法不会漂移,因为它使用时不变模板和生成模型来注册事件,而不是基于事件的模板[9]。另外,与先前的工作不同,我们的方法还利用亮度梯度的全范围,而不是使用简单的、基于像素的边缘图,因此具有更高的精度。与[8]的更详细的比较将在5.3节中进一步探讨,在那里我们表明我们的目标函数表现得更好。我们的方法在真实数据上的跟踪误差大于在合成数据上的跟踪误差,这可能是由于关于事件的建模误差,包括噪声和动态效应(诸如对于不同12D. 格里克,H.Rebecq,G.加列戈湾斯卡拉穆扎±联系我们--帧上补丁事件成本(6) 成本(8),[8]跟踪(位置历史记录)图8:我们的成本函数(6)表现得更好(更平滑,损失更少)。在[8]中,计算最小值),得到更好的跟踪(最后一列)。 前两列显示所选的数据集和特征补丁,以及强度(灰度)和事件(红色和蓝色)。第三和第四列比较(6)和(8)的成本曲线用于改变x和y方向上的平移参数(5个像素围绕来自该平移的最佳估计)。[8]中使用的基于点的成本示出了针对更多纹理场景(第二行)的许多局部最小值,这不是我们的方法的情况。最后一列显示了特征的位置历史(绿色是地面实况,红色是[8],蓝色是我们的方法)。极性)。尽管如此,我们的跟踪器实现了亚像素精度,并始终优于以前的方法,导致更准确,更长的轨道。5.3目标函数与基于ICP的方法的比较[8]如第4节所述,我们的方法的优点之一是事件和跟踪特征之间的数据关联通过比较的补丁(2)和(3)的像素到像素的对应关系隐含地建立。这意味着我们不必像[8,9]中所做的那样显式地估计它,这节省了计算资源并防止了可能产生不良跟踪行为的错误关联。 为了说明这一优势,我们比较了我们的方法和[8]的成本函数曲线,它最小化了两个2D点集之间的对齐误差(欧氏距离):来自事件(数据)的pi和来自Canny边缘(模型)的mj,R,t =argminR,tΣ(pi,mi)∈Matchesbi<$Rpi+t−mi<$2.(八)这里,R和t是对准参数,并且bi是权重。在每个步骤中,通过将每个pi分配给最近的点m,j并拒绝相隔太远(>3像素)的匹配来完成事件和模型点之间的关联通过在固定R的同时围绕估计值改变参数t,我们获得成本函数曲线的切片我们的方法(6)和(8)的所得成本函数曲线如图所示。8.使用事件和帧的异步光度特征跟踪13对于简单的黑白场景(图1的第一行)。8),生成的所有事件都属于强边。相比之下,对于更复杂的、高纹理的场景(第二行),事件在补丁中更均匀地生成。我们的方法清楚地表明,在这两种情况下的凸成本函数。相比之下,[8]表现出几个局部最小值和非常广泛的吸引盆地,使得最佳配准参数的精确局部化具有挑战性。吸引盆地的宽度,连同众多的局部最小值,可以解释的事实,数据关联的变化,为每个对齐参数。这意味着存在若干对准参数,其可能导致点云的部分重叠,从而导致次优解决方案。为了显示非平滑成本曲线如何影响跟踪性能,我们在图1B的最后一列中显示了特征轨迹。8. 从KLT导出的地面实况用绿色标记我们的跟踪器(蓝色)能够以高精度跟踪地面另一方面[8](红色)表现出跳跃行为,导致早期偏离地面事实。5.4使用从事件数据重构的帧的跟踪最近的研究[34在接下来的实验中,我们表明,我们的跟踪器可以用于这样的重建图像,从而消除了标准相机所施加的限制。作为说明,我们在这里集中于展示HDR场景中的特征跟踪(图2)。第9段)。然而,我们的方法也可以用于在高速运动期间通过使用来自随机事件的大量随机序列来执行特征跟踪。标准相机的动态范围有限(60 dB),这通常会导致在高动态范围场景中传感器的曝光不足或过度(图9(b)),进而导致跟踪丢失。然 而, 事 件摄 像机 有 一个 更大 的 动态 范 围(140 分 贝) ( 图。9(b)),从而在这些有问题的领域提供有价值的追踪信息图图9(c)-(d)定性地示出了我们的方法如何能够利用从一组事件[34,35]重建的HDR强度图像来在这样困难的条件下产生特征轨迹例如图图9(d)示出了一些特征轨迹在最初过度曝光的区域中被初始化,例如图像的右上角(图1B)。第9段)。请注意,我们的跟踪器只需要有限数量的重建图像,因为功能可以跟踪几秒钟。这补充了图像重建的计算要求高的任务。花絮我们鼓励读者查看补充材料中提供的视频、附加图、表格和实验6讨论虽然我们的方法在自然场景中推进了基于事件的特征跟踪,但仍有未来研究的方向例如,我们使用的生成模型14D. 格里克,H.Rebecq,G.加列戈湾斯卡拉穆扎(a)(b)(c)(d)图9:我们的特征跟踪器不限于来自真实相机的强度帧。在这个例子中,我们使用从具有高动态范围(a)的场景中的事件流[34,35]重建的强度图像在(b)中示出的具有覆盖在顶部上的事件的DAVIS帧不能捕获场景的全动态范围。相比之下,(c)中的重构图像捕获场景的全动态范围。我们的跟踪器(d)可以成功地使用该图像在任何地方产生准确的特征跟踪,包括(b)的严重曝光区域。预测事件是不考虑严重的动态效应和噪声的近似。此外,我们的方法假设在附近的功能均匀的光流。这种假设在遮挡和对象处以及在大的流动中被打破,因此在摄像机的光学轴上也是如此。然而,如实验中所示,各种场景和运动中的许多特征不受这种影响,并且因此被很好地跟踪(具有子像素精度)。最后,我们使用欧几里德翘曲来演示该方法,因为它比更复杂的翘曲模型(例如,仿射)。未来的研究包括如何使该方法对传感器噪声更具鲁棒性,并使用更准确的翘曲模型。7结论我们提出了一种方法,利用事件相机和标准相机的互补性,以低延迟跟踪视觉特征我们的方法提取帧上的功能,并随后使用事件异步跟踪它们。为了实现这一目标,我们提出了第一种方法,通过生成事件模型将事件直接与帧中的像素强度我们对各种序列的方法进行了彻底的我们相信这项工作将打开大门,解锁事件相机在依赖于准确特征跟踪的各种计算机视觉任务确认这项工作得到了DARPA FLA计划,瑞士国家机器人能力研究中心,瑞士国家科学基金会和SNSF-ERC启动资金的支持。使用事件和帧的异步光度特征跟踪15引用1. Lichtsteiner,P.,Posch,C.,Delbruck,T.:128×128 120 dB 15µ s延迟异步时间对比度视觉传感器。IEEE J.固态电路43(2)(2008)5662. 布兰德利角伯纳河杨,M.,Liu,S.C.,Delbruck,T.:240x180 130dB 3us延迟全局快门时空视觉传感器。IEEE J. Solid-State Circuits49(10)(2014)23333. 周,H.,Yuan,Y.,Shi,C.:使用SIFT特征和均值漂移的对象跟踪Comput. 目视形象Und. 113(3)(2009)345-3524. 克莱因,G.,Murray,D.:在照相手机上进行并行跟踪和绘图。在:IEEE ACMInt.Sym. 混合和增强现实(ISMAR)。(二零零九年)5. 福斯特角张志,Gassner,M.,Werlberger,M.,Scaramuzza,D.:SVO:单眼和多相机系统的半直接视觉里程计。IEEE Trans. Robot. 33(2)(2017)2496. Mur-Artal,R., Montiel,J. M. M., 你好J D. :ORB-SLAM:aversatilendaccu-速率单目SLAM系统。IEEE Trans. Robot. 31(5)(2015)1147-11637. Rosinol Vidal,A.,Rebecq,H.,Horstschaefer,T.,Scaramuzza,D.:终极SLAM?组合事件、图像和IMU以用于HDR和高速场景中的鲁棒视觉SLAMIEEERobot.自动Lett. 3(2)(2018年4月)9948. Kueng,B.,Mueggler,E.,加列戈湾Scaramuzza,D.:低延迟视觉穹顶-尝试使用基于事件的要素轨迹。在:IEEE/RSJ Int.确认输入机器人2016年10月,韩国大田市,系统(IROS)169. Zhu,A.Z.,Atanasov,N.,Daniilidis,K.:具有概率数据关联的基于事件的特征跟踪。在:IEEE国际会议机器人。自动(ICRA)。(2017)4465-447010. Mueggler,E.,Rebecq,H.,加列戈湾Delbruck,T. Scaramuzza,D.:事件-相机数据集和模拟器:基于事件的数据,用于姿态估计、视觉自动测量和SLAM。Int. J.机器人研究36(2017)14211. Mueggler,E., 胡贝尔湾Scaramuzza,D.: 基于事件的6自由度姿态跟踪高速机动在:IEEE/RSJ Int.确认输入机器人系统(IROS)。(2014)2761-2768。活动摄像机动画:https://youtu.be/LauQ6LWTkxM? t=25.12. Ni,Z.,Bolopion,A.,Agnus,J.,贝诺斯曼河Regnier,S.:异步事件-基于视觉形状跟踪的微机器人稳定的触觉反馈。IEEE Trans. Robot. 28(2012)1081-108913. Lagorce,X.,迈耶角Ieng,S.H.,Filliat,D.,Benosman,R.:异步事件-基于多核算法的高速视觉特征跟踪。IEEE跨神经网络学习. 系统 26(8)(2015年8月)1710-172014. Clady,X.,Ieng,S.H.,Benosman,R.:基于事件的异步角点检测和匹配。 神经网络66(2015)91-10615. Tedaldi,D.,加列戈湾Mueggler,E.,Scaramuzza,D.:使用动态和有源像素视觉传感器(DAVIS)进行特征检测和跟踪。入:国际会议基于事件的控制信号处理(EBCCSP)。(2016)116. Clady,X., Maro,J. M., Bar r'e,S., 别这样,R。B. :基于事件的模式识别的一种基于模型的经验。前面Neurosci. 10(2017年1月)17. Vasco,V. Glover,A. Bartolozzi,C.:基于事件的快速Harris角点检测利用事件驱动相机的优点。在:IEEE/RSJ Int.确认输入机器人系统(IROS)。(2016年)18. Mueggler,E.,Bartolozzi角Scaramuzza,D.:基于事件的快速角点检测。 在:英国机器视觉.Conf. (BMVC)。(2017年)16D. 格里克,H.Rebecq,G.加列戈湾斯卡拉穆扎19. 哈里斯角Stephens,M.:一种组合的角点和边缘检测器。第四届Alvey Vision Conf.第15曼彻斯特,英国(1988)14720. Rosten,E.,德拉蒙德,T.: 用于高速角点检测的机器学习。于:EUR. Conf. Comput. 目视(ECCV)。(2006)43021. 乔杜里河Ravichandran,A.,Hager,G.,维达尔,R.:非线性动力学系统的定向光流直方图和Binet-Cauchy核用于人类行为的识别。在:IEEE国际确认补偿目视模式识别(CVPR)。(June 1932-1939年22. Besl,P.J.,McKay,N.D.:一种三维形状配准方法。IEEE传输模式分析机器内部14(2)(1992)23923. 加列戈湾 Lund,J.E.A., Mueggler,E., Rebecq,H., Delbruck,T. 斯卡拉穆扎D.:基于事件的6-DOF相机跟踪,来自光度深度图。IEEE Trans. 模式分析机器内部(2017年)24. 加列戈湾福斯特角Mueggler,E.,Scaramuzza,D.: 基于事件的摄像机姿态使用生成事件模型进行跟踪。 arXiv:1510.01972(2015)25. 卢卡斯,B.D. Kanade,T.:一种迭代图像配准技术及其在立体视觉中的应用。在:国际联合会议人工智能(IJCAI)。(1981年)674-67926. 伊万杰里迪斯Psarakis,E.Z.:使用增强的相关系数最大化的参数图像对准。IEEE传输模式分析机器内部30(10)(2008年10月)27. Agarwal,A.,Mierle,K.,其他:谷神星解算器。http://ceres-solver.org28. 加列戈湾Scaramuzza,D.:利用事件的精确角速度估计相机IEEE Robot.自动Lett. 2017年第2期第632-639页29. 加列戈湾Rebecq,H.,Scaramuzza,D.: 一个统一的对比度最大化框架-适用于事件摄像机,应用于运动、深度和光流估计。在:IEEE国际确认补偿目视模式识别(CVPR)。(2018)3867- 387630. Rebecq,H.,加列戈湾Mueggler,E.,Scaramuzza,D.:EMVS:利用事件相机实时进行的基于事件的多视图立体3D重建。国际计算机目视(2017年11月)131. Rebecq,H.,Horstschaefer,T.,Scaramuzza,D.:使用基于关键帧的非线性优化的事件摄像机的实时视觉-惯性odom。在:英国机器视觉.Conf. (BMVC)。(2017年9月)32. 马克达人工智能Loquercio,A.,加列戈湾Garc'ıa,N.,Scaramuzza,D.:基于事件的视觉与深度学习相结合,用于自动驾驶汽车的转向预测。在:IEEE国际Conf.Comput. 目视模式识别(CVPR)。(2018)541933. Bardow,P. Davison,A.J.,Leutenegger,S.:从事件照相机的同时光流和强度估计。在:IEEE国际确认补偿目视模式识别(CVPR)。(2016)88434. Kim,H. Handa,A.,贝诺斯曼河Ieng,S.H.,Davison,A.J.:同时镶嵌和跟踪与事件摄像机。在:英国机器视觉. Conf.(BMVC)。(2014年)35. Rebe c q,H.,你好吗T 去吧,G., S c aramuz za,D. EVOO:基于事件的6-D 0F并行实时跟踪和映射的几何方法。IEEE Robot. 自动Lett. 2(2017)59336. Reinbacher,C. Graber,G., Pock,T.: 实时强度图像重建用于使用流形正则化的事件摄像机。在:英国机器视觉. Conf.(BMVC)。(2016年)37. Munda,G.,Reinbacher,C. Pock,T.: 实时强度图像重建使用流形正则化的事
下载后可阅读完整内容,剩余1页未读,立即下载
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 新皇冠假日酒店互动系统的的软件测试论文.docx
- 上海空中营业厅系统的软件测试论文.doc
- 网上选课系统的设计与实现论文.doc
- 师生互动网站设计与实现 ()论文.doc
- 学生档案管理系统论文_正文.doc
- 视频会议系统的设计与实现毕业论文.docx
- 基于web的职工电子档案管理系统的设计与实现毕业论文.docx
- 考试辅导网站的设计与实现论文.doc
- 论文 云端图书馆管理系统设计与实现.docx
- 计算机等级考试网上辅导系统的设计与实现论文.doc
- 基于web烘焙坊网站的设计与实现论文.doc
- 论文_基于J2EE的高校后勤采供管理系统开发.docx
- 老龄化社区服务及其系统应用论文.doc
- 论文-java基于SSM的大学生创新创业信息系统.docx
- 猎豹安全浏览器的软件测试论文.doc
- 基于Web的网上书店系统的设计与实现毕业论文.docx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)