没有合适的资源?快使用搜索试试~ 我知道了~
基于立体事件相机的半密集三维重建Yi Zhou1, 2,Guillermo Gallego3,HenriRebecq3,Laurent Kneip4,Hongdong Li1, 2,andDavide Scaramuzza31澳大利亚国立大学澳大利亚机器人视觉中心Australian Centre for Robotic Vision3个部门信息学和神经信息学,苏黎世大学和苏黎世联邦理工学院4上海科技大学信息科学与技术学院抽象。事件摄像机是生物启发的传感器,提供了几个优势,如低延迟,高速和高动态范围,以应对计算机视觉中具有挑战性的场景本文提出了一种解决方案的三维重建的问题,从一个立体的事件,相机钻机在静态场景中移动,如在上下文的立体同步定位和地图。所提出的方法包括一个能量函数的优化,旨在利用小基线的时空一致性的事件触发两个立体图像平面。为了提高重建的密度和减少估计的不确定性,还开发了概率深度融合策略所得到的方法没有特殊的要求,无论是运动的立体事件相机钻机或先验知识的场景。实验表明,我们的方法可以处理纹理丰富的场景,以及稀疏的场景,优于国家的最先进的基于事件数据图像表示的立体方法。多媒体素材有关此工作的补充视频,请访问https://youtu.be/Qrnpj2FD1e41介绍诸如动态视觉传感器(DVS)[1]之类的事件摄像机是新颖的设备,其在事件发生时将事件变化(被称为“事件“)输出为事件变化与标准相机相反,它们不获取整个图像帧,也不以固定的帧速率操作。这种异步和差分工作原理大大降低了功耗和带宽要求。赋予微秒时间分辨率,事件相机能够捕获高速运动,这通常会导致标准相机上的严重运动模糊。另外,事件相机具有非常高的动态范围(HDR)(例如,140 dB(与大多数标准摄像机的60 dB相比),这允许它们在宽照明范围内使用因此,事件2Y. Zhou,G.加列戈河雷贝克湖Kneip,H.Li,D.斯卡拉穆扎摄像机为解决标准摄像机无法实现的挑战性场景打开了大门,例如高速和/或HDR跟踪[2由于现有的计算机视觉算法设计的标准相机不直接适用于事件相机,在视觉处理与这些新的传感器的主要挑战是设计专门的算法,可以利用时间异步和空间稀疏的性质产生的数据事件相机解锁其潜力。一些初步工作通过将事件相机与附加传感器(例如标准相机[8,17,18]或深度传感器[17,19])组合来解决这个问题,以简化手头的估计任务。虽然这种方法取得了一定的成功,但由于这种组合系统的部分受到较低动态范围或较慢设备的限制,因此事件摄像机的能力没有得到充分利用。在这项工作中,我们解决的问题,立体三维重建的视觉里程计(VO)或SLAM单独使用事件相机。我们的目标是通过开发一种基于其工作原理并仅使用事件的方法来释放事件相机的潜力。1.1基于事件的深度估计关于使用事件相机的深度估计的大多数工作针对“在一个或多个事件中”的问题,即。例如,使用来自立体配置中的一对同步相机的视图的3D重建有固定基线),期间非常短的时间(理想情况下,基于每个事件)。这些作品中的一些[20-22]遵循两个步骤解决立体声的经典范例:核线匹配,然后是3D点三角测量。时间相干性(例如,使用跨左相机和右相机两者的事件的同步性(同步性)来找到匹配事件,然后标准三角测量[23]恢复深度。其他作品,如[24,25],将合作立体声[26]扩展到事件相机的情况。这些方法通常在具有静态相机和少量移动对象的场景中演示,从而由于整齐的事件数据而容易找到事件匹配一些作品[27,28]还针对瞬时立体声的问题(使用非常短的时间间隔内的事件产生的深度图),但它们使用两个非同时事件相机。这些方法利用受约束的硬件设置(具有已知运动的两个旋转事件相机)来(i)恢复应用常规立体的强度图像[27]或(ii)使用时间度量来匹配跨相机的事件,然后使用三角测量[28]。最近,在[11- 14,29]中已经示出了利用单事件相机的深度估计这些方法通过在较长的时间间隔上整合来自移动相机的事件的信息来恢复场景的半密集3D重建,并且因此需要相机与场景之间的相对姿态的信息因此,这些方法不针对瞬时深度估计的问题,而是针对VO或SLAM的深度估计的问题Contributio n. 在本实施例中,对于现有技术,首先解决利用立体配置中的一对事件相机进行非瞬时3D重建的问题。我们的方法是基于时间的连贯性基于立体事件相机的半密集三维重建3在左和右图像平面上的事件。然而,它与以前的努力(例如瞬时立体方法[ 20-22,27,28])的不同之处在于:(i)我们不遵循事件匹配加三角测量的经典范例,而是前向投影方法,其允许我们在不明确解决事件匹配问题的情况下估计深度,(ii)我们能够处理稀疏场景。(由少数对象产生的事件)以及杂乱的场景(由于照相机的运动而在图像平面中到处不断产生的事件),以及(iii)我们使用相机姿态信息来整合随时间的观测以产生半密集深度图。此外,我们的方法计算连续的深度值,而不是其他方法,如[11],其离散化深度范围。纲要第2节提出了考虑的三维重建问题和我们的解决方案,制定为最小化的目标函数,测量的时间不一致的事件的时间表面地图在左,右图像平面。第3节提出了将多个基于事件的3D重建融合到单个深度图中的方法。第4节评估我们的方法在合成和真实事件数据,显示其良好的性能。最后,第五章对全文进行了总结。2基于事件时间-表面图能量最小化的我们的方法受到用于常规相机的多视图立体管线的启发,诸如DTAM[30],其旨在通过多个窄基线视频帧来最大化光度然而,由于事件相机并不输出吸收,而是在特定时间段(“事件”),因此不能容易地应用直接的基于光度一致性的相反,我们利用的事实,即事件摄像机编码的视觉信息的微秒分辨率的时间戳的强度变化的形式。对于立体事件摄像机,摄像机的重叠视场(FOV)中的可检测的3D点将在左摄像机和右摄像机两者上生成事件。理想地,这两个事件应当同时尖峰,并且它们的坐标应当根据由两个摄像机限定的对极几何形状而对应这个属性实际上使我们能够应用(和修改)类似于DTAM的想法,简单地通过用立体时间一致性替换光度一致性。然而,如[31]所示,由于信号延迟和抖动效应,立体声时间一致性因此,我们通过在时空邻域上聚合测量值来定义我们的立体时间一致性标准,而不是通过比较两个单独像素处的事件时间戳,如我们接下来所示。5强度边缘处的点(即,空间的非均匀区域),使得强度改变(即,事件)在该点相对于照相机移动时生成4Y. Zhou,G.加列戈河雷贝克湖Kneip,H.Li,D.斯卡拉穆扎.图1:左:观察旋转点时事件摄像机的输出右:时间-在时间t的表面图(1),T(x,t),其基本上测量在每个像素x =(u,v)T处最后一个事件在时间上(相对于t)尖峰有多远。颜色越亮,事件生成的时间越近图改编自[33]。2.1事件时间-表面图我们建议应用补丁匹配来比较一对尖峰历史图,代替DTAM [30]中使用的光度扭曲误差。具体来说,为了创建两个独特的地图,我们提倡使用受[32]启发的时间表面进行基于事件的模式识别。如示于图1,事件相机的输出是事件流,其中每个事件ek=(uk,vk,tk,pk)由发生预定义大小的强度变化的时空坐标和变化6的符号(极性pk∈{+1,-1})组成。通过在每个像素坐标x=(u,v)T处的最后尖峰时间tlast上应用指数衰减核来定义时间t处的时间-表面图:.T(x,t)= exp.Σ−t−tlast(x)δ、(1)其中,衰减速率参数δ是小的常数(例如,30ms)。为了便于可视化和处理,(1)被进一步重新缩放到范围[0, 255]。我们的目标函数是在不同观测时间t={ts}的一组时间表面映射(1)上构造的。2.2问题公式化我们遵循全局能量最小化框架来从附近的多个立体观测s∈SRV估计参考视图(RV)中的逆深度图D立体声音响。在时间Σet的观测是指一对时间表面图cre-t(·,t),Tright(·,t)。一个系统可以通过以下方式进行检索姿态更新或以恒定速率。对于参考视图中的每个像素x其逆深度ρ= 1/z 通过优化目标函数来估计:ρ= arg minC(x,ρ)(2)ρ6未使用事件极性,因为[13]表明3D重建不需要事件极性⋆基于立体事件相机的半密集三维重建5左/右图2:所提出的问题和解决方案的几何图形的图示参考视图(RV)在左侧,其中具有坐标X的事件被反向投影到具有假设的逆深度P的3D空间中。最优的输入值确定了空间坐标[ρmin,ρmax],其取决于3D点的真实位置,该真实位置满足每个相邻立体观测中的时间一致性。.1Σss2C(x,ρ)=|SRV| s∈SRVτleft(x1(ρ))−τright(x2(ρ))什么时候|SRV|定义多个已解决的数据库对象用于平均。函数τs(x) 返回时态信息t/right(·,t)被定义为w×wpatchentedatimagepontx。Theresidualal.Ssrs(ρ)=τleft(x1(ρ))−τright(x2(ρ))2(4)表示以x1为中心的块之间的l2范数的时间差,x2,分别在左和右事件摄像机所提出的目标函数背后的几何结构如图所示二、由于我们假设校准(内在和外在参数)以及在每个观察处的左事件相机Tsr的姿态是已知的(例如, 从跟踪算法,如[12,14]),点x 1和x 2分别由x 1(ρ)=π(Tsrπ−1(x,ρ))和x 2(ρ)=π(TETsrπ−1(x,ρ))给出。函数π:R3-R2将3D像素投影到相机的图像平面,其中在给定逆深度ρ的情况下,逆函数π-1:R2-R3将像素反向投影到3D空间中。 TE表示从左到右事件相机的变换。注意,所有事件坐标X都是未失真的并且被校正的。为了验证所提出的目标函数(3)确实导致参考视图中的一般事件的最佳深度(图11)。3(a)),已经创建了来自真实立体事件相机序列[34]的多个立体观察(图3(a))3(c)和3(d)),并用于可视化的能量在事件的位置(图。第3(b)段)。在整个纸张中,补丁的大小为w= 25像素6Y. Zhou,G.加列戈河雷贝克湖Kneip,H.Li,D.斯卡拉穆扎32100 1 2 3逆深度[m-1](a) 参考中的事件-(b)目标函数c-(c)时间表面(d)时间表面正视图(RV)。第(3)项(红色)。标测图(左DVS)。标测图(右DVS)。图3:提出的目标函数。(a)在像素X处的随机选择的事件在(3)中的能量C(x,p)在(b)中被可视化为p的函数,其中粗红色曲线通过对以x为中心的块中的相邻像素xi的成本C(xi,p)求平均来获得(由具有随机颜色的曲线垂直虚线(黑色)指示地面实况反演深度。在(c)和(d)中分别示出了在观察时间之一处的左事件相机和右事件相机的时间-表面图,其中用于测量时间残差的块以红色指示注意,我们的方法显著偏离了经典的两步事件处理方法[20-22],其首先解决立体匹配问题,然后对3D点进行三角测量,由于在非常短的时间间隔内难以建立正确的事件匹配,因此容易出现错误。这些两步应用程序以“并行执行”方式将2D视图元素映射到3D空间。相反,我们的方法结合了匹配和三角测量在一个单一的步骤中,在一个前向投影的方式(从3D空间到2D事件测量)。如图2,逆深度假设ρ产生3D点π−1(x,ρ),其在两个立体图像平面上的投影对于所有的s“s“给出了在该对象中的区域对应的x s(ρ)和d x s(ρ)。1 2函数(3)。因此,逆深度假设P建立候选立体声。事件匹配,并且一旦目标函数相对于ρ被最小化,就获得最佳匹配。2.3逆深度估计使用非线性最小二乘法优化所提出的目标函数(3)。这里使用高斯-牛顿法,它迭代地发现必要的最优性条件C2=∂ρ|SRV|Σs∈SRVr rs = 0.(五)sρ用一阶泰勒公式代替ρk处rs的线性化rs(ρk+Δ ρ)≈rs(ρk)+Js(ρk)Δ ρ,在(5)中我们得到Σs∈SRVJs(rs+Js∆ p)= 0,(6)106能源基于立体事件相机的半密集三维重建7左/右S其中,残差rs≡rs(ρk)和雅可比矩阵Js≡Js(ρk)都是标量。因此,通过添加增量来迭代地更新逆深度ρΣ∆ρ=−Σs∈SRVJsrs。(七)J2s∈SRV S雅可比矩阵通过应用链式法则来计算,.ssJs(ρ)=ρτleft(x1(ρ))−τright(x2(ρ))21 .一、Σ. τsτsΣ(八)=τs-τsT左-对S左右2+左权1×w2ρ2 ×1 ×2×1其中,为了简单起见,在最后一个等式中省略了像素符号xi(p)。为了避免被零除,在残差向量的长度上加上一个小的数字。实际上,如3.1节中对时间残差rs的分布的研究所示,时间残差不太可能接近零对于有效的立体观测(即,具有足够事件的补丁)。衍生时间-表面图相对于逆深度的时间-表面图的相对于逆深度的时间τsτs=. τs=,则τsΣ. u、.(九)联系我们∂u ∂vw2×2∂ρ ∂ρu/整个过程总结在算法1中。 输入的al-m分别是RV中的事件的像素坐标x,立体观测(时间-表面图)Ts(s∈SRV),相对姿态从RV到每个涉及的立体观察的Tsr和恒定的外部两个事件摄像机之间的参数TE。RV中的所有事件的逆深度被独立地估计。因此,计算是可并行的。首先通过在合理的逆深度值的范围内进行粗搜索来定位收敛盆地,粗搜索步骤被选择为在定位收敛盆地时平衡效率和准确性,并且还基于我们观察到的盆地的宽度总是大于0。2m-1用于所进行的实验。3半密集重建第2节中提出的3D重建方法在参考视图(RV)处产生稀疏深度图。为了提高重建的密度,同时降低估计深度的不确定性,我们沿着时间在若干RV上运行重建方法(算法1)并融合结果。为此,在本节中研究逆深度估计的不确定性。基于导出的不确定性,融合策略的开发和增量应用的稀疏重建的新的RV获得。我们的最终重建接近半密集水平,因为它重建沿着边缘的所有像素的深度。ǁτ-τ8Y. Zhou,G.加列戈河雷贝克湖Kneip,H.Li,D.斯卡拉穆扎左ρRσ≈R⋆=算法1参考视图(RV)处的逆深度估计1:输入:像素X,立体事件观测值TsS权并且姿态为Tsr、Te。2:ρ0←ρinitial(bycoarsesear choverarangge[ρmin,ρmax])。3:不收敛时做4:对于每个观察s做5:计算⑷中的rs(ρk)。6:使用(8)计算Js(ρk7:结束8:更新:ρk←ρk+∆ρ,使用(7)。9:结束时10:returnInverse depth ρk。2.521.510.500 500 1000 1500时间残余图4:时间残差{ri}的概率分布(PDF):经验(灰色)和高斯拟合N(μ,σ2)(红线)。3.1深度反演在高斯-牛顿方法的基础上,ρρk<$ρk+ρ(r),(10). 其中Δ ρ是残差r {r1,r2,. . .,rs|s∈SRV},如(7)中所定义。 可以使用不确定性传播[35]导出逆深度估计的方差σ 2。为了简单起见,仅考虑时间残差r中的噪声:. ρ珀(σ2Id)∂ρ⋆布里尔2=Σrs∈SRV二、(十一)S这个方程式的推导可在补充材料中找到。我们通过调查时间残差r的分布来凭经验确定σr 使用地面实况深度,我们对大量的时间残差r ={r1,r2,…rn}。方差σ2是通过将高斯分布拟合到r的直方图来获得的,如图2所示。4.第一章10- 3= 481.9469174.5063美元概率密度、TσJ2基于立体事件相机的半密集三维重建9左一1σ图5:深度图融合策略。所有立体观测(TsS权 )是-用空心圆圈标注并按时间顺序列出相邻的RV融合到所选的RV中(例如,RV3)。使用从RV5到RV3的融合作为示例,融合规则以虚线正方形示出,其中图像平面的一部分被可视化。蓝点是RV5中的3D点在RV3的图像平面上的重新投影。灰点表示未分配的像素,其将由一个像素内的蓝点分配。已经被分配的像素绿色的(与蓝色的兼容)将被熔合。不兼容的像素(红色)将保留或被替换,这取决于哪个分布具有最小的不确定性。3.2逆深度融合为了提高重建的密度,来自多个RV的逆深度估计被递增地传送到所选择的参考视图RV,并且被融合。假设RVi中的像素的逆深度遵循分布N(ρα,σ2),则RVi中的其对应位置通常是非整数坐标这将对四个相邻像素坐标{xi}4产生影响。j j=1以xi为例,基于以下规则进行融合:1. 如果不存在先前分布,则将N(ρa,σ2)赋给xi的12. 如果存在在X1处指派的现有逆深度分布,例如,N(ρb,σ2),1B检查两个逆深度假设之间的兼容性,无论它们是否熔断,都要杀死使用χ2检验在95%下评价相容性[35]:(ρa−ρb)22一(ρa−ρb)2+2B< 五、九十九。(十二)如果两个假设是相容的,则将它们融合成单个逆深度分布:. σ 2 ρ +σ2ρσ2σ2ΣNab ba,ab、(十三)σ2+σ2aba a否则保持具有最小方差的分布。融合策略的图示在图中给出。五、、Tσ10Y. Zhou,G.加列戈河雷贝克湖Kneip,H.Li,D.斯卡拉穆扎左S4实验在本节中评估所提出的立体3D重建方法。我们首先介绍我们的立体事件相机系统的配置和实验中使用的数据集。之后,定量和定性评价。另外,深度融合过程被示出以突出其如何在降低深度不确定性的同时提高重建的密度4.1立体事件摄像机设置为了评估我们的方法,我们使用来自公开可用的模拟器[36]和数据集[34]的序列,并且我们还使用立体事件相机装备收集我们自己的序列(图13)。(六)。立体装置由两个240× 180像素分辨率的动态和有源像素视觉传感器(DAVIS)[37]组成,使用Kalibr[38]进行内部和外部校准。由于我们的算法是在校正和未失真的坐标上工作,因此提前计算联合未失真和校正变换。当立体事件相机系统移动时,新的立体观察(Ts右)当姿态更新可用时生成生成包括两个步骤。第一步骤是通过收集在10ms内发生的所有事件(从时间点到该事件的时间点开始)来生成校正事件图,如图3(a)所示第二步是刷新左事件相机和右事件相机中的时间表面图,如图1和图2所示。3(c)和3(d)。选择其中一个观测值RV的校正事件图与其余观测一起被馈送到逆深度估计模块(算法1)。我们使用校正的事件图作为选择图,即,我们仅在校正的事件图中具有非零值的像素处估计深度(见第6段(c)和(d)分段)。随着越来越多的RV被重建并融合在一起,结果变得更密集且更准确。4.2结果对六个序列进行评估,包括来自模拟器的合成序列[36],我们自己收集的三个序列(手持)和来自[34]的两个序列(安装在无人机上的立体事件相机)。每个场景的快照在图1的第一列中给出7.第一次会议。 在合成序列中,立体事件相机系统在执行纯平移的同时正交地朝向三个正面平行平面看。我们的三个序列展示了典型的办公室场景和各种办公用品。立体事件相机装置是手持式的,并执行任意6自由度运动,这是由亚毫米精度的运动捕捉系统记录。另外两个序列7DAVIS包括一个帧相机和一个事件传感器(DVS),它们在同一像素阵列上完美对齐。因此,我们使用标准方法对强度帧校准立体对、T基于立体事件相机的半密集三维重建11相机DAVIS240宽度240 pix高度180 pix◦视野62.9基线14. 7厘米(a)系统信息a-(b)立体声事件-(c)事件地图(d)事件地图第摄影机左摄像头。正确的相机图6:左侧,(a)和(b):在我们的实验中使用的立体事件相机装备,由两个同步的DAVIS [37]设备组成。右,(c)和(d):在一次观测时的校正的事件图。表1:对具有地面实况深度的序列的定量评估数据集模拟3飞机[36]室内飞行1[34]室内飞行3[34]使用无人机[34]在大型室内环境中收集,姿态信息也来自运动捕捉系统。这两个序列由于两个原因而非常具有挑战性:(i)各种各样的结构,诸如椅子、吧台、橱柜上的三脚架等。可以在该场景中找到,以及(ii)无人机在数据收集期间经历相对高速的运动。在表1中给出了对具有地面实况深度的数据集的定量评估,其中我们将我们的方法与两种最先进的瞬时统计学方法“F as t C os t - V olum e F i l t e r i n g” (F C VF) [39]和 “S em i- Global Matching”(SGM)[ 40]进行比较,对时间表面图像对进行工作(如图1A和1B中所示)3(c)和3(d))。我们报告平均深度误差、中值深度误差和相对误差(定义为平均深度误差除以场景的深度范围[13])。为了比较公平,由FCVF和SGM返回的全密集深度图被时间表面图像中的非零像素掩蔽此外,深度图的边界考虑到在每个实现中使用的块大小而被裁剪。每个序列的最佳结果在表1中以粗体突出显示。我们的方法优于其他两个竞争对手的所有序列。虽然FCVF和SGM的合成序列也给出了令人满意的结果,他们不工作,以及在更复杂的情况下,其中的意见是不够密集,或时间的一致性并不严格保持在一个单一的立体观测。深度范围二、76米4.第一章96 m五、74米平均误差0的情况。03米0的情况。13m0的情况。33米我们的方法中位误差0的情况。01米0的情况。05米0的情况。11米相对误差1 .一、百分之十七二、百分之六十五五、百分之七十九平均误差0的情况。05米0的情况。99m1 .一、03米FCVF [39]中位误差0的情况。03米0的情况。25米0的情况。11米相对误差1 .一、百分之八十四20块百分之八十七岁百分之三12Y. Zhou,G.加列戈河雷贝克湖Kneip,H.Li,D.斯卡拉穆扎所有序列上的重建结果在图1中可视化。7.第一次会议。第一列上的图像是来自DAVIS的原始强度帧。它们传达场景的外观,但不被我们的算法使用第二列示出了RV的左事件相机中的校正和未失真的事件图。事件的数量不仅取决于立体声的运动装备,但也在现场的视觉对比度的数量。在第三列中给出半密集深度图(在与若干相邻RV融合最后一列显示了每个序列在所选视角下的3D点云。请注意,只有点其方差σ2小于0。8×(σmax)2在3D中可视化。ρ ρ一个RV中的经整流的事件的重建是稀疏的,并且通常充满噪声。为了展示融合策略如何提高重建的密度并降低不确定性,我们还进行了一个实验,该实验使融合过程逐渐可视化。如图在图8中,第一列可视化融合之前的不确定性图第二至第四列分别展示了将RV的结果与其相邻的4、8和16个估计融合后的不确定性图。热颜色表示高不确定性,而冷颜色表示低不确定性。随着越来越多的RV被融合,结果注意,剩余的高度不确定的估计通常对应于由噪声或低对比度图案引起的事件。5结论本文提出了一种新的和有效的解决方案,三维重建使用一对时间同步的事件相机在立体配置。也就是说,根据所有新的知识,首先要解决允许具有事件相机的立体SLAM应用的问题。所提出的能量最小化方法利用跨相机的事件的时空一致性,以实现高精度(1%和5%之间的相对误差),它优于国家的最先进的立体声方法,使用相同的时空图像表示的事件流。未来的工作包括通过以并行跟踪和映射方式将所提出的3D重建策略与立体相机姿态跟踪器相结合来开发全立体视觉里程计系统[14]。确认导致这些结果的研究得到了澳大利亚中心的支持机器人视觉和国家机器人研究能力中心(NCCR),通过瑞士国家科学基金会,SNSF-ERC启动补助金和NCCR博士学位。交流奖学金计划。周毅也感谢国家 留 学 基 金 管 理 委 员 会 对 他 博 士 学 位 的 资 助 。 奖 学 金 号201406020098。基于立体事件相机的半密集三维重建13图7:所提出的方法在几个数据集上的结果。第一列上的图像是原始强度帧 (未校正也 未校正透镜失 真)。第 二列示出了参 考视图(RV)的左事件相机中的事件(未失真和矫正的)第三列中给出了半密集深度图(在与若干相邻RV融合之后),根据深度从红色(近)到蓝色(远)着色。第四列以所选视角可视化每个序列的3D点云。未进行后处理(例如通过中值滤波进行正则化[13])。14Y. Zhou,G.加列戈河雷贝克湖Kneip,H.Li,D.斯卡拉穆扎图图8:融合策略如何在减少深度不确定性的同时逐渐提高重建的密度的图示第一列示出了融合之前的不确定性图〇p第二至第四列分别报告与4、8和16个相邻估计融合后的不确定性图。基于立体事件相机的半密集三维重建15引用1. Lichtsteiner,P.,Posch,C.,Delbruck,T.:128×128120 dB 15µ s延迟异步时间对比度视觉传感器。IEEE J.固态电路43(2)(2008)5662. Mueggler,E.,胡贝尔湾Scaramuzza,D.:基于事件的6-DOF姿态跟踪 , 用 于 高 速 机 动 。 在 : IEEE/RSJ Int.Conf. 内 特 尔 机 器 人 系 统(IROS). (2014)27613. Lagorce,X.,迈耶角Ieng,S.H.,Filliat,D.,Benosman,R.:基于事件的异步多核算法在高速视觉特征跟踪中的应用。IEEE Trans. NeuralNetw. 我是一个人。 SYST。26(8)(August2015)17104. Zhu,A.Z.,Atanasov,N.,Daniilidis,K.:具有概率数据关联的基于事件的特征跟踪。在:IEEE国际会议机器人。自动(ICRA)。(2017)44655. 加 列 戈 湾 Lund , J.E.A. , Mueggler , E. , Rebecq , H. , Delbruck , T.Scaramuzza,D.:基于事件的6-DOF相机跟踪,来自光度深度图。IEEE传输模式分析机器内部(2017年)6. 加列戈湾Scaramuzza,D.:用事件相机精确估计角速度。 IE E ERobt.Autom. LETT。2017-06 - 26 00:00:007. Mueggler,E.,加列戈湾Rebecq,H.,Scaramuzza,D.:具有事件照相机的连续时间视觉-惯性里程计IEEE Trans.机器人(2017)正在审查中。8. Gehrig,D.,Rebecq,H.,加列戈湾Scaramuzza,D.:使用事件和帧的异步光度特征跟踪。In:Eur.确认补偿目视(ECCV)。(2018年)9. Conradt , J. , Cook , M. , 伯 纳 河 Lichtsteiner , P. , Douglas ,R.J.Delbruck,T.:使用一对AER动态视觉传感器的铅笔平衡机器人In:IEEE Int.Sym p.CircuitsSyst.(ISCAS)。(2009年)78110. Delbruck,T.朗,M.:使用基于事件的动态视觉传感器的机器人守门员,在4%的CPU负载下具有3ms的反应时间。前面Neurosci.第7(223)(2013)号决议11. Rebecq,H.,加列戈湾Scaramuzza,D.:EMVS:基于事件的多视图立体。在:英国机器视觉. Conf.(BMVC)。(2016年9月)12. Kim,H.Leutenegger,S.,Davison,A.J.:使用事件摄像机进行实时3D重建和In:Eur.确认补偿目视(ECCV)。(2016)34913. Rebecq,H.,加列戈湾Mueggler,E.,Scaramuzza,D.:EMVS:利用事件相机实时进行的基于事件的多视图立体3D重建Int. J. Comput. Vis.(2017年9月)114. Rebecq,H., Horstscha¨fer,T., 走吧G Scaramuzza,D. :EV0:基于事件的6-D 0 F并行实时跟踪和映射的通用方法。IEEE Robot.Autom.LETT。2(2017)59315. Rebecq,H.,Horstschaefer,T.,Scaramuzza,D.:使用基于关键帧的非线性优化的事件摄像机的实时视觉-惯性odom。在:英国机器视觉. Conf.(BMVC)。(2017年9月)16. Rosinol Vidal,A.,Rebecq,H.,Horstschaefer,T.,Scaramuzza,D.:终极SLAM?组合事件、图像和IMU以用于HDR和高速扫描中的鲁棒视觉SLAM。 IEEERobt. Autom. Let t。3(2)(2018年版)99417. Censi,A.,Scaramuzza,D.:低延迟基于事件的视觉里程计。In:IEEEInt.Conf. Robot. Autom. (ICRA)。(201 4)70318. Kueng,B.,Mueggler,E.,加列戈湾Scaramuzza,D.:低延迟视觉odome-尝试使用基于事件的功能跟踪。在:IEEE/RSJ Int.确认输入机器人系统(IROS),Daejeon,Korea(2016年10月)1616Y. Zhou,G.加列戈河雷贝克湖Kneip,H.Li,D.斯卡拉穆扎19. Weikersdorfer,D.,阿德里安D.B.Cremers,D.Conradt,J.:具有深度增强动态视觉传感器的基于事件的3D在:IEEE国际Conf. 机器人自动(ICRA)。(2014年6月)35920. Kogler,J.,Humenberger,M.,Sulzbachner,C.:基于事件的立体匹配ap-无 帧 地 址 事 件 立 体 声 数 据 的 途 径 。 In : Int. Symp. 高 级 视 觉 Comput.(ISVC). (2011)67421. Rogister,P.,贝诺斯曼河Ieng,S.H.,Lichtsteiner,P.,Delbruck,T.:无侧-基于事件的同步双目立体匹配。IEEE Trans.神经网络学习. SYST。23(2)(201 2)34722. 卡穆纳斯-梅萨,洛杉矶,Serrano-Gotarredona,T.,Ieng,S.H.,Benosman,R.B.,Linares-Barranco,B.:在事件驱动立体视觉中使用方向滤波器进行3D重建。前面Neurosci.第8(2014)号决定第48页23. 哈特利河齐瑟曼,A.:计算机视觉中的多视图几何凸轮-剑桥大学出版社(2003)第二版。24. Piatkowska,E.,Belbachir,A.N.,Gelautz,M.:基于自适应协作方法的事件驱动动态立体传感器异步立体视觉入:国际会议来吧。 Vis. 工作停止(ICCVW)。(2013年)4525. Osswald,M.,Ieng,S.H.,贝诺斯曼河Indiveri,G.:尖峰神经网络基于事件的神经形态立体视觉系统的三维感知模型。科学报告7(1)(2017年1月)26. Marr,D.,Poggio,T.: 立体视差的协同计算 科学194(4262)(19 76)28327. Schraml,S.,Belbachir,A.N.,Bischof,H.:一个事件驱动的立体声系统,用于实时3D 360全景视觉。IEEE Trans.印第安纳电子学。63(1)(2016年1月)41828. Schraml,S.,Belbachir,A.N.,Bischof,H.: 事件驱动的立体匹配时间3D全景视觉。在:IEEE国际确认补偿目视模式识别(CVPR)。(2015年6月)46629. 加列戈湾Rebecq,H.,Scaramuzza,D.:一个统一的对比度最大化框架-用于事件摄像机,应用于运动、深度和光流估计。 In:IEEEInt. Conf.来吧。 Vis. PATTERECOG. (CVPR)。(2018)386730. Newcombe,R.A.,Lovegrove,S.J.,Davison,A.J.: DTAM:密集跟踪和我是一个真正意义上的人。 In:Int. Conf. 来吧。 Vis. (ICCV)。(2011年9月)232031. 贝诺斯曼河Ieng,S.H.,Rogister,P.,Posch,C.: 基于异步事件的Heb-bianepipo largeometr y. IEEETrans. NeuralNetw. 22(11)(20 11)172332. Lagorce , X. , Orchard , G. Gallupi , F. , Shi , B.E. , Benosman , R. :HOTS:用于模式识别的基于事件的时间表面的层次结构。IEEE传输模式分析我的妈妈。PP(99)(2016)133. Liu,S.C.,Delbruck,T.: 神经形态感觉系统。 当前的观点在新-生物学杂志20(3)(2010)28834. Zhu,A.Z.,Thakur,D. ,Ozaslan,T. Pfrommer,B.,Kumar,V.,Daniilidis,K.:多车辆立体事件相机数据集:用于3D图像的事件相机数据集。 IEEERobt. Autom. LETT。3(3)(2018年7月)203235. Mur-Artal河Tardos,J.D.:高精度概率半稠密映射基于特征的单目SLAM。在:机器人:科学与系统(RSS)。(2015年)36. Mueggler,E.,Rebecq,H.,加列戈湾Delbruck,T.Scaramuzza,D.:事件-相机数据集和模拟器:用于姿态估计、视觉odom-ery和SLAAM的基于事件的数据。 Int. J. Robot. RESEARCH36(2017)142基于立体事件相机的半密集三维重建1737. 布兰德利角伯纳河杨,M.,Liu,S.C.,Delbruck,T.:240x180 130dB3us延迟全局快门时空视觉传感器。IEEE J.固态电路49(10)(2014)233338. Furgale,P.,Rehder,J.,西格瓦特河:多传感器系统的统一时间和空间校准在:IEEE/RSJ Int.Conf. 内特尔机器人系统(IROS). (二零一三年)39. Hosni,A.,Rhemann,C.,Bleyer,M.,Rother,C.,Gelautz,M.:快速的成本-体积过滤,用于视觉对应和超越。IEEE传输模式分析机器输入。35(2)(February20 13)50440. Hirschmuller,H.:通过半全局匹配和相互信息的立体处理。IEEETrans.PattternAnal. 我的妈妈。30(2)(法国公报,2008年)328
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功