没有合适的资源?快使用搜索试试~ 我知道了~
我EventNet:异步递归事件处理Yusuke Sekikawa<$,Kosuke Hara< $,Hideo Saito†庆应义塾大学电装信息技术研究所摘要事件相机是生物启发的视觉传感器,其模仿视网膜以异步地报告每像素强度变化,而不是以规则间隔输出实际强度图像。这种新的图像传感器范例提供了显著的潜在优势;即稀疏和非冗余数据表示。然而,不幸的是,大多数现有的人工神经网络架构,如CNN,需要密集的同步输入数据,因此,不能利用数据的稀疏性我们提出了EventNet,一个神经网络设计的异步事件 流 的 递 归 和 事 件 明 智 的 方 式 进 行 实 时 处 理 。EventNet使用一种新颖的时间编码方案,递归地对输出与数万个因果事件的依赖性进行建模因此,在推理时,我们的网络以事件方式运行,这种方式是通过很少的乘积和操作(查找表和时间特征聚合)来实现的,这使得在标准CPU上每秒可以处理1兆或更多的事件。在使用真实数据的实验中,我们证明了我们的框架的实时性能和鲁棒性。1. 介绍现有的基于帧的范例-密集同步视频流采集和密集/批处理-不能扩展到更高的帧速率或更精细的时间分辨率,因为计算复杂度随着处理速率或时间分辨率线性增长(图11)。1顶部)。计算复杂性的增长来自于未改变像素的密集强度帧的冗余同步测量/传输以及随后的冗余信号处理算法,例如卷积神经网络(CNN)[24,7,4,20,28],其甚至针对未改变像素计算乘积的和。此外,多次计算相同的帧(时间滑动窗口操作)以建模时间依赖性[24]。基于事件的相机[10]放弃了基于帧的范例,而是采用了独立和异步像素亮度变化测量的生物启发方法,而没有冗余。这种新类型的数据采集具有使用自然压缩的非冗余事件流实现高速、非冗余信号处理的新范例的潜力。我们的研究目标是开发一种神经网络体系结构,它可以实时处理极高速率、可变长度和非均匀的原始事件流为此,我们提出了EventNet,一个神经网络设计的异步事件流的实时处理中的事件明智的方式。我们的主要贡献概述如下:递归架构我们提出了一个递归算法,通过制定depen-使用包括复数相位旋转和复数最大运算的新颖的时间编码和聚集方案,递归地将因果事件(可能是数万个)的证据提供给输出MLP的可查表实现深层多层感知器(MLP)出现在重新设计的过程中,草书公式,并主导了大部分的计算。在推理时,通过时间项的因式分解,将这种替换删除了MLP的大部分乘积和运算。异步双模块结构整个网络分为两个模块工作-异步执行;一个事件驱动模块,它在接收到新事件时立即更新全局特征,以及一个按需模块,它使用轻量级MLP计算最终输出。 这种独立的架构避免了应用程序不使用的输出的浪费计算(图1)。1底部)。适用于真实世界数据我们展示了EventNet在真实环境中的适用性世界应用程序使用公开可用的数据集。我们将EventNet应用于事件语义分割,1iniVation DAVIS 240摄像机的最大事件速率为每秒1238873888图1. 概述EventNet(推理)的异步基于事件的流水线,与CNN的传统基于帧的流水线形成对比。上图:传统的基于帧的范式(CNN)。下图:提议的基于事件的范例(EventNet)。在传统的基于帧的范例中,计算是冗余的,这阻止了算法缩放到更高的帧速率。由于输出速度慢,应用程序不得不使用旧的结果。我们的EventNet可以直接以事件方式处理稀疏事件,而无需加密;它只处理更改的像素,因此没有冗余。当新事件到达时,全局特征(当前状态的总和)使用LUT以事件速率通过高效递归操作来更新。而且,当应用程序请求输出时,通过将全局特征馈送到轻量级MLP来按需计算输出。该管道非常高效,每秒可以处理超过1兆事件(MEPS);它还可以用标准CPU以1 kHz或更高的频率响应按需请求。在右侧示出了输入事件流的示例(绿色和红色分别指示正事件和负事件),并且在右侧示出了全局对象运动估计和逐事件语义分割的结果(被分类为三角形的事件以蓝色示出,并且其他以灰色示出,并且三角形的估计的运动矢量被示出为箭头,其中颜色编码三角形的角度。运动)。[13]中的数据用于本实验。注:MLP =多层感知器,t-code =时间编码,c-max =复数最大池化。物体运动估计和自我运动估计。这证明了CPU的实时性能事件驱动模块包括一个事件LUT、一个时间代码和最大值,工作速度非常快,在标准CPU上可以每秒处理大约1此外,按需推理模块能够在CPU上以1 kHz或更高的频率响应来自应用程序的请求。2. EventNet2.1. 基于事件的相机基于事件的摄像机的每个像素异步测量强度水平并报告事件-(x,y,p,t)像素位置、指示强度的正或负变化的极性以及检测到强度变化时的时间戳。我们考虑了基于第j个事件的时间戳tj的τev ent as ej:={ei|i=j-n(j)+1,.,j},其中每个事件ei是其(xi,yi,pi,tj,i)的四元组,其中tj,i表示时间差tj,i=(tj-ti),并且当新的第(j+ 1)个事件到达时,通过添加ej+1来更新ej以及移除出现在τms间隔之外的事件因此,序列n(j)的长度动态地改变(图11)。3右)。2.2. 问题陈述我们考虑了由神经网络实现的函数f,以估计给定事件流ej的目标值yj:yj=f(ej)。事件以不均匀的速率发生,从每秒0到每秒数百万,网络需要以事件方式处理可变速率的数据我们的目标是实现一个可训练的事件驱动神经网络f,它满足以下所有条件:i) 端到端可培训为了实现应用程序的实际监督学习,该网络需要通过使用误差反向传播(BP)利用监督信号来进行端到端的训练。ii) 逐事件处理这些事件在空间上是稀疏的,在时间上是不均匀的。输出yj对稀疏信号ej的依赖性需要以逐事件的方式处理,而不需要对体素表示进行致密化,以避免冗余计算。iii) 高效递归处理事件发生率可能非常高(超过1 MEPS),基于事件的异步架构(EventNet)T-codeLUT(MLP)C-Max轻型MLPy全局特征单个事件(稀疏/异步)事件驱动按需基于帧的同步架构(CNN)多帧(密集/同步)框架驱动3889(x,y,p)年龄:64,64mlp2(64,128,1024)T-codeC-MaxSJmlp3(512,共享共享1x1024格勒1xk椭圆形特征输入:最新n个事件,在毫秒[ms]内EventNet(推理)LUT(mlp1)LUT(mlp1/2)T-codemlp 4(O5n1-2d,2e5m6a,1n2d8,128,l)yyc-maxsj共享输入:最新单个事件1x10241x64nx1024nx1024NX64(x,y,p,t)PointNet(训练/推理)EventNet(列车)图2. EventNet架构我们的EventNet的网络架构与PointNet进行了比较。我们的网络具有Eq.3 .第三章。由于这一层,对事件序列的依赖性是递归计算此外,计算上最重要的部分(mlp 1和mlp 2,使用标准误差反向传播进行训练)在训练后被实现为因此,EventNet以事件驱动的方式有效地处理事件流-通过LUT计算每个事件的特征,将时间代码应用于全局特征,并通过两个向量的最大池化来聚合全局特征-当它接收新事件时递归地重复。括号中的数字为层尺寸。批量归一化[5]用于除输出层之外的所有层。与PointNet类似,EventNet也有一种可以在每个事件的基础上输出的架构变体,这是用mlp4通过连接局部特征和全局特征(蓝线)来实现的。在场景上未决,并且因此,ej的大小可能很大(取决于事件速率和窗口大小τ,成千上万)。以批处理方式处理这样一个大的可变长度的非均匀事件流ej输入元素的沙[17]。此外,不可能对置换完全不变[26]。点网架构[17]通过将函数近似为发生率非常高。因此,需要一种能够递归处理流的有效算法。yj=f(ej)g(max(h(ej−n(j)+1),…, h(ej),(1)iv) 局部排列不变性一个理想的事件流识别器f需要是不变的在短时间窗口内抵抗数据点排列,同时具有捕获较长时间行为的灵敏度。相对于时间局部置换的不变性是必要的,因为事件数据在时间附近出现的顺序通常可以被认为是随机的,这是由于有限的时间分辨率(例如,1µs)和时间戳的噪声(图3左)。因此,即使用相同的相机运动观察到相同的场景,传入事件的顺序也另一方面,需要对事件的长距离时间演化进行建模以捕获场景中的运动2.3. 对称函数为了应对置换,具有随机置换序列的简单MLP或RNN不是可行的选择,因为它难以扩展到数千或数万。其中,h:R4→Rk,max:Rk×. ×RK→RK,以及联系我们n(j)g:RK→R。他们使用MLP近似h和g。由于对称函数max,事件的置换不会改变输出yj。注意,max对于RK的每个维度独立地操作。2.4. EventNetPointNet专注于以批处理方式处理矢量集,例如3D点云。当我们尝试使用PointNet顺序处理事件流时,MLP和max实现的大量h计算使得实时处理变得困难:对于e j中的所有n(j)个事件,当新的第(j +1)个事件到达时,tj,i=(tj−ti)变为(tj+1−ti);因此,已经由h(real-1)处理的大多数n(j)事件当我们接收到新事件时,只要它在τms内,年龄:64,64mlp2(64,128,1024)Maxmlp3(512,共享共享1x1024格勒1xk椭圆形特征输入:最新n个事件,在毫秒[ms]内nx1024NX64NXL3890- -K1ni时间窗如果函数max是n(j)个高维特征向量的集合的函数,并且向量以与上述相同的情况变化,则我们需要以事件率在所有n(j)个特征向量内计算max。这些计算的单个周期本身是密集的,因为在常见情况下n(j)可能是数千或数万此外,这两个计算应该在事件率上运行(可以大于1MEPS)。这些问题使得无法使用PointNet实时处理事件流。为了克服上述处理事件的困难,a中比τ老的每个元素总是零,并且每个特征的复数旋转通过将元素顺序地旋转2πδtj/τ来表示经过的时间。该编码函数使得max和c的组合对于有限窗口大小是递归的max((c(zj−n(j),n tj−n(j)),...,c(zj+1,0)= max(c(sj,δtj),zj+1),(4)其中sj是max在时间tj的结果。将方程3到Eq。2、我们得到如下递归算法:流,我们提出了EventNet,它处理稀疏的f (e)−)δg(max(c(s,δt),h(e)), (5)递归地发送信号,而不是处理大量数据,n(j),以批处理方式处理事件。j+1j jj+1−时间编码由于函数h是时间差Δt的函数,当接收到新事件时,网络需要对同一事件(只要该事件存在于时间窗内)计算数万次h。简单地从输入e中删除Et会丢失重要的时间信息,导致性能恶化(这将在第3.5节中讨论)。为了避免在保持时间信息的同时针对相同事件对h进行多次计算,我们从h中去除了对t的依赖性,而是引入时间编码函数c来将t的信息编码为其中全局特征sj:= max(c(s(j−1),δtj−1),h(ej))为递归更新该配方具有良好的性能。顺序事件处理的特性:(一)我们只需要−计算h(ei)每个事件一次;ii)c仅计算对于s,而不是对于所有n(j)个向量;以及iii)仅在两个向量之间而不是在所有n(j)个向量之间计算max。具有相同时间戳的事件的排列不按期望改变结果,并且因为等式(1)的编码函数是可变的。在小的时间间隔内近似恒定,则只要函数g是平滑的,来自噪声的时间戳的小扰动将导致输出yj的小变化−h(ei)=c(h(ei),ntj,i),其中e:=(x,y,p).那么方程注意,上述等式中的max是在一组复数值让一个k,...,一个k|ak∈C是第k个信道1成为f ( ej ) g ( max ( c ( zj−n ( j ) +1 , tj , j−n ( j )+1),.,c(zj,0),(二)其中zi=h(ei)∈C.使用这个公式,我们只需要为每个观察到的事件计算一次h;然而,需要为时间内的所有事件计算c和max窗口每次都有新的事件出现。递归处理1n i时间序列(即,特征向量序列时间编码),则复数max被定义为:max(ak,.,1)A = A,A =|一个k|)的情况。(六)我MLP的LUT实现由于基于事件的相机的空间位置和极性是离散的,因此只有W×H×2模式我们考虑处理ej−1 和EJ顺序地。让输入e−(空间位置和极性)。所以我们最新时间戳的时间差是δtj:=tj-tj-1,并且假设zi的每个元素的范数小于1(通过tanh)。我们要做EQ。2递归,cf,使用j−1处的max和事件ej计算j处的max。为此,max和c的组合需要递归。 最大对于一般时间序列向量不是递归的,除非窗口大小是∞,所以我们提出等式的时间编码函数c3,保证递归性:可以预先计算h的结果,并利用查找表进行推理计 算 高 维 向 量 的 时 间 。 这 是 considerably 快 于 深 度MLPh,其中包含大量的产品和操作。总结EventNet满足第节中描述的所有条件2.2它是可训练的使用BP在监督的方式,因为它使用可微MLP,它可以有效地处理稀疏aj,i=c(zi,tj,i)=Σ|zi|−Σ+J.J.,iτexp.Σ−i2π<$tj,i,τ事件信号,而无需使用新的递归Eq的架构五、它还可以通过复杂的旋转捕获长距离的时间演化,同时也在-−3891(三)其中第一项将输入线性衰减到经过的时间,第二项通过复数旋转对时间信息进行编码。当c在经过的时间上线性衰减输入时(在固定时间内恒定衰减),它满足关系式:i=k=i,...,jδtk.的范数由于最大操作,小时间附近的变体-第2.5. 网络架构Eq.的EventNet模型。5是实现在图中所示二、函数h被实现为mlp 13892不不不j−n(j)+1不和MLP2,函数G被实现为用于全局估计的MLP3和用于逐事件估计的MLP4。根据应用程序的不同,所需的输出速率会有所不同,并且以事件速率(1MEPS)计算最终输出是一种计算浪费,因为大多数结果不会被应用程序使用。此外,1000 Hz对于许多应用可能绰绰有余。为了实现实时事件处理和高速率估计而不浪费计算,我们的网络包括两个独立的模块,它们彼此异步工作。事件驱动处理模块此模块以事件驱动的方式运行:当新事件ej异步到达网络,它立即被处理以更新全局特征向量sj,这是通过等式(1)的递归算法实现的。五、此外,mlp1和mlp2被实现为LUT,这比前馈深度MLP快得多。按需处理模块此模块根据应用程序的要求运行。当应用程序需要最新的估计时,输出是根据需要用mlp3或mlp4计算的。由于mlp3的输入是一个单一的矢量,它的计算是reasonably快速,和1000赫兹与标准的CPU很容易实现。非对称训练/推理如图2. EventNet的网络结构;在训练和推理方面的贡献;它在训练时使用批处理结构。原则上,EventNet可以使用Eq. 5,只要不存在批量归一化(BN)。循环结构不允许计算批量统计信息。然而,我们在训练期间采用批处理结构有两个原因:(1)根据我们的经验,使用BN,它在其中起着非常重要的作用;以及ii)为了效率而并行化MLP的计算。训练时EventNet的结构类似于PointNet [17],除了时间编码层(图1)。2中),他们在很大程度上是以同样的方式训练。2然而,时间编码在推理时间上产生了巨大的结构差异和巨大的计算增益(图2)。2底部,表2)。3. 实验实验的目的是评估EventNet在实际应用中的据我们所知,没有端到端的可训练神经网络能够实时处理原始事件流。尽管如此,我们还是将EventNet与PointNet进行了比较,因为它是一种成功的方法,可以直接处理相当大的点集。我们要强调的是,由于PointNet无法处理事件2在实现方面,它们有很大的不同,因为事件网络需要处理可变长度的数据。实现细节在补充材料中描述。如果像EventNet那样以递归方式处理事件流,则它在这 种 处 理 上 比 EventNet 慢 几 千 倍 ( 取 决 于 事 件 速率),并且不能实时处理事件流。我们将首先描述学习过程(3.1节)和用于实验的数据集(3.2节)。接下来,我们将在几个真实任务中演示EventNet的实时处理能力(第3.3节和第3.4节)。最后,我们提供了消融研究的结果,以揭示EventNet的核心组件的影响(第节)。3.5)。3.1. 学习程序小批量建造在EventNet中训练MLP需要处理事件图3. 事件数据合成左:示出了来自移动杆状对象的事件流。由对象的移动引起的强度变化在短时间内,传感器的不同像素几乎同时检测强度变化因此,即使相机捕获相同的场景,也会发生事件之间的置换右:我们考虑事件流e t:={ei|i=n(j)+1,.,j}在固定的时间窗口τ内。流中的事件数n(j)是动态变化的。流在一个批次的方式(图。2 EventNet(train)),尽管它可以在推理时间内递归地处理事件流。给定用于训练的整个事件流,用于训练的单个事件流ej被组成如下。从整个事件流中随机选择对应于时间窗口内的最新事件的事件(假设事件的索引为j)。然后,基于tj以τms间隔切出事件流,ej:={ei|i=j-n(j)+1,., j}(图(3)第三章。可选地,为了增加训练数据的多样性,可以随机地空间裁剪。注意,每个序列n(j)的长度是不同的,因为事件速率取决于场景或相机的运动而改变。优化所有网络,包括消融研究中的网络都是用同样的方法训练的单epoch由随机组成的8000个事件流组成,训练500 epoch。对于优化,我们使用Adam [6],建议超参数设置为:β1= 0。9,β2= 0。999,且= 10−8。最初的学习是0。0002年,它被分为2每20个时代,直到时代100,之后,它一直保持不变,3893表1. 使用ETHTED+和MVSEC进行定量评价。我们的EventNet和PointNet [17]的定量评估显示。 对于使用ETHTED+的实验,我们报告了语义分割的全局精度(GA)和平均交集(mIoU)以及对象运动的L2回归误差对于使用MVSEC的实验,我们评估了自我运动估计的L2回归误差我们的EventNet实现了与PointNet相当的性能,同时实现了实时性能。在底部,当禁用等式(1)中的时间编码的每个项显示了3个(缩写见正文括号中的数字表示结果的标准偏差。ETHTED+MVSEC1MEPS实时处理语义分割物体运动自我运动GA [%]mIoU [%]误差[pix/τ]误差[度/秒]PointNet九十八9九十七4(0。十三、3 .第三章。14(0. 08)4.第一章55没有EventNet九十九。2九十七5(0。22)3 .第三章。11(0. 28)4.29是的消融不含TD99.498.8(0. 第十六章)3.08(0.32)-没有无TR九十八1九十七9(0. 第十一章3 .第三章。74(0. 06)是的无全部九十八3九十七1(0. 第二十五章)4.第一章14(0. 32)没有表2. 计算复杂性。显示了使用我们的EventNet和PointNet [17]处理单个事件的计算时间(µ s)。为了计算该统计量,我们考虑了事件发生率为1MEPS的情况,这大致对应于ETHTED+数据集中的最高事件发生率场景合成事件的空间位置是随机产生的,并且在速率上是暂时均匀该统计数据是由单核3.2GHz Intel Core-i5测量的假设时间窗口大小为τ=32ms。要使用新接收的事件ej更新全局要素sj,PointNet的mlp 1/2需要处理流{ej |i = j-n(j)+1,., 其中n(j)可以是数千或数万。类似地,max需要处理n(j)个高维向量。相反,EventNet的输入是单个事件ej,因为等式的递归公式。五、此外,深度MLP被LUT取代,这导致在大约1µ s内处理单个事件的极快计算时间因此,它可以处理(更新全局特征sj)至多1个MEPS的事件。mlp3/mlp 4的计算时间小于1 ms,这意味着应用程序可以在超过1000 Hz的频率下查询结果我们还在EventNet的括号中报告了朴素mlp 1/2的计算时间,并观察到MLP的处理被LUT加速了约45倍#输入mlp1最大MLP1/2最大池(+t代码)总MLP3MLP4PointNetn(j)n(j)九三六9×103十六岁47 ×103九百五十三3× 1030.58×1030的情况。59×103EventNet120.65(29.27)0.361.010的情况。61 ×1030的情况。61×103stant. BN的衰减速率从0.5开始,逐渐增加到0.99。所有 实 现 都 使 用 MatCon- vNet [25] 库 , 我 们 在 单 个NVidia V100 GPU上进行了所有训练。3.2. 数据集我们使用了公开的数据集,这些数据集是用基于真实事件的摄像机捕获的。ETHTED+第一个和第二个应用程序使用来自[13]使用我们额外的手工注释分割标签3进行形状旋转序列(ETHTED+)。灵活的注释是在每个事件的基础上给出的,表明它是否来自三角形。 使用的相机DAVIS 240,它的数组大小为180×240。每个训练事件流在空间上从原始的180×240随机裁剪到128×128,以增加空间位移的多样性。 关于AVE-3附加标签将与本文一起发布。3894该数据集(中心128×128区域)的年龄事件率为0的情况。16个MEPS。我们用了前50秒的时间另外10秒用于测试。该数据集使用τ= 32ms的时间窗口大小。MVSEC第三个应用程序使用MVSEC [30],由事件组成在道路场景中捕获的序列,比ETHTED+大得多;因此,它在输入数据空间中有更多的变化用于此数据集的相机是DAVIS 346,其阵列大小为260×346。平均该数据集的事件发生率为0。35次为了消除噪音,如[16]中所述,我们应用最近邻滤波器,然后是非周期滤波器,其中我们分别使用5ms和1ms作为时间窗口大小。我们使用室外day1、室外day2、室外night1和室外night2序列进行训练,并使用室外night3进行测试。该数据集使用时间窗口大小τ= 1283895ττ3.3. 应用我们展示了EventNet在几个现实任务中的适用性。目标运动估计在该应用中,网络估计一个物体的运动具体对象(三角形)使用全球估计网络(见图中的红线)。2与mlp3)。我们使用ETHTED+进行该实验。利用事件的类标签,通过对33ms内事件的质心位置进行线性拟合,计算出三角形的运动[u,v]处理输入的事件流以计算事件速率下的全局特征,并且使用全局特征在1000 Hz下按需计算目标值[u,v]测试时,裁剪区域固定在中心区域。语义分割在该应用中,网络估计每个事件(三角形或其他)使用逐事件估计网络(见图中的蓝线)。2与mlp4)。我们使用ETHTED+进行该实验。处理输入事件流以从mlp 1和事件速率下的全局特征计算每个事件的特征目标值是每个类别的概率,使用全局特征和局部特征的级联按需计算我们注意到,时间信息对于此任务可能不太重要,因为即使时间信息丢失,我们仍然可以从事件流确定形状。该应用的网络与共享mlp 1/2的全局估计网络联合训练对象运动估计和语义分割的处理结果的示例如图所示。1.一、自我运动估计在该应用中,网络估计对象的自我运动使用全局估计网络的相机我们将MVSEC用于该实验,并将随数据集提供的偏航率用作目标值。定性结果见图。4.第一章3.4. 定量比较三个应用程序的估计精度报告在表1中,计算时间报告在表2中。总之,EventNet实现了与PointNet相当的性能,同时实现了单个事件不到1µ s的处理,证明它可以实现高达1 MEPS的实时处理,这涵盖了大多数实际场景。估计精度如表1所示,我们的模型实现了可比的每-在所有三个实验中,都达到了PointNet的实时性能,同时还使用了更少的内存。对于对象运动估计任务,我们进行了初步实验,以观察8、16和32 ms的不同时间窗口的效果。最大值(32 ms)在我们的EventNet中表现最好,但性能在不同的时间窗口中,PointNet的数据几乎相同。结果和结果讨论见补充材料。计算时间我们假设图1所示的系统。1、比较--如表2所示。由于EventNet中使用了新的递归公式,因此MLP和max所需的操作次数比批处理方式少约n(j)×此外,mlp ~(1/2)的查找表实现使计算速度提高了约45倍。因此,委员会认为,EventNet处理的输入事件率为1MEPS,标准CPU,覆盖大部分实际场景。然而,PointNet不能递归地处理事件流,因此,需要在每次接收到新事件时,通过一次又一次地重新处理事件,以批处理方式在τms时间窗口内处理n(j)个因此,实时处理是完全不可能的。请注意,EventNet的每个事件计算时间不受事件率的影响,而PointNet的计算复杂度则随事件率线性增长。此外,EventNet比PointNet的内存效率高得多,因为当它循环地处理传入事件流时,它只需要存储一个全局5);并且其与LUT一起操作,并且因此不需要存储中间特征图。3.5. 消融研究在本节中,我们讨论我们的研究的贡献的时间编码的方程。3,事件网络的关键组件,它可以实现高效的递归事件处理。为此,我们使用ETHTED+运行了对象运动估计和语义分割实验,这与第3.3节中讨论的实验相同。 我们研究了时间衰减项的贡献([|zi| − πti]+)(TD)和来自等式的复时间旋转项exp(−i2π ππti)(TR)。结果总结在表1的底部。因为分割会-精确度对于所有变体都是同样好的,我们讨论对象运动估计精确度方面的性能,其中时间信息对于估计可能是更多无时间衰减的EventNet这种变体仅禁用衰变项。 没有腐烂Eq.的递归因此,需要计算所有n(j)个向量的max因此,该变体无法实时处理1MEPS的事件。估计精度是所有变量中最好的,包括完整的EventNet。无时间旋转的EventNet此变体仅禁用复杂的时间旋转term.因为这个变量具有线性衰减项,所以方程的递推。5满意;因此它可以以事件方式处理事件流。 实际上,这种变体是3896图4. MVSEC的快照。使用MVSEC进行自我运动(偏航率)估计任务的实验快照,其中估计的自我运动显示为箭头(颜色由角度编码)。在这个应用中,可变长度的事件序列以事件方式递归地处理,以可变事件速率更新全局特征,并且使用图1所示的系统以1000 Hz的速率估计自我运动1.一、以这种速率实时处理输入对于基于帧的范例是不可行的比完整的EventNet稍快,因为它不计算复杂的旋转。性能不如EventNet或没有TD的EventNet,这可能是由于缺乏时间信息而没有显式编码时间信息作为复杂旋转。EventNet无全部这一变体禁用了这两个术语。 因此,网络该变体的结构与PointNet相同,与PointNet的区别在于该变体不包括时间项作为输入。这个变体不能实时操作,原因与没有TD的EventNet不能相同。该变体表现出最差的性能,这可以通过该变体不具有任何时间信息来解释。4. 相关文献用于事件数据建模的基于框架的DNN有一些研究[11,31]试图建立模型使用DNN从事件摄像机获取数据的作者[11]进行了一项开创性的工作,使用CNN对事件数据进行建模。为了利用现有的2D-CNN架构,他们将原始时空事件数据转换为由阳性和阴性事件的2D直方图组成的事件帧[31]中的作者还连接了时间戳图像,以纳入时间信息。大多数现有的基于DNN的方法对稀疏事件信号进行加密,以利用基于帧的范例的架构,诸如利用CNN,其不能很好地利用事件流的稀疏性。尖峰神经网络尖峰神经网络(SNN)[8,21,2,23,12,14,9,27,1,22,3]是第三代神经网络,预计将有效地处理稀疏异步数据阶段化LSTM [15]也可以被解释为一种SNN。它专门设计用于以事件驱动的方式处理异步数据,例如事件数据,并且使用BP的端到端监督学习是可能的。然而,由于体系结构的差异,其计算成本可能是我们的递归LUT的数十倍或数百倍。无序集上的深度学习PointNet [17]是一种开创性和成功的交易方法针对无序输入集,利用一种置换不变运算(如max)对无序数据进行简洁、结构化的处理。PointNet和随后的研究[18,29,29]对于许多需要处理无序点集(如3D点云数据)的任务然而,由于点网络侧重于处理一组点的批处理方式,其算法不能递归地处理稀疏时空事件流。5. 结论我们提出了EventNet,这是一种可训练的神经网络,设计用于以递归和事件方式实时处理异步事件流。我们的实验表明,实用性的实际应用。我们将使用最近发布的事件摄像机模拟器在更具挑战性的场景中对其进行评估[19]。我们目前的架构是EventNet的单层 , 但 我 们 将 把 这 项 工 作 扩 展 到 分 层 结 构 , 如PointNet++ [18]中提出的结构。另一个方向是其与LiDAR数据的应用[29,29],我们相信我们的模型可以用于处理点云数据,而无需等待帧(360度旋转)。3897引用[1] A. Andreopoulos , H.J. Kashyap , T.K. 纳 亚 克A. 阿 米尔,M. D.弗里克纳一个低功耗,高吞吐量,完全基于事件的立体声系统.在IEEE计算机视觉和模式识别会议(CVPR),2018年6月。VIII[2] Z. 宾角Meschede,K. Huang,G. Chen,F. Rührbein,M. Akl和A.诺尔基于r-stdp的脉冲神经网络的端到端学习,用于车道保持车辆。在2018年5月举行的IEEE机器人与自动化国际会议(ICRA)上。VIII[3] M. 戴维斯,T.H. 林角,英-地K. Lin,S.Mccoy,Y.H. 翁A. Wild和H.王. Loihi:具有片上学习的神经形态众核处理器。(二月),2018. VIII[4] R.格希克,J。多纳休,T. Darrell和J.马利克丰富的特征层次结构,用于准确的对象检测和语义分割。在IEEE计算机视觉和模式识别会议论文集,第580-587页,2014年。我[5] S. Ioffe和C.赛格迪批次标准化:通过减少内部协变量偏移来加速深度网络训练。在第32届国际机器学习会议论文集-第37中,ICML'15,第448-456页。JMLR.org,2015年。III[6] D. Kingma和J. BA. Adam:一种随机优化方法。arXiv预印本arXiv:1412.6980,2014。v[7] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。在神经信息处理系统的进展,第1097-1105页,2012年。我[8] X.拉戈尔塞湾Orchard,F.加卢皮湾E. Shi和R. B.贝诺斯曼Hots:用于模式识别的基于事件的时间表面的层次结构 。 IEEE Transactions on Pattern Analysis MachineIntelligence,39(07):1346-1359,2017年7月。VIII[9] J. H.李,T. Delbruck和M.菲佛使用反向传播训练深度尖峰神经网络。Frontiers in Neuroscience,2016. VIII[10] P. Lichtsteiner,C. Posch和T.德尔布鲁克128×128 120 db15µ s延迟异步时间对比视觉传感器。IEEE Journal ofSolid-State Circuits,43(2):5662008年2月。我[11] A. I. Maqueda,A.洛克尔西奥湾Gallego,N. N. Garc 'ıa和D.斯卡拉穆扎基于事件的视觉与深度学习相结合,用于自动驾驶汽车的转向预测。CoRR,abs/1804.01310,2018。VIII[12] H.穆斯塔法。脉冲神经网络中基于时间编码的监督学习IEEEtransactions on neuralnetworksandlearningsystems,29(7):3227-3235,2018。VIII[13] E. 米格勒 Rebecq,G. Gallego,T. 德尔布鲁克,D.斯卡拉穆扎事件相机数据集和模拟器:用于姿态估计 、 视 觉 里 程 计 和 slam 的 基 于 事 件 的 数 据 。 TheInternational Journal of Robotics Research,36(2):142-149,2017。二、六[14] E. O. 内夫特奇角奥古斯丁,S。Paul和G.德托拉基斯事件驱动的随机反向传播:启用神经形态深度学习机器。11(六月):1-18,2017. VIII[15] D. Neil,M. Pfeiffer和S.- C.刘某分阶段lstm:为长序列或基于事件的序列加速循环网络训练。In D.D. 李,M。Sugiyama,U.诉卢森堡I. Guyon和R. Garnett,编辑,《神经信息处理系统进展》29,第3882-3890页。Curran Associates,Inc. 2016.VIII[16] V. Padala,A. Basu,G.果园一种基于事件的异步变化检测图像传感器噪声滤除算法及其在TRUSTRITH上的实现Frontiers in Neuroscience,12:118,2018。vi[17] C. R. Qi,H. Su,K. Mo和L.吉巴斯Pointnet:对点集进行深度学习,用于3D分类和分割。Proc. 计算机视觉与模式识别(CVPR)IEEE,2017年。三、五、六、八[18] C. R.齐湖,加-地Yi,H. Su和L.吉巴斯Pointnet++:度量空间中点集的深度层次特征学习。arXiv预印本arXiv:1706.02413,2017。VIII[19] H. Rebecq,D. Gehrig和D.斯卡拉穆扎一个开放的事件摄像机模拟器。以. Billard,A. Dragan,J. Peters,and J.Morimoto编辑,第二届机器人学习会议论文集,机器学习研究论文集第87卷,第969-982页。PMLR,2018年10月29日VIII[20] S. Ren,K.赫利河Girshick和J.太阳Faster r-cnn:Towardsreal-time object detection with region proposal networks.在神经信息处理系统的进展,第91-99页,2015年。我[21] B. Z. Sajjad Seifozzakerini,Wei-Yun Yau和K.毛。基于事件的霍夫变换在脉冲神经网络中用于动态视觉传感器的多线检测和跟踪。在大肠R. H. Richard C.威尔逊和W.A. P. Smith , editors , Proceedings of the BritishMachine Vision Conference(BMVC),第94.1-94.12页BMVA Press,September 2016.VIII[22] E. 叠层石, M. 索托 T. Serrano-Gotarredona,B.利纳雷斯-巴兰科一个事件驱动的分类器,用于提供合成或动态视觉传感器数据的尖峰神经网络。Frontiersin Neuroscience,11:350,2017。VIII[23] A. Tavanaei和A. S.梅达使用分层稀疏编码和STDP学习的 生 物 启 发 尖 峰 卷 积 神 经 网 络 。 CoRR ,abs/1611.03000,2016。VIII[24] D. 特兰湖布尔代夫河费格斯湖Torresani和M.帕鲁里用三维卷积网络学习时空特征。在IEEE计算机视觉国际会议集,第4489-4497页,2015年。我[25] A. Vedaldi和K.伦克Matconvnet 在ACM Int. Conf.
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 利用迪杰斯特拉算法的全国交通咨询系统设计与实现
- 全国交通咨询系统C++实现源码解析
- DFT与FFT应用:信号频谱分析实验
- MATLAB图论算法实现:最小费用最大流
- MATLAB常用命令完全指南
- 共创智慧灯杆数据运营公司——抢占5G市场
- 中山农情统计分析系统项目实施与管理策略
- XX省中小学智慧校园建设实施方案
- 中山农情统计分析系统项目实施方案
- MATLAB函数详解:从Text到Size的实用指南
- 考虑速度与加速度限制的工业机器人轨迹规划与实时补偿算法
- Matlab进行统计回归分析:从单因素到双因素方差分析
- 智慧灯杆数据运营公司策划书:抢占5G市场,打造智慧城市新载体
- Photoshop基础与色彩知识:信息时代的PS认证考试全攻略
- Photoshop技能测试:核心概念与操作
- Photoshop试题与答案详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)