事件相机学习运动信息及降低运动模糊的网络模型

1--光流、深度和自我运动Alex Zihao Zhu，Liangzhe Yuan，Kenneth Chaney，KostasDaniilovsky宾夕法尼亚{alexzhu，lzyuan，chaneyk，kostas} @ seas.upenn.edu摘要在这项工作中，我们提出了一种新的框架，用于事件摄像机的非监督学习，仅从事件流中学习运动信息。特别是，我们提出了一个输入表示的事件在一个离散化的体积，保持时间分布的事件，我们通过一个神经网络来预测的运动的事件。该运动用于尝试移除事件图像中的任何运动模糊然后，我们我们用这个框架训练了两个网络，一个用于预测光流，一个用于预测自运动和深度，并在多车辆立体事件相机数据集上评估这些网络，以及来自各种不同场景的定性结果。1. 介绍事件摄像机是一种神经形态学启发的异步传感模式，其检测日志光强度的变化。当在像素中检测到变化时，相机立即返回事件e=x，y，t，p，其包括像素的位置x，y、变化的时间戳t（精确到微秒）和变化的极性p（对应于像素是变得更亮还是更暗）。相机的异步性质以及日志图像空间中的跟踪提供了优于传统的基于帧的相机的许多益处，诸如用于跟踪非常快的运动的极低延迟、非常高的动态范围以及显著更低的功耗。然而，摄像机的新输出为算法开发提供了新的挑战。由于事件简单地反映了在给定像素处是否发生了变化，因此直接应用于事件的光一致性模型不再有效，如使用传统的运动估计任务，诸如光流或运动结构（SFM）。因此，有一个重要的研究驱动器，以德-相关视频：https://youtu.be/cdcg-CdV7TU。图1：我们的网络通过预测光流（上）或自运动和深度（下）从一组输入，模糊，来自事件相机的事件（左），并最大限度地减少运动模糊后的运动模糊量来预测运动模糊，最好用彩色观看。为事件摄像机开发新的算法，以解决这些交通机器人问题。最近有朱等人的作品。”[24]杨明等。[20]训练神经网络学习以自我和无监督方式估计这些运动任务。这些网络抽象出了建模和算法开发的难题然而，这两个作品仍然依赖于基于photoconsistency的原则，分别适用于灰度图像和事件图像，因此，前者的工作依赖于灰度图像的存在，而后者的photoconsistency假设可能不成立，在非常模糊的此外，这两个作品都采用试图总结事件数据的输入，结果丢失了时间信息。在这项工作中，我们解决了这些不足之处，提出了一种新的输入表示，捕捉完整的spatiotemporal分布的事件，和一组新的无监督损失函数，允许有效的学习，只从事件流的运动信息。我们的输入表示，一个离散化的事件量，离散化的时域，然后累积事件的线性加权的方式类似于插值。该表示对时空域内的所有事件的分布进行编码。我们训练了两个网络来预测光流和自我运动和深度，并使用预测来尝试去除运动模糊，989990图2：光流和自运动和深度网络的网络架构。在光流网络中，仅使用编码器-解码器部分，而在自运动和深度网络中，编码器-解码器用于预测深度，而姿态模型预测自运动。在训练时，在被连接到网络的下一级之前，在解码器的每个级处应用损失。这些事件被投影到2D图像平面中，如图1所示。1.一、然后，我们的无监督损失测量校正后的事件图像中的运动模糊量，这为网络提供了训练信号。此外，我们的去模糊事件图像与边缘图相当，因此我们在这些图像的普查变换上应用立体损失，以允许我们的网络学习度量姿势和深度。我们在多车辆立体事件相机数据集[26][24]上评估了这两种方法，并与等效的基于灰度的方法以及[24]的现有技术进行了比较。我们的贡献可概括为：一种新的离散化事件量表示，用于将事件传递到神经网络中。基于运动模糊的损失函数的新应用，其允许仅从事件中对运动信息进行无监督学习。一种新的立体相似性损失应用于一对去模糊事件图像的普查变换。对多车辆立体事件摄像机数据集[26]进行定量评估，并对各种夜间和其他具有挑战性的场景进行定性和定量评估2. 相关工作自从引入事件摄像机，如利希特-施泰纳等人。[10]，人们对开发利用所提供的好处的算法有着浓厚的兴趣被这些摄像头拍到了在光流的工作中，Benosman等人[2]表明，可以通过将平面拟合到x-y-t空间中的事件来估计正常流。Bardow等人[1]表明，流量估计可以写成凸优化问题，该问题联合求解图像强度和流量。在空间的SFM和视觉里程计，金等。[9]证明卡尔曼滤波器可以重建相机的姿态和局部地图。Rebecq等人[15]类似地建立一个3D地图，他们使用事件进行本地化。Zhu等人。[25]使用基于EM的特征跟踪方法来执行视觉惯性里程计，而Zhuq等人。[16]使用运动补偿来使事件图像去模糊，并且运行基于标准图像的特征跟踪来执行视觉惯性测距。对于无模型方法，自监督和非监督学习允许深度网络学习场景的运动和结构，仅使用良好的几何原理。Yu等人。[8]建立了一个网络可以通过平滑度先验从亮度恒定性中学习光流，而Meister等人。[12]通过应用双向普查损失来扩展这项工作，以提高流的质量。以类似的方式，Zhou et al. [23]表明网络可以使用相机重投影和光一致性损失来学习相机Zhan et al. [22] andVijayanarasimhan et al.[18]添加立体声约束，允许网络学习绝对尺度，而Wang等人。[19]将这个概念应用于递归神经网络。最近，有几个作品，如[4，5，13，25，？已经示出了光流和其他类型的运动信息，可以通过沿着运动路径传播事件来从事件的时空体积····991−t=（ B−1）（ t− t）/（t−t）（1）i1N1--图3：我们的心流网络能够推广到各种具有挑战性的场景。顶部图像是绘制在DAVIS相机灰度图像顶部的流向量子集，底部图像是网络在具有事件的像素处的密集流输出，由流的方向着色。从左到右：Fidget spinner在非常黑暗的环境中以13 rad/s的速度旋转。球在摄像机前快速抛出（灰度图像根本没有拾取球）。水在户外流动。光流方向，并试图最小化事件图像中的运动模糊。这种运动模糊作为损失的概念可以被看作是应用于事件的帧中的光度误差的类比。在这项工作中，我们采用了一种新的配方，这种损失Mitrokhin等人。[13]对于神经网络，通过生成一个完全可微的损失函数，使我们的网络能够以无监督的方式从运动中学习光流和结构。3. 方法我们的管道包括一个新的体积表示的事件，我们在第二节中描述。3.1，其通过完全卷积神经网络来预测流量和/或自运动和深度。然后，我们使用预测的运动来尝试去模糊事件，并应用损失表明这足以使网络预测准确光流。虽然这保持了一些时间信息，但是通过总结事件中的高分辨率时间信息仍然丢失了大量信息。我们提出了一种新的输入表示通过离散化的时域。为了提高沿时间域的分辨率，超出了bin的数量，我们使用类似于双线性插值的线性加权累积将事件插入到该体积中。给定一组N个输入事件（xi，yi，ti，pi）i∈[1，N]，以及一组B个用于离散时间维度的二进制数，我们将时间戳缩放到范围[0，B1]，并如下生成事件量：∗我 ΣV（x，y，t）=p k（x-x）k（y-y）k（t-t）（2）其最小化去模糊图像中的模糊量如Sec.3.2. 这种损失可以直接应用于ibi b我ibi连接到我们的光流网络三点三对于自运动和深度网络，我们在第二节中描述了到光流的转换。3.4.1，以及一个新的立体视差损失。3.4.2.我们的架构总结在Fig.二、3.1. 输入：离散化事件量为神经网络选择一组事件的适当输入表示仍然是一个具有挑战性的问题。先前的工作，如Moeys et al.[14]和Maqueda et al. [11]通过对每个像素处的事件数量求和来生成事件图像然而，这种方法丢弃了事件中丰富的时间信息，容易产生运动模糊. Zhu et al. [24] and Yeet al.[20]提出了事件的图像表示，总结了每个像素处的事件数量，以及每个像素处的最后时间戳和平均时间戳。这两部作品k b（a）= max（0，1 −|一|）（3）其中k b（a）等价于Jaderberg等人定义的双线性采样核。[7]的文件。请注意，当执行相机解失真或校正时，x和y维度中的插值是必要的，从而导致非整数像素位置。在像素之间没有事件重叠的情况下，这种表示允许我们重建确切的事件集。当多个事件在体素上重叠时，求和确实会导致一些信息丢失，但是所得到的体积保留了窗口内跨时空维度的事件分布在这项工作中，我们将时域视为传统2D图像中的通道，并在x，y空间维度上执行2D卷积。我们发现，使用3D卷积时，性能的增加可以忽略不计，但处理时间却显著增加。992′−N|- -我的伊我我损失是两个图像的平方之和。Σ Σ时间（t）=XT+（x，yt′）2y+T−（x，y|t′）2（六）图4：我们的网络通过从一组输入的模糊事件（2）预测光流或自运动和深度（1），并在使用预测的运动进行去模糊后最小化运动模糊量，以产生去模糊图像（3），来学习从运动模糊预测运动流动的颜色指示方向，如色轮（4）中所示。3.2. 通过运动补偿进行监控当事件相机记录日志强度的变化时，光一致性的标准模型不直接应用于事件。相反，几项工作已经应用了运动补偿的概念，如在Zeroq等人[16]中所描述的，作为从一组事件估计运动时的光一致性的代理。运动补偿的目标4.第一章对于每像素光流u（x，y），v（x，y）的最一般情况，我们可以传播事件，{（xi，yi，ti，pi）}i=1，.，N，到单个时间t′：然而，使用单个t′来表示这种损失会带来缩放问题。在（4）中，输出流u、v被（t′ti）缩放。在反向传播过程中，这将使时间戳距离t′更远的事件的梯度权重更高，而时间戳非常接近t′的事件基本上被忽略。为了减轻这种缩放，我们计算向后和向前的损失，其中t′=t1和t′=t N：L时间=L时间（t1）+L时间（tN）（7）请注意，改变目标时间t′不会改变（5）中使用的时间戳。该损失函数与Benosman等人的损失函数类似。[2]，他们用一个函数来模拟事件，使得ei（xi）=ti. 在他们的工作中，他们假设函数是局部线性的，并通过将平面拟合到事件的小时空窗口来解决最小化问题我们可以看到，如果我们假设每个像素处的所有事件具有相同的流，则平均时间戳图像的梯度（dt/dx，dt/dy）对应于流的逆3.3. 光流预测网络. x′m。X轴.Σu（x，y）i=i我+（t′ t）iiv（ xi，yi）（四）使用中描述的输入表示和损失，秒3.1和3.2，我们训练神经网络来预测光流。 我们使用编码器-解码器风格的网络，如如果输入流是正确的，这将反转事件，并且去除运动模糊，而对于不正确的流，这将可能引起进一步的运动模糊。我们使用这种去模糊EF的质量的度量作为我们网络的主要监督加列戈和[24]第10段。网络以像素/bin为单位输出流值，我们将其应用于（4），并最终计算（9）。我们的流网络使用（7）中的时间损失，结合局部平滑正则化：等人[4]提出在由传播事件生成的图像上使用图像方差。然而，我们发现网络很容易过拟合这种损失，通过预测流值，将所有事件推到网络的每个区域内，L光滑Σ Σ=→x→y∈N（→x）ρ（u（→x）−u（→y））+ρ（v（→x）−v（→y））（八）图像为一行。这种影响将在补编中进一步讨论。相反，我们采用Mitrokhin等人描述的损失函数。[13]，他们使用一个损失，最小化每个像素的平均时间戳的平方和。然而，先前提出的损失函数是不可微的，因为时间戳被舍入以生成图像。 为了解决这个问题，我们用双线性插值代替了四舍五入.我们通过首先按极性分离事件并针对每个极性y、T+、T-在每个像素el处生成平均时间戳的图像来应用损失：其中，ρ（x）=x2+2是沙波尼耶损失函数c。（x，y）是（x，y）周围的4-连通邻域。流量网络的总损耗为：L流量=L时间+λ1L平滑（9）3.4. 自运动和深度预测网络我们训练第二个网络来预测相机的自运动和场景的结构，以类似的方式-101（pT p′（x，y|t）=0=p′）kb（x−x′）kb（y−y′）ti[22，18]。给定来自立体声对的一对时间同步离散化事件卷，我们将每个yL我我993我p′∈{+，−}，n=0我我（五）我们的网络中，但在训练时使用两者我们应用时间戳丢失994X=∗ZZ.Σ室外天1室内飞行1室内飞行2室内飞行3dt=1帧AEE%离群值AEE%离群值AEE%离群值AEE%离群值我们0.320.00.580.01.024.00.873.0EV-FlowNet0.490.21.032.21.7215.11.5311.9取消流动0.971.60.500.10.701.00.550.0室外天1室内飞行1室内飞行2室内飞行3dt=4帧AEE%离群值AEE%离群值AEE%离群值AEE%离群值我们1.309.72.1824.23.8546.83.1847.8EV-FlowNet1.237.32.2524.74.0545.33.4539.7取消流动2.9540.03.8156.16.2279.51.9618.2表1：与EV-FlowNet和UnFlow相比，我们的光流网络的定量评估。对于每个序列，平均端点误差（AEE）以像素为单位计算，%离群值计算为AEE> 3 pix的点的百分比dt=1是利用两个连续灰度帧之间的时间窗计算的，dt=4是在四个灰度帧之间。定义在Sec.3.2，以及去模糊事件图像的普查变换[21，17]之间的鲁棒相似性损失该网络预测欧拉角（θ，β，φ）、平移T和每个像素的视差di。使用相同的编码器-解码器架构如在流动网络中，除了最终激活函数是由图像宽度缩放的S形。姿态与视差共享编码器网络，并且是生成的。通过跨卷积将空间尺寸从16×16减少到1×1，具有6个通道。3.4.1时间重投影损失给定网络输出、相机的本征函数K和两个相机之间的基线b，像素位置（xi，yi）处的每个事件的光流（ui，vi）为：.Σxxfb−1i阈值距离10米20米30米顺序法平均深度误差（m）户外天1我们2.723.844.40单深度3.447.0210.03户外夜晚1我们3.134.024.89单深度3.496.339.31户外夜2我们2.193.153.92单深度5.157.810.03户外夜3我们2.864.465.05单深度4.678.9613.36表2：我们的深度网络与Monodepth的定量评估[6]。提供了地面实况中所有点的平均深度误差，最高可达10m、20 m和30 m，至少有一个事件。去模糊后在正确的流量下，这些图像代表i=Kπ RKid i（10）第一章1对应灰度图像的边缘图，我们可以应用光度损失。然而，num-. Σui=vi1B−1..∗Σ我∗我.ΣΣXiyi（十一）两个相机之间的事件的BER也可能不同，因此我们对图像的普查变换[21]应用相似性损失。对于给定的窗口宽度W，我们编码其中，f是相机的焦距，R是对应于（λ，β，φ）的旋转矩阵，π是投影函数：π .XYZ. X是的。 注意到截至网络只看到输入处的离散体积，它不知道时间窗口的大小。因此，我们计算的光流是以像素/箱为单位的，其中B是用于生成输入体积的箱的数量。然后将光流插入到（4）中以计算损耗。3.4.2立体声视差损失根据光流，我们可以使用（4）从左摄像机和右摄像机去模糊事件，并生成一对事件图像，对应于每个像素处的事件数量每个像素都有一个W2长度向量，其中每个元素是该像素与窗口内每个相邻像素之间的差异的符号对于左侧事件体积，使用左侧预 测 的 差 异 ， 我 们 对 两 个 图 像 之 间 的 差 异 应 用Charbonnier损失[3]，反之亦然。此外，我们在两个预测的差异之间应用左右一致性损失，如[6]所定义最后，我们将局部平滑正则化器应用于视差，如（8）所示。SFM模型的总损失为：LSFM=L时间+λ2L立体+ λ 2 L立体λ3L一致性+λ 4L平滑性（12）yy−995pred× − ×−图5：内插对事件体积影响的消融研究。流量预测误差显示对两个模型与固定的随机种子，有和没有插值举行了验证集。4. 实验4.1. 实现细节一个严格的场景假设。4.3.自我运动评价我们评估我们的自我运动估计网络的户外第1天序列从MVSEC。由于目前在我们的知识范围内没有公开代码用于具有立体声损失的非监督深度SFM方法，因此我们将我们的自我运动结果与SFMLEarner [23]和ECN [20]进行比较，后者从单声道图像和事件中学习自我运动和深度。我们在室外day 2序列的VI-Sensor图像上训练SFMLEarner模型，再次裁剪出汽车的引擎盖。这些图像具有比DAVIS图像更高的分辨率，但来自相同的场景，因此应该在DAVIS图像上进行泛化和训 练 。 该 模 型 从 头 开 始 训 练 10 万 次 迭 代 。 由 于SFMLEarner预测的翻译是有限的，因此我们提出了一种新的翻译方法，在角度误差方面的误差。相对位姿误差（RPE）和相对位姿误差。旋转误差（RRE）计算如下：我们在完整的室外day2序列上训练两个网络RPE= arccostpred·tgttpred，RRE=10logm（RTRgt）102，从MVSEC [26]，其中包括11分钟的立体声通过公共道路行驶的事件数据。在训练时，每个输入由N=30000个事件组成，这些事件被转换为分辨率为256x256（中心裁剪）和B=9个箱。每个损失的权重是：{λ1，λ2，λ3，λ4}={1。0，1。0，0。1，0。2}。4.2.光流评估我们在MVSEC的室内飞行和室外白天序列上测试了我们的光流网络，地面实况由[24]提供。在每个灰度帧时间戳处生成流量预测，并分别缩放为1个灰度帧（dt=1）和4个灰度帧（dt=4）持续时间的位移。对于室外日序列，每组输入事件固定为30000，而对于室内飞行，由于场景中的较大运动，使用了15000个事件。为了与地面实况进行比较，我们将我们的输出（u，v）从像素/箱的单位转换为像素位移的单位，其中：（u，v）=（u，v）（B1）dt/（t Nt0）。我们提出了平均端点误差（AEE），以及AEE大于3个像素的点的百分比，超过具有有效地面实况流和至少一个事件的像素。这些结果可以在Tab中找到。1，我 们 将 我 们 的 结 果 与 EV-FlowNet [24] 和 图 像 方 法UnFlow [12]进行比较。我们不提供ECN的结果[20]。由于他们的模型假设了一个刚性场景，并预测了自我运动和深度，他们对80%的室内飞行序列进行了训练因此，这些结果并不能与我们的方法进行公平的比较，因为我们的方法只在室外第2天进行训练。我们确实注意到，他们的室外第一天误差略低于我们的，分别为0.30和0.32。然而，我们认为我们的方法更一般，因为它不依赖于其中Rpred是对应于Eu的旋转矩阵。ler角度，logm是矩阵对数。4.4. 深度网络评估我们将我们的深度结果与Monodepth [6]进行比较，Monodepth在训练时从立体声对中学习单眼视差。由于DAVIS灰度图像不是时间同步的，我们在裁剪的VI传感器图像上进行训练。该模型经过50个epoch的训练，我们提供的深度误差阈值高达10米，20米和30米，并且至少有一个事件。在选项卡中。3，我们提供了ECN[20]报告的尺度不变深度度量4.5. 事件容量消融为了测试所提出的插值在生成离散化事件体积时的效果，我们在图11中提供了结果。5.在训练过程中，有插值和没有插值的模型之间的流量验证误差。这些结果表明，虽然两种模型都能够收敛到准确的流量估计值和相似的%离群值，但内插体积实现了较低的AEE。5. 结果5.1. 光流根据表1中的定量结果1，我们可以看到，我们的方法在几乎所有的实验中都优于EV-FlowNet，并且在短1帧序列上接近UnFlow的性能定性结果见Fig. 六、总的来说，我们发现我们的网络可以推广到许多非常不同和具有挑战性的场景，包括那些具有非常快的运动和黑暗环境的场景。一996图6：光流和自运动和深度网络在室内飞行、室外白天和室外夜间序列上的定性输出。从左至右：灰度图像，事件图像，深度预测与航向，地面实况与航向。前四个是流量结果，后四个是深度结果。深度越近越亮。航向方向绘制为圆。在室外夜间结果中，由于闪光灯产生的事件，航向方向有偏差997ARPE（度）ARRE（rad）我们7.740.00867[23]第二十三话16.270.00939序列方法绝对相对值RMSE日志SILogδ1。25δ1。252δ1。253户外天1我们0.360.410.160.460.730.88ECN0.330.330.140.970.980.99室外夜间我们0.370.420.150.450.710.86ECN0.390.420.180.950.980.99表3：我们的深度网络对ECN的标准深度指标的定量评估[20]。从左到右，指标为：绝对相对距离、RMSE对数、比例不变对数以及预测深度超过1的点的百分比。25，1。252和1。25比地面真实值大或小3倍。表4：与SFM学习者相比，我们的自我运动网络的定量评估。ARPE：Average Relative Pose Error平均相对位姿误差平均相对旋转误差。这方面的几个例子可以在图中找到3 .第三章。我们认为这是因为这些事件在传统图像的每个像素上没有细粒度的强度信息，因此网络过拟合的冗余数据较少。5.2. 自运动我们在室外第2天训练的模型能够很好地推广到室外第1天，尽管环境从室外住宅环境到封闭的办公园区发生了显着变化。在选项卡中。2.我们证明了我们的相对姿态和旋转误差明显优于SFM-Learner，但比ECN差。然而，ECN仅预测5dof姿势，直到比例因子，而我们的网络必须学习具有比例的完整6dof姿势。我们认为，额外的训练数据可以弥补这一差距。由于该网络仅在驾驶序列上进行训练，因此我们无法对室外夜间序列实现良好的自运动泛化。我们发现，这是由于在夜间发现的荧光灯，这产生了许多虚假的事件，由于他们的闪烁，不相关的运动在现场。由于我们的自运动网络在场景中获取全局信息，它倾向于将这些闪光视为由相机运动生成的事件今后有必要开展工作，过滤掉这类异常现象。例如，如果闪烁的速率是先验已知的，则可以通过检测以期望频率生成的事件来简单地过滤光图7：深度网络的失败案例。由于虚假事件，闪烁的路灯被检测为非常接近。5.3. 深度我们的深度模型能够为所有的驾驶序列产生良好的结果这可能是因为网络必须记住一些度量尺度的概念，而这些概念不能推广到完全不同的场景。我们在所有序列中的表现都优于Monodepth，这可能是因为事件没有强度信息，因此网络被迫学习对象的几何属性。此外，即使在夜间面临严重的噪音，网络也能很好地泛化，尽管闪烁的灯光会导致网络预测非常接近的深度，如图11所示。7 .第一次会议。对于Tab. 3，我们的方法在大多数错误中比较了ECN [20]，尽管必须预测深度的绝对比例，而ECN中的深度是针对比例校正的。然而，我们的δ百分比低于预期。我们相信，额外的训练数据可以在未来缓解这个问题。6. 确认感谢Tobi Delbruck和iniLabs和ini-Vation的团队提供和支持DAVIS-346 b摄像机，并感谢Telluride神经形态认知工程研讨会2018年的有益讨论。这项工作得到了半导体研究公司（SRC）和DARPA的部分支持我们也非 常 感 谢 通 过 以 下 赠 款 提 供 的 支 持 ： NSF-DGE-0966142（IGERT）、NSF-IIP-1439681（I/UCRC）、NSF-IIS-1426840，NSF-IIS-1703319，NSF MRI 1626008，ARLRCTA W911NF-10-2-0016，ONR N00014-17-1-2093，本田研究所和DARPA FLA计划。998引用[1] P. Bardow，A.J. Davison和S.罗伊特内格从事件照相机的同时光流和强度估计。在IEEE计算机视觉和模式识别会议论文集，第884-892页2[2] R. 贝诺斯曼角Clercq，X.Lagorce，S.H. Ieng，和C.巴-托洛奇。基于事件的视觉流。IEEE transactions on neu-ral networks and learning systems，25（2）：407-417，2014。二、四[3] P. 沙邦尼河Blanc-Fe'raud，G. Aubert和M. Bar-laud。计算成像的两个确定性半二次正则化算法。图像处理，1994年。诉讼ICIP-94. IEEE国际会议，第2卷，第168-172页。IEEE，1994年。四、五[4] G. 加列戈河Rebecq和D.斯卡拉穆扎一个统一的对比度最大化框架的事件相机，与appli-阳离子的运动，深度和光流估计。在IEEE计算机视觉和模式识别会议上，第3867-3876页，2018年二、四[5] G. Gallego和D.斯卡拉穆扎用事件照相机精确估计角速度。IEEE Robotics and Automation Letters，2（2）：632-639，2017。2[6] C. 戈达尔湖，澳-地Mac Aodha和G.J. 布罗斯托具有左右一致性的无监督单目深度估计。在CVPR，第2卷，第7页，2017年。五、六[7] M. Jaderberg ， K. Simonyan 、 A. Zisserman 等 人 空 间Transformer网络。神经信息处理系统的进展，2017-2025页，2015年。3[8] J. Y. Jason，A. W. Harley和K. G.德尔帕尼斯回到基本知识：通过亮度恒定性和运动平滑性的光流的无监督学习。欧洲计算机视觉会议，第3-10页。施普林格，2016年。2[9] H. Kim，S. Leutenegger和A. J·戴维森利用事件摄影机进行实时三维重建与六自由度追踪。欧洲计算机视觉会议，第349施普林格，2016年。2[10] P. Lichtsteiner，C. Posch和T.德尔布鲁克128x128 120 dB15µ s延迟异步时间对比视觉传感器。IEEE Journal ofSolid-State Circuits，43（2）：566-576，2008. 2[11] A. I. Maqueda，A.洛克尔西奥湾Gallego，N. Garc'ıa，以及D.斯卡拉穆扎 基于事件的视觉与深度学习在自动驾驶汽车转向预测方面的结合。在IEEE计算机视觉和模式识别会议论文集，第5419-5427页，2018年。3[12] S. Meister，J.Hur和S.罗斯Unflow：具有双向普查损失的光流的无监督学习2018年第三十二届AAAI人工智能会议二、六[13] A. 米特罗欣角 Fer müller，C. Paramesh wara和Y. 再见-莫诺斯 。 基 于 事 件 的 运 动 目 标 检 测 与 跟 踪 。 2018 年IEEE/RSJ智能机器人与系统国际会议（IROS），第1-9页。IEEE，2018年。二、三、四[14] D. P. Moeys，F. Corradi、E. Kerr，P. Vance，G. Das，D.尼尔D. Ker r和T. Delbruck。使用混合帧/事件驱动卷积神经网络操纵捕食机器人在999基于事件的控制，通信和信号处理（EBCCSP），2016年第二届国际会议，第1-8页。IEEE，2016. 3[15] H. Rebecq，T. Horstschaefer，G. Gallego和D.小心点。Evo：基于事件的6自由度并行实时跟踪和映射的几何方法。IEEE Robotics and Automation Letters，2（2）：593-600，2017。2[16] H. Rebecq，T. Horstschaefer和D.斯卡拉穆扎使用基于关键帧的非线性优化的事件摄像机的实时视觉-惯性里程计。在英国机械视觉。Conf.（BMVC），第3卷，2017年。二、四[17] F.斯坦使用普查变换的光流的高效计算。在联合模式识别研讨会，第79-86页。Springer，2004. 5[18] S. Vijayanarasimhan ，S. 里 科角 ，澳- 地 施密 德河Sukthankar和K.弗拉基亚达基Sfm-net：从视频中学习结构和运动。arXiv预印本arXiv：1704.07804，2017。二、四[19] R.王建- M. Frahm和S. M.派泽用于从视频中学习密集深度和自我运动的递归神经网络arXiv预印本arXiv：1805.06558，2018。2[20] C. 是的，A。米特罗欣角 Paramesh war a，C. Fermuüller，J. A. Yorke和Y.再见从稀疏事件数据中无监督 学 习 密 集 光 流 和 深 度 arXiv 预 印 本 arXiv ：1809.08625，2018。一、三、六、八[21] R. Zabih和J.伍德菲尔用于计算视觉对应的非参数局部变换。在欧洲计算机视觉会议上，第151-158页。Springer，1994年。5[22] H. 詹河加格角S. 韦拉塞克拉湾Li，H.阿加瓦尔，以及I. 里德单目深度估计和具有深度特征重建的视觉里程计的无监督学习。在IEEE计算机视觉和模式识别会议论文集，第340-349页二、四[23] T. Zhou，M.布朗，N。Snavely和D. G.洛从视频中进行深度和自我运动的非监督学习。在CVPR，第2卷，第7页，2017年。二、六、八[24] A. 朱湖，加-地Yuan，K.Chaney和K.丹尼尔迪斯EV-FlowNet：用于基于事件的摄像机的自监督光流估计在机器人程序：科学与系统，匹兹堡，宾夕法尼亚州，2018年6月。一二三四六[25] A. Z. Zhu，N. Atanasov和K.丹尼尔迪斯基于事件的视觉惯性里程计。在IEEE计算机视觉和模式识别会议论文集，第5391-5399页2[26] A. Z. Zhu，D.塔库尔，T.奥扎斯兰湾弗罗默河谷Kumar和K.丹尼尔迪斯多车辆立体事件相机数据集：用于3D感知的事件相机数据集。IEEE Roboticsand Automation Letters ， 3 （ 3 ） ： 2032-2039 ，2018。二、六