活动摄像机的对比度最大化和奖励功能的分析

1活动摄像机、对比度最大化和奖励功能：分析Timo Stoffregen1，2，Lindsay Kleeman11个部门电气和计算机系统工程，莫纳什大学，澳大利亚。2澳大利亚机器人视觉卓越中心，澳大利亚。摘要事件相机异步报告像素强度的时间戳变化，并在低延迟、低延迟感测和高动态范围方面提供优于传统光栅扫描相机的优势近年来，基于事件的视觉的研究主要集中在通过对比度最大化来执行诸如光流估计、运动对象分割、特征跟踪、相机旋转估计等任务。在对比度最大化中，事件沿着其参数取决于被估计的量的运动轨迹被扭曲到某个时间tref。然后通过tref处的累积事件的某个奖励函数对参数进行评分。这种方法的多样性导致了近年来的一系列研究，但尚未对优化过程中选择的奖励进行深入研究。在这项工作中，我们ex-amine对比度最大化中使用的奖励的选择，提出了不同的奖励的分类，并显示如何构建一个奖励，这是更强大的噪声和孔径的不确定性。我们通过实验(a)事件摄影机围绕场景移动。5005050 0 50vx[像素/秒](c)奖励与最优流估计的关系图。红色虚线=地面实况，黑色圆圈=估计值。(b) 事 件 （ 红 色 ） 由 场 景（黑色）中的强度梯度生成。(d)对事件进行运动补偿可以显示原始梯度。通过预测光流并与地面实况进行比较1. 介绍事件摄像机，也称为动态视觉传感器或神经形态摄像机[1]，为视觉和机器人研究人员提供了一类新的视觉信息。在传统的基于帧的相机以固定速率对场景进行采样的情况下，事件相机异步地捕获视觉信息，对应于每个像素位置处的强度变化当像素处的强度改变超过某个阈值时，事件被生成为x、y位置、时间戳t和强度改变符号s的元组。与传统相机相比，基于事件的相机在低延迟、高动态范围（120 dB）和低功耗（10mW）方面具有多项优势[2]。事件数据本质上是稀疏的，因为静态背景或场景中缓慢变化的元素由于传统相机基于固定的时钟对场景进行采样，因此它们会迅速欠采样图1： 造影剂最大化： 生成的场景或摄像机运动（1a）在时空体积（1b）中形成点云。如果事件是通过某种轨迹进行运动补偿的，则该点处的对比度可以通过某种奖励来评估。由于所得到的奖励具有关于轨迹参数的梯度（1c），因此可以估计原始轨迹，从而在一个步骤中给出光流和运动校正（1d）。改变场景或冗余地过采样缓慢改变的场景。相反，事件相机以与场景的动态成比例的速率对场景进行采样。事件单独携带的信息很少，因此孤立地处理没有意义。到目前为止，基于事件的算法属于两类之一：对单个事件进行操作以更新某些先前状态的那些，以及对一组事件进行操作以执行给定任务或估计特定量的那些[3]。那些对单个事件进行操作的方法通常需要历史数据。12300vy[像素/秒]奖励12301nnnnn信息，例如从事件流重建的灰度图像以进行推断。另一方面，那些对一组事件进行操作的方法不需要外部信息。如[3]中所述，前一类别可以进一步分解为（a）丢弃事件所携带的时间信息的那些方法，例如通过将事件累积到时间窗口上的帧中，然后对那些帧执行计算（诸如[4-这一组往往需要更新颖的技术，因为传统的计算机视觉算法不适合处理事件试图近似的连续时间表示一种这样的技术是对比度最大化（CM），由此事件沿着点轨迹被扭曲到图像平面。然后，可以相对于所得到的扭曲事件的图像（IWE）H来优化轨迹，以恢复最佳地拟合原始轨迹一系列事件。1.1. 对比度最大化对比度最大化（CM）最近出现的一个很有前途的技术，解决了一些问题，基于事件的视觉。由于事件是由在图像平面上移动的强度梯度产生的，CM假设如果事件是通过在时间tref沿其点轨迹将它们弯曲到某个离散化平面而进行运动补偿的，则由强度梯度上的同一点产生的事件将在tref投影到同一位置并在那里累积，（见图11）。（2）给予扭曲事件H的结果图像（图1）。 虽然可以生成具有任意轨迹的IWE，但是通过沿着真实点轨迹扭曲事件，将使诸如IWE的对比度之类的某些量最大化。更正式地说，给定由其图像位置、时间戳和强度变化的符号en={xn，tn，sn}，我们将事件相对于扭曲参数θ的扭曲位置定义为′=W（x，t;θ），（1）[3] 其中W是翘曲函数。因此，来自Ne个事件的扭曲事件的图像可以公式化为：∑Ne因此IWE的方差通常用作对比度的量度。因此，CM方法的步骤是：• 收集由跨图像平面• 基于运动假设，生成扭曲事件H• 使用奖励函数来评估H• 根据运动参数优化奖励这种方法的优点是，事件关联的问题（哪些事件是由相同的特征产生的）是隐式解决的。CM是一种通用方法，最近已用于估计静态场景上的相机旋转[12]，估计光流[13]，跟踪事件流中的特征[14]，估计相机运动和深度[3]，执行移动对象检测[15]，运动分割[18]以及为使用事件的深度学习提供训练信号[6]。1.2. 贡献我们的贡献是：• 分析CM奖励函数的性质，并对现有的奖励函数• 展示如何使用和组合不同的奖励函数，以改善具有大孔径不确定性的• 使用光流作为基准来量化这种改进，而不失CM方法的一般性。CM的一个未解决的问题是确定应该一次处理多少个事件。为了效率起见，所使用的翘曲模型通常是一些高维轨迹的线性化，因此重要的是事件集合不跨越太大的时间。如何-以往任何时候都是再次依赖于现场的动态。我们提出了一个新的解决方案，这个问题是完全兼容的一般CM框架。2. 奖励函数在[3，12]中，I的总方差，H（x;θ）=n=1b δ（x−x′），（2）′1rσ2（H）=p∑i、j（hi，j−µH）2，（3）[3] ，其中每个像素x将映射的扭曲事件xn（用δ表示，因为它们表示强度尖峰）。如果bk被设置为等于1，则事件的数量被求和，如果bk=sk，则事件极性被求和。现在可以使用奖励函数来评估该IWE。因为一个好的过去-分束的IWE将把事件扭曲到图像平面上的强度梯度位置，IWE将看起来很清晰用于评估扭曲，其中Np是像素数，µH是H的平均值，hi，j是H中像素i，j的值。在[13]中，使用了H（4）的平方和。这两种奖励基本上是等价的，如[12]所示这两种奖励起作用的原因是，它们不适当地奖励高数量级XN123021000100100 0 100vx[pixels/second]1000100100 0 100vx[pixels/second](a) 由（b）产生的r个事件SoS(a)（b）第（1）款图2：来自在图像平面上移动的圆的事件一条线（红色的运动矢量）。十字（红色的运动矢量）。沿着实际轨迹的好的（2b）和差的（2a）估计进行投影。在2a中，累积平方和（rSoS）为5，683，而在2b中，rSoS=27，884。(see见图2）。这是因为，在最佳轨迹处，事件被累积到t_ref处的图像平面上的由t_ref处的原始梯度占据的位置的小集合上。换句话说，任何奖励都会起作用，奖励高积累超过相同的总积累。图3：直线段（3a）产生的事件的奖励函数（使用rSoS）显示了孔径问题对对比度最大化技术的影响，与红色虚线（3b）抑制蓄积总和（rSoSA）：∑仿真扩展到更多的地点。同时，如果大多数事件在较少的位置累积，则意味着rSoSA （H）=i、je（−h（i，j）p）.（八）t_ref处的大多数位置根本不包含事件因此，我们建议探索对比度最大化的以下奖励的好处平方和（rSoS）：∑rSoS（H）= h（i，j）2.（四）这个奖励给那些有很少积累的地点一个比有很多积累的地点更高的价值在它们中，并且对于H（x，y）的大值饱和。该奖励在最优轨迹处最大化，因为大多数事件在少数位置处累积，并且因此在大多数位置xl、yl处将返回高值。因子p是一个i、j这个奖励在过去[13]中使用过，并且与方差（rσ2）足够相似，因此我们在本工作中不考虑方差。指数总和（rSoE）：∑决定饱和点的任意移位因子。在这些奖励中，rSoS、rSoE和rMoA有利于那些导致大量积累的区域（它们是量级奖励），rISoA和rSoSA有利于那些导致许多位置很少或没有积累的区域（它们是量级奖励）。rSoE（H）=i、jeh（i，j）。（五）稀疏奖励）。2.1. 孔径问题指数奖励更高的数字甚至更多的不恰当-比多项式（为了证明这一点，B孔径问题出现时，光流估计，只使用一个局部区域的移动物体。在这Limnn→∞an=0）。所以这个奖励比较极端在这种情况下，可能发生只有对象的线特征被而不是rSoS或rσ2。累积最大值（rMoA）：rMoA（H）=max（h（i，j）∈ H ）.（6）简单地返回最大的累积。 这个奖励没有考虑其他信息，因此比求幂更极端。累加和倒数（rISoA）：1vy[pixels/second]奖励vy[pixels/second]奖励12303可见，因此仅可以估计垂直于局部线特征的速度分量。对比度最大化技术然而，当使用对比度最大化时，长线段确实会对光流估计引入不确定性在DVS图像平面上移动的线段rISoA（H）=∑i、j.（七）h（i，j）>1将产生位于时空体积中的平面上的事件[20]。尽管沿着轨道扭曲了事件此奖励将位置数量的计数一个事件累积到他们身上。 在正确的轨迹上，计数将达到最小值，因此为了定义奖励，我们将总和取反。一个类似的奖励被用来 [15]。线段的轨迹将在奖励函数中产生大的值，稍微变化但仍然位于事件平面上的轨迹这可以在图中看到。3a;直人的奖励函数12304线段具有长脊，沿该长脊的值彼此相似。实际上，在纯线段的情况下，真实轨迹的任一侧可能有两个局部最大值，而在真实轨迹处没有。这是因为当在平面的对角线上翘曲时，可以实现更大的事件累积;因为在rSoS中，更大的积累会得到回报，这些轨迹将使回报函数最大化（见图2）。4）.一旦线段获得其他轴上的特征，这种不确定性就会大大降低，地面真实周围的区域形成尖锐的尖峰，因为在图像梯度的一个prin-unR轴的方向上稍微改变轨迹将导致沿着另一个轴的事件减少（图10）第3b段）。对于稀疏奖励，奖励将经历相对于稍微不正确的射束的更强的相对变化，因此受孔径问题的其原因如图所示。4;虽然将平行于事件平面的事件对角地扭曲不太可能强烈地影响rSoS，但它将导致所得IWE上的事件占据更多的空间，从而强烈地影响rISoA。这种效应在具有主导线段的数据集中得到了实验验证（见第4.1节，第4.3节），并在图中可视化。五、2.2. 噪声容限由于稀疏奖励方法本质上是测量其中包含事件的位置的数量，因此它们容易受到噪声的影响。例如，在最坏的情况下，rISoA变得完全没有意义，其中事件流变得如此嘈杂，使得在tref处的每个位置都包含至少一个事件。随着更多的噪音被加入，这些奖励变得越来越均匀，直到它们几乎完全平坦（见图1）。（八）。2.3. 数据充分性对比度最大化属于对事件组进行操作的算法类别[3]。这意味着需要在一段时间内收集事件，然后才能进行有意义的估计，例如光流在实践中，等待至少几个像素的移动对于可靠的估计是必要的（见图1）。7），这对于缓慢移动的梯度可能需要很长时间。在应用对比度最大化之前，估计应该收集多长时间的事件是一项重要的任务，因为[3，13，15，18]中提出的算法假设在短时间内速度恒定，以便工作。此外，由图像中的梯度生成的事件的数量取决于梯度的相对强度。在我们的例子中，有必要知道梯度在每个移动的像素上产生了多少事件，因为rSoSA奖励包含一个移位参数，需要根据这个值进行调整。不yX图4：x，y，t中的平面表示由线段沿方向移动产生的一组事件。y轴。 如果事件沿着速度投影-向量（虚线箭头），它们累积（绿色双箭头），得到rISoA1。这些累积量（绿色区域）的积分平方为rSoS1。如果事件被（不正确地）投影到平面的对角线上，则相应的累积（蓝色箭头）给出rISoA2，它是箭头长度的倒数，变得更小。然而，rSoS2（蓝色区域）变得更大，因为它奖励累积中的较大峰值。因此，最大化rISoA将给出正确的结果，rSoS是不正确的结果，这表明稀疏奖励的奖励对孔径问题的影响较小。我们可以估计在沿着零速度的投影下，直接从rSoS奖励移动的每个像素产生多少事件当一个结构开始移动到一个新的像素上时，它会生成与其梯度强度成比例的事件。在v=0时，相同像素上的这些事件将累积，导致rSoS奖励呈指数增长。当结构移动到下一个像素时，指数增长将不得不重新开始，因为结构将进入一个空的像素集（见图2）。（见第6a段）。因此，当结构在图像平面上移动时，沿v=（0，0）轨迹的rSoS的变化率应该周期性地变平。在真实数据中，这就是发生的事情（见图1）。6），允许估计对比度最大化是否将能够给出给定一组事件的光流估计。3. 组合奖励功能我们已经确定了两类奖励，稀疏性和幅度奖励，可用于优化扭曲事件的图像的总对比度，并表明一类应该更好地处理孔径不确定性，而另一类应该更能够容忍噪声。我们现在想用这些知识来骗-12305yX（b）第（1）款 rSoS作为 事件补充说PictedOFPe ed[pix/s]DXrSoSrSoErMoArISoArSoSA图5：对于具有强线特征的数据集，采样的各种奖励与光学速度v x，v y的关系（见图5）。第9段）。地面实况由红色虚线指示。请注意，由于图1所示的原因，量值奖励rSoS、rSoE和rMoA更容易具有不正确的局部最大值。4比稀疏性奖励rISoA和rSoSA更好。800600400t200（a）事件（白色立方体）随着边缘（灰色）沿红色箭头方向移动而累积在图像平面上。绿色箭头表示像素边界0 1 2 3 4 5位移[pix]图7：当结构移动不到两个像素时，使用rSoS（蓝线）的当前光流估计是有噪声的和不确定的，但是当结构移动到更多像素时，会收敛到地面实况（红线），因此会添加更多事件。估计，我们用它作为梯度上升（其中DR第二个。SOS）、橙色箭头(c)6C的衍生物。使用RSoE。rSoE给出了精确和噪声容忍的结果，图6：当边缘（灰色）在理想化事件相机的图像平面上移动时，它会生成与边缘强度成比例的一些事件。这些事件可以求和并平方以给出rSoS。随着边缘移动到下一个像素上，rSoS以较慢的速率增长，因此rSoS相对于添加的事件的导数变得接近于零。计算光流所需的最小事件数如绿色箭头所示。这种影响可以在实际数据中看到-图。图6 b显示了从第2节中的序列添加事件时的rSoS。在图6c中，当对象穿过像素边界时，时间导数为零。构造一个新的混合奖励，它能够从两类奖励中获得最佳效果。由于rSoSA比rISoA给出了更好的结果（因为它不是一个二进制度量，它稍微更能容忍噪声），我们将其与各种幅度奖励相结合：• rR1=rSoS+rSoSA在这个奖励中，我们在优化过程中使用rSoS奖励，约束条件是连续改进的估计不得降低r SoSA。• rR2=rSoS+rSoSA+rSoE这里我们使用与rR1相同的奖励，除了当我们最终找到一个es时所使用的优化的起始点接近最大值，这就是为什么我们将其并入rR2奖励中。给定一个坏的初始点r，SoE的性能很差，因为它对于大多数优化方法来说4. 实验结果我们使用DAVIS 240C事件摄像机[21]收集的高质量光流地面实况数据测试了我们的奖励，使用线性滑块平移各种场景。我们对线段的两个简单序列进行了测试（图1）。9）和一个圆圈（图。10）在图像平面上移动。线段序列引入了很多孔径不确定性，而圆则没有。我们还在真实的办公室场景中测试了奖励。11）以表明在圆和线段上测试的假设延续到真实世界场景。我们将自己限制在相对简单的场景中，因为它更容易收集地面真实数据并控制孔径不确定性的水平。CM框架在复杂场景中的实用性已经在其他几部作品中得到了展示[3，6，12在实验中，我们将随机噪声添加到事件流中，使信噪比为1/10。通过这种方式，我们能够显示不同奖励相对于噪声的好处，这可能是当前事件相机输出的一个重要组成部分，以及1001001001001005050505050000005050505050100100100100100100 0 100100 0 100100 0 100100 0 100100 0 100奖励12306E/NrSoSrSoErMoArISoArSoSA10010010010010050 50 50 50500 0 0 0050 50 50 50501/10100100 0 100100100 0 100100100 0 100100100 0 100100100 0 10010010010010010050 50 50 50500 0 0 0050 50 50 50501/100100100 0 100100100 0 100100100 0 100100100 0 100100100 0 100图8：在各种事件噪声（E/N）比下采样的各种奖励与光学速度vx、vy用红色虚线表示的地面实况请注意，在高事件噪声比下，数量奖励的回报更加稳健，在1/100 E/N下仍然给出合理的估计稀疏奖励的奖励失败了，变成越来越平坦的分布，中心在v=0，0。关于孔径不确定性。在所有实验中，使用相同的梯度上升优化，通过相同的方法获得数值梯度。对连续批次的事件进行优化，使用宽度为一个像素位移的滑动窗口（关于光流速度），每个序列采集100个样本。与事件有关的光流与传统定义略有不同;通常，光流测量像素在连续帧之间的位移，因此，评估光流的通常方式是通过查看平均端点误差。然而，对于事件，这个定义没有什么意义，因为光流与图像平面上事件的速度有关，而不是位移。相反，我们将研究平均绝对星等误差μ（|我|），因此光流矢量估计的幅度的平均误差相对于地面真实值，以及平均角度误差μ（AE），因此是估计矢量角度的平均误差。这样我们也可以看到误差的标准差σ2（|我|）和σ2（AE）。4.1. 线段序列线段序列（Fig.图9）示出了当暴露于具有强线特征的数据（该特定序列仅由线特征组成）时不同奖励的分配。正如2.1节所讨论的，人们会期望稀疏奖励在这方面表现得更好。序列，至少在事件噪声比高的情况下。实际上，在传统的奖励中，稀疏性奖励rISoA和rSoSA在孔径不确定性的这种极端情况下得分最好（表1）。①的人。然而，正如假设的那样，一旦噪声被添加到事件流中，稀疏奖励的表现比幅度奖励差得多 这里值得指出的是CM方法的显著鲁棒性;即使有一个数量级的噪声污染事件，光流估计仍然是相当合理的，并且仅稍微恶化。混合方法能够利用两种类型或奖励的最佳特性，在正常条件和大量噪声下都表现最佳。4.2. 循环序列在圆圈序列中，事件摄像机滑过一个圆圈的图像，生成图1中可视化的事件10. 该序列示出了其中不存在孔径不确定性的场景，因为在所得到的事件中不存在主导线特征。事实上，在这样的场景中，获胜者是通常实现的rSoS，它的性能几乎比我们的混合奖励好三倍，尽管这些奖励在平均角度误差方面的准确性略好（表1）。2）的情况。然而，一旦将噪声添加到事件流中，rSoS的准确性就差了整整两个数量级，而混合奖励rR2仅变为5倍10010010010010050505050500000050505050501001001001001001/010001001000100100010010001001000100奖励奖励奖励12307线段序列事件/噪声= 1/0（无噪声）R（|我|）2（|我|）µ（AE）2σ（AE）rSoS38.291.68-0.3110.007rSoE137.5114.02-0.5460.019rMoA22.4110.92-0.2800.038rISoA11.365.41-0.2040.006rSoSA12.791.02-0.2340.006rR110.313.26-0.1220.003rR210.503.14-0.1030.004事件/噪声= 1/10R（|我|）2（|我|）µ（AE）2σ（AE）rSoS49.1425.48-0.6110.077rSoE47.6430.86-0.7120.401rMoA82.1133.63-0.4820.051rISoA88.0611.250.5591.096循环序列事件/噪声= 1/0（无噪声）R（|我|）2（|我|）µ（AE）2σ（AE）rSoS0.490.37-0.1530.010rSoE72.1411.201.5170.033rMoA73.4518.321.0660.051rISoA2.371.91-0.3050.034rSoSA1.250.78-0.3500.009rR11.581.27-0.1000.009rR21.691.42-0.0360.040事件/噪声= 1/10R（|我|）2（|我|）µ（AE）2σ（AE）rSoS43.412.52-0.5120.010rSoE23.5627.460.3540.640rMoA11.103.830.1320.090rISoA89.337.760.8981.053表1：绝对星等误差|我|和角度误差线段序列流估计向量的AE表2：绝对星等误差|我|圆序列流量估计矢量的角误差AE(a)实验设置：线性滑块上的事件摄像机平移经过圆形。（c）第（1）款 噪声 添加 到(b) 要处理的事件的时间片。(d)运动补偿(a)实验设置：线性滑块上的事件摄像机平移经过圆形。(c)噪音添加到事件。（b）活动时间表，被处理。(d)使用rR2的运动补偿事件。事件使用rR2的事件。图10：循环顺序：在实验装置中，图9： 线段序列： 实验设置时，使用线性滑块将事件摄像机移过线段。处理所得到的事件的切片以提取光流估计，两者都具有添加到事件流的噪声，并且一次仅使用原始事件。更糟糕的是，明显击败了其他方法。有趣的是，随着场景变得更嘈杂，极端量值奖励rSoE和rMoA实际上得到改善。这是因为这些奖励函数具有相当强的峰值，因此容易出现局部收敛问题;噪声有效地模糊了回报函数，从而使得梯度更容易。为了进行公平比较，在优化过程中对所有奖励应用了相同的平滑量;有关平滑对不同奖励类型的影响的详细信息，请参阅补充材料。使用线性滑块将事件摄像机移动经过一个圆。处理所得到的事件的切片以提取光流估计，两者都具有添加到事件流的噪声，并且一次仅使用原始事件。4.3. 办公室序列办公室序列（Fig.11）包括在办公室场景上的平移，随后将地面实况光流速度手动注释到该办公室场景。这一序列说明，在前面的实验中测试的想法正如在现实世界序列中经常出现的情况，由于窗口、表格等的边缘，在事件流中存在几个可见的强线特征。因此，毫不奇怪，我们的混合方法能够在有和没有添加噪声的情况下击败现有方法（Tab. （3）第三章。12308(a)实验设置：线性滑块上的事件摄像机平移经过圆形。(b) 要处理的事件的时间片。(c)添加到（d）运动补偿事件的噪声。 使用r R2的事件图11：Office序列：在实验设置中，事件摄像机在办公室周围摇摄。一个切片的结果事件进行处理，以提取光流估计，都与噪声添加到事件流和一次只使用原始事件。办公室序列事件/噪声= 1/0（无噪声）R（|我|）2（|我|）µ（AE）2σ（AE）rSoS5.583.58-0.1160.029rSoE17.8918.430.1780.879rMoA19.7919.680.3690.890rISoA16.2818.64-0.0640.365rSoSA5.473.28-0.1700.041rR19.0912.93-0.0090.041rR24.953.23-0.0080.112事件/噪声= 1/10R（|我|）2（|我|）µ（AE）2σ（AE）rSoS16.075.95-0.4550.042rSoE15.8314.98-0.0840.766rMoA20.2617.40-0.1390.692rISoA46.823.55-0.6791.121rSoSA49.090.40-0.9930.684rR148.661.45-1.1190.312rR215.0814.66-0.0480.262表3：绝对星等误差|我|局序列流量估计矢量的角误差AE4.4. 真实世界噪音由于前面的实验包括合成噪声，我们展示了一个带有自然噪声的序列。根据我们的经验，即使重新校准对比度阈值，极端温度、阳光直射或非常昏暗的场景也会在时事摄像机中产生大量噪声。即使在一个完美的传感器中，像镜头光斑这样的现象也会导致大量的图12当骑自行车的人骑车经过而事件摄像机正对着太阳时，会生成许多噪声事件在这种情况下，噪声事件也由太阳产生图12：下图：绝对星等误差|我|和角度误差AE的流量估计矢量为自行车se-quence 上图：当一辆自行车经过相机时，场景的常规帧在右侧，所产生的事件显示在时空体积中，显示显著的噪声量。在Adobe Flash Player中设置图形动画。如通过透镜张开。在这里，rR2奖励的表现明显优于其他指标，rSoE紧随其后，表明我们的研究结果可以很好地转化为现实世界的设置。5. 结论在本文中，我们表明，有关对比度最大化的基本假设是，良好的轨迹估计是那些事件积累在较少的位置。从这个观察，我们能够设计两类奖励函数，稀疏性和幅度奖励函数，并从这个分类创建四个其他奖励。我们触及的问题，有多少事件需要作出良好的预测，以及如何这个数量可以估计。我们表明，哪种数据可能会导致由于孔径的不确定性和稀疏奖励的回报，是不太容易受到这种不确定性的错误。我们在真实数据上测试了各种衍生的奖励函数，并证实了稀疏性和幅度奖励函数的假设特征。利用这些知识，我们创建了rR1和rR2奖励，它们在实验上比以前的奖励表现得更好。因此，我们希望这项工作将有助于未来的基于事件的视觉研究，提供更好的奖励功能，并激发关于这些奖励的基本功能的讨论。确认我们鼓励读者查看补充材料，以获得更多的实验和证明。这项工作得到了ARC机器人视觉卓越中心的支持，项目编号CE140100016（www.roboticvision.org）。自行车序列-没有人工噪音R（|我|）σ （|我|）µ（AE）σ2（AE）rSoS30.9242.31-0.4280.409rSoE22.1236.01-0.1630.577rMoA48.4559.180.4340.652rISoA543.58585.260.2920.861rSoSA36.3241.68-0.5320.350rR131.0542.46-0.4260.40512309引用[1] M. 杨，S.-C. Liu和T.Delbruck，“具有1%时间对比灵敏度和用于事件编码的像素内异步增量调制器的动态视觉传感器”，IEEEJ. 固体-国家电路，第50卷，没有。第9页。2149-2160，2015。1[2] P. 利希特施泰纳角Posch和T.Delbruck，“128×128 120 dB15 µ s延迟异步时间对比度视觉传感器”，IEEE J. Solid-State Circuits，vol. 43，no.第2页。566–576，2008. 1[3] G. 加列戈河Rebecq和D.Scaramuzza，“事件摄像机的统一对比最大化框架，适用于运动、深度和光流估计”，IEEE会议。Comput. 目视模式识别（捷克斯洛伐克共和国），第3867- 3876，2018。一、二、四、五[4] A. Rosinol Vidal，H.Rebecq，T.Horstschaefer和D.Scara-muzza，“终极SLAM？combining events，images，andIMU for robust visual SLAM in HDR and high speedscenarios，”IEEERobot. 自动Lett. ，vol.第3页。9942[5] A.阮氏T.做吧D G. Caldwell和N. G. Tsagarakis，2[6] A. Z.朱湖，加-地Yuan，K. Chaney和K. Daniilabe，“EV- FlowNet：基于事件的相机的自监督光流估计，“机器人：科学与系统（RSS），2018年。二、五[7] M. Liu和T. Delbruck，“动态视觉传感器的自适应时间片块匹配光流算法”，英国马赫。目视Conf.（BMVC），2018. 2[8] E. Mueggler，G. Gallego和D. Scaramuzza，2[9] P. Bardow，A.J. Davison和S.Leutenegger，“来自事件相机的同步光流和强度估计”，IEEE会议。Comput. 目视模式识别（捷克斯洛伐克共和国），第884- 892，2016。2[10] H. Rebecq，G. Gallego和D. Scaramuzza，“EMVS：基于事 件 的 多 视 图 立 体 声 ， ” 在 英 国 马 赫 。 目 视 Conf.（BMVC），2016. 2[11] E. Mueggler，G.加列戈河Rebecq和D. Scaramuzza，“事件摄像机的连续时间视觉惯性里程计”，IEEE Trans.Robot。，2018年。2[12] G. Gallego和D. Scaramuzza，“使用事件相机进行精确角速度估计”，IEEERobot。自动Lett. ，第2卷，没有。第2页。632-639，2017。二、五[13] T. Stoffregen和L. Kleeman，“使用动态视觉传感器的同步光流和分割（SOFAS）”，澳大利亚会议。机器人自动（ACRA），2017年。二三四五[14] A. Z. Zhu，N.Atanasov和K.Danielle，“基于事件的特征跟踪与概率数据关联”，IEEE国际会议。机器人自动（ICRA），pp. 4465-4470，2017年。二、五[15] A.米特罗欣角费穆勒角Parameshwara和Y. Aloi- monos，“基于事件的移动对象检测和跟踪”，IEEE/RSJ Int.确认输入机器人系统（IROS），2018。二三四五[16] C. Scheerlinck，N. Barnes和R. Mahony，“使用事件相机进 行 连 续 时 间 强 度 估 计 ” ， 亚 洲 会 议 计 算 。 目 视（ACCV），2018. 2[17] C. Scheerlinck，N. Barnes和R. Mahony，“事件相机的异步空间图像卷积”，IEEERobot。自动Lett. ，第4卷，pp. 816-822，Apr. 2019. 2[18] T. 斯托弗雷根湾Gallego，T.德拉蒙德湖克莱曼，和D. Scaramuzza，二、四、五[19] B. D. Lucas和T. Kanade，“一种迭代图像配准技术及其在 立 体 视 觉 中 的 应 用 ” ， Int. Joint Conf. 人 工 智 能（IJCAI），pp. 674-679，1981。3[20] E. 穆格勒， C. 福斯特 N. 鲍姆利 G. 加列戈，以及D. Scaramuzza ， “Lifetime estimation of events fromdynamic vision sensors” ， IEEE Int.Conf. 机 器 人 自 动（ICRA），pp. 4874-4881，2015。3[21] C.布兰德利河伯纳M.杨，S.- C. Liu和T. Delbruck，“一种240 × 180 130 dB 3us延迟全局快门时空视觉传感器”，IEEE J. Solid-State Circuits，第49卷，第2003 - 2004页。第10页。2333-2341，2014。5