高分辨率抗噪声成像技术研究

1609高分辨率抗噪声成像子豪W.王<$#§段佩琦#Oliver Cossairt<$ Aggelos Katsaggelos<$ Tiejun Huang北京大学北京项目页面：https://sites.google.com/view/guided-event-filtering摘要提出了一种新的高分辨率、低噪声的计算成像系统。我们的系统由一个捕获高分辨率强度图像的视频摄像机和一个将高速运动编码为异步二进制事件流的事件摄像机组成为了处理混合输入，我们提出了一个统一的框架，首先通过噪声鲁棒性亮度增加亮度降低-608运动补偿模型，然后执行联合图像过滤滤波后的输出表示所捕获的空间-时间体积的时间梯度，其可以被视为具有高分辨率和低噪声的运动补偿事件帧。因此，输出可以广泛应用于许多现有的基于事件的算法，高度依赖于空间分辨率和噪声鲁棒性。在公开的数据集以及我们新的RGB-DAVIS数据集上进行的实验结果中，我们在高帧率视频合成，特征/角点检测和跟踪以及高动态范围图像重建等应用中显示了系统的性能改善。1. 介绍最近，被称为事件相机或动态视觉传感器（DVS）的新型生物启发传感器凭借其相对于传统帧相机的独特优势（诸如高速、高动态范围（HDR）和低功耗）而获得了越来越多的关注[22，45]。到目前为止，事件摄像机在解决经典以及新的计算机视觉和机器人任务方面表现出了有前途的能力，包括光流和场景深度估计[1，31，40，49]，高帧率HDR视频合成，sis [15，30，37，38，41，43，52，55]，3D重建和跟踪[11，19，27，36]，视觉SLAM [51]，对象/面部去保护[34，35]和自主车轮转向[26]。尽管基于事件的视觉有许多进步[8]，#平等的贡献。*通讯作者。§部分作品是在访问北京大学时完成（a）图像事件的联合图（b）运动补偿事件(c)捕获的图像（d）过滤的事件图 1 ： 与 传 统 的 帧 相 机 相 比 ， 事 件 相 机 （ 例 如 ，DAVIS240）可以捕捉高速运动（a），但承受低分辨率和严重噪声（b）。我们的系统在高分辨率图像（c）和高速事件之间联合滤波以产生高分辨率低噪声事件帧（d），其可以与具有改进性能的下游基于事件的算法接口电流事件传感器原型，例如，DAVIS 240，仍然承担低空间分辨率和严重的噪音（图。1（a）&（b））。此外，独特的事件感测机制，根据该机制，每个像素单独地响应亮度变化并输出连续时间戳地址点的云（图1）。1（a））使得基于事件的超分辨率和去噪具有挑战性。另一方面，商业框架传感器可以轻松获取数百万像素，基于图像的超分辨率和去噪算法经过几十年的发展已经非常先进。这些感觉和算法的不平衡促使我们问：我们能否互补地利用事件和1610kk=1帧感知？什么是统一机制？它们的协同作用如何使相关的视觉任务和应用程序受益？为了回答这些问题，我们建立了一个混合相机系统，使用低分辨率的事件相机，即，DAVIS240和高分辨率RGB摄像头。我们建立了一个计算框架，桥梁事件感知与帧感知。我们的系统继承了高分辨率的属性（比DAVIS高8倍），并且对事件传感器噪声具有鲁棒性。贡献：• 我们提出了一个新的优化框架，引导事件过滤（GEF），其中包括一个新的运动com，事件和帧感知相结合的补偿算法。通过从每一端获得互补优势，GEF实现了高分辨率、抗噪声的成像。• 我们建立了一个原型混合相机系统，并收集了一个新的数据集，即，RGB-DAVIS。验证实验-对公开数据集和RGB-DAVIS进行了评估。• 我们展示了GEF在优化流估计、高帧率视频合成、HDR等方面图像重建、角点检测和跟踪。局限性：由于我们的工作是基于帧感知和事件感知具有互补优势的假设，因此其中一个限制是当一种感知模式表现明显不足时。例如，当帧传感器遭受显著的模糊或噪声时，我们的框架应该只利用事件信息，即，将事件用作指导和输入。在事件方面，在我们的线性运动补偿模型中没有对由快速照明变化触发的事件进行建模，因此可能由于不正确的流量估计而阻碍GEF的有效性。我们的混合摄像机没有保留活动摄像机的低2. 相关作品事件去噪。事件去噪在文献中被认为是预处理步骤[6，7，18，24，29]。现有的事件去噪方法利用局部时空相关性，并将孤立事件标记为要消除的噪声[53]。然而，这些去噪器在检索低对比度空间纹理的缺失事件时面临挑战。我们通过利用事件和强度图像之间的相关性来解决这个问题基于事件的运动补偿。 运动补偿是一种新兴的关联局部事件的技术。它已经显示出对下游应用的好处，例如深度估计[9]，运动分割[48]和特征跟踪[10]。假设局部事件由相同的边缘信号触发，并且应符合相同的运动流[4]。可以通过最大化血流参数的直方图/图像的对比度来估计血流参数。[9]《易经》中的卦。最近的工作已经纳入了平滑约束，如总变差[56]。计算高速摄像机。 现代传感器中空间分辨率和时间分辨率之间的折衷引入了静态相机和视频相机之间的基本性能差距。为了解决这个问题，已经出现了几种方法[5，13，42]，其通过光流和/或时空正则化利用帧间对应。混合摄像机被设计成灵活的[14]，自适应的[59]高速视频传感。最近，已经设计了许多压缩视频感测原型[2，17，25，39，47]，其具有用于数据恢复和推断的附加时空编码器和压缩感测算法。压缩感知高速成像的扩展通过结合主动照明实现了单次拍摄3D视频恢复[54]。引导/联合图像过滤器。引导/联合图像滤波器的目标是将结构信息从参考图像转移到目标图像。参考和目标可以是相同的，在这种情况下，滤波过程变成边缘保留 过 程 [12 ， 16 ， 20 ， 46] 。 尽 管 在 RGB 和 近 红 外（NIR）图像[57]、3D-ToF [32]和高光谱数据[33]之间探索了引导/联合图像滤波（GIF）的类似想法，但将GIF应用于事件相机的主要挑战是事件不会直接形成图像，并且会因场景运动或照明变化而时空错位。3. 方法在本节中，我们首先简要回顾一下第二节中的事件传感器。3.1，并推导出它的关系，强度/帧感测在第3.1节。3.2. 我们的框架引导的事件过滤（GEF），然后在第二节介绍3.3（对于运动补偿步骤），第3.3节3.4（用于联合过滤步骤）和Sec.3.5（实施细节）。3.1. 事件感测系统考虑一个潜在时空体（R×T∈R2×R），其中一个强度场由一个基于帧的相机同时采样，该相机输出强度图像I（x，y; t）和输出一组事件的事件照相机，即，E={et}Ne，其中Ne表示事件的数量。每个事件都是一个四属性元组etk=（xk，yk，tk，pk），其中xk，yk表示空间坐标，tk表示时间- tamp（单调递增），pk表示极性。 pk∈{-1，1}表示强度变化的符号，单位为log空间即，pk= 1，如果θt>p;pk= −1，如果θt < $n，其中θt= log（It+b）−log（It−δt+b）。b是防止log（0）的无穷小正数。 I t和I t−δt分别表示在时间t和t− δt的强度值，并且Δ p和Δ n是对比度阈值。我们将使用Lt来表示1611refKt参考t参考在时间t，即， Lt=steclo g（It+b）。现在，我们假设I和E具有相同的空间分辨率。3.2. 事件强度关系我们表明，事件和强度/帧传感桥接通过时间梯度。在强度方面，我们采用光流假设来推导潜场L的时间梯度。假设在一个小的附近存在一个小的流动矢量δu=[δx，δy，δt]（一）X（b）第（1）款X（c）第（1）款在此条件下，强度假定为常数。数学-这一假设可表述为：L （ x+δx ， y+δy ， tref+δt ） =L （ x ， y ，tref）。 （1）等式（1）的左侧的泰勒级数展开式。 （1）给出：Ltref+δt=Ltref+ ΔxytLtrefδu+o（|δx|+的|δy|+的|δt|）、（2）图2：（a）潜在的边缘信号（灰色曲线）由于运动而触发一(b)在对比度最大化（CM）[9]中，事件在tref处被扭曲以形成直方图（紫色）。(c)在我们的联合对比度最大化（JCM）中，图像由事件（紫色）和强度图像（绿色）的边缘共同形成。LLL其中， =[x，y，t]。不表示在时间tref处评估的梯度算子。如果我们只替换零-和一阶项来近似Ltref+δt并重新排列Eq.（1），我们可以得到以下关系式：L3.3. 联合对比度最大化先前的工作[9]提出了对比度最大化（CM），以基于仅由扭曲事件形成的图像（或直方图）的对比度来优化流参数，如-是的不客气。不ref −Ltref v=stecQ1，（3）示于图第2段（b）分段。但是，CM是为事件数据设计的其中，联系我们=[，]表示空间梯度一个人 在存在强度图像的情况下，我们扩展了提出了联合对比度最大化的refxLt，v=[δx，δy]θ是速度矢量。为未来（JCM）以基于强度IM来估计流矢量refδt δt参考文献，我们将从强度图像导出的时间梯度定义为Q1。在事件侧，流速v将导致局部事件的位置偏移。这是基于本地事件由相同边缘触发的假设，如图2（a）所示因此，时间梯度可以通过局部窗口中的一组扭曲事件的正切来近似：年龄和事件。 特别是，我们建议最大限度地对比度的图像/直方图共同形成的绝对边缘的强度图像和扭曲的事件，如图所示。第2段（c）分段。在数学上，翘曲事件和强度边缘的图像表示为：ΣNeJ（x;v）=δε（x−x′（v））+αS（x），（6）k=1.Σǫ δ ˆ(x −x′)其中S（x）是边缘图像，并且可以定义为S（x）=L不客气。≈t参考（tk−tref）∈（0，δt）kδtk=stecQe， ⑷√|2个以上|g y I（x）|二、|2. 我们使用索贝尔边缘（与-输出阈值）作为离散近似。x轴其中，如果pk=1，则k=p;如果pk=−1，则k= n。δ（·）为狄拉克δ函数x′是通过翘曲确定的事件位置核可以定义为gx=[-1，0，1;-2，0，2;-1，0，1]，G=g<$，α=<$Ne是归一化系数kyx(back传播）测量的事件到时间tref，i、jX1612S（i，j）相对于流速v，即，x′=x-（t−tv，其中来平衡两个数据的能量。x= [x，y]，xK= [x，y]k kref估计流速的目的是：K Kk和x′ = [x′，y′]π。 在KKK1在本文的其余部分，我们定义了时间梯度，从事件作为Qe。vx=argmaxvNp（Jij−J<$）2，（7）IJ从等式（4）和等式（3）我们得到，QeQl.（五）上述等式建立了事件和图像空间梯度之间的关系。在该关系中存在两个未知量，即Vk和v，其中Vk∈ {Vp，Vn}可以从事件相机配置中获得。从数值上讲，可以将pixk视为要匹配的常数缩放值Qe与Ql。关键的未知数是流速v。这里不考虑由照明变化产生的事件其中Np表示图像块中的像素数J，而J<$表示J的平均值。注意，当没有强度图像可用或其具有低质量时（例如，模糊），则Sobel项可以被设置为零，并且公式退化为仅事件对比度最大化[9]。在非零S的情况下，最大对比度对应于将事件传输到图像边缘的流速非最佳速度将导致对比度恶化。在这里，我们执行CM和JCM之间的数值比较，如图所示。3.第三章。 我们遵循[22]中的分析。Σ161322a一B2一B算法1引导事件过滤（GEF）输入：强度图像I，事件E。输出：滤波后的时间梯度1：使用方程中的JCM估算流场v。（7）;2：计算Ql 由方程式（3）Qe由方程式（4）;3：根据等式2执行引导滤波。（九）、00.050.1 00.050.1 00.050.1 0 0.05 0.1事件噪声图3：CM和JCM [9]在流量估计方面的比较。事件噪声[28]《易经》中的“卦”字。即，取阈操作（thresholdingoperation）（Δ p= 0. 2，n= −0。2）被应用于流移位图像与流移位图像之间的差异图像• 侧窗引导过滤（SW-GF）[58]：在这种情况下，正则化项与GIF相同，但回归计算在8（上半部分，下半部分，左半部分）半、右半、西北、东北、西南、东南）侧窗口，而不是以目标像素为中心的单个窗口。与GIF相比，该滤波器具有更好地保留滤波器输入图像的边缘的特性。• 联合滤波的相互结构（MS-JF）[44]：该滤波器强调内部放置和引导图像，并以双向方式执行滤波。通过最小化相似性度量项来寻求共同结构，即，E s=||g a Q l+gb−Qe||2个以上||g′Qe+g′−Ql||2，其中g′和g′表示原始/最后的图像。事件噪声遵循高斯分布，2ab2abe l对应系数，用于使用Q来表示Q。Addi-[22]第二十二话我们...在σ e∈（0，0. 1），以及通常，正则化项包括平滑项，即， Er = λ1g2+ λ2g′2，以及偏差项验证了流量估算的准确性。不同流量a a方向与固定的流动半径为5像素。我们使用欧氏距离来量化流量估计误差。该误差在18幅尺寸为30×30的图像上平均。这个实验的细节以及视觉示例可以在补充材料。如图3、JCM和CM误差都随着噪声水平的增加而增加。然而，JCM在噪声水平的所有频谱上保持低误差，揭示了比CM更强的噪声鲁棒性。3.4. 联合滤波联合/引导滤波的目标是构造继承来自Qe和Ql的互结构的优化输出。 在引导图像滤波中，输出图像块Qo被定义为引导图像块Ql的仿射变换：Qo=gQl+g.（八）这避免了滤波后的输出偏离原始值太远最终图像，即，Ed=λ3||gaQl+gb−Ql||2+λ4||g′Qe+g′−Qe|| 二 、 目标 是最小化总损耗项，即，E=Es+Er+Ed，在ga，gb，g′，g′上。3.5. 实现细节GEF的步骤总结在算法1中。在JCM步骤中，我们使用半径为rw的局部窗口来估计逐像素流。事件少于1的区域Rw可以由于场景的结构而变化。当场景具有稀疏和孤立的对象时，可以使用大的rw，以换取更多的时间来计算流场。强度图像支持比事件窗口稍大（四边大约几个像素），以防止由于大速度而导致的事件沉降。流速和Ql的计算都使用a b空间梯度。 因此，空间梯度图像可以通过上述公式，Qo继承了Ql的空间结构，即，在每个局部补丁中，对象通常被定义为数据项和正则化项：argmin||Qo−Qe||2+λΦ，（9）ga，gb其中Φ是正则化泛函，λ是正则化参数。特别是，我们认为三个流行的，以及新兴的过滤器，即，• 引导图像过滤（GIF）[16]：在这种情况下，Φ=g2。该正则化项是为了防止系数ga太大。计算一次。在滤波步骤之前，Ql被归一化以匹配Qe的范围。该标准化步骤还用作对事件阈值（Ek）的估计。输出图像Q。的像素值被舍入为整数，其可以被解释为事件计数。在过滤步骤中，我们将所有三个过滤器的窗口宽度设置为1滤波在强度-事件联合引导和事件自引导之间切换当一个窗口图像块具有低空间对比度，因此α值较大时，我们在等式中设置α= 0（6）且Ql=Qe.我们为MS-JF运行 20次迭代对于GIF和SW-GF，设置λ1×10- 3。对于MS-JF，将相同的值分配给流向：（、）的方式（（，−）的 方式������（3CMJCM2.521.510.50流量估计误差（pix/s）1614参 数 对 ， 即 ， λ1 和 λ2 （ λ1×10−2 ） ， 以 及 λ3 和 λ4（λ3）。这是为了鼓励投入和指导之间的同等权重过滤在以下情况下执行：Qe和Ql具有相同的分辨率，并且都是灰度级。过滤颜色事件的详细信息包含在柔软的材料中。过滤后的输出不将三进制表示保留为原始事件。我们的基于图像的事件表示更适合于以基于图像的方式处理事件的下游算法[55]。可以将事件扭曲回时空体积中以恢复三元表示。一种可能的恢复方法是沿着计算的流方向均匀地分布事件1.41.210.80.60.40.2000.010.02 0.03 0.04 0.05事件噪声0.06与CM [9]类似，JCM的计算复杂度与CM相比，JCM对比度的附加计算通常可以忽略不计。GIF和SW-GF都具有线性计算时间w.r.t.补丁像素大小。MS-JF是迭代依赖的。4. 实验4.1. 数值评价图4： 事件去噪性能比较。强度引导滤波器（GIF [16]、SW-GF [58]和MS-JF[44]一致优于非基于指导的方法（Liuetal.[24][25][26][27][28]引导去噪。在这个实验中，我们将GEF（考虑所有三个滤波器）与两种最先进的基于事件的去噪方法进行比较，Liu等[24]和EV-步态[53]。为了量化去噪性能，我们使用零噪声事件帧作为基础事实。去噪后的图像进 行 比 较 ， 对 地 面 实 况 图 像 使 用 的 均 方 根 误 差（RMSE）标准。RMSE值越小，去噪性能越好。在每个噪声水平下，RMSE值平均超过18个图像。 结果如图所示。4.第一章 可以看出，与非基于指导的方法相比，所有三种GEF方法都具有更好的去噪性能在三个引导滤波器中，MS-JF [44]在整体上具有比其他两个滤波器最低的RMSE值。(a) 图像+事件（b）滤波器输入，Qe（c）引导，Ql(d)Liu等[24]（e）EV-gait [53]（f）全环基金>100范围因此，我们选择MS-JF作为GEF中的滤波算法。我们只在下面显示MS-JF结果-（b）的补片（c）的补片（d）的补片（e）的补片（f）的补片<-10降低实验。使用GIF和SW-GF的其他结果见补充材料。定性地，我们比较了捕获的真实世界场景数据集的去噪性能（将在第二节中介绍）4.2）。结果示于图五、与现有方法相比，GEF（MS-JF）能够增强边缘特征并消除事件噪声。引导超分辨率。由于在多个尺度上获得地面实况图像和事件具有挑战性，因此我们在模拟中对上采样进行定量评估。我们使用18个高分辨率（HR）图像来模拟地面真实HR事件。为了模拟低分辨率（LR）事件，首先缩小HR图像的尺寸，并使用相同的过程生成零噪声事件图5：我们的RGB-DAVIS数据集的去噪性能比较。（a）一幅叠加有事件的图像(b) Q 1作为滤波器制导;（c）作为滤波器输入的扭曲事件Qe;（d-f）使用（d）Liu等人的去噪结果。[24]，（e）EV-gait [53]和（f）我们的全球环境基金（MS-JF）。其他结果见补充材料。在SEC中描述的期间。三点三我们考虑三个缩小尺度，最大为8×。为便于将来参考，我们使用2×、4×和8×来表示上采样因子。对于2×上采样，我们首先对低分辨率Qe进行2×双三次上采样，然后使用2×Ql（从HR缩小）执行相同分辨率的联合滤波2倍上采样程序适用于更高的尺度。RMSE刘EV步态GIFSW-GFMS-JF1615表1：超分辨率方法2×4×8×双三40.11039.13339.368(1)没有EDSR [23]39.97639.36339.319制导SRSRFBN [21]40.57239.93740.152EDSR-ev40.31540.57739.961SRFBN-ev40.83740.30940.110(2)指导双三42.59142.61244.144SR，带SREDSR [23]42.59942.65544.174图像SRFBN [21]42.60343.03744.170(3)环境基金42.75543.31944.218图7：我们提出的RGB-DAVIS数据集的示例。在每个正方形中，左下角是转换后的事件帧，右上角是RGB图像。请在补充材料中找到我们完整数据集的图像。(a) 实验装置(b) 校准视图像素，带F/1.4镜头）和机器视觉摄像头（Point GreyChameleon 3，分辨率为2448×2048像素，50 FPS，带F/1.4镜头）。分束器（Thorlabs CCM 1-BS 013）安装在两个相机的前面，具有50%的分离。我们使用13.9图6：我们的RGB-DAVIS成像系统。本文比较了三种超分辨方案：（1）无制导超分辨方案;该方案是指直接SR没有指导。这种方法包括基线双三 次 上 采 样 和 两 种 最 先 进 的 单 图 像 SR 方 法 ：[ 23 ][24][25][26]我们应用预训练模型和重新训练模型。重新训练的模型分别记为EDSR-ev和SRFBN-ev（2）引导SR，带SR图像。在这种情况下，在计算的SR图像和事件图像之间应用联合滤波。(3)全球环境基金。GEF在这里被称为原始HR图像和事件图像之间的联合滤波结果总结于表1中。我们使用峰值信噪比（PSNR）作为性能测量。可以看出，（2）和（3）都具有比（1）更高的PSNR，这表明使用图像作为引导的有效性。在（1）中，重新训练SR网络略微提高了性能，但仍然表现不佳（2）和（3）。 另一个有趣的效应是（2）和(3)PSNR值随着比例因子的增加而增加。这是因为高分辨率的事件图像具有表示薄边缘的稀疏非零信号。补充材料中包含了示例和广告分析4.2. RGB DAVIS相机系统为了测试GEF的真实场景，我们构建了一个由高分辨率机器视觉相机和低分辨率事件相机组成的混合相机，即，戴维斯我们将我们的相机原型称为RGB-DAVIS相机。设 置 和 校 准 。如 图 6 （ a ） ， 我 们 用 一台 DAVIS240b，分辨率为180 × 190两个信号的RIC校准。对于几何校准，我们考虑单应性和径向失真之间的两个摄像机视图。为了从事件数据中提取关键点，我们在监视器上显示一个闪烁的棋盘图案，并在一个时间窗口内整合捕获的事件以形成棋盘图像，如图所示第6 （b ）段。 For tem- poralsynchronization, we write a synchronization script totrigger the two cameras simultaneously.有关校准程序的详细信息，请参见补充材料。数据集收集。我们使用RGB-DAVIS来收集事件RGB视频剪辑的各种序列。示例如图所示。7.第一次会议。室内和室外场景都被捕获。场景范围很广，从简单的形状到复杂的结构。所有剪辑都涉及相机运动和/或场景运动。结果校准后，我们执行三个上采样尺度的引导滤波，即，2倍，4倍，8倍。流量估计为1×。我们展示了三个上采样示例，分别对应于我们在图中捕获的数据集。8.捕获的图像以及校准的事件如图所示 8（a），与图中所示的过滤输出。8（c-f）。可以看出，事件被逐渐且有效地上采样和去噪。请在补充材料中查看场景运动的其他结果以及使用其他过滤器的过滤结果。5. 应用GEF有各种基于事件的任务的应用程序。在这里，我们列举了几个示例应用程序。RGB相机分束事件摄像机视图RGB相机视图161660-470-490-6(a) 图像+事件（b）Qe （c）1×（d）2×（e）4×（f）8×（g）Ql图8：RGB-DAVIS数据的引导上采样结果(a) （b）全球环境基金图9：使用[55]中的DMR方法进行帧预测。5.1. 高帧率视频帧合成任务是使用图像和事件的混合输入重建高帧率视频帧[30，55]。未来帧预测。在这种情况下，我们执行未来帧预测，即，给定开始强度帧和后续事件来预测未来帧。我们在[55]中实现了基于可微模型的重建（DMR）方法如果没有全球环境基金，重建工作将----充分的边缘信息，我们因此扭曲的邻居事件，以形成指导图像。结果见图10（e）.即使没有强度图像的指导，GEF仍然可以使用相邻事件来降低事件噪声。我们进一步比较EDI结果与使用双边滤波的去噪EDI输出，如图所示。第10段（g）。与后去噪方案相比，GEF（图10（f））在消除事件噪声方面更有效。5.2. HDR图像重建GEF算法能够有效地进行运动补偿和去噪，从而提高了HDR图像的重建质量. 如图在图11（a）和（c）中，强度图像包含过度曝光的区域，而扭曲的事件图像保留那些区域中的结构。我们遵循先前的方法，其采用泊松重建用于HDR重建[3]。在我们的情况下，不同之处在于强度图像用于重建。在这种情况下，通过将扭曲的事件图像Qe设置为引导并且将Ql设置为滤波器输入来应用GEF。恢复的梯度场“滑块深度”情况下的mance0.8237（SSIM）。有了全球环境基金，阿格西I′以及估计的流量v和强度im-提高到26.63（PSNR）和0.8614（SSIM）。为了进行定性比较，12个重构帧中的#5帧如图所示。9.第九条。完整结果见补充材料。运动去模糊。GEF可以应用于改善基于事件的运动去模糊[30]。 给定一模糊图像（图10（a））和在曝光时间（图11）期间捕获的事件。10（b）），Panet al. [30]提出了一种基于事件的双积分（EDI）方法来恢复底层的清晰图像，如图所示。10（c）。我们使用相同的公式，但是使用GEF首先过滤事件。注意，在这种情况下，模糊图像不提供使用-然后使用年龄来重建HDR图像。 如可以参见图如图11（c）和（d）所示，具有GEF的重建HDR图像具有比不具有GEF的图像更高的对比度和更少的伪影。5.3. 角点检测与跟踪GEF可以应用于基于事件的特征/角点检测和跟踪。为了证明引导上采样的好处，我们使用RGB-DAVIS相机来捕获周期性循环移动的棋盘图案。我们采用基于事件的Harris角点检测器（evHarris）[50]作为骨干角点检测器。我们的实现和原始evHarris之间的一个细微差别是，我们使用扭曲的事件图像（运动补偿），而不是di。1617(a) 模糊图像>30<-3(b) 暴露事件(a) 不包括全球环境基金，1×（b）不包括全球环境基金，8×（c）电子数据交换（不包括全球环境基金）（d）（c）（c）不包括全球环境基金，1×（d）包括全球环境基金，8×图12：使用evHarris进行角点检测[50]。（e）EDI w/GEF（f）（g）（h）图10：使用EDI的运动去模糊[30]。（f）不含全球环境基金的电子数据交换，从（c）开始。(g)EDI结果（不含GEF）+双边去噪，来自（d）。(g)与全球环境基金的电子数据交换，来自（e）。(a) 过度曝光图像（b）图像+事件(c)（d）全球环境基金图11：基于[3]中Poission方法的HDR图像重建。(a)低动态范围图像。(b)与事件重叠。(c)重建的HDR图像，无GEF。(f)重建的HDR图像w/GEF。在本地窗口中直接累积事件。如图如图12（a）和（b）所示，使用GEF（8×引导上采样），比不使用GEF更准确地检测棋盘格角。我们还比较了两个W/O计算的角轨迹和全球环境基金进程。结果示于图图12（c）和图12（d）。可以看出，由GEF上采样的角点可以比原始帧更准确地跟踪6. 总结发言从我们的实验研究中有几个有趣的结论。首先，我们的研究结果表明，在强度图像的帮助下，流量估计，事件去噪和事件超分辨率（SR）的性能得到了改善。其次，对于事件SR，我们的结果表明，直接应用最先进的基于CNN的SR算法，w/或w/o重新训练，比首先在强度图像上应用相同的SR算法，然后执行联合滤波的性能更差。第三，我们评估了三种不同性质的联合滤波方法。我们的研究结果得出结论，找到的共同结构（MS-JF）是更好地适合于其他两个过滤器。第四，我们已经通过对各种下游任务的测试证明了事件去噪和SR的好处确认本工作得到国家自然科学基金项目（批准号：）的资助. 61872012 ，国家 重点研发& 计划（ 2019 YFF0302902），北京人工智能研究院（BAAI），DARPA合 同 号 ： HR 0011 -17-2-0044 和 NSF CAREER IIS-1453192。1618引用[1] Mohammed Mutlaq Almatrafi和Keigo Hirakawa。戴维斯相 机 光 流 。 IEEE Transactions on ComputationalImaging，2019。1[2] Richard G Baraniuk ， Thomas Goldstein ， Aswin CSankara-narayanan ， Christoph Studer ， Ashok Veeraraghavan ，and Michael B Wakin.压缩视频传感：算法、架构和应用。Signal Processing Magazine，34（1 ）：52-66，2017. 2[3] Souptik Barua，Yoshitaka Miyatani和Ashok Veeraragha-货车从事件摄像机直接进行人脸检测和视频重建。计算机视觉应用冬季会议（WACV），第1-9页，2016年。七、八[4] Ryad Benosman，Charles Clercq，Xavier Lagorce，Sio-HoiIeng 和 Chiara Bartolozzi 。 基 于 事 件 的 视 觉 流 。transactions on neural networks and learning systems，25（2）：4072[5] Pravin Bhat，C Lawrence Zitnick，Noah Snavely，AseemAgarwala，Maneesh Agrawala，Michael Cohen，BrianCur- less，and Sing Bing Kang.使用照片来增强静态场景的视频。在Proc. of the 18th Eurographics conference onRendering Techniques，pages 3272[6] 程文生，罗浩，杨文，余磊，寿顺Chen和Wei Li。DET：用于车道提取的高分辨率DVS数据集。计算机视觉和模式识别会议（CVPR）研讨会，2019年。2[7] 丹尼尔·捷克和加里克·奥查德 评估噪波文件-用于基于事件的异步变化检测图像传感器。在第六届生物医学机器人和生物机电一体化国际会议（BioRob）上，第19IEEE，2016. 2[8] Guillermo Gallego ，Tobi Delbruck，Garrick Orchard，Chiara Bartolozzi ， Brian Taba ， Andrea Censi ， StefanLeutenegger，Andrew Davison，Joerg Conradt，KostasDaniilogger，et al.基于事件的愿景：一个调查。arXiv预印本arXiv：1904.08405，2019。1[9] GuillermoGallego ， HenriRebecq ， andDavideScaramuzza.一个统一的对比度最大化框架的事件相机，与应用程序的运动，深度和光流估计。计算机视觉和模式识别会议（CVPR），第3867-3876页，2018年。二，三，四、五[10] Daniel Gehrig，Henri Rebecq，Guillermo Gallego，andDa- vide Scaramuzza.使用事件和帧的异步光度特征跟踪。欧洲计算机视觉会议（ECCV），2018年。2[11] Daniel Gehrig，Henri Rebecq，Guillermo Gallego，andDa-见Scaramuzza Eklt：使用事件和帧的异步光度特征跟踪 。 International Journal of Computer Vision ， 第 1-18页，2019年。1[12] 郭晓杰，李宇，马佳怡，凌海滨。相互引导图像滤波IEEE Transactions on Pattern Analysis andMachine Intelligence，2018。2[13] Ankit Gupta，Pravin Bhat，Mira Dontcheva，OliverDeussen，布莱恩·柯利斯和迈克尔·科恩增强和体验时空分辨率与视频和剧照。国际计算摄影会议（ICCP），第1-9页。IEEE，2009年。21619[14] MohitGupta，AmitAgrawal，AshokVeeraraghavan，and Srinivasa G Narasimhan.灵活的体素运动感知摄像。 在proc 欧洲计算机视觉会议（ECCV），第100-114页。施普林格，2010年。2[15] 金汉，楚周，段佩琦，唐业辉，常旭，徐超，黄铁军，石博新。神经形态学摄像机引导的高动态范围成像。在IEEE计算机视觉和模式识别会议上，2020。1[16] 何开明，孙建，唐晓鸥。 引导图像文件tering。IEEE Transactions on Pattern Analysis andMachine Intelligence，35（6）：1397-1409，2012。二、四、五[17] Michael Iliadis、Leonidas Spinoulas和Aggelos K Kat-萨格洛斯用于视频压缩传感的深度全连接网络数字信号处理，72：9-18，2018。2[18] Alireza Khodamoradi和Ryan Kastner O（N）-空间水疗-用 于 降 低 神 经 形 态 视 觉 传 感 器 中 的 噪 声 的tiotemporal滤波器。IEEE Transactions on EmergingTopics in Computing，2018。2[19] Hanme Kim、Stefan Leutenegger和Andrew J. 戴维森使用事件摄像机进行实时3D重建和6-DoF跟踪。在欧洲计算机视觉会议（ECCV）上。施普林格，2016年。1[20] Yijun Li，Jia-Bin Huang，Narendra Ahuja，Ming-Hsuan杨 深 度 联 合 图 像 滤 波 。 欧 洲 计 算 机 视 觉 会 议（ECCV），第154施普林格，2016年。2[21] Zhen Li ， Jinglei Yang ， Zheng Liu ， XiaominYang，Gwang-gil Jeon，and Wei Wu.用于图像超分辨率的反馈网络。计算机视觉和模式识别会议（CVPR），第3867-3876页，2019年。6[22] Patrick Lichtsteiner ， Christoph Posch ， and TobiDelbruck. 128×128 120 db 15µ s延迟异步时间对比度视觉传感器。固态电路杂志43（2）：566-576，2008. 一、三、四[23] Bee Lim，Sanghyun Son，Heewon Kim，SeungjunNah，and Kyoung Mu Lee.用于单图像超分辨率的增强深度残差网络在proc 计算机视觉和模式识别会议（CVPR）研讨会，第136-144页，2017年。6[24] Hongjie Liu，Christian Brandli，Chenghan Li，Shih-ChiiLiu，还有托比·德尔布鲁克基于事件传感器的时空相关滤 波 器 设 计 。 在 Proc. of International SymphonCircuits and Systems （ ISCAS ） ， 第 722-725 页 ，2015中。二、五[25] Patrick Llull，Xuejun Liao，Xin Yuan，Jianbo Yang，DavidKittle ， Lawrence Carin ， Guillermo Sapiro ， andDavid J Brady. 编 码 孔 径 压 缩 时 间 成 像 。 OpticsExpress，21（9）：10526-10545，2013. 2[26] 安娜岛 马奎达安东尼奥·洛克西奥吉列尔莫·加列戈Narciso Garc'ıa和Davide Scaramuzza基于事件的视觉与深度学习在自动驾驶汽车转向预测方面的结合。计算机视觉和模式识别会议（CVPR），2018年。1[27] 伊莱亚斯·穆格勒，巴兹尔·胡贝尔，和大卫·斯卡拉穆扎基于事件的6-DoF姿态跟踪，用于高速机动。在IEEE/RSJ智能机器人和系统国际会议上，第2761-2768页，2014年。1[28] Elias Mueggler ， Henri Rebecq ， Gu