基于事件的视频重建算法的研究与应用

448混合事件相机的异步卡尔曼滤波Ziwei Wang Yonhon Ng Cedric Scheerlinck Robert Mahony澳大利亚国立大学系统理论与机器人小组anu.edu.auanu.edu.auhttps://github.com/ziweiWWANG/AKF摘要活动摄像机非常适合捕捉HDR视觉信息而不会模糊，但在静态或缓慢变化的场景中表现不佳。相反，传统的图像传感器有效地测量缓慢变化的场景的绝对强度，但在高动态范围或快速变化的场景上做得很差。 本文提出 用于高动态范围（HDR）场景的基于事件的视频重构流水线。所提出的算法includes帧增强预处理步骤，去模糊和时间内插帧数据使用事件。增强帧和事件数据，然后融合使用一种新的异步卡尔曼滤波器下的统一的不确定性模型的两个传感器。我们的实验结果在具有挑战性光照条件和快速运动的公开可用数据集和具有HDR参考的我们的新数据集上进行评估该算法在绝对强度误差（减少48%）和图像相似性指数（平均提高11%）方面都优于最先进的方法1. 介绍活动摄像机与传统的基于框架的摄像机相比具有明显的优势：高时间分辨率、高动态范围（HDR）和最小运动模糊[24]。然而，事件相机在缓慢变化或静态场景中提供较差的成像能力，其中尽管在测量绝对强度的“灰度级”事件相机中进行了一些努力相反，常规成像技术理想地适合于对静态场景进行成像并测量绝对强度。混合传感器（如动态和有源像素视觉传感器（DAVIS）[4]或定制系统[53]）结合了基于事件和帧的相机，并且在融合传统和事件相机数据的视频重建方面有一个成熟的文献[43，32，31，53]。这种增强传统视频以克服运动模糊和增加动态范围的算法的潜力已经应用于机器人视觉(a) 输入LDR图像（b）E2VID [39](c) CF [43]（d）我们的AKF重建图1。过度曝光和快速相机运动导致模糊的示例取自开源事件相机数据集IJRR [29]。图像（a）是低动态范围（LDR）和模糊的输入图像。图像（b）是最先进的方法E2VID [39]的结果（仅使用事件）。图像（c）是融合事件和帧的基于滤波器的图像重建方法CF [43]的结果。我们的AKF（d）在曝光过度的区域产生最清晰的纹理细节。系统（例如，自动驾驶），通过电影制作到日常使用的智能手机应用程序。在本文中，我们提出了一个异步卡尔曼滤波器（AKF）从混合事件/帧相机重建HDR视频。 关键贡献基于一个明确的噪声模型，我们提出的事件和帧。利用该模型来提供随机框架，其中可以使用扩展卡尔曼滤波器（EKF）算法来求解像素强度估计[17，18]。通过利用事件流的时间量化，我们提出了一个精确 的 离 散 化 的 EKF 方 程 ， 异 步 卡 尔 曼 滤 波 器（AKF），这是计算只有当事件发生。此外，我们提出了一种新的时间插值方案，并应用已建立的去模糊算法[31]在称为帧增强的步骤中对数据进行预处理。所提出的算法展示了最先进的混合事件/帧图像重建，如图1B所示。1.一、449我们将我们提出的算法与流行的公共数据集ACD[43]，CED [46]和IJRR [29]上最先进的基于事件的视频重建方法进行了比较，这些数据集具有挑战性的照明条件和快速运动。然而，使用DAVIS事件相机的现有公共数据集为了克服这种限制，我们构建了一个混合系统，该系统由安装在纯事件相机旁边的高质量RGB基于帧的相机组成，以收集高质量事件，以及来自RGB相机拍摄的多次曝光的HDR地面实况。因此，我们还评估了我们提出的算法在我们提出的HDR混合事件/帧数据集上的定性和定量性能我们的AKF实现了卓越的性能，现有的事件和事件/帧为基础的图像重建算法。总的来说，我们的贡献是：用于混合事件/帧HDR视频重建统一的事件/帧不确定性模型帧增强的去模糊和时间插值具有参考HDR图像的新型真实世界HDR混合事件/帧数据集和用于定量评估HDR性能的模拟HDR数据集。2. 相关工作认识到纯事件相机（DVS）[24]检测缓慢/静态场景和绝对亮度的有限能力，开发了诸如DAVIS [4]的混合事件/帧相机。图像帧和事件通过相同的光电二极管捕获，允许两个互补的数据流被精确配准[5]。 这 导致了对来自混合事件/帧和纯事件相机的图像重建的重大研究工作，包括基于SLAM的方法[21，37]，滤波器[43，44]，去模糊[32，31]，机器学习方法[39，45，49]。视频和图像重建方法可以分为（i）在到达时处理事件的每事件异步算法[5，52，43]和（ii）首先累积有效数量（例如，10k）的事件，然后一次性处理该批次[33，39，45]。虽然批处理方法已经实现了高精度，但是它们会导致额外的等待时间，这取决于批处理的时间间隔（例如，50ms）。异步方法如果在适当的硬件上实现，则有可能在更接近事件的时间尺度上运行<可以在纯事件重建方法和使用（配准的）事件和图像帧的混合的混合事件/帧纯事件重建：仅使用事件的图像和视频重构是社区中非常感兴趣的主题，其可以单独阐明事件的信息内容。早期的工作集中在一个感人的事件上静态场景中的相机，无论是纯旋转[7，20]还是全6自由度运动[21，37]。提出了手工制作的方法，包括光流和图像强度的联合优化[2]，基于事件时间戳的周期性正则化[40]和时间滤波[43，44]。最近，学习的方法已经实现了令人惊讶的高质量视频重建[38，39，45，49]，其计算成本显著高于手工制作的方法。事件/帧重构：DAVIS的发明[4]和它捕捉事件（甚至IMU测量）旁边的帧的能力已经扩大了社区的角度从纯粹的事件相机到混合传感器，以及如何最好地结合模态。早期算法通过添加按对比度阈值缩放的事件在帧之间插值，直到接收到新帧[5]。对比度阈值通常是未知且可变的，因此[5]包括基于来自DAVIS的周围图像帧来估计对比度阈值的方法。Pan等人[32，31]设计了事件和模糊图像之间的事件双积分（EDI）关系高速视频也可以通过根据以下方式扭曲静止图像来获得：通过事件计算的运动[47，26]，或者通过让神经网络学习如何组合帧和事件[34，54，33，25，15]。认识到DAVIS有限的空间分辨率，Han等.[12]构建了一个混合事件/帧系统，由RGB相机和通过分束器注册的DAVIS 240事件相机组成事件引导的HDR成像流水线用于融合帧和事件信息[12]。连续时间时间滤波是利用事件的接近连续性质的方法。Scheerlinck等[43，44]提出了一种异步互补滤波器来融合事件和帧，如果帧输入被设置为零（即，仅使用事件）。滤波器基于经由单个固定增益参数的时间平滑，所述单个固定增益参数确定事件信号的多曝光图像融合（MEIF）：文献中计算HDR图像的最Ma等人。 [27]提出使用结构补丁分解来处理场景中的动态对象。Kalantari和Ramamoorthi [16]提出了一种用于动态HDR MEIF的深度神经网络和数据集。最近的工作还涉及长曝光图像中的运动模糊[50，23]。这些方法直接计算图像，不需要额外的色调映射来产生好看的图像[36]。然而，所有这些工作都需要在同一场景的不同曝光下的多个图像，并且不能应用于本文中考虑的实时图像重建场景。····450iso.p∞pp∞ppProc.pppppp0iftp−tp>ρ，pppiso.N（p）p参考文献ppσ3. 传感器模型和不确定性其中σ2是一个调谐参数，t*N（p）是最新的3.1. 事件摄像机模型事件摄像机测量相对日志强度变化p的邻域N（p）中的任何事件的时间戳。 如果存在最近的时空相关事件，则Q等。（ti）是可忽略的，然而，协方差线性增长p p像素的辐照度。 新事件ei时触发早期，类似于布朗运动假设记录强度变化超过预设的对比度阈值C. 在这项工作中，我们将事件建模为Dirac delta或脉冲函数δ[1]，以允许我们将连续时间系统分析应用于滤波器设计。也就是说，ep（t）=Σ（cσi+ηi）δ（t−ti），（1）i=1过程噪声，以及从最近事件开始的时间。不应期噪声：事件摄像机的每个像素中的电路限制将事件的响应时间限制到称为不应期ρ > 0的最小值[55]。如果事件摄像机在高纹理场景中经历快速运动，则像素将不能足够事件将丢失。我们通过引入一个ηi<$N（0，Qp（t）），依赖于与事件相关的不确定性在时间上是相关的其中ti是在p=（px，py）T处的第i个事件的时间我.ii−1像素坐标，极性σp∈ {−1，+1}表示的对数强度变化的方向，并且噪声ηi是Qp（tp）=2参考文献否则，事件发生时的加性高斯不确定性发生。 噪声协方差Qp（t）是三个贡献噪声过程之和;“过程”噪声、“孤立像素”噪声和“不应期”噪声。即Qp（t）：= Σ。Q程 序（t）+Qiso. （t）+Q参 考（t）Σ δ（t − t i）。其中σ2是调谐参数，ρ是上界不应期3.2. 传统相机型号传统相机的CCD或CMOS电路中的感光器将入射光子转换为电荷P PPi=1p（二）然后通过模数转换器（ADC）将其转换为像素强度在典型的相机中，相机重新-我们将在下一节中进一步讨论这三种噪声过程3.1.1事件摄像机不确定性事件摄像机不确定性的随机模型很难开发和证明[10]。在本文中，我们提出了一个简单的数学模型的事件噪声的三个逐像素的加性高斯过程的总和。过程噪声：过程噪声是像素辐照度演变中的恒定加性不确定性，类似于卡尔曼滤波模型中的过程噪声。由于该噪声仅在事件发生时被实现为加性不确定性，因此我们调用布朗运动的原理来将时间ti处的不确定性建模为具有自同一像素处的最后事件以来随时间线性增长的协方差的高斯过程。即对于曝光的正确选择，响应与像素辐照度线性相关，但是在像素曝光过度或曝光不足的情况下，响应可以变得高度非线性[28]。特别地，诸如暗电流噪声、CCD饱和和晕染的效应破坏了相机在极端强度下的响应的线性度[22]。在实践中，这些极端值，乌乌伊斯通常被修剪，因为数据被传感器噪声和量化误差损坏。然而，从这些数据中获得的信息对于HDR重建至关重要。缩放传感器辐射度（场景辐射度和曝光时间的 函 数 ） 到 相 机 响 应 的 映 射 称 为 相 机 响 应 函 数（CRF）[11，41]。为了从对应的原始相机响应IF（τk）重建在时间τk处的像素p处的缩放的辐照度Ip（τk），应用逆CRFIp（τ k）=CRF−1（IF（τ k））+µ¯k，（3）Proc.我2i i−1µ¯kN（0，R¯p（τk）），Qp（tp）=σproc. （tp−tp），其中〇2是与过程噪声水平相关联的调谐参数。孤立像素噪声：空间和时间上孤立的事件更可能与噪声相关联，而不是在组中相关的事件。噪声背景活动过滤器[9]旨在抑制此类噪声，大多数事件摄像机都有类似的程序可以激活。相反，我们通过以下方式对相关的噪声协方差进行建模：p其中，µ¯k是噪声过程，其对Ip（τ k）中的噪声进行建模，该噪声对应于通过逆CRF映射回的I F中的噪声。噪声的这种逆映射在正确地对相机响应的极值的不确定性建模中是至关重要的。3.2.1常规摄像机不确定度Ip（τk）的噪声来自原始数据Q等。（ti）=σ2min{ti−t*}，参考文献我451相机响应IF（τk）通过452p·p0·◦.Σim.im.Rp（t）：=τk+1−τkRp（τRp（τCRF相对于定标辐照度的灵敏度pp02（Ip（τk）+I0）2p◦平岛WF相机响应函数（CRF）。与传感过程IF（τk）相关的不确定性通常建模为恒定方差高斯过程[48，42]，但对于低光情况，这应该是泊松过程模型[13]。量化噪声在与用于强度编码的比特数相关的量化间隔上是均匀的 由于CRF压缩极端强度值的传感器响应，因此在这些情况下，量化噪声将占主导地位。相反，对于正确的曝光设置，量化噪声是无关紧要的，并且高斯感测过程不确定性提供了良好的模型[13]。通过反相来反相该噪声模型的CRF函数，则我们期望变化R¯p（τk）在(3) 取决于像素的强度：对于极端强度值，并且对于曝光良好的像素来说是大致恒定和小的可以使用在不同曝光下拍摄的图像序列来估计CRF[8，11，41]。对于长时间曝光，本应正确曝光的像素会曝光过度，并提供非线性信息。(a) （b）图像协方差函数图2. D A VIS事件/帧相机中APS相机的加权函数fw（）和图像协方差函数R¯p（蓝色）以及实验研究中使用的FLIR除了Ip（τk）的基本不确定性模型之外，我们还需要对所提出的算法的帧间时段和对数强度尺度中的帧信息的不确定性进行建模。我们使用线性插值来扩展来自两个连续帧Ip（τk）和Ip（τk+1）的协方差估计，在高强度的CRF早期，同样，短期的¯.t−τkΣ¯k+1. τk+1−tΣ¯kτk+1−τkCRF。我们使用这种方法来估计CRFDAVIS事件摄像机和前视红外摄像机上的APS传感器时代在实验中，我们使用原始图像强度作为测量的相机响应。在[41]之后，曝光时间被线性缩放以获得原始相机响应范围内的缩放辐照度。在该方法中，相机响应函数CRF（·）（七）我们通过取Ip的对数来定义连续对数图像强度函数。然而，对数函数不是对称的，并且从Ip映射噪声将使对数强度偏置。使用泰勒级数展开，有偏对数强度近似通过实验确定为缩放的ir-¯k的函数辐射岛确定性函数fc（·）被定义为LF（τ k）≈log。I（τ k）+I−Rp（τ）+µk，fc：= dCRFDI、（四）µk<$N（0，Rp（τk）），（八）它被重新归一化，使得最大值为1 [41]。注意，对于传感器的相同辐照度，不同的相机可以具有不同的相机响应。将确定性函数的I轴重新映射为其中，I0是为确保强度值保持正值而引入的固定偏移，Rp（τk）是与对数强度相关联的噪声的协方差。协方差由下式给出R¯p（t）摄像机响应IF定义加权函数fw（）(Fig2.a）作为相机响应的函数[41]Rp（t）=（I（τk）+I）2。（九）一般来说，当Ip（τk）不是极值时，CRF−1R¯p（t）log.我（τ k）+IΣ且LF（τk）≈f：=通用报告格式，（5）DI哪里定义函数组合。受[41]的启发，我们将与原始相机响应相关的噪声协方差定义为R¯：=σ21，（6）f（I）2（Ip（τk）+I0）2p0plogIp（τ k）+I0.4. 方法所提出的图像处理架构如图1所示。3 .第三章。在所提出的算法中有三个模块：帧增强模块，其使用事件来增强原始帧数据以去除模糊并增加时间分辨率;其中σ2是一个调整参数，与解决方案，异步卡尔曼滤波器（AKF）融合图像中的噪声（见图2. b. 对于σ2=1）的值。注意所述增强帧数据与所述事件流一起生成我们还引入了饱和度来为图像协方差函数分配最大值（图11）。2.b）。HDR视频，以及对不确定性模型进行积分以计算滤波器增益的卡尔曼增益模块位置提供了低强度部分的信息）+）的情况。p45322pp−p−−−pppp+T/2，τp2.−pLD（τk+1+T）图3. §4中讨论的图像处理流水线框图。理想地，如果不存在丢失或偏置事件并且帧数据没有噪声，则前向和后向p2插值结果LA−（ti）和LA+（ti），计算公式为啪啪啪啪LD（τk−T）τk曝光时间Tτk+1曝光时间T时间真实的对比度阈值应该相等。然而，事件流或帧数据中的噪声将导致两个插值不同。我们调和这两个estimates由每像素校准的对比度阈值在每个插值周期。定义对比度阈值图4.帧增强。 有时两个去模糊帧LD（τk+1+T/2）−LD（τk−T/2）τk−T和τk+1 +T计算。事件流用于ck：=pp∫τk+1+T/2e（γ）dγ.（十二）在两个去模糊帧之间进行插值以改善时间分辨率4.1. 帧增强去模糊：由于长曝光时间或快速运动，强度图像L/F可能遭受严重的运动模糊。我们使用[ 32 ]中的双积分模型（EDI）来锐化模糊的低频图像，以获得去模糊图像L D（τ kT/2）和L D（τ k+1+T/2）在结束时，曝光的每一帧（图。4）.这两个锐化图像用于插值模块。插值：插值模块的目标是增加帧数据的时间分辨率。这重要的是在时间上对齐图像帧和事件数据中的信息，这有助于克服在使用零阶保持[43，44]对图像帧进行插值的其他近期工作中可见的重影效应。估计像素处第i个事件时间戳τk−T/2该校准可以被视为使用由去模糊帧之间的事件积分提供的形状并且缩放对比度阈值以垂直拉伸或收缩插值以拟合去模糊帧数据（图1B）。4）.这在补偿不应噪声时特别有效，其中缺失事件与剩余事件在时间上相关。使用去模糊图像的曝光的外部限制最大化了内插周期中的事件（每像素）的数量，并提高了ck的估计。在每个曝光（帧k）内，存在可用的前向和后向估计，其具有与从帧k内插相关联的不同的每像素对比阈值。k1到k，k到k+1。我们在曝光期间的估计值之间平滑插值，以定义最终的增强帧p，我们从去模糊图像LD（τk）向前积分T/2）（图11）。4）.因为-好吧τk+T/2tTΣLA−（t）+ptτk+T/2不ΣLA+（t）pward插值是LA（t）=kkp∫tLA+（t）如果t∈[τ−T/2，τ+T/2），LA−（t）=LD（τk−T/2）+e（γ）dγ，（10）k k+1其中LA-表示增强图像。同样我们从曝光k+1的结束向后内插到获得∫τk+1+T/2不4.2. 异步卡尔曼滤波在本节中，我们将介绍集成事件和帧的不确定性模型数据以动态地计算滤波器增益。 我们提出了一个原始校准曝光时间去模糊帧正事件负事件对数强度−pτk−T/2如果t∈[τT/2）。（十三）LA+（t）=LD（τk+1+T/2）−e（γ）dγ。（ 十一）pp454pppppppppppppppp啪啪啪啪∈P PPP PP∈pp原木强度状态dLp=ep（t）dt+dwp，LA（ti）=Lp（ti）+μi，Riccati方程也可以在时间间隔t∈ [ti，ti+1）和在新事件时间戳ti+1处。在时间间隔t[ti，ti+1）（没有新事件或帧发生）中，状态协方差Pp（t）通过常微分方程其中dwp是维纳过程（连续时间随机过程），µi是对数强度帧噪声（8），Pp（t）=−P2（t）·R−1（t）。 （十九）P P P与§3.1和3.2。这里，LA（t，i）是增强图像（参见LA（t））。在该时间间隔上从（6）-（9）计算Rp（t），则（19）的pp解是在图3中），并且该符号也用作测量方程，其中Lp（ti）是真实（log）图像强度。常微分方程（ODE）的前-假设滤波器状态估计为1Pp（t）=P−1（ti）+R−1（t）·（t−ti），对于t∈[ti，ti+1）.（二十）ˆ˙ˆAppLp（t）=ep（t）-Kp（t）[Lp（t）-Lp（t）]，（14）其中Kp（t）是下面（18）定义的卡尔曼增益。 我们实现的卡尔曼-布西滤波器是在在新的事件时间戳ti+1处，状态协方差Pp从时间戳t（i+1）-更新，使得（吨）连续时间，并在每个事件到达时异步更新。在每个新的事件时间戳ti处，过滤器状态为Pp（t i+1）= Pp（t（i+1）−）+Qp（ti+1）。（二十一）更新为Lp（ti）=Lp（ti−）+ep（ti）。（十五）卡尔曼滤波器增益的显式解通过将（20）和（21）代入（18）而获得。 参见补充材料§5中Pp（t）的推导。溶液被替换在没有新事件或帧的时间间隔t[ti，ti+1）内，我们将以下ODE求解为离散更新p−Kp（t）[L （十六）（14），得到（17）。5. 混合事件/帧数据集评估混合事件/帧相机的HDR重建需要包括同步事件的数据集L（t）=P P P低动态范围视频和高动态范围指-从（18）和（20）代入卡尔曼增益Kp（t），帧或事件之间的（16）的解析解为存在图像。与[12]最近工作相关的数据集受专利保护，不可公开获得。发布-[L（ti）−LA（ti）]·P−1（ti）lished数据集缺乏高质量的HDR参考图像，以及L（t）=ppP PPp+ LA（t）。（十七）而是依赖于低动态范围传感器，例如APSPp−1（ti）+Rp−1（t）·（t−ti）Lp（t）的详细定义见补充材料§6。4.3. 异步卡尔曼增益异步卡尔曼滤波器计算从状态和传感器不确定性的估计导出的逐像素增益Kp（t）卡尔曼增益由[17，18]Kp（t）=Pp（t）Rp−1（t），（18）其中Pp（t）>0表示滤波器中的状态估计的协方差，并且Rp（t）（θ）是像素p的对数强度帧协方差。控制滤波器状态协方差[18]的演变的标准Riccati方程[19，56]由下式给出：Pstecp=−P2R−1（t）+Qp（t），ˆp455××一个DAVIS的groundtruth组件[49，58，29]。 毛皮-此外，这些数据集并不专门针对HDR片段。这些数据集中使用的DAVIS相机也会受到快门噪声（APS帧读出触发的噪声事件）的影响，这是由于像素电路的APS和DVS组件之间的不期望耦合[4]。为了解决这些限制，我们构建了一个混合事件/帧相机系统，由两个独立的高质量传感器组成，一个Prophesee事件相机（VGA，640 480像素）和一个FLIRRGB帧相机（Chameleon 3 USB3，2048 1536像素，55 FPS，4.5mm/F1.95镜头），并排安装。我们使用闪烁的棋盘视频校准混合系统，并按照[14，57]计算相机内在和外在矩阵。我们通过从帧相机发送外部信号来触发事件相机中的时间戳零量级事件，从而我们获得了用于定量分析的HDR参考图像。通过传统的多曝光IM对序列进行pp其中Qp（t）（2）是事件噪声协方差。这里，将事件噪声模型（2）选择为在信息更新发生时发生的离散噪声意味着：年龄融合之后是图像扭曲，以将参考图像与每一帧配准。所提出的数据集中的场景被选择为静态的并且远离相机，456im.×参考文献iso.×(a) DAVIS帧（b）E2VID [39]（c）CF [43]（d）AKF（我们的）图5.最先进的基于事件的视频重建方法在具有挑战性的照明条件和快速运动的序列上的比较，来自开源数据集ACD [43]，CED[46]和IJRR [29]。CF [43]无法在极端光照条件下捕捉细节，并遭受“阴影效应”（白色或黑色阴影尾随在黑暗或明亮的E2VID[39]和AKF能够重建高速，低光夜间驾驶数据集中的模糊右转弯标志以及阴影和户外跑步数据集中的过度曝光区域但是在没有帧信息的情况下，E2VID [39]无法计算阴影的静态背景，并且仅在所有三个序列中提供被洗掉的重建。AKF在所有具有挑战性的情况下都优于其他方法。补充材料中提供了其他图像和视频比较。因此SURF特征匹配[3]和单应性估计对于图像配准是足够。我们还提供了一个人工HDR（AHDR）的数据集，通过模拟低动态范围（LDR）相机通过应用人工相机响应函数和使用原始图像作为HDR参考。我们同-实施详情：我们的AKF设置如下。事件噪声协方差Qp（2）被初始化为0.01。 调谐参数σ2（δ）被设置为7对于FLIR摄像机为7 × 10 - 7，对于DAVIS 240 C摄像机为7 × 10 -5，以说明与FLIR摄像机的强度值相关联的较高相对置信度。事件噪声以这种方式处理LDR图像以提供额外的协方差调谐参数（2）被设置为：=0。01数据来验证我们的算法的性能。2Proc =0。0005和σ2=0。03.6. 实验我们将我们提出的异步卡尔曼滤波器（AKF）与三种最先进的基于事件的视频重建方法进行了比较：E2VID [39]和ECNN [49]是仅使用事件来重建视频的神经网络，而CF [43]是一种基于滤波器的方法，它结合了事件和帧。在图5中，我们在来自流行的开源事件摄像机数据集ACD [43]、CED [46]和IJRR [29]的一些挑战序列我们还评估了这些方法在图中提出的HDR和AHDR数据集。6和表1。评估：我们使用以下指标定量评估了所提出的数据集中HDR参考的图像重建质量：均方误差（MSE）、结构相似性指数测量（SSIM）[51]和Q-评分[30]。SSIM测量重建和参考之间的结构相似性Q分数是一种适用于HDR全参考评估的度量。所有度量都是在未改变的重建和原始HDR强度上计算的。主要结果：开源事件相机数据集ACD [43]，CED [46]和IJRR [29]被广泛使用在一些基于事件的视频重建工作中。在没有HDR参考的情况下，我们仅对来自图1中的这些数据集的挑战性HDR场景进行视觉评估。1和五、夜间驾驶调查极端低光，快速，夜间驾驶情况下模糊和欠曝/曝光过度DAVIS帧。阴影评估静态背景，动态前景对象与曝光过度区域的情况。户外跑步评估具有事件相机噪声的户外曝光过度场景。AKF和E2VID [39]都能够捕获HDR对象（例如，在夜间驾驶中的右转标志），但E2VID [39]未能捕获阴影中的背景，因为静止事件摄像机没有提供有关静态背景的信息。在户外运行中，很明显E2VID [39]无法在黑暗道路和明亮的左侧建筑物和天空背景之间再现正确的高我们的AKF算法能够分辨远处的建筑物，尽管它们在LDR DAVIS帧中太亮并被洗掉。 伤口-户外跑步阴影夜间驾车σ457图6.来自所提出的HDR和AHDR数据集的典型结果。我们的HDR数据集包括通过融合各种曝光的若干图像生成的参考HDR图像。我们的AHDR数据集通过饱和曝光良好的真实图像的值来模拟，取出大部分细节。原始图像用作HDR参考。E2VID [39]仅使用事件。CF中使用的输入图像[43]和AKF是低动态范围。CF [43]导致移动对象边缘上的阴影E2 VID [39]在HDR数据集中的暗树和AHDR数据集中的道路/天空上表现不佳我们的AKF正确地计算HDR数据集中曝光不足和曝光过度的树木，并在人工饱和区域中清晰地重建山路。表1.最先进的基于事件的视频重建方法E2VID [39]，ECNN [49]和CF [43]在所提出的HDR和AHDR数据集上的比较。在9个序列的完整数据集上评估度量。我们的AKF优于所有指标的比较方法。各序列的详细评价见补充资料。较高的SSIM和Q分数以及较低的MSE指示较好的性能。度量MSE （×10−2）↓SSIM [五十一]↑q评分[30个]↑方法E2VIDECNNCFAKF（我们的）E2VIDECNNCFAKF（我们的）E2VIDECNNCFAKF（我们的）HDR7 .第一次会议。7611个国家。43六、221.710的情况。6160的情况。310的情况。660.894.第一章323 .第三章。413 .第三章。014.83AHDR11个国家。5621岁23五、284.180的情况。500的情况。040的情况。620.75五、243 .第三章。364.第一章785.54对应于我们的AKF的卡尔曼增益的CF的关闭频率[43]这导致CF [43]在物体边缘（路标和建筑物的后缘）上表现出“阴影效应”。AKF克服了我们的帧增强还锐化模糊DAVIS帧，并减少高数据速率事件和低数据速率帧之间的时间失配。AKF在所有具有挑战性的场景中重建最清晰和最详细的HDR对象。表1示出了我们的AKF在MSE、SSIM和Q分数上在所提出的HDR/AHDR数据集上优于其他方法。不出所料，我们的AKF优于E2VID [39]和ECNN [49]，因为它除了事件之外还利用帧信息。CF [43]在一些情况下与E2VID [39]和ECNN [49]相比表现更差，尽管除了事件之外还利用帧信息。AKF在绝对强度误差MSE方面优于最先进的方法，显著降低48%，并将图像相似性度量SSIM和Q得分平均提高11%。性能证明了与CF相比，考虑帧和事件噪声以及预处理帧输入的重要性[43]。图6示出了来自所提出的HDR/AHDR数据集的输入、重建和参考图像的定性样本。在图的第一行6，所提出的HDR数据集Trees包括一些曝光不足的树（左手侧）和两棵过度曝光的树（右手边）。在第二行中，我们的AHDR序列山是人为饱和的（8位图像的像素值高于160或低于100），删除了大部分细节。E2VID [39]正确地重建了两个右侧树，尽管树的相对强度太暗。E2VID [39]在左下角的Trees中的黑暗区域和缺少事件的Mountain中的skies/road中CF [43]在对象边缘（树木和山路）上表现出7. 结论在本文中，我们介绍了一个异步卡尔曼-布西滤波器重建HDR视频从LDR帧和事件数据的快速运动和模糊的场景。卡尔曼增益是基于随时间推移的统一事件/帧不确定性模型逐像素地估计的。此外，我们提出了一种新的帧增强算法，也可以广泛应用于许多现有的基于事件的appli-阳离子。为了目标HDR重建，我们提出了在配准的帧和事件相机上捕获的真实世界的混合事件/帧数据集。我们相信，我们的异步卡尔曼滤波器具有实际应用的视频采集在HDR的情况下，除了传统的基于帧的相机使用扩展的事件相机的权力。LDR输入图像E2VID [39]CF [43]AKF（我们参考图像AHDR山HDR树458××引用[1] KarlJohanA˚stroüm和RichardMMurra y。反馈系统科学家和工程师导论，第二版，2010年。[2] 放 大 图 片 作 者 ： AndrewJ.Davison 和 StefanLeutenegger。从事件照相机的同时光流和强度估计。在IEEE Conf. Comput.目视模式识别（CVPR），第884-892页，2016年。[3] 赫伯特·贝、丁尼·图伊特拉尔斯和吕克·范古尔。Surf：加速健壮的功能。欧洲计算机视觉会议，第404-417页。Springer，2006年。[4] Christian Brandli，Raphael Berner，Minhao Yang，Shih-Chii Liu，and Tobi Delbruck.240 180 130 db 3µ s延迟全局快门时空视觉传感器。IEEE Journal of Solid-StateCircuits，49（10）：2333[5] Christian Brandli Lorenz Muller和Tobi Delbruck使用基于帧和事件的DAVIS传感器进行实时、高速视频解压缩。 在IEEE国际Symp. （ISCAS），第686-689页，2014年。[6] 陈守顺和郭梦涵。 现场演示：CeleX-V：100万像素多模式事件传感器。在IEEE Conf. Comput.目视模式识别研讨会（CVPRW），2019年。[7] Matthew Cook ， Luca Gugelmann ， Florian Jug ，Christoph Krautz和Angelika Steger。用于快速视觉解释的交互式地图。 在Int. 联合会议神经网络（IJCNN），第770-776页，2011年。[8] Paul E Debevec和Jitendra Malik。从照片恢复高动态距离辐射图。在ACM SIG-GRAPH 2008类中，第1-10页。2008年[9] 托比·德尔布鲁克无帧动态数字视觉。In Pro-ceedings ofIntl.Symp.在 Secure-LifeElectronics ， AdvancedElectronics for Quality Life and Society，第21-26页中。引文-预言家，2008年。[10] Guillermo Gallego ，Tobi Delbruck，Garrick Orchard，Chiara Bartolozzi ， Brian Taba ， Andrea Censi ， StefanLeuteneg-ge r ， Andr e wD a vison ， Jo¨rgConradt ，KostasDaniilidis，et al. Event-based vision：一个调查。arXiv预印本arXiv：1904.08405，2019。[11] Michael D Grossberg和Shree K Nayar。相机响应函数的空间是多少2003年IEEE计算机协会计算机视觉和模式识 别 会 议 ， 2003 年 。 诉 讼 ， 第 2 卷 ， 第 II-602 页 。IEEE，2003年。[12] Jin Han，Chu Zhou，Peiqi Duan，Yehui Tang，ChangXu，Chao Xu，Tiejun Huang，and Boxin Shi.神经形态学摄像机引导的高动态范围成像。在IEEE/CVF计算机视觉和模式识别会议论文集，第1730-1739页[13] 塞缪尔·哈辛诺夫。光子泊松噪声2014年[14] 珍妮·海基拉和奥利·西尔文具有隐式图像校正的四步相机校准程序。在IEEE计算机协会计算机视觉和模式识别会议的论文集，第1106-1112页。IEEE，1997年。[15] Zhang Yu，Zhang Zhang，Dongqing Zou，Jimmy Ren，Jiancheng Lv，and Yebin Liu.学习基于事件的运动去模糊。在IEEE Conf. Comput.目视模式识别（CVPR），第3320-3329页，2020年。[16] Nima Khademi Kalantari和Ravi Ramamoorthi。动态场景的深度ACM事务处理图表，36（4）：144[17] 鲁道夫E卡尔曼。 一种新的线性滤波方法和预测问题。Journal of Basic Engineering，82（1）：35[18] Rudolph E Kalman和Richard S Bucy。线性滤波和预测理论的新结果。基础工程学报，83（1）：95[19] Rudolf Emil Kalman 等 . 对最 优控制 理论的 贡献波尔soc.mat.墨西哥，5（2）：102 -119，1960.[20] Hanme Kim、Ankur Handa、Ryad Benosman、Sio-HoiIeng和Andrew J.戴维森同时镶嵌和跟踪与事件摄像机。在英国马赫。目视Conf.（BMVC），2014.[21] Hanme Kim、Stefan Leutenegger和Andrew J.戴维森使用事件摄像机进行实时3D重建和6-DoF跟踪。以Eur.确认补偿目视（ECCV），第349-364页，2016。[22] Min H Kim和Jan Kautz。高动态距离成像的特征化。在Computer Graphics Forum，第27卷，第691-697页中。Wiley Online Library，2008.[23] Ru Li，Xiaowu He，Shuaicheng Liu，Guanghui Liu，and Bing Zeng.使用手持相机进行高动态范围成像的照片 蒙 太 奇 。 2018 年 第 25届 IEEE图 像 处 理 国 际 会 议（ICIP），第1708-1712页。IEEE，2018年。[24] Patrick Lichtsteiner，Christoph Posch，and Tobi Delbruck.128 128 120 dB 15µ s延迟异步时间对比度视觉传感器。IEEE Journal of Solid-State Circuits，43（2）：566[25] Songnan Lin，Jiawei Zhang，Jinshan Pan，Zhe Jiang，Dongqing Zou，Yongtian Wang，Jing Chen，and JimmyRen.学习事件驱动的视频去模糊和插值。 以Eur.确认补偿目视（ECCV），第3卷，2020年。[26] Han-Chao Liu ， Fang-Lue Zhang ， David Marshall ，Luping Shi，and Shi-Min Hu.使用事件摄像机生成高速视频。The Visual Computer，33（6-8）：749-759，2017年6月。[27] Kede Ma，Hui Li，Hongwei Yong，Zhou Wang，DeyuMeng，and Lei Zhang.鲁棒的多曝光图像融合：一种结构 块 分 解 方 法 。 IEEE Transactions