没有合适的资源?快使用搜索试试~ 我知道了~
2583真实事件武汉大学2武汉大学3大连理工大学人工智能学院4诺亚{徐芳,李.wd,bswang,杨文,桂松.夏}@ whu.edu.cn,xjia@dlut.edu.cn,{乔振东,刘建庄}@ huawei.com摘要在本文中,我们提出了一个端到端的学习框架,工作基于事件的运动去模糊在一个自我监督的方式,利用真实世界的事件,以减轻性能下降所造成的数据不一致。为了实现这一目的,从事件预测光流,利用该光流利用模糊一致性和光度一致性来实现利用真实世界数据对去模糊网络的自我监督此外,提出分段线性运动模型以考虑运动非线性,并且因此导致用于真实世界场景中的运动模糊的物理形成的准确模型对合成和真实运动模糊数据集的广泛评估表明,所提出的算法弥合了模拟和真实世界运动模糊之间的差距,并在真实世界场景中显示出基于事件的运动去模糊的显着性能1. 介绍由于运动模糊性以及强度纹理的擦除[12],运动去模糊的任务是严重不适定的[11,25]。在事件摄像机的帮助下,它可以通过从由模拟事件和模糊图像以及清晰的地面实况图像序列组成的合成数据集学习,已经提出了许多基于事件的运动去模糊方法[10,31]。然而,合成数据和真实数据之间的不一致性降低了对真实世界事件摄像机的推断性能[29]。事件摄像机的物理固有噪声提高了*通讯作者本研究得到了国家自然科学基金项目No. 61871297和中央大学基础研究基金WHU No. 2042020kf0019和DUT编号82232026.并在武汉大学超级计算中心的超级计算系统图1.关于事件时间表面[ 14 ]的合成尺寸和真实世界运动模糊之间的不一致性的说明性示例:(b)对应于(a)的真实世界事件的时间表面;(c)以与(a)相同的轨迹但以慢动作速度收集的事件的时间表面;(d)分别通过eSL-Net [31](顶行)、LEDVDI [16](中间行)和我们提出的用真实世界事件和真实世界运动模糊训练的RED-Net(底行)的去模糊结果,蓝色区域的序列预测在右侧示出。我们提出的RED-Net产生更少的光晕伪影,并实现了最佳的可视化性能。模拟高度匹配真实事件数据的标记事件的难度[26]。即使事件模拟器通过考虑事件阈值[26]中的像素到像素变化在一定程度上减小了差距,但是诸如背景活动噪声和假阴性[1]之类的附加噪声效应仍然存在,导致从事件模拟器2584[26] 以及由事件摄像机发出的真实事件。另一种方法是构建一个由真实世界事件和合成的模糊图像组成的标记数据集,然后在其上训练网络[10]。不幸的是,获得这样的对并不总是容易的,这需要以慢的运动速度以及在良好的照明条件下捕获以避免运动模糊。随后的模糊图像合成和时间域上的对齐也是繁琐但不可或缺的。此外,在与合成和真实世界运动模糊相关联的事件之间仍然存在不一致,因为有限的读出带宽导致更多的事件定时变化,如图1B所示。1.一、在本文中,我们提出了一种新的框架,学习基于事件的运动去模糊网络在一个自我监督的方式,其中真实世界的事件和真实世界的运动模糊图像被利用,以减轻性能下降所造成的数据不一致性和桥梁之间的差距模拟和真实世界的场景。所提出的框架包括两个神经网络,一个基于事件的运动去模糊网络(Deblur-Net)和一个基于事件的光流估计网络(OF-Net)。去模糊网络被馈送事件和单个运动模糊图像,并输出清晰图像序列,而OF-Net接收事件并提供重建清晰图像之间的运动。我们根据摄影恒定性来记录运动和清晰的图像[36]。通过分段线性运动(PLM)模型考虑具有非线性的真实世界的运动模糊,该模型提高了光流的准确性,从而提供了来自Deblur-Net的重建强度图像和模糊输入之间的更精确的模糊模型。整个网络在由使用ESIM [26]的合成数据组成的部分标记数据集上进行端到端联合训练,其中地面实况清晰清晰图像和真实世界数据仅包含真实世界事件和真实世界运动模糊图像,其可以由DAVIS [3]或使用连接事件相机和RGB相机与分束器[32]的双相机我们工作的主要贡献有三个方面:• 我们提出了一个基于事件的运动去模糊网络与真实世界事件的学习框架,这显着提高了运动去模糊在现实世界的场景中的性能。• 我们提出了一种分段线性运动模型来考虑运动的非线性,在此基础上,OF- Net被改进为真实事件,并输出准确和密集的运动流。• 大量的实验表明,该方法可以产生高质量的清晰帧,并实现了国家的最先进的结果,对真实的模糊事件数据集。2. 相关工作运动去模糊即使运动模糊通过在曝光时间间隔上求平均来使照片退化,但其固有地嵌入移动对象的运动和纹理,从而使得能够进行运动去模糊,以用于模糊照片后面的动态场景的可视化[12,11,25]。早期的尝试通过假设空间均匀运动来解决这个问题,其中模糊可以被建模为模糊核与清晰图像的卷积,从而导致借助于正则化去卷积的基于核的运动去模糊方法[13,30]。对于由复杂运动行为引起的运动模糊,通常需要像素/分块运动流来灵活地描绘非均匀运动。为了实现这一目的,通常从单个模糊图像[7]或连续帧[34]估计光流,并在恢复的潜在清晰图像之间提供光计量恒定性[8]运动模糊带来了时间顺序的模糊性以及空间纹理的擦除[12],因此已经成功地将几个先验用于模糊核,例如,稀疏性[33]、高斯尺度混合[5]和暗通道[21],以及对于光流,例如,线性运动[17]和顺序不变性[12],然而,如果不满足上述假设[35],则可能产生伪影并另一种方法是学习神经网络用于直接从数据中进行运动去模糊,这通常可以实现出色的性能[12,11,25,7,20]。Jin等人先驱从单个运动模糊图像中恢复清晰帧序列[12],在那里他们顺序地训练具有时间不变损失的多个神经网络。Purohit等人利用单个递归神经网络来生成整个序列[25],然而,该序列可能遭受时间排序的模糊性考虑到这一点,Jinet al.通过馈送多个运动模糊的图像来解决时间模糊的问题[11],而Rengarajan等人.此外,在短曝光时间内使用两个连续图像[27]。另一方面,Chenet al.提出了Reblur2Deflur网络[4],用于通过自监督学习进行运动去模糊,以利用物理模型和数据先验,其中基本上需要多个模糊图像和它们之间的线性运动假设。基于事件的运动去模糊。事件相机测量每像素亮度变化,并且一旦变化超过阈值就输出事件[6]。触发事件可以以通过将事件引入去模糊算法[24,16],可以容易地跟踪时间模糊性和纹理擦除。基于事件的运动去模糊方法可以是2585G----∈联系我们DGDGD{G}D{}分为两组,即,模型驱动和数据驱动算法。基于模型的算法根据物理事件生成原理将事件、模糊图像和对应的潜在清晰图像相关联[24,23,28]。然而,由于包括固有噪声和有限的读出带宽[9,6]的物理实现的缺陷,真实事件基本上在时间域和空间域中都具有噪声[15],这不可避免地降低了性能[28]。数据驱动算法通过利用神经网络放松了上述限制,并在事件的帮助下直接学习从模糊图像到清晰图像序列的关系[16,31,10]。出于训练目的,通常从清晰的视频序列[10,31]模拟由标记的事件和模糊图像组成的合成大小的数据集,然而,由于时空域中的事件噪声,其可能与真实事件不一致即使通过手动添加噪声[31,29]考虑了数据变化,但对于真实事件摄像机,可推广性仍然Jiang等[10]基于以慢动作速度触发的真实事件构建Blur-DVS数据集(以获得一系列清晰清晰的强度图像作为地面实况),并在其上训练他们的网络,其中模拟与真实的差距在一定程度上减少[16]。然而,构建这样的数据集是费力的,并且需要严格的条件来获得无模糊的地面实况,例如摄像机和场景之间的相对缓慢运动以及良好的照明环境。此外,由于有限的读出带宽,在以慢运动速度发射的事件与以快运动速度发射的事件的对应物之间也存在不一致性。与合成数据相比,利用真实世界数据的学习更适应于真实世界场景,并且此外,真实世界事件和运动模糊可以以极低的成本容易地捕获而无需复杂的过程,这促使我们提出一种新的框架来通过利用真实世界事件和真实世界运动模糊图像来学习基于事件的运动去模糊。3. 问题陈述基于事件的运动去模糊(ED)旨在从以曝光时间T捕获的单个运动模糊图像B和在T中触发的对应事件ET(xi,pi,ti)ti∈T重建清晰且清晰的潜像序列Itt∈ T,其中ti和xi分别表示第i个+1,1是极性。 提出了许多算法 通过基于学习的方法来解决ED问题[16,10,31],即,It=ED-Net(B,ET),t∈T(1)它们通常在合成数据集Ds上训练{Bk,ETk,Gk}k,其中Bk和ETk由地面实况序列G~k, 即, ETk=ESIM ( G~k)[26]和Bk=Avg(~k)。真实世界事件。真实世界事件E~ Tk是不同的从两个方面对模拟事件进行了分析:(1)事件空间域中的噪声主要由物理固有的照相机缺陷(等)引起,可变事件阈值),背景活动,假阴性等,[6];(2)由于有限的读出带宽而产生时域中的事件噪声并带来定时方差[9],当运动模糊发生时,定时方差通常存在于快速运动速度下来自这两个方面的噪声统计太复杂,无法在当前事件模拟器中解决[26],导致合成数据集与其真实世界对应数据集之间的不一致。对于空间事件噪声,[16]已经建立了一个真实的事件数据集e由真实世界事件E ~ Tk、以超慢速度捕获以避免运动模糊的真实世界锐利清晰地面实况图像~ k以及合成模糊图像Bk =Avg(~k)组成的B k,E ~ T k,~ k k。理论cally,培训 可以考虑到SPA-时间噪声不能被考虑,因为它们总是伴随着真实世界的运动模糊,其中不能获得地面实况图像。它提出了在未标记的真实世界数据集上学习的问题rBk,ETk,具有真实世界的模糊图像Bk和真实世界事件E~ Tk。真实世界的运动。运动和强度纹理基于光度一致性耦合在一起,因此通常用于运动去模糊[11,27]。为了简单起见,大多数现有的运动去模糊算法假设在曝光时间T[23,4]期间的线性运动,其中运动流保持恒定。然而,它对于动态场景并不总是正确的,因为真实世界的运动可能是非线性的,尤其是在快速运动速度下。因此,利用事件的力量来学习现实世界中的运动去模糊的主要障碍有两个方面。首先,网络应该在具有真实事件和真实运动模糊的真实世界数据上进行训练。其次,在处理真实世界复杂动态场景中的运动模糊时,应考虑运动的非线性4. 方法现有的基于事件的去模糊方法通常是在监督学习框架内开发的,其性能限于特定的训练数据(来自用慢动作捕获的数据集的模拟事件或合成的模糊图像)。考虑到去模糊和物理图像模糊形成过程,我们构建了一个半监督学习框架,可以很好地推广到现实世界中的运动模糊图像所造成的快速运动。图2示出了我们的框架的整体架构。去模糊网只拍摄一张运动模糊的图像2586m=0--−−n=0m=0--≫--m=0--∈Σ1L(x)dt≈N−1--图2.针对基于真实世界事件的运动去模糊网络(RED-Net)提出的学习框架的概述,其中模糊一致性和光度一致性为真实世界数据集提供自监督损失,并且重构误差为合成数据集提供监督损失。B及其事件数据E作为输入,并输出一系列清晰帧ImM-1,其中M是估计的清晰帧的数量。将估计的尖锐帧与地面实况进行比较的监督损失仅适用于标记的合成数据集。引导半监督通过学习去模糊网,我们的框架包括一个用于运动估计的自适应OF-Net,它将事件数据E作为输入,并输出作为运动信息的光流。在物理模糊形成过程的强度上,可以基于估计的清晰图像和运动信息来重新渲染运动模糊的图像,这通过比较提供了模糊一致性约束。其中LnN−1是L t的离散形式,需要足够大的N M才能实现小的离散误差。提供从去模糊网络输出的恢复序列ImM-1,可以通过在表示从L0到Ln的每像素流的运动场un(x)上用ImM-1插值来解析Ln,即,Ln(x)= L0(x + un(x)).(三)为简单起见,通常假设线性运动(LM)模型[17,23,7],即,un(x)=nv(x),⑷其中v表示在曝光时间间隔T期间被假定为恒定的每像素单元运动流。为了考虑真实场景中运动的非线性,我们提出了一种分段线性运动(PLM)模型,充分利用事件中编码的丰富运动信息。我们将曝光时间T内的事件流划分为M1个相等的时间间隔,并在每个时间间隔内假设LM模型。最后,我们可以得到如下的PLM模型,对于n∈[mK,(m+1)K),un(x)=(n−mK)vm(x)+umK(x),(5)其中vm是与第m个时间间隔相关联的每像素单元运动流,m = 0,1,., M 1和K <$N/M(N可以选择为M的整数倍)。此外,可以使用第m个时间间隔中的事件从OF-Net预测vm,并且解析非线性运动场un(x)。然后提供清晰帧序列{Im}M-1与原始的运动模糊的图像。此外,估计去模糊网络的输出m=0第n个潜像Ln,其中通过估计的光流传播清晰图像,通过将传播的清晰图像与直接恢复的清晰图像进行比较,估计的光流提供了光度一致性n[mK,(m+1)K)可以通过使用在(5)中定义的运动场扭曲第m个帧来解决Ln(x)=Warp(Im(x),un(x))考虑到现实世界中复杂动态场景中运动的非线性,充分利用了高分辨率的特点,实现了一种动态场景中运动的非线性跟踪方法。Im(x+(n−mK)vm(六)(x))。事件相机的分辨率。 由于事件数据能够在一个周期内提供连续的运动信息,因此我们不需要像其他去模糊方法[7,23,4,17]那样在大时间间隔内对线性恒定运动进行强假设。事件数据可用于建模高度因此,我们可以使用所生成的潜在清晰图像L,n,n=0基于(2)重新渲染对应的重新模糊图像。在重新模糊的图像B'和原始模糊输入B之间构造模糊一致性损失:曝光时间发生非线性运动。4.1. 模糊一致性约束L模糊 =B¯−B1。(七)在曝光时间间隔T期间提供潜在清晰图像Lt(x),模糊过程可以物理地公式化为占空比中它们的平均值。通过在整个框架中强加这种损失,我们建立了在运动模糊图像和其对应的清晰图像之间的桥梁,其提供对网络的自我监督。对于真实世界的运动模糊对于运动非线性,PLM对于确保B¯(x)=1|不|t∈TN−1tNn=0Ln(x),(2)模型精度,从而即使在噪声干扰的情况下也能提供可靠的监控。∫2587Σ∥DD模糊 ,L和L,LDGΣ||S×m=0--4.2. 光度一致性约束除了序列级上的模糊一致性约束之外,还施加了进一步的光度一致性约束,其利用估计的清晰图像的时间一致性与运动信息编码事件之间的帧间连接。通过在第m个时间间隔中馈送事件,经由OF-Net将Im+1到Im与预测的光流vm进行扭曲¯Im(x)=Im+1(x+Kvm(x))。(八)然后,通过将传播的清晰图像与由去模糊网络直接预测的恢复图像进行比较来构造光度一致性M−2图像. 我们首先通过在连续帧之间插入7个图像来增加帧速率[19],然后基于插入的高帧速率序列生成事件和模糊图像利用ESIM [26]模拟事件,同时考虑每像素阈值变化。模糊图像简单地通过对49个连续图像求平均来获得。HQF:我们基于HQF数据集[29]构建了一个与Blur-DVS [16]类似的数据集,该数据集包含真实世界事件和清晰的地面实况帧,这些帧是从DAVIS 240 C中捕获的,曝光良好且运动模糊程度最低。提供地面实况帧,可以使用与GoPro数据集相同的方式合成运动模糊。最后,HQF数据集包含真实世界的事件和合成的模糊图像,如L照片 为1¯IM−1m=0-我1.(九)以及地面实况帧。地面实况帧仅用于定量评价。在HQF数据集上我们提出的RED-Net的训练阶段,只有4.3. 优化我们建议在部分标记的数据集上训练去模糊网和OF-Net,该数据集由具有地面真实清晰图像的合成数据集s和没有地面真实的真实数据集r显然,模糊一致性和光度一致性是适用的-对Ds和Dr都有效,并提供自我监督的损失使用真实事件和合成的模糊图像RBE:真实世界模糊图像和事件(RBE)数据集是用DAVIS346相机构建的,仅包含真实世界事件和真实世界运动模糊,可以以方便的方式收集。因此,RBE数据集可以提供大量成对的真实世界数据,这些数据可以被馈送到RED-Net中并提高对真实世界场景的适应性。分别定义为S照片R模糊R照片ac-去模糊网络和OF-Net的实施细节根据(7)和(9)。此外,对于合成数据集s与一系列地面真实清晰的图像重叠,我们用它来监督网络通过重建错误模块,我们利用现有的神经网络体系结构,在过去表现良好的各自的学习任务。受此启发,损失,L误差1M−1我m Mm=0-Gm||1,(10)可以使用用事件编码的残差项从模糊图像映射[24],我们选择残差网络来预测来自单个运动的清晰帧序列其中Gm∈G~。因此,总体功能如下:模糊图像及其事件数据。特别地,我们采用Jin等人的残差网络。[11]。对于OF-Net,L=L误差s模糊的照片r模糊r照片 、(11)我们采用来自Zhu等人的EV-FlowNet架构。 [36],它被广泛用于预测事件的光流。其中α、β、γ和δ表示平衡参数。5. 实验5.1. 实验设置数据集。所提出的基于真实世界事件的运动去模糊网络(RED-Net)以自监督的方式进行训练,其中提供一个合成数据集(GoPro)用于使用地面实况进行训练,以及分别由DAVIS 240 C相机([ 29 ]中提供的HQF包含真实事件但无模糊强度帧)和DAVIS 346相机(本文中构建的RBE用于真实事件)捕获的两个数据集。具有真实事件和真实运动模糊的世界场景)。GoPro:基于GoPro数据集[18],我们构建了一个合成数据集[31],由模拟事件和合成模糊图像以及清晰的地面实况组成我们的网络使用Pytorch在单个NVIDIA Geforce RTX3090 GPU上实现。在训练过程中,我们将样本随机裁剪成128个128块。使用Adam优化器,并且训练迭代的最大时期被设置为30。学习率从10−4开始,然后从第15个历元开始每5个历元衰减25%加权因子α、β、γ和δ都被设置为1,去模糊图像ImM-1和从Im扭曲的潜在清晰图像Ln的数量分别为M=7和K=11。 光流模块在多车辆立体事件相机数据集(MVSEC)[36],其中提供了参考地面实况光流RED-网。 为了验证利用真实世界数据的有效性,分别在三个不同的数据集上训练RED-Net,即GoPro、GoPro+HQF和GoPro+RBE,最终网络分别表示为RED-GoPro,+αL+βL+γL+δLM2588RED-HQF和RED-RBE。具体而言,RED-GoPro仅在合成的GoPro数据集上进行训练,并具有地面实况帧的超级视觉。RED-HQF和RED-RBE两者都以自监督方式训练,其中RED-HQF使用真实世界事件但使用合成运动模糊,而RED-RBE使用真实世界事件和运动模糊。为了验证分段线性运动模型(PLM)的优越性,我们将其替换为线性运动模型(LM)(4),并分别在GoPro和GoPro+RBE数据集上训练RED-Net。具体地,所得到的网络被表示为RED-(GoPro/RBE)-LM,并且其与PLM的对应物被表示为RED-(GoPro/RBE)-PLM。默认情况下,RED-(GoPro/RBE)表示以下部分中的RED-(GoPro/RBE)-PLM。5.2. 光流结果图 3 呈 现 了 来 自 不 同 RED- 网 络 的 OF-Net 的 光 流(OF)输出以及包含快速移动魔方的真实世界运动模糊图像的它们对应的去模糊结果。为了进行比较,在MVSEC 数据集上预训练的OF- Net的输出(即EV-FlowNet)。显然,在真实数据上训练的RED-RBE的OF-Net输出具有一致的运动和清晰的边缘,达到了最佳性能因此,RED-RBE的去模糊图像也具有最好的定性外观。为了揭示PLM的优势,我们比较了RED-GoPro-LM的OF-Net输出,如图所示图3(b)和图3(b)中所示的RED-GoPro-PLM。3(c)款。很明显,RED-GoPro-PLM提供了更好的具有清晰边缘和稳定背景的OF结果此外,当违反线性运动假设时,来自RED-GoPro-LM的OF-Net的结果甚至比其起源更差,即EvFlowNet如图所示。3(a)和3(b)。此 外 , 我 们 比 较 了 EvFlowNet 和 分 别 来 自 RED-GoPro-PLM和RED-RBE的两个OF-Nets的OF结果,如图所示。3(a)、3(c)和3(d)。 与 根据模糊一致性损失(7)的模糊图像和强度序列的监督,来自RED-GoPro-PLM 和 RED-RBE 的 OF-Net 可 以 给 出 比EvFlowNet更好的结果。它揭示了嵌入在模糊图像中的运动信息有助于在我们的框架内预测OF。此外,来自在真实数据集上训练的RED-RBE的OF-Net优于在合成数据集上训练的RED-GoPro-PLM的OF-Net,并且给出立方体表面的更一致的运动,如图1B所示。3(c)和3(d)。验证了在真实世界数据集上训练的优势和必要性。5.3. 与最先进方法的由于我们的方法是能够消除运动模糊和重建一个潜在的清晰图像序列,去模糊性能进行了评估单帧和序列(a)(b)(c)(d)(e)(f)(g)(h)图3. OF-Net的光流输出:(a)在 MVSEC(相当于EV-FlowNet)、(b)RED-GoPro-LM、(c)RED-GoPro-PLM和(d)RED-RBE上进行预训练。去模糊结果(f),(g)和(h)分别对应于(b)、(c)和(d)。重建我们将所提出的RED-Nets与最先进的传统去模糊方法(包括blur 2 mflow [7]和LEVS [12])以及基于事件的运动去模糊方法(包括EDI [24],eSL-Net [31]和LEDVDI [16])进行了比较。由于缺乏真实世界运动模糊的地面实况,我们利用从无模糊帧构建的HQF数据集进行定量评估,其中验证了使用真实世界事件进行训练的有效性定量结果见表1。1,并表明,建议的RED-Nets带来显着的改进,改进相比,国家的最先进的,平均3.5在具有真实世界事件的HQF数据集上,单帧预测的2.5dB增益和序列预测的2.5dB增益。详细分析见下文。模拟和真实世界事件的不一致性。我们首先比较了传统的去模糊性能方法,即,blur2mflow和LEVS到基于事件的方法,即,EDI和eSL-Net,在合成GoPro数据集和具有真实世界事件的HQF数据集结果表明,EDI提供了类似的性能,以学习为基础的传统方法的帮助下的事件。对于基于学习的方法,用模拟事件增强的eSL-Net在合成GoPro数据集上的表现大大优于blur 2 mflow和LEVS。然而,eSL-Net的卓越性能没有保留在具有真实世界事件的HQF数据集上,这反映了模拟和真实世界事件的不一致性。真实世界事件的培训效果与仅在合成数据集上训练的RED-GoPro相比,其他两个RED-Net,即分别在具有真实事件的HQF和RBE数据集上训练的RED-HQF和RED-RBE在合成GoPro数据集上带来性能下降,但在具有真实世界事件的HQF数据集上实现PSNR增益具体地,RED-HQF在PSNR上获得平均1.1dB增益,这示出了RED-HQF的有效性。2589表1.在不同数据集上训练的拟议RED-Net与最新技术的定量比较。RED-GoPro、RED-HQF和RED-RBE分别在GoPro、GoPro+HQF和GoPro+RBE上训练。注意,LEDVDI仅输出6帧用于序列预测,而其他输出7帧。单帧预测比较序列预测比较方法GoProHQFGoProHQFPSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMblur2mflow [7]21.8180.645421.5390.6298////LEVS [12]21.9500.640621.9000.636719.8930.554619.0680.5403电子数据交换[24]21.4970.651020.3210.621220.9450.632619.0810.5873eSL-Net [31]24.7910.800920.4380.601723.9550.757819.8660.5851LEDVDI [16]22.8560.733422.2210.756722.6730.732921.5580.7355RED-GoPro28.9840.849924.1490.733228.3430.835923.1180.7116红色-HQF27.1370.836125.6500.766126.6400.820423.8720.7292红色-RBE26.6720.837225.7170.762926.3020.824724.0760.7340用真实世界的事件进行训练,弥合模拟与真实之间的差距。此外,我们通过使用RBE数据集中的真实数据训练RED-RBE来验证这一点,RBE数据集可以以方便的方式构建。基于事件的运动去模糊与真实世界的事件。如Tab.所示。1,RED-HQF/RBE在HQF数据集上的真实事件表现优于EDI和eSL-Net,具体表现为很大的差距。此外,我们利用最近提出的网络,即,LEDVDI用真实世界事件进行训练与我们提出的方法不同,LEDVDI是以监督的方式用真实世界的事件进行训练的。该方法既不需要模糊合成,也不需要严格的慢速移动来采集无模糊的地面真实图像,因此更容易在现实世界中被采用。 根据表1中的定量结果1、 实验结果表明,在单帧预测和序列预测方面,RED-HQF和RED-RBF都比LEDVDI有更好的性能,验证了本文提出的框架的优越性。请注意,LEDVDI处理单帧预测和序列预测分别与不同的网络,而我们提出的RED- HQF/RBE在一个网络中解决这两个问题。真实世界的运动去模糊。上述定量比较都基于合成的运动模糊。 由于缺乏地面实况帧,定性地研究了具有真实世界运动模糊的性能,如图所示。4.第一章我们选择用DAVIS346相机手动捕获的两个场景,即,实验室地板和窗户。没有事件的帮助,blur2mflow和LEVS未能重新覆盖锐利清晰的图像。对于基于事件的方法,EDI无法处理严重的运动模糊,如图中所示。在基于学习的方法中,RED-RBE实现了最好的可视化性能,而其他方法可能会给出平滑效果或在黑色边缘周围产生光晕伪影,例如实验室地板中垃圾桶的底部和窗口中TV的左上角。与用合成的运动模糊训练的RED-HQF和LEDVDI相比,RED-RBE用真实世界的运动模糊训练,这可以减轻在训练过程中的运动模糊问题。时间域中的事件噪声,例如,由有限的读出带宽引起的定时混乱,从而给出较少的晕圈伪像。表2.无合成事件(SynEv)、LM模糊(LM)、PLM模糊(PLM)和真实世界事件(ReEv)的拟定框架消融研究。方法SynEvLMPLMReEvGoProHQF去模糊网络[11]去模糊-网络-GoPro✓23.56328.45121.37323.553RED-GoPro-LM✓✓28.75223.988RED-GoPro✓✓28.98424.149RED-RBE-LM✓✓✓26.45125.266红色-RBE✓✓✓26.67225.7175.4. 消融研究所提出的RED-Net通过对真实事件的自监督来提高运动去模糊的性能。为了实现这一目的,光流预测从事件与分段线性运动模型(PLM)被提出来准确地建模模糊的过程,甚至与运动非线性。为了找出是什么促成了该方法的优异性能,我们比较了使用和不使用合成事件(SynEv)、使用LM(LM)的模糊、使用PLM(PLM)的模糊和真实世界事件(ReEv)的几个变体二、从表中,我们可以得出以下结论:事件的重要性。我们通过在合成GoPro数据集上训练没有事件的去模糊网络来验证事件的重要性,并且在2个数据集上的定量去模糊结果显示在Tab的第一行二、与具有事件的RED网络相比,存在较大的性能差距。实验结果表明,在事件中编码的丰富的运动信息可以有效地提高去模糊性能。线性与分段线性运动模型。 通过OF-Net的光流输出,运动提供了重建序列内部的帧间关系以及依赖于物理模糊过程的模糊一致性。不准确的运动模型会破坏模糊一致性,从而降低去模糊性能。我们分别应用LM和PLM2590模糊图像blur2mflow列弗EDIeSL-NetLEDVDI红色-HQFRED-RBF模糊图像blur2mflow列弗EDIeSL-NetLEDVDI红色-HQFRED-RBF图4.通过7种不同方法对2个模糊场景进行运动去模糊的定性结果,其中顶部两行对应于实验室地板,底部两行对应于窗口。对于每个场景,从左上到右下分别是模糊图像及其通过blur 2 mflow [7],LEVS [12],EDI [24],eSL-Net [31],LEDVDI [16]以及我们提出的RED-HQF和RED-RBE的去模糊结果。它们的性能可参考表2。第3、4、5、6排各2个。显然,具有PLM的RED-Net优于具有LM的RED-Net,并且在利用真实世界事件进行训练之后在真实世界数据集上实现高达0.5dB的PSNR增益,而在没有真实世界事件的情况下仅获得0.16dB它表明PLM发挥着重要的作用,特别是在现实世界的事件。合成vs.真实世界事件。 为了验证这一点,我们分别在合成的GoPro数据集上训练RED-Net,即,RED-GoPro和真实世界的RBE数据集,即红色-RBE。他们的结果显示在表4和表6的第4行和第6行。二、我们还用LM训练了RED-GoPro和RED-RBE,并分别在Tab的第3行和第5行二、通过比较,我们可以容易地发现,在真实世界的数据集上,具有真实世界事件的自监督可以它表明,监督的现实世界中的事件起着重要的作用,在改善去模糊的每-真实世界数据集上的性能。6. 结论提出了一种基于事件的运动去模糊的自监督学习框架,其中利用真实世界的事件和真实世界的运动模糊来减轻由数据不一致引起的性能下降。运动非线性也被认为是通过PLM模型,以提高物理模糊一致性的准确性在所提出的学习框架内,我们在不同的数据集上评估了RED- Net,并验证了所提出的基于PLM的模糊一致性和光度一致性在真实世界数据集上的有效性。利用模糊图像和相应的事件,所提出的RED-Net可以产生一系列清晰的强度图像以及它们之间的运动流。大量的实验表明,所提出的方法可以实现国家的最先进的与现实世界的事件。2591×引用[1] R Baldwin,Mohammed Almatrafi,Vijayan Asari,andKeigo Hirakawa. 神 经 形 态 摄 像 机 的 事 件 概 率 掩 模( epm ) 和 事 件 去 噪 卷 积 神 经 网 络 ( edncnn ) 在CVPR,第1701-1710页,2020年。1[2] Ryad Benosman、Charles Clercq、Xavier Lagorce、Sio-Hoi Ieng和Chiara Bartolozzi。基于事件的视觉流。IEEETransactions on Neural Networks and Learning Systems,25(2):407-417,2013。1[3] Christian Brandli,Raphael Berner,Minhao Yang,Shih-Chii Liu,and Tobi Delbruck.240 180 130 db 3µ s延迟全局快门时空视觉传感器。IEEE Journal of Solid-StateCircuits,49(10):2333-2341,2014. 2[4] Huajin Chen,Jinwei Gu,Orazio Gallo,Ming-Yu Liu,Ashok Veeraraghavan,and Jan Kautz.Reblur2deblur:通过自监督学习对视频进行去模糊。在IEEE国际计算摄影会议(ICCP),第1-9页,2018年。二、三、四[5] Rob Fergus 、Barun Singh 、Aaron Hertzmann 、 Sam TRoweis和William T Freeman。从单张照片中消除相机抖动在ACM SIGGRAPH中,第787-794页。2006年2[6] Guillermo Gallego、Tobi Delbruck、Garrick Michael Or-chard、Chiara Bartolozzi、Brian Taba、Andrea Censi、Stefan Leutenegger 、 Andrew Davison 、 Jorg Conradt、Kostas Dani- ilidis和Davide Scaramuzza。基于事件的愿景 : 一 份 调 查 报 告 。 IEEE Transactions on PatternAnalysis and Machine Intelligence,2020。一、二、三[7] Dong Gong,Jie Yang,Lingqiao Liu,Yanning Zhang,Ian Reid,Chunhua Shen,Anton Van Den Hengel,andQinfeng Shi.从运动模糊到运动流:一种用于消除异构运动模糊的深度学习解决方案。在CVPR中,第2319-2328页,2017年。二四六七八[8] Tae Hyun Kim和Kyoung Mu Lee。动态场景的广义视频去模糊。在CVPR中,第5426-5434页,2015年。2[9] 注 射 。 了 解 神 经 形 态 事 件 视 觉 传 感 器 的 性 能 。Inivation,https://inivation.com/,1版,05 2020. 3[10] Zhang Yu,Zhang Zhang,Dongqing Zou,Jimmy Ren,Jiancheng Lv,and Yebin Liu.学习基于事件的运动去模糊。在CVPR中,第3320-3329页,2020年。一、二、三[11] Meiguang Jin,Zhe Hu,and Paolo Favaro.学习从模糊的视频中提取完美的慢动作。在CVPR中,第8112-8121页,2019年。一二三五七[12] Meiguang Jin,Givi Meishvili,and Paolo Favaro.学习从单个运动模糊图像中提取视频序列在CVPR中,第6334-6342页,2018年。一二六七八[13] Dilip Krishnan、Terence Tay和Rob Fergus。使用归一化稀疏性度量的盲去卷积。在CVPR,第233-240页,2011中。2[14] Xavier Lagorce、Garrick Orchard、Francesco Galluppi、Bertram E Shi和Ryad B Benosman。热点:一个基于事件的时间表面层次结构的模式识别。IEEE Transactionson Pattern Analysis and Machine Intelligence,39(7):1346-1359,2016。12592×[15] Patrick Lichtsteiner,Christoph Posch,and Tobi Delbruck.一128 128 120 dB 15µ s延迟异步时间对比视觉传感器 。 IEEE Journal of Solid-State Circuits , 43(2):566-576,2008. 第1、3条[16] Songnan Lin ,Jiawei Zhang, Jinshan Pan ,ZheJiang , Dongqing Zou , Yongtian Wang , JingChen,and Jimmy Ren.学习事件驱动的视频去模糊和插值。在ECCV,2020年。一二三五六七八[17] Peidong Liu,Joel Janai,Marc Pollefeys,TorstenSattler,and Andreas Geiger.自我监督线性运动去模糊。IEEE Robotics
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功