没有合适的资源?快使用搜索试试~ 我知道了~
43217304雨流:雨条下的光流与雨幕效应李若腾1,Robby T.陈1,2,龙发昌1,安吉莉卡I。Aviles-Rivero3、Qingnan Fan4和Bibia-BibianeSc hönlieb31新加坡国立大学2耶鲁-新加坡国立大学学院3剑桥大学4斯坦福大学摘要大雨场景中的光流场由于雨带和雨幕效应的存在,打破了现有的光流场限制,具有挑战性。考虑到这一点,我们提出了一种基于深度学习的光流方法,旨在处理大雨。我们在我们的网络中引入了一个特征乘数,它将受雨幕效应影响的图像特征转换为受雨幕效应影响较小的特征我们建立了一个新的映射操作在特征空间中产生条纹不变的功能。该算法基于输入图像的特征金字塔结构,其基本思想是在消除雨纹的同时保留背景场景的彩色特征。面纱不变和条纹不变的特征计算和优化的基础上,我们的光流估计的准确性自动。我们的网络是端到端的,在一个集成的框架中处理雨纹和面纱效果。大量的实验表明,我们的方法是有效的,它优于最先进的方法和其他基线方法。我们还表明,我们的网络可以在干净(没有雨)的图像上保持良好的性能,即使它是在雨图像数据下训练的。11. 介绍现有的光流方法(例如,[49,1,44,22,19,20,39])在几个基准数据集[17,2,7]中显示出准确和稳健的性能。 然而,他们中的大多这项工作得到了DIRP Grant R-263-000-C46-232的支持。室温Tan1代码可在https://github.com/liruoteng/ RainFlow上获得(a) 输入第一帧(b)PWC-Rain [44](c)[26]第二十六话:我的世界图1:我们的算法与真实雨图像输入的Ro-bustFlow [26]和PWC-Net [44]进行移动的对象在黄色框中指示。在应用于降雨图像时仍然面临挑战[26]。我们认为解决雨天场景中的光流问题是重要的,因为越来越多的基于视觉的系统,需要运动信息,部署在户外环境中。他们中的大多数人必须在任何天气条件下工作,而下雨是现实世界中经常发生的最不利的天气雨,特别是大雨,有两个主要的特性,这导致现有的光流方法是错误的:雨纹和雨幕效应。雨条纹遮挡背景场景,并且在不同的输入帧中出现在不同的位置,从而导致违反亮度恒定性约束(BCC)。雨痕43217305还由于单个条纹的镜面反射而呈现伪梯度,因此导致违反梯度恒定性约束(GCC)。BCC和GCC都是光流法的核心假设。因此,现有的变分方法[18,6,42],补丁匹配方法[28,19],甚至一些深度学习方法[10,22,44,37,49]不能在下雨的场景中充分执行。雨幕效应是指在视觉上类似雾的大气条件,这归因于密集积聚的雨滴的光散射。特别是在大雨中。它洗掉了背景颜色和整体图像对比度,使得基于BCC和GCC的方法更容易受到上述违规和任何进一步噪声的影响[45]。在本文中,我们的目标是估计光流从雨图像不受雨条纹的外观和雨幕效应。特别是,我们的目标是大雨图像,雨条纹和雨幕效应都存在实质性的。为了实现这一目标,我们提出了一种深度学习方法,该方法需要合成的雨图像和相应的光流图来训练我们的网络。我 们 的 光 流 计 算 是 基 于 成 本 体 积 ( 例 如 , [49 ,44])。因此,为了从大雨图像中获得鲁棒的光流,我们需要确保我们的成本体积对雨条纹和雨幕效应都是鲁棒的。在我们的方法中有两个关键思想。首先,为了处理由雨幕效应引起的对比度损失问题,我们从特征表示而不是直接从输入雨图像计算成本体积这种特征表示受雨幕效应的影响较小,我们称之为雨幕不变2特征。通过将特征乘数与输入图像特征相乘来计算面纱不变特征。特征倍增器用作对比度增强,其即使在存在雨幕效应的情况下也增强输入图像特征的对比度它编码的强度和深度信息从粗到细的尺度。我们认为,这种编码允许恢复的对比度在深度感知和规模依赖的方式,从而更好地保持各种恒定性约束的完整性。其次,与现有方法不同(例如,[34,26])手工制作一个不变表示来处理雨条纹或其他伪影,我们提出了一个雨条纹不变特征,它可以由我们的网络自动学习。为了实现这一点,我们的网络生成RGB彩色特征,然后将它们转换为受雨条纹影响较小的特征,我们称之为条纹不变特征。 变换的基本动机是在图像中,雨条纹相同地出现在RGB通道中。因此,如果我们从另一个通道中减去一个通道,雨纹将被消除[26]。然而,我们不是在图像域中应用减法运算,而是将其应用于2不变量是在强(非严格)不变量的意义上使用的。在特征域中,其进一步的细节和动机在随后的部分中提供。这两个特征乘数和条纹不变的功能计算和优化的基础上,我们的光流估计的准确性在获得受雨幕效应和雨纹影响较小的特征后,计算代价量,然后估计光流。总之,在解决暴雨图像的光流估计问题• 我们引入了面纱不变的功能,这是雨面纱效应的影响较小。这些要素是使用要素do中的要素乘数生成的。main.特征乘数可以以深度感知的方式增强特征的对比度,使我们的特征对雨幕效应具有鲁棒性。• 我们提出了一个数据驱动的计划来学习条纹不变的功能。自动学习非线性、空间变化和条纹不变的fea对于处理密集雨带引起的复杂扰动是重要的。• 我们提出了一个集成的和端到端的光流估计框架,可以同时处理雨条纹和雨幕效应,大雨的属性。我们的实验结果表明,我们的方法优于最先进的方法和其他基线的定性和定量。2. 相关作品大多数现有的去重方法,包括基于单个图像的去重[55,9,25,27,12,38,46,52]和视频基于deraining [56,16,3,5,31,24,9,25,8,41],专注于雨条纹去除。这些方法没有考虑雨幕效应的出现,因此只能适用于相对小雨的情况。Yang等人[51]开发一个多任务网络,用于雨水探测和清除,集成一个雾/霾清除模块,以处理雨幕效应。然而,由于逐帧独立地执行去同步过程,所以去同步输出不能保证连续帧之间的光一致性,从而损害光流计算。自从Horn和Schunck的经典工作[18]以来读者可以参考[11]最近关于这个主题的调查由于现实世界的图像或视频序列通常包含一定程度的噪声和离群值,因此为此目的,已经提出了几种鲁棒方法[47,48,30,50,35]。虽然这些方法可以处理中等数量的图像失真,如毛毛雨和小雨,但在4321730612{1,2}{1,2}功能金字塔1功能金字塔2水平l图2:左:在计算每个金字塔级的光流时提取特征乘数M的详细结构。右:完整解决方案的架构。A层和B层分别是全局最大值和全局最小值操作。VI代表面纱不变,SI代表条纹不变。强降雨情景,包括强雨幕效应和雨带。另一条研究路线使用众所周知的HSV和rφθ颜色空间来获得对照明变化不变的特征(参见[34]中的综述)。然而,这不是专门设计来处理雨水,因此不能充分发挥作用Li等人[26]提出一种基于残差变化的鲁棒光流方法将我们的解决方案整合到一个框架中。3.1. 雨幕效应下的光流场图的左侧图2显示了我们的网络在处理雨幕效应时的情况。我们生成图像特征的骨干网络是一个L级特征金字塔编码器[44]。Fl={Fl,Fl}是在图像的级别1处的图像特征{1,2}1 2不受雨带影响的风。 但是,空间上-均匀残留图像操作导致运动表示与图像1和2。金字塔的底层F0=与雨痕大小相当的物体而且残差通道是手工制作的,并且它是否是用于计算光流的最佳表示是未知的。Dosovitskiy等人[10]提出了第一个基于CNN的估计光流的解决方案。此后,许多CNNI1,和F0= I2,其中I1,I2是输入图像。为了解决雨幕效应带来的低对比度问题,我们引入了一个额外的1×1Conv-ReLU层,该层将每个金字塔级别的提取特征作为输入,并输出每个级别的特征乘数已经提出了基于方法[37,49,21,54]。 伊尔格和[22]通过堆叠一些基本的FlowNet构建一个大型CNN模型 FlowNet2 , 并 以 逐 阶 段 的 方 式 对 其 进 行 训 练 。FlowNet2的性能可以与最先进的变分方法竞争。 Sun等人[44]提出ML{1,2}M1=Conv1( F1)11(1)Ml= Conv2(Fl)。一 个 紧 凑 但 有 效 的 网 络 , PWC-Net , 其 性 能 优 于FlowNet 2和其他最先进的方法。PWC-Net优雅地利用了成本量计算,2 2得到Ml后,我们将它们与Fl以逐元素的方式,得到(Ml(x)Fl(x))1 1被广泛应用于立体声问题。 尽管之前的一切-和(Ml(x)Fl(x)),它们是遮盖不变特征2 2上述方法在现有的正常光流基准数据集上表现良好,但在大雨场景下表现不佳[26]。3. 该方法分别来自图像1和2。 这些面纱不变特征被归一化,然后可以使用以下表达式计算匹配成本:Cl(x,u)= 1−(Ml(x)Fl(x))T(Ml(x+u)Fl(x+u)),1 1 22(二)我们设计我们的网络考虑大雨,雨条纹和雨幕效应可以有一个实质性的存在。因此,我们的设计是由这两个雨组件驱动的,下面的讨论首先关注我们如何处理它们。后来,我们发现-其中,u是金字塔的层级l处的估计流量。 为了计算光流,我们扭曲其中一个面纱不变特征,然后使用等式(1)计算成本体积。(二)、请注意,由于雨图像也包含雨条纹,因此我们不仅使用面纱不变特征,最大特征水平lIR红金字塔FMR{1,WMIG不变特征映射绿色金字塔FMGWM{1,条纹不变特征损失IB蓝色金字塔翘曲F{1,Mb分钟特征成本量金字塔翘曲+成本面纱体积不变量六.费用体积SI成本体积MCI{1,F{1,流场B一I{1,2}Fl1Fl2MlF l11Ml2F l2整经成本量光流估算Ml2Ml1:43217307Jjj,ij,ij,i计算光流,但也条纹不变的功能,这将在第二节讨论。3.2.网络设计理念我们的网络灵感来自于我们对雨幕效果模型的分析。详情如下。由于大量悬浮水滴的光散射,形成了雨幕效果,类似于雾的视觉形成[51]。这种形成可以使用广泛使用的雾模型进行建模[53,29]:I(x)=J(x)α(x)+(1−α(x))A,(3)其中I(x)是像素位置x处的图像强度。J是干净的背景图像。α是透射图。A是大气光,其被假设为在整个图像上是恒定的,因为在下雨的场景中,全局照明的主要源是多云的天光,其是漫射光。根据等式(3)降解因素主要有两个:光衰减和空气光。光衰减是等式中的第一项,即,J(x)α(x),其中α(x)减少背景场景的信息J(x),输 入 图 像 I.Airlight , Eq 的 第 二 项 。 (3) : ( 1−α(x))A是水滴向相机方向散射的光[36]。因此,空气光会冲洗图像,降低对比度并削弱BCC。由于I1、I2受雨幕效应的影响而退化,直接用它们或用它们的特征表示来计算光流将对误差敏感。相反,背景场景的图像J1、J2不受雨幕效应的影响。因此,我们应该利用它们或它们的特征表示。为此,我们可以重新公式化Eq。(3)以如下形式表示JM(x)I(x)=J(x),(4)(a) 输入(b)红色特征@级别2(c)2级绿色特征(d)2级蓝色特征(e)PWC特征@2级(f)雨不变特征@2级图3:与原始PWC特征(g)和R,G,B特征(b-d)相比,条纹不变特征(f)包含更少的雨条纹。彩色特征金字塔包含从输入雨图像的颜色通道提取的特征,包括雨条纹。在每个色度特征金字塔的每个级别l,我们应用两个操作来提取最大和最小特征,并将这些特征中的每一个与一些权重WM和Wm相乘:其中M(x)=(I(x)+α(x)A-A)/α(x)I(x)。这个乘数M的存在,可以产生一个面纱-Rl=WMmax(Fl我)+Wm⊙min(Fl我),(5)不变图像,启发我们在我们的网络中的特征域中创建类似的乘数。然而,与Eq中(4),我们的特征乘数由我们的网络自动学习,使用我们的光流估计的准确性作为我们的基石。3.2. 雨带下的光流场给定两个输入图像I1和I2,我们将图像分解成它们的颜色通道:R,G,B,表示为I1,i和I2,i,其中i∈{R,G,B}。然后,与上一节一样,我们为每个彩色通道,具有相同的骨干网络。在每个级别l中,我们使用Stride-2卷积以2的因子对特征进行下采样,以形成下一级特征。我们称这三个特征金字塔为彩色特征金字塔,如右图所示。2.中的每其中i∈ {R,G,B},j∈1,2,且n表示元素-明智的乘法rl是我们的雨纹不变fea这些特征受雨带影响较小。 WM、Wm和Fl都是由我们的网络自动学习的。雨纹的外观通常被建模为背景层和雨纹层的线性组合(例如,[53、12、32、23])。基于该模型,Li etal.[26]示出了从最大颜色通道中减去残余通道)将生成雨不变图像。雨条纹是无色的(白色或灰色),并且在不同RGB颜色通道的相同位置上出现,因此从最大颜色通道中减去最小颜色通道将取消雨条纹的出现。43217308虽然用图像空间中的另一个颜色通道减去颜色通道的操作是有用的,但是它可能对背景图像造成损害,因为它丢弃了背景图像中的颜色通道。损失函数我们的网络的损失函数表示为:阵 因此,我们的想法是将行动转移到ΣLL(Θ)=Σ1999年,|ul(x)− ul(x)|2)+γ|Θ|第二条第六款特征域,这样我们就可以获得最大的,最小特征表示。此外,与[26]不同的是,我们通过不变特征映射模块学习权重,并将其应用于特征的最大和最小表示(等式26)。(5))。这些权重的值可以是空间变化的,即,对于不同的像素是不同的,并且它们通过反向传播过程由网络自动学习,该反向传播过程使用光流估计精度作为主要目标。该空间方差学习以上下文相关的方式丢弃信息,例如,无雨条区域应当丢弃较少的信息,并且较少地受不变运算的影响。通过我们的彩色特征金字塔和不变特征映射,我们的网络能够比[26]提出的简单线性运算更强大的不变表示,并且与传统的基于差异的不变量(如色调)相比,更适合复杂的雨条纹场景。更重要的是,它应该仍然保留足够的歧视性信息的计算成本量,获得强大的光流雨条纹下的关键。图3显示了我们的条纹不变特征的一些示例。3.3. 综合框架由于暴雨由雨幕效应和雨痕两部分组成,为了同时求解它们,我们将雨幕效应的解合并起来。3.1)和雨纹(秒)。3.2)。图的右图。2显示了我们的综合网络。给定一对输入图像,我们创建一个特征金字塔(在图的底部)和三个颜色特征金字塔。对于这些特征金字塔中的每一个,我们计算特征乘数(Mr,Mg,Mb和MC),从而获得相应的面纱不变特征。对于关注雨幕效应的特征(图中的底部),我们计算其成本体积,并将其称为雨幕不变(VI)成本体积。同时,对于雨纹特征,我们采用全局最大(A)和全局最小(B)操作来产生最大和最小特征。然后,我们在Eq中运行操作(5)获得条纹不变特征,并根据这些特征计算条纹不变代价体积。我们连接的面纱不变和条纹不变的成本体积来计算最终的光流。ΘgtLx其中Θ表示我们网络中的所有可学习参数。 uΘ是由我们的网络预测的光流,并且ugt是光流地面实况。|·|2表示向量的L2范数,加权因子γ = 0。0004在实验中αl是每个金字塔级别的学习权重参数。我们设α6=0。32,α5=0。08,α4= 0. 02,α3= 0。01,α2= 0. 005实践中第二term正则化网络的所有可训练参数正如损失函数中所描述的,我们的网络只需要训练被雨水和地面真实光流退化的输入数据。在我们的方法中,我们不需要相应的干净4. 执行训练细节与许多其他基于CNN的光流方法(例如:[10,22,44]),我们使用FlyingChairs数据集[10]和下采样FlyingTh-ings 3D数据集[33]的混合组合随机初始化和训练我们的网络,而不是将两个数据集分开用于不同的训练阶段。我们称之为ChairThingsMix数据集。由于FlyingThings3D的平均位移约为38像素,高于FlyingChairs的19像素,因此我们对FlyingThings3D数据进行下采样,分辨率的一半,270×480像素。 FlyingThings3D中的图像对具有极端运动(幅度较大超过1000像素)。训练集中总共有41,732个图像对。由于真实降雨测试数据集的平均运动较小,因此我们使用FlyingChairSDH[22]来构建ChairThingsMix数据集。我们使用[22]中描述的S长学习率计划,从0.0001开始,在400K,600K,800K,1M迭代时将学习率减半,批量大小等于8。对于数据增强,我们使用一个简单的策略,只包括随机平移和随机图像大小缩放。具体地,缩放参数从[0. 95,1。05],以及来自图像宽度w和高度的[-5%,5%]的平移参数(tx,tyH.在数据增强之后,我们裁剪了256 ×448个补丁作为网络输入。在训练过程中,我们按照[10,44]中的建议将流地面实况按比例缩小20。下采样的流地面实况被发送到每个金字塔级别。特征金字塔和色彩特征金字塔具有从l0=2开始的6个级别,即我们的网络的最后一层输出原始流场的四分之一大小我们使用双线性插值对输出流场进行上采样。关于43217309表1:FVR-660和NUS- 100数据集的平均EPE结果。对于deraining数据,我们应用Yang等人方法条件FVR-660NUS-100时间(s)雨雨Derain雨 Derain经典+NL2.172.190.490.5347.51LDOF2.932.980.680.6076.00EpicFlow4.525.500.350.3615.00鲁棒流量1.761.800.220.1969.94SpyNet2.432.421.411.500.16DCFlow46.71 30.69 0.300.308.60FlowNet25.736.070.280.300.12FlowNet 2-雨2.212.180.420.430.12PWC-Net2.662.570.490.530.02PWC-Net-Rain 6.296.290.870.900.02雨流-雨1.571.600.180.190.03在成本体积计算中,我们将搜索范围设置为4像素,并且内核大小为1像素。雨渲染细节由于没有大规模的真实雨序列与流动地面实况,我们渲染- der合成雨。我们的合成雨,包含雨条纹和雨幕效果,由[51]中介绍的以下模型渲染ΣI(x)=α(x)(J(x)+Si(x))+(1−α(x))A,(7)我其中I(x)是像素位置x处的图像强度,J是干净的背景图像,α是透射图,并且Si是深度层i处的雨条纹层。A是大气光,其被假设为在整个图像上是恒定的,因为在下雨的场景中,全局照明的主要源是多云的天空光,其是漫射光。对于雨条纹Si的渲染,我们按照Garg等人的“生成照片 般 逼 真 的 雨 条 纹 ” 在 训 练 过 程 中 的 雨 模 型 对 于FlyingChair数据集,由于它没有可用的深度信息,我们在每个图像上均匀地渲染雨幕效果。传输α从范围[0.3,1]。的大气光从[0. 4、1]。以来FlyingThings3D提供了深度信息,我们根据α(x)=exp−βD(x)从[3,5]中均匀采样衰减因子β,其中D(x)是位置x处场景的深度。5. 实验结果在我们的评估中使用了三个数据集:1)MPI Sintel[7]、KITTI [17]和VKITTI上的合成雨[13] 数据集,2)FVR-660数据集的混合雨[26],3)真实世界的雨与人类注释的地面真理,即,NUS-100数据集[26]。对于基线方法,我们选择了几种常用的方法,即:经典+NL [43]、LDOF [6]、Epic-Flow、Robust-Flow [26]以及表2:MPI Sintel数据集的平均EPE结果我们评估了两个数据集的降雨和清洁天气条件。对于雨数据下的变分方法,我们应用Yang et al.s [51]执行去重化预处理。方法条件Sintel(火车)VKITTIKITTI2012雨清洁雨清洁雨经典+NL4.947.978.06 12.449.17LDOF4.29 10.68 12.69 19.3810.17EpicFlow2.46 14.92 4.82 10.466.94鲁棒流量4.715.467.45 11.726.65SpyNet4.199.84 10.21 13.5311.70FlowNet22.027.686.139.127.23FlowNet 2-雨4.656.90 9.586 11.278.01PWC-Net2.55 14.20 6.73 11.397.55PWC-Net-Rain 4.467.269.409.696.41雨流-雨2.614.596.908.275.62最近的监督学习方法,如FlowNet 2 [22],DCFlow [49]和PWC-Net [44]。为了进行清晰和公平的比较,我们在相同的数据集上训练基线方法,如第4.我们用后缀“-Rain”表示那些在下雨数据上训练的网络我们根据他们论文中描述的训练细节训练这些基线([22,44])我们在[26]采用的雨渲染MPI Sintel [7]和KITTI2012[17]数据集上测试了所有基线方法。我们还在VKITTI数据集上测试了所有方法[14] 因为它提供了包括雨渲染序列的所有种类的天气条件。所有基于CNN的基线方法都是在ChairThings(干净和下雨)数据集上训练的,以便进行公平的比较。定 性 结 果 合 成 降 雨 数 据 集 ( Sintel , KITTI2012 和VKITTI)的定性结果如图所示。4.第一章图中显示了真实的降雨结果图6和图7分别。定量结果合成降雨数据集的定量结果如表2所示。实际降雨结果见表1。从表中所示的结果来看,我们的网络在合成降雨数据集上的表现始终优于所有对于干净(无雨)序列,可以看到,由于过拟合问题,当前大多数基于CNN的光流网络在雨数据下训练时面临干净测试数据集上的性能下降。然而,由于我们网络中的雨不变特征,我们的方法仍然在雨和干净的测试数据集上产生鲁棒的结果。6. 消融研究为了验证学习参数M的有效性,我们对PWC-Net和PWC-M进行了比较,PWC-M是一个基于PWC的模型,43217310[22]第一个框架PWC-Net [44] FlowNet 2-rain图4:基线方法和我们的方法在MPI Sintel [7]和VKITTI [13]数据集上的定性比较0.120.10.080.060.040.02054.543.532.521.51-0.020 10 20 30 40 50 60 7080 900.50 10 20 30 40 50 60 7080 90(a) 第一帧(b) PWC成本量(c) PWC-M成本量图5:PWC和PWC-M在干净和下雨图像上的成本量分析。(b,c)示出由红点(a)指示的像素的成本体积值。对于该图,x轴显示成本量张量的通道索引,y轴表示成本量值。表3:特征乘数M和色度金字塔(ChromPyrd)的有效性。方法条件SintelVKITTI清洁 雨清洁雨PWC-rain4.46 7.26 9.40 9.69我们的w/oM3.67 6.27 8.27 8.96我们的,不含ChromPyrd4.29 6.03 6.75 9.38每个级别的特征乘数M,在Sintel上的估计流量上在这个实验中,我们使用PWC-Net作为我们的基线,因为它没有参数M。我们通过在PWC-Net的每个金字塔级别添加乘数M学习来创建一个名为PWC-M的模型。我们在相同的训练数据上训练PWC-M网络和PWC网络,在Sec. 4并在仅使用雨幕效果渲染的Sintel数据集上测试它们。从表中,我们发现PWC-M的性能优于PWC的雨和干净的数据。此外,我们还研究了这两个网络模型的成本量图5、我们绘制一个像素的成本可以看出,对于PWC网络,雨水输入的成本量的变化远小于清洁输入的成本量的变化,而在PWC网络中添加特征乘数M因此,光流解码器能够鲁棒地计算雨序列和干净序列的流场。色金字塔的有效性为了验证色金字塔和不变特征映射的有效性,我们比较了PWC网络和带有色金字塔和不变特征映射的PWC网络.洁净的雨10- 3洁净的雨43217311(a) 框架1(b)框架2(c)PWC-雨[44](d) [26]第二十六话:我的世界图6:基线方法和我们的方法在FVR-660数据集上的定性比较[26]。[22]第一帧FlowNet 2-Rain [26] Robust Flow [44] Ours-Rain地面实况图7:基线方法和我们的方法在NUS-100数据集上的定性比较[26]。ping,表示为PWC-Chromatic。我们使用Sintel渲染与强雨条纹和VKITTI数据集进行评估。定量结果示于表3中。PWC- Chromatic能够在所有降雨数据集上优于PWC网络,所需参数的数量仅略有增加(即,用于不变特征映射模块)。此外,在干净的数据集上,它的性能也优于PWC网络.这是因为彩色特征金字塔和不变特征映射能够从背景中提取更多纹理丰富的特征。7. 结论我们提出了一个强大的光流方法,实现了最先进的性能在雨天场景。来处理为了消除雨幕效应,我们的网络在每个金字塔级别学习对比度增强特征乘数M,以便下雨图像的成本量与干净图像对的成本量一样具有辨别力为了解决密集分布的雨条纹的虚假梯度此外,我们的网络性能是不是在干净的序列上的光流估计的代价,即使它是在下雨的条件下训练。我们的实验表明,我们的网络在所有现有的基准测试数据集上都优于所有基线。43217312引用[1] C. Bailer,K. Varanasi和D.斯特里克基于cnn的阈值铰链嵌入损失光流匹配算法。第2710-2719页[2] S. Baker、D.Scharstein,J.P. 刘易斯,S。罗斯,M。J.黑色和R. 塞利斯基光流数据库和评价方法国际计算机视觉杂志,92(1):12011年。[3] P. Barnum,T. Kanade和S.纳拉希姆汉时空频率分析用于从视频中去除雨和雪。在第一届计算机视觉光学分析国际研讨会论文集-PACV 2007,第8页。INRIA,2007年。[4] M. J. Black和P.阿南丹多个运动的鲁棒估计:参数和分段光滑流场。计算机视觉与图像理解,63(1):75[5] J. Bos s u,N. 上埃,还有J. - P. 塔瑞尔通过使用条纹方 向 直 方 图 检 测 图 像 序 列 中 的 雨 或 雪 InternationalJournal of Computer Vision,93(3):348[6] T.布洛克斯和J·马利克大位移光流:变分运动估计中的描述符匹配。IEEE Transactions on Pattern Analysis andMachine Intelligence,33(3):500[7] D. J. Butler,J.Wulff,G.B. Stanley和M.J. 黑色. 光流评估的自然开放源代码电影,第611-625页。施普林格柏林海德堡,柏林,海德堡,2012.[8] J.Chen和L.周一种高动态场景下的雨像素恢复算法。IEEE Transactions on Image Processing,23(3):1097[9] J. Chen,C.- H. Tan,J. Hou,L.- P.Chau和H.李cnn框架中用于雨去除的鲁棒视频内容对准和补偿。在IEEE计算机视觉和模式识别会议(CVPR),2018年6月。[10] A.Dos o vitski yP.Fische r,E. Ilg ,V.Gol kov,P.Hüusser,C. 哈兹尔巴斯河谷Golkov,P.Smagt,D.Cremers,和T.布 洛 克 斯 Flownet : 使 用 卷 积 网 络 学 习 光 流 。IEEEInternationalConferenceonComputerVision(ICCV),2015年。[11] D. Fortun,P. Bouthemy,and C. Kervrann光流建模与计算。Comput.目视图像理解,134(C):1[12] X. Fu,J.Huang,黄氏拟谷盗D.Zeng,Y.Huang,X.丁宁和J.佩斯利通过深度细节网络从单个图像中去除雨水在IEEE计算机视觉和模式识别会议(CVPR),2017年7月。[13] A.盖东,Q. Wang,Y. Cabon和E.维格虚拟世界作为多目标跟踪分析的代理。在CVPR,2016年。[14] A.盖东,Q. Wang,Y. Cabon和E.维格虚拟世界作为多目标跟踪分析的代理。在CVPR,2016年。[15] K. Garg和S. K.纳亚尔雨条纹的真实感渲染。ACM事务处理图表,25(3):996[16] K. Garg和S. K.纳亚尔视觉与雨国际计算机Vision,75(1):3-27,Oct. 2007年[17] A. Geiger,P. Lenz,和R.盖革,等.乌塔松我们准备好了吗?Kitti Vision基准套件。在计算机视觉和模式识别会议(CVPR),2012。[18] B. K. Horn和B. G. Schunck确定光流。人工智能,17:185[19] Y.胡河,巴西-地Song和Y.李大位移光流场的有效粗到细块匹配。2016年IEEE计算机视觉和模式识别会议(CVPR),第5704-5712页[20] T.- W. Hui,X. Tang和C. C.洛伊一个轻量级的Opti- calFlow CNN-重温数据保真度和正则化。2019.[21] E. Ilg,O. Cicek,S. Galesso,A. Klein,O. Makansi,F.Hut- ter和T.布洛克斯光流的不确定性估计与在欧洲计算机视觉会议(ECCV),2018年9月。[22] E. Ilg,N. Mayer,T. Saikia、M. Keuper,A. dosovitskiy和T.布洛克斯流动网络2.0:利用深度网络的光流估计的演进。CoRR,abs/1612.01925,2016。[23] L. W.康角,澳-地W. Lin和Y. H. Fu.通过图像分解自动去除基于单个图像的雨条纹。IEEE Transactions onImage Processing,21(4):1742[24] J. H.金,J. Y. Sim和C. S. Kim. 视频去同步以及使用时间相关性和低秩MAC-MAC-COMPLEMENT进行去噪IEEE Transactions on Image Processing,24(9):2658[25] M. 李角谢峰Zhao,W.Wei,S.Gu,J.Tao和D.孟多尺度卷积稀疏编码消除视频雨痕在IEEE计算机视觉和模式识别会议(CVPR),2018年6月。[26] R.利河,巴西-地T. Tan和L F.阿昌雨天场景中的鲁棒光流。在欧洲计算机视觉会议(ECCV),2018年9月。[27] X. Li,J.Wu,Z.Lin,H.Liu和H.扎。用于单幅图像去训练的循环在欧洲计算机视觉会议(ECCV),2018年9月。[28] Y. Li,D. Min,M. S.布朗,M. N.做,和J。卢。Spm-bp:加速连续mrfs的补丁匹配置信度传播。2015年IEEE国际计算机视觉会议(ICCV),第4006-4014页[29] Y. 利河,巴西-地T. Tan,X.Guo,J.Lu和M.布朗基于层先验的单IEEE Transactions on Image Processing:IEEE信号处理学会出版物,2017年。[30] C. Liu,J. Yuen,and A.托拉尔巴筛流:场景间的密集对应及其应用。IEEE传输模式分析马赫内特尔,33(5):978[31] J. Liu,W.Yang,S.Yang和Z.小郭。擦除还是填充?视频中的深在IEEE计算机视觉和模式识别会议上,2018年6月。[32] Y. Luo,Y.Xu和H.纪通过鉴别稀疏编码从单幅图像中去除雨水2015年IEEE国际计算机视觉会议(ICCV),第3397-3405页43217313[33] N. Maye r,E. Ilg,P. Hausse r,P. Fische r,D. 克雷默斯A. Dosovitskiy和T.布洛克斯一个大型数据集,用于训练卷 积 网 络 进 行 视 差 、 光 流 和 场 景 流 估 计 。IEEEInternational Conference on Computer Vision andPattern Recognition ( CVPR ) , 2016 年 。 arXiv :1512.02134。[34] Y. Mileva,A. Bruhn和J. Weickert 照明鲁棒变分光流与光度不变量,第152-162页施普林格柏林海德堡,柏林,海德堡,2007年。[35] M. A. Mohamed,H. A.拉什万湾Mertsching,M. A. Garc'ıa和D.普伊格使用局部方向图的照明鲁棒光流IEEETransactionsonCircuitsandSystemsforVideoTechnology,24(9):1499[36] S. G. Narasimhan和S. K.纳亚尔视觉和大气层。国际计算机视觉杂志,48(3):233[37] A. Ranjan和M. J.布莱克。使用空间金字塔网络的光流估计。CoRR,abs/1611.00850,2016。[38] W. Ren,J. Tian,Z. Han,A. Chan和Y.唐基于矩阵分解的视频去噪与去噪。在IEEE计算机视觉和模式识别会议(CVPR),2017年7月。[39] Z.伦河,澳-地加洛,D。孙,M。Yang,E. B. 突然,和J. Kautz 一 种 多 帧 光 流 估 计 的 融 合 方 法 。 CoRR ,abs/1810.10066,2018。[40] S. R. Richter,Z. Hayder和V.科尔顿。为基准而战。在IEEE International Conference on Computer Vision ,ICCV 2017 , Venice , Italy , October 22-29 , 2017 ,pages 2232[41] 诉Santhaseelan和V.K. Asari 利用局部相位信息去除视频中的雨水。International Journal of Computer Vision,112(1):71[42] D.孙习Roth和M. J.布莱克。光流估计的秘密及其原理。在IEEE计算机视觉和模式识别(CVPR)会议上,第2432-2439页。IEEE,2010年6月。[43] D.孙习Roth和M. J.布莱克。光流估计的秘密及其原理。在IEEE计算机视觉和模式识别(CVPR)会议上,第2432-2439页。IEEE,2010年6月。[44] D. 太阳,X.杨,M.Y. Liu和J.考茨PWC-Net:使用金字塔,扭曲和成本体积的光流在CVPR,2018年。[45] A. Verri和T.波焦运动场和光流:定性性质。IEEE传输模式分析马赫内特尔,11(5):490[46] W. 韦湖,澳-地伊角,印尼-地谢峰Zhao,中国粘蝇D.Meng和Z.徐我们应该将视频中的雨纹编码为确定性的还是随机的?2017年10月在IEEE计算机视觉国际会议(ICCV)上发表[47] P. Weinzaepfel ,J. Revaud ,Z. Harchaoui和 C.施密 特DeepFlow:深度匹配的大位移光流。在IEEE计算机视觉国际会议(ICCV),悉尼,澳大利亚,12月。2013年。[48] J. Xiao,H. Cheng,H.索尼角Rao和M.伊斯纳迪基于双向滤波的遮挡光流场估计侦测。以. Leonardis,H. Bischof和A. Pinz,编辑,计算机视觉施普林格柏林海德堡。[49] 许杰河,巴西-地Ranftl和V.科尔顿。通过直接成本体积处理的精确光流。在CVPR,2017年。[50] H.杨,W. Y. Lin,a
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)