1基于双层流的杨文涵1，刘佳英2，冯佳世11新加坡国立大学幼儿教育系，新加坡，1190772北京大学计算机科学与技术研究所，北京，100871摘要在本文中，我们解决了从视频中去除雨水的问题，提出了一个更全面的框架，考虑到在以前的作品中忽略的真实场景中的额外退化因素。所提出的框架是建立在一个两阶段的递归网络与双层流正则化，以执行逆恢复过程的雨合成模型的视频deraining。在第一阶段，从单个雨帧估计无雨帧然后将其作为指导，与先前恢复的干净帧一起，以帮助在第二阶段获得更准确的干净帧。这种两步架构能够在第一阶段从初始估计的无雨帧中提取更可靠的运动信息，以便在第二阶段进行更好的帧对准和运动建模。此外，为了保持帧间的运动一致性，以促进在第二阶段的帧一致性去盲模型，提出了在粗流和细像素级别的基于双层流的规则化为了更好地训练和评估所提出的视频去训练网络，开发了一种新的雨合成模型，以产生视觉上更真实的成对训练和评估视频。对一系列合成视频和真实视频的大量实验不仅验证了所提出方法的优越性，而且验证了网络设计及其各个组成部分的有效性。1. 介绍降雨作为最常见的恶劣天气条件，会导致拍摄视频中的可见度下降，例如：内容变化和细节丢失，这可能使默认采用干净视频帧作为输入的良好构建的室外计算机视觉系统失效。例如，雨条纹引起图像内容的强烈波动，在一定程度上遮挡背景，使场景模糊雨也会导致*通讯作者。邮箱：liujiaying@pku.edu.cn。本研究得到了国家自然科学基金项目的合同北京市自然科学基金项目编号：61772043，合同编号：L182002和No. 4192025，以及CCF-滴滴大数据联合实验室。(a) [7]第七届全国政协副主席(c)[24]第24话图1.不同脱轨方法的视觉结果与FastDeRain [24]和SpacCNN[7]相比，我们的方法更好地去除了雨水累积和累积流（蓝框），细节损失更少（红框）。在遮挡下，没有背景信号通过雨滴。另一个由雨引起的退化因素是累积，其中远处的条纹重叠成看起来像雾或雾，这模糊了背景并显著降低了远处场景的可见度。当降雨量在局部地区迅速变化时，降雨量会发生波动，并导致视觉退化，就像一层流动的面纱覆盖在无雨的背景上，如图所示。2（c）和图中的蓝色框。1，这在本工作中被称为累积流。相对于正常堆积，堆积流的行为更具动态性。除静态场景传输外，还受到当地降雨密度和大气流量的影响，这使得其估计具有很大的挑战性。此外，该运动流具有复杂的局部运动模式，这不仅阻碍了人类的感知和视觉应用，而且增加了建模和处理的难度。大量的研究工作一直致力于雨图像/视频恢复。 一些作品[25，21，42，36]采取 一个单一的雨图像作为输入和单独的雨条纹，16611662基于纹理外观的无雨图像（非雨图像）频域表示[25]、稀疏表示[36]、高斯混合模型[31]和深度网络[53，14]被用作区分雨条纹和无雨图像的基本模型。除了上述单一的基于图像的方法之外，基于视频的方法[1，2，3，8，12，16，18，19，58]通过利用空间和时间上下文来解决问题一些[18，16，19]利用雨的物理方面，如其方向和色彩特性。其他人[8，6，27，24]进一步的时间动态，包括背景运动的连续性，视频帧中条纹的随机发生，以及明确的运动提示，以促进视频雨去除。最近，深度网络的快速发展也导致了基于深度学习和视频图像处理的蓬勃发展，包括去噪[57]，JPEG伪影去除[9，59]，插值[52]，超分辨率[10，55]，51，50]、视频压缩[20，48，32]和单图像雨水去除[15，37，54]等。同样，深度学习也为视频除雨带来了新的进展。在[29]中，提出了一种多尺度卷积稀疏编码用于视频雨纹去除。Chen等人。 [7]提出首先将雨图像分割成超像素，在其上施加一致性约束，然后补偿对齐超像素中丢失的细节。在[33，34]中，建立了一个递归网络来联合执行雨退化分类，雨去除和背景细节重建。这些先前的方法在某些情况下实现了良好的性能。然而，据我们所知，他们都集中在一个或两个雨降解因素，其中大多数只考虑雨条纹的去除。视频中的视觉任务的一些其他雨退化因素很少被考虑，例如图1所示的雨累积流。2(c) 图中的蓝框1.一、此外，还没有充分探索如何利用帧内和帧间上下文来促进多个雨相关因素的联合估计此外，在真实的雨景中，物体和区域的运动是交织在一起的。多个退化因子及其混合效应干扰了他们的推断目前还不清楚如何在像素和区域级别上描述运动信息，并鲁棒和准确地对无雨帧的运动模式进行在此基础上，综合考虑雨纹、累积、雨流和遮挡等因素，较全面地解决了视频雨流去除问题。设计了一个两级递归网络，建立了一个新的视频雨合成模型，用于合成视觉上真实的雨视频与各种雨类型。建议的经常性网络估计无雨帧的两个阶段。在第一阶段，该模型恢复一个无雨帧大致从一个单一的雨帧。然后，基于该估计和先前的恢复的干净帧，在所述估计处推断出对干净帧的更准确的估计。第二阶段通过使用时间上下文信息。我们还在第二阶段放置了两种类型的基于流的正交约束，以在像素和区域级别上正则化模型学习，这使得我们的结果在时间上更连续和区域一致，并促进了帧一致性方法。总之，我们的贡献如下。• 本文提出了一个新的雨合成模型，它包括雨条、累积、累积流和遮挡等几个可见退化因子。基于该模型，我们合成了一个新的雨视频数据集，分别对应于小雨和大雨条件，以支持数据驱动的视频除雨方法的开发和评估。• 我们建立了一个递归网络（RNN）来预测我们的新的雨合成模型中的雨相关变量，并估计无雨帧执行基于这些预测变量的反向恢复模块的注入使我们的网络更有效。• 我们的RNN有一个两阶段的架构，充分利用了单帧和多帧上下文的潜力。它能够在初始估计的无雨帧的基础上提取更可靠的运动信息，作为第二阶段对准和运动建模的指导。• 为了更好地捕获运动模式并保持帧间一致性，我们采用两种类型的基于流的表示来在粗流和细流两个级别上正则化我们的视频去盲网络2. 相关工作单图像去噪是一个高度不适定的问题。为了解决这一问题，许多模型和先验知识被用来进行信号分离和纹理分类。这些模型包括稀疏编码[25]、广义低秩模型[8]、非局部均值滤波器[26]、判别稀疏编码[36]、高斯混合模型[31]、雨方向先验[56]、变换低秩模型[5]。深度学习的出现促进了单一图像去中心化的发展。在[14，13]中，深度网络将图像细节层作为其输入。Yang等人 [53]提出了一种深连雨探测和消除方法，以消除暴雨条纹和累积。在[56]中，提出了一种新的密度感知多流密集连接CNN，用于联合雨密度估计和去除。Wang等人。 [45]开发了一种感知生成对抗网络，用于将下雨的图像转换为干净的图像。视频雨去除可以另外利用时间上下文和运动信息。Garg和Na- yar是第一个专注于雨建模[18]和removal[16，19，17]的人。后来的作品描绘了雨纹1663(a)（b）（c）（d）图2.不同类型的能见度下降，由于下雨。(a)雨丝。(b)雨水积累。(c)雨积流。由于大气流动，两帧中同一位置的面纱层密度(d)雨遮挡。闭塞区域呈现相同的强度。具有更灵活和内在的特征，包括雨的时间和颜色特性[58，35]，傅里叶域特征[1]，相位一致性特征[40]，雨带的大小，形状和方向[3，2]，局部斑块的时空相关性[8]，以及雨带的总体方向趋势[24]。基于学习的方法的出现，提高了建模能力，带来了新的进展。Chen等人。 [6]提出通过高斯混合模型将运动分割嵌入到雨水检测和去除中。 Tripathi等人 [43，44]基于空间和时间特征训练贝叶斯雨检测器。在[27]中，Kim等人训练SVM来细化粗略检测到的雨图。Wei等人。 [47]将雨条纹编码为基于块的高斯混合，能够精细地适应更广泛的降雨变化。文献[39]用矩阵分解模型将雨条分为稀疏雨条和密集雨条。在[29]中，提出了一种多尺度卷积稀疏编码方法来去除视频雨纹。Chen等人 [7]建议首先在-以超像素化，然后实施一致性约束并补偿这些对齐的超像素上丢失的细节。在[33]中，建立了一个递归网络，以无缝集成雨退化分类、雨去除和背景细节重建。相比之下，在我们的工作中，我们的目标是处理更多类型的能见度退化通过我们提出的雨合成模型。为了更好地联合利用帧内和帧间上下文，我们设计了一个两步RNN用于视频去盲。为了更好地建模运动模式并保持不同粒度下的帧间一致性，我们提出应用双层流约束来正则化模型学习。3. 综合降雨合成模式为了更全面地解决雨水去除问题，我们提出了一种新的综合雨水合成模型，以促进这一主题的研究。考虑以下四个退化因子，将干净的雨图像合成，并尝试模拟相应的效果。雨痕。快速下落的雨滴在摄像机会在一定程度上遮挡背景，(a) 防雨架（b）合成防雨架图3. 我们的合成数据的例子基于Eqn。（四）、示于图第2段（a）分段。为了合成类似的效果，它们通过线性相加与干净的无雨帧相结合- s [53，14，31].雨水积累。远处的雨带交织在一起，产生了大气面纱效应[53，30]，如图11所示。第2段（b）分段。在我们的合成模型中，背景信号被散射出去，降低了可见度.雨水累积流量。散焦雨滴（或流动的雨积）形成了本文提出的雨积流，如图1所示。第2段（c）分段。 它的透明度与背景深度无关，它可以采取任何形状并产生半透明的面纱效果。它在时间域中的存在是连续的。它将被添加到雨条纹污染的图像像一个面纱。雨阻塞。在中、大雨时，雨滴的透光率变低，雨区强度一致[33]。在这种情况下，背景信息-信息完全丢失，如图所示。第2段（d）分段。它是通过基于二进制掩码的alpha抠图过程生成的，具有雨水污染的图像和给定的强度图。我们从广泛使用的单帧降雨模型的最简单情况出发，制定我们的综合降雨合成模型[31，36，22]：O=B+S，（1）其中B是没有雨条纹的无雨帧，S是雨条纹帧。O是带有雨条纹的捕获图像。获得添加了时间指示符t的视频雨合成模型：Ot=Bt+St，t=1，2，.，N，（2）其中t和N分别表示当前时间步长和视频帧 雨条纹St被假定为独立同分布的随机样本[41]。它们在帧中的位置被假定为不相关的。考虑到雨水积累和径流，方程。（2）进一步扩展如下：Ot = βtBt+（1 − βt）At + Ut + St，t= 1，2，.，N，（3）1664t−1不t−1不t−1不不vt联系我们BtS，F不ut乌什特BtBt1男、女t1M不B不卷积层（步幅=1）卷积层（步幅=2）ResBlock去卷积层（步幅=2）卷积LSTM正向跳过连接剩余连接图4.我们的两阶段递归网络的框架视频deraining。SF-DerainNet采用单帧降雨输入并输出四个与降雨相关的变量。逆恢复模块将这些预测的雨相关变量转换成估计的无雨帧，然后逆恢复方程。（3）和（4）。多帧对齐网络估计帧间的光流，并将前一帧与当前帧对齐。然后，MF-DerainNet采用多帧降雨输入及其干净估计来预测剩余的降雨相关变量。这些变量进一步与从单个帧估计的变量组合，以最终产生无雨帧的最终估计整个模型是端到端训练的，损失了变量预测、无雨帧恢复、帧间一致性和运动精度。最好用彩色观看。其中At为全球大气光，βt为与景物深度相关的大气透过率，Ut为由局地雨滴密度和大气流量决定的雨累积流层。假设它们是时间连续的。给定一个固定场景，{At}和{αt}只受摄影机运动的影响。{Ut}有自己的运动轨迹。最后，我们使雨模型能够描述遮挡，Ot=（1−αt）Ot+αtMt，（4）其中，Ot在方程中定义（3），Mt是雨依赖图，αt是α抠图。基于这个全面的降雨合成模型（4），我们可以模拟逼真的降雨视频。两个合成大小的例子显示在图. 3.第三章。在我们的工作中，我们建立了一个新的视频雨数据集与这样的合成模型。更to regularize正 规 化 the learning 学 习 of our video 视 频deraining去中心化network网络.它们共同使我们的结果的运动模式在帧之间更加准确和一致。4.2. 网络架构我们的框架由五个模块组成：单帧去同步网络（SF-DerainNet）、多帧对准网络（MF-AlignNet）、多帧去同步网络（MF-DerainNet）、逆恢复模块和损失函数，如图所示。4.第一章该算法分两步进行多帧雨水去除.首先，SF-DerainNet被用来估计方程中的雨相关变量。（3）和（4）。然后，逆恢复模块将与雨相关的变量作为其输入，并通过计算等式1中的逆恢复过程来S.（3）和（4）。然后，基于估计的无雨帧，详情见第2节。五、来自SF-DerainNet的时间步长t处的Bs按时间步长t t−14. 帧一致性去重网络（t-1）从MF-DerainNet，我们估计光流为时间步长t 我们使用这个流来扭曲Ot-1和BM，得到4.1.设计方法外来资产t−1BM，Ft−1 分别与Ot和Bt对齐，活泼地 之后，MF-DerainNet从我们的框架采用以下设计构建方法论 首先，我们的方法严格遵循-输入B_S，B_M，F_F和B_O_S，O_F，然后连接方程的诗句恢复过程（3）和（4），这是非常容易理解的。其次，我们的方法采用了两步框架，充分利用了单帧和多帧上下文的优点。以单帧解列结果为指导进行多帧解列，从而实现更精确的运动估计和对齐。第三，利用像素级精细流和区域级正则化流两个互补并将这些特征转化为与降雨相关的变量，其被进一步馈送到逆恢复模块以获得最终估计BM，F。利用多重损失联合约束B、M、F的恢复，准确预测无雨帧，保持帧间一致性。单帧去重网络。如图4、SF-DerainNet采用类似U-Net的架构。它改变SF-DerainNet编码器 解码器MF-AlignNetMF-DerainNet编码器 解码器B tBt1伊什CIMMBt1Pakistan，FLSVarOLS不Rect……经纱…FtM……LM…Opt-Reg…乌什特………M3264 12864 32 10FlowNetL光学精细256…64…LMStSUtSS不Rt伊什Var32 1064经纱LMRect32布雷夫特=【日M你好，你好]不1一不O tt1OOFt1Mv=不–[St ，Ut 、MMMM不，Rt [商务英语身体康复v伊什 =[tt，R，tS、SSSS]BM，F不反向恢复模块不不vBB组v和1665CIBBCIBBCIBBΣΣ不不ˆS2.不x伊普雷特Xy不t−1不MF不t−1不不t−1不不不Ot− Ut− St−1 −βt×Att−1跳转然后，我们估计光流ut=[ut，x，ut，y]LRect¨ttét−1Var不不不2x 、、t t t t ttt tt通过多个卷积层渐进地提取特征。在中间层中，特征的空间分辨率首先被下采样（编码器），然后被上采样（解码器）。存在残差连接（用红色表示）来连接编码器（或解码器）内具有相同空间分辨率的特征，这有助于局部信息的连接。MMBt 1,BtCIMMCIMMM不 、不 、tx伊你好，乌什特BtBt Bt伊tutBt1,Bt保持在由浅层产生的特征中，图5.从方程推导出的双层流动约束。（17）。PIB（p）、PIB（p）、PIB（p）和u=（u，u）提供像素，将具有相同空间分辨率的特征从en-区域一级规范化。最好用彩色观看编码器到解码器。实现了空间分辨率的变化在SF-DerainNet中通过步幅卷积和反卷积。奥普什岛尊重，尊重，并连接之前，SF-DerainNet输出四个与降雨相关的变量。我们使用GSF（·）来表示SF-DerainNet的过程：采样到最小空间分辨率。构建跳过连接以连接相应的要素vS=SS，US，βS，RS=GSF。奥塔、（五）从将估计的干净帧作为输入的分支到解码器侧。在解码器端具有最小尺度的卷积层的末尾，我们使用其中，SS、US、βS和RS是雨带，雨带u-卷积LSTM，用于在t t t t t t径流、大气传输和残留估计从单一的框架。最后一项试图弥补雨遮挡的影响和其他项的估计误差。I NVERSE接收模块。Giv enSS、US、βS和RS，跨帧的特征级别。 在这里，我们利用剩余任务学习方法我们使用GMF（·）来表示MF-DerainNet的过程：vBS，BM，F，O，OFΣ，（10）我们遵循方程n的逆解（3）基于单个帧输入来获得干净背景帧B的估计vM=vM+vS。（十一）在得到v<$M=S<$M，U<$M，β<$M，R<$M<$之后，我们将其放入t t t t t t公司简介你好。关于我们所述逆恢复模块用于获得所述无雨帧B.SBt=Max .β-S，β-S+Rt，（6）损失函数。我们以端到端的方式训练我们的网络-内尔。损失函数由六项组成：其中，是保证数字原因的阈值L=LM+LM+LS+LS（十二）能力，它被设置为0.1 [38]。所有RectVarRectVar多帧对齐网络。在时间步t，我们估计-MOpt-RegM选择精细、（十三）配合第（t-1）个防雨框架BM从先前的雨S=<$BS-B<$2在BM[11 ][12][13][14][15][16] 我们使用GFlow（·）和GLS=<$v−v <$。（十五）Warp（·）表示光流计算过程，基于以下流程的调整和翘曲操作同样适用于L M和L M。M和MRectVarOpt-Reg选择精细ut= G流BMt−1，BS、（7）是通过粗流稠度和细流稠度测量的损失流动正交特征BM，F=GWarp.BM，中国，（8）4.3. 双层流动约束t−1OFt−1t−1LMOpt-RegLM选择精细+L+L2输出. 也有跳过连接（用蓝色表示），（14）1666不t−1不t−1Σ Σ Σ˜ ˜Σ=GWarp.Ot−1，ut.（九）为了生成时间上更连续和区域上更一致的视频，我们采用两种类型的约束，然后，雨水输入中像素的位置被对齐，并且连续的MF-DerainNet能够更有效地去除雨水。多帧去重网络。MF-DerainNet作为输入BS、BM、F和OS，OF并预测与降雨有关的变量。它使用与SF-DerainNet类似的架构。 目前，有两个分支机构，网络训练、细流约束和正则化流约束。亮度恒定约束。我们首先回顾在传统光学流程中使用的亮度常数约束：B（x，y，t）=B（x+ x，y+ y，t+t），（16）编码器侧。特征提取自B和其中，B（x，y，t）表示像素的位置（x，y）处的像素，时间t处的帧。对于帧t和（t+t），t t−11667不¨¨x伊普雷特Σ不¨¨x伊普雷特XΣΣy表1.在RainSynLight25、RainSynComplex25和NTURain上不同雨条纹去除方法之间的PSNR和SSIM结果。最佳结果用红色表示，第二佳结果用蓝色表示。数据集度量DetailNetTCLRMJORDERMS-CSCDSCSE法斯特兰J4RNetSpacCNN提出RainSynLight25PSNR25.7228.7730.3725.5825.6326.5629.4232.9632.7835.80SSIM0.85720.86930.92350.80890.83280.80060.86830.94340.92390.9622RainSynHeavy25PSNR16.5017.3120.2016.9617.3316.7619.2524.1321.2127.72SSIM0.54410.49560.63350.50490.50360.52930.53850.71630.58540.8239NTURainPSNR30.1329.9832.6127.3129.2025.7330.3232.1433.1136.05SSIM0.92200.91990.94820.78700.91370.76140.92620.94800.94740.9676表2.在RainSynAll100上进行不同去雨方法的PSNR和SSIM测试。*和 *分别表示使用ST-MRF和EVD-Net作为预处理/后处理。最佳结果用红色表示，第二佳结果用蓝色表示。度量†FastDeRain快速降雨†SpacCNN†F美国有线电视新闻网（CNN）†MS-CSCMS-CSC††SESE†J4RNet-E降雨输入PSNR19.4619.4018.3919.1617.8117.8217.4117.5820.3112.01SSIM0.68750.73220.71310.72140.62640.62110.62130.62450.63240.5739度量快雨DeRainFastDeRainSpacCNN美国有线电视新闻网公司简介公司简介电子邮件SEJ4RNet-P提出PSNR18.5518.7817.9317.9416.9216.9217.6717.8922.9325.72SSIM0.71610.73510.72590.72700.63540.63460.62000.62780.77460.8989分别沿x和y轴的空间像素位移。我们可以近似Eqn。（16）泰勒级数：估计结果与区域更加一致：B（p） ux+ B（p） uy+ B（p）= 0，（17）MOpt-Reg =？G流BMt−1，BM−G流（Bt−12，Bt） 。2阿格什·阿格什·阿格什其中p=（x，y，t）和u=（ux，uy）分别表示点pB（p）和是沿x和y轴的空间梯度分别。是沿时间轴的时间梯度。由方程（17），我们得到两种类型的流相关表示：PKB（p）、PKB（p）、PKB（p）和u=（u，u），帮助我们的网络捕捉运动线索，并在像素和区域级别上保持时间一致性。通过精细流约束和正则化流约束，我们的网络能够捕获像素级和区域级的运动轨迹和模式。5. 实验结果数据集。 我们将我们的模型与最先进的五个基准数据集。RainSynLight 25和RainSyn-Complex 25分别在[33]中提出，具有小雨和大雨条纹。NTURain [7]有两个子组：一张是从一个移动缓慢的不稳定的摄像机拍摄的，精细流动约束。B（p）xB（p）伊B（p）普雷特包含另一个来自快速移动的车载摄像机。RainSynAll100由1，000个非雨序列帧之间的全运动信息。它是一个像素级特征，直接从输入帧计算该特征可能不够鲁棒，例如，受到雨条纹和小遮挡的干扰，并且可能无法捕获区域或对象级别的运动模式。考虑到这些因素，在提取特征GOpt-Fine（·）的过程之后，我们建立了一个精细流约束来指导网络恢复准确的像素运动：所有降解因子如第2节所示。3 .第三章。 非-雨序列从Vimeo-90 K数据集采样[49]。整个数据集分为训练和测试数据集，分别包括900和100个视频序列。实际降雨视频序列是从Youtube网站1、GIPHY2和电影剪辑中的实际场景中收集的。在线补充材料3中提供了关于训练数据、实施细节和视频比较结果的更多信息。M选择精细=？G选择精细BMt−1，B<$M）−G选择精细（Bt−12，Bt）。2基线。 我们比较D3R-Net与最先进的方法：判别稀疏编码（DSC）[36]，层先验（LP）[31]，联合雨检测和重新正则化流约束。光流u是更抽象的特征。它不能直接从输入中计算出来，需要用其他强加的约束来解决。经过先验估计和细化后，光流在区域和对象内是一致的，而一些运动细节被平滑。因此，它不是一个像素级的功能，但可以用作区域和对象运动的有效描述在我们的工作中，我们使用光流来规则化特征学习，使运动模式的L.、ΣL（1668Moval（JORDER）[53]、深度细节网络（Detail-Net）[14]、随机编码（SE）[47]、时间序列化和低秩矩阵完成（TCLRM）[27]、快速DeRain [24]、联合循环雨去除和重建（J 4 RNet）[33]、超像素对齐和补偿CNN（SpacCNN）[7]。DSC、LP、JORDER和DetailNet1https://www.youtube.com/2https://giphy.com/网站3https://github.com/flyywh/Dual-FLow-Video-Deraining-CVPR-2019网站1669(a) 雨帧（b）SE（c）TCLRM（d）FastDeRain（e）J4R（f）SpacCNN（g）建议图6.在合成数据集上的雨水去除方法的结果上图：RainSynComplex25上的结果。底部面板：RainSynAll100上的结果。最好用彩色观看。(a) 输入（b）SE（c）MS-CSC（d）TCLRM（e）FastDeRain（f）SpacCNN（g）建议图7.实际图像上的雨去除方法的结果最好用彩色观看是单帧去同步方法。SE、TCLRM、Fast-Derain、J 4RNet 和 SpacCNN 是 多 帧 去 噪 方 法 。 JORDER 、DetailNet、J4RNet和SpacCNN是基于深度学习的方法。在RainSynAll 100上执行评估时，对于没有去除雨水累积的方法，使用端到端联合视频去雾和检测网络（EVD-Net）[28]和时空M-RF去雾[4]来执行预处理或后处理。对于合成数据的实验，使用峰值信噪比（PSNR）[23]和结构相似性指数（SSIM）[46]作为比较标准。由于人类视觉系统对亮度信息比色度信息更敏感，因此我们遵循以前的工作，仅在亮度通道中评估结果客观评价。 我们比较了我们的方法在数据集- s上，只有雨条纹退化在表1中。我们的方法显示出显着的优越性，以前的方法。与J4RNet和SpacCNN相比，我们的方法实现了更多在RainSynLight 25和Rain-SynHeavy 25上的3.5 dB增益上 ， 我 们 还 评 估 了 我 们 的 合 成 大 小 的 雨 数 据 集RainSynAll100的所有方法。为了进行公平的比较，FastDerain，SpacCNN和MS-CSC使用两种最先进的去雾方法ST-MRF [4]和EVD- Net [28]进行评估在表2中，<$FastDerain表示使用ST-MRF和FastDeRain的顺序组合进行除雨。 FastDerain†使用ST-MRF作为后处理。FastDerain和FastDerain分 别使用EVD-Net作为前/后处理。这同样适用于其他通信方法。J 4 RNet-E应用[33]中的方法，根据输入的降雨帧直接预测无雨帧。J 4RNet-P结合了逆恢复模块，首先预测与降雨相关的变量，然后根据这些预测的变量推断无雨帧。如表2所示，我们的方法实现了最佳性能。 在PSNR方面，性能增益高达2.5dB，1670表3.在空间分辨率为832×512每帧的视频中，不同方法去除雨水的运行时间（秒）基线DetailNetJORDERSEFastDeRainTCLRM时间1.46980.632919.85160.3962192.7007基线SpacCNNMS-CSCJ4RNet-EJ4RNet-P提出时间9.507515.79570.84010.84140.89740.12在SSIM。主观评价我们还比较了不同去噪方法的视觉效果。6和图7从图的顶部面板。6、综合资料的处理结果表明，在去除雨带和细节保留方面，我们具有明显的优势图1的底部面板6展示了我们在消除雨痕、积累、积累流以及它们的组合方面的优势。我们的方法在真实图像上也比其他方法表现得更好（图1）。（七）. 上图中的结果表明，我们的方法成功地消除了所有的尖锐条纹，弱条纹和面纱条纹，而其他方法的结果仍然在一定程度上显示了残留的雨下图的结果显示了我们在消除雨痕、雨水累积和累积流方面的优势。我们的方法去除了所有条纹，生成了树木和天空之间的清晰边界，并更好地保持了区域一致性。运行时间。表3比较了几种最先进方法的运行时间。J4RNet-E、J4RNet-P和所提出的方法是在Python中实现的，基于Pytorch4。其他方法在MAT-LAB中实现。DetailNet和SpacCNN基于MatConvNet5。JORDER在Caffes Matlab wrapper6上实现。TCLRM是基于CPU的方法，其他方法是基于GPU的方法。测试视频分辨率为832 × 512。在一般情况下，我们的方法的运行时间与其他国家的最先进的方法。网络架构的消融研究我们评估我们的方法与表4和图4中的不同组件。8.从表4中可以清楚地观察到，SF-DerainNet和帧之间的LSTM内存显着改善了客观结果（vs. V4和V2与v4）. 逆恢复模块有利于去除雨痕，这导致更高的SSIM（v3vs.v4）. MF对齐进一步提高PSNR和SSIM（v4与v5）。 从图中的视觉结果来看，8，SF-DerainNet（v1）的缺失导致明显的细节损失虽然v4可以在没有逆恢复模块的情况下实现表4中非常高的PSNR，但它未能消除雨带和捕捉强度分布。相比之下，我们的完整版达到了最佳的视觉质量。有和没有双层流量约束的可视化结果我们还比较了图中有和没有双层流量约束的模型9、其用于促进产生时间上更一致和视觉上更真实的结果。 两个非常棘手的案子4https://pytorch.org/5http://www.vlfeat.org/matconvnet/6http://caffe.berkeleyvision.org/表4.网络架构的消融分析。最佳结果用红色表示，第二佳结果用蓝色表示。基线v1v2v3v4v5SF-DerainNet×CCCC反向恢复CC×CCLSTM记忆C×CCCMF-对齐××××CPSNR21.7022.8726.1125.8926.10SSIM0.81200.81830.86830.90430.9125图8.RainSynAll100上不同方法的示例结果。从左到右裁剪结果：地面实况，v1，v2，v3，v4和v5。图9.我们的方法在RainSynAl-l100上有和没有双流约束的情况下产生的连续帧结果的两个例子。 (a)输入帧。 (b)无双流约束的结果。(c)具有双流约束的结果。与大的天空区域，这是很容易被视为积累或积累流进行了研究。从结果中可以清楚地观察到，在没有双流约束的情况下，我们的结果包括较少的伪影，并且在帧之间更区域一致和时间平滑6. 结论在本文中，我们以更全面的方式解决视频考虑了雨带、累积、累积流和遮挡等退化因子，构造了具有双重流约束的两级递归这种两级回流网络逐步提取更可靠的运动信息。通过雨合成模式的逆过程，估计与雨有关的变量（如此外，提出了两种基于流的正交表示，使网络更好地捕捉运动模式，并保持帧间一致性。大量的实验验证了我们的方法的优越性和每个组件的有效性。1671引用[1] P. C. Barnum，S. Narasimhan和T.卡纳德雨雪天气的频率空间分析 二、三[2] J. Bossu，N. Hauti e`re和J. - P. 塔瑞尔通过使用条纹方向直方图检测图像序列中的雨或雪International Journalof Computer Vision，93（3）：348-367，2011。二、三[3] N. Brewer和N.刘某利用雨水的形状特征对视频中的雨水进行识别和去除。IAPR关于SPR和SSPR的联合国际研讨会，第451二、三[4] B. Cai，X. Xu，和D.涛.基于时空mrf的实时视频去雾。《环太平洋多媒体会议》，第315-325页。施普林格，2016年。7[5] Y. 昌湖，澳-地Yan和S.锺用于线图案噪声去除的变换低秩模型 在proc IEEEF.计算机视觉，2017年10月。2[6] J.Chen和L.周鹏。一种高动态场景下的雨像素恢复算法。IEEE Trans. on Image Processing，23（3）：1097-1104，2014年3月。二、三[7] J. Chen，C.- H. Tan，J. Hou，L.- P.Chau和H.李cnn框架中用于雨去除的鲁棒视频内容对准和补偿。在Proc.IEEE Int'l Conf.计算机视觉与模式识别，2018年6月。一、二、三、六[8] Y.-- L. Chen和C. T. Hsu.时空相关雨带的广义低秩出现模 式 。 在 IEEE International Conference on ComputerVision的Proceedings中，第1968-1975页，2013年。二、三[9] C.董，Y.登角，澳-地C. Loy和X.唐 通过深度卷积网络减少压缩伪影。 在Proc. IEEE Int'l Conf.计算机视觉，第576-584页，2015年12月。2[10] C.东角，澳-地C. Loy，K.他，还有X。唐使用深度卷积网络的图像超分辨率。IEEE Trans. on Pattern Analysisand Machine Intelligence，38（2）：295- 307，Feb 2016.2[11] A.DosovitskiyP.Fischer ， E.Ilg ， P.Hausser ，C.Hazzirbassoul，诉 Golkov ， P.v.d. Smagt ， D.Cremers 和 T. 布 洛 克 斯Flownet：使用卷积网络学习光流。在Proc. IEEE Int'lConf.计算机视觉，2015年。5[12] D. Eigen，D. Krishnan和R.费格斯。恢复透过满是灰尘或雨水的窗户拍摄的图像。在Proc. IEEE Int'l Conf.计算机视觉，2013年12月。2[13] X. Fu，J. Huang，X.丁氏Y. Liao和J.佩斯利清除天空：用于单图像雨去除的深度网络架构。IEEE Trans. onImage Processing，26（6）：2944- 2956，2017年6月。2[14] X. Fu，J. Huang，D. Zeng，Y. Huang，X.丁宁和J.派斯利。通过深层细节网络从单个图像中去除雨水 在procIEEE计算机视觉与模式识别，2017年7月。二、三、六[15] X. Fu，J. Huang，D. Zeng，Y. Huang，X.丁宁和J.派斯利。通过深层细节网络从单个图像中去除雨水 在procIEEE 计算机视觉和模式识别，第1715-1723页，2017年7月。21672[16] K. Garg和S. K.纳亚尔从视频中检测和去除雨水。 在proc IEEE 计算机视觉和模式识别，第1卷，第I-528页，2004年。2[17] K. Garg和S. K.纳亚尔 相机什么时候能看到雨？在proc IEEE 计算机视觉，第2卷，第1067-1074页，2005年。2[18] K. Garg和S. K.纳亚尔雨条纹的真实感渲染。在ACMTrans. Graphics，第25卷，第996- 1002页，2006中。2[19] K. Garg 和 S. K. 纳 亚 尔 视 觉 与 雨 Int’l Journal ofComputer Vision2[20] Y. 胡，W.Yang，S.夏，W.Cheng和J.刘某视频编码中基于递归神经网络的帧内预测增强在proc 数据压缩会议，第413-413页，2018年3月。2[21] D.- A.黄湖W.康，Y.- C. F. Wang和C.- W.是林书基于自学习的图像分解及其在单幅图像去噪中的应用。IEEE Transactions on multimedi-a，16（1）：83-93，2014. 1[22] D.- A.黄湖W.康，M.- C.杨角W.林和YC. F.王.上下文感知的单图像雨去除。在Proc. IEEEInt'l Conf.多媒体和博览会，第164- 169页，2012年。3[23] Q. Huynh-Thu和M.甘巴里图像/视频质量评估中p-检验的有效范围。Electronics letters，44（13）：800-801，2008. 7[24] T.- X. 江，T. Z. 黄X L. 赵湖J. Deng，以及Y.王.一种基于张量的视频雨纹去除方法。在Proc.IEEE Int'l Conf.计算机视觉和模式识别，2017年7月。一、二、三、六[25] L. W.康角，澳-地W. Lin和Y. H. Fu.通过图像分解自动 去 除 基 于 单 个 图
我的内容管理
展开
