基于矩阵分解的视频去噪与去噪模型

4210基于矩阵分解的视频去噪与去噪刘仁1，2，3，田建东1，韩智1，陈冬3，唐艳东11中国科学院沈阳自动化研究所机器人国家重点实验室2中国科学院大学3香港城市大学{任伟宏，田金德，韩志，余堂}@ sia.cn，abchan@cityu.edu.hk摘要现有的除雪/除雨方法对于大的雪/雨和动态场景往往失效。失败的一个原因是由于假设所有的雪花/雨条纹在雪/雨场景中是稀疏的。二是现有的方法往往不能区分运动物体和雪花/雨带。本文针对上述问题，提出了一种基于矩阵分解的视频去噪去噪模型。我们将雪花/雨带分为两类：稀疏的和密集的。利用背景起伏和光流信息，将运动目标和稀疏雪花/雨条纹的检测表示为多标记马尔可夫随机场（MRFs）。至于密集的雪花/雨条纹，它们被认为服从高斯分布。通过对背景的低秩表示，去除场景背景中的雪花/雨条纹，包括稀疏和密集的雪花/雨条纹同时，我们的模型中的组稀疏项被设计用于过滤移动对象中的雪/雨像素实验结果表明，我们提出的模型表现得更好，比国家的最先进的方法雪和雨的去除。1. 介绍下雨和下雪会对视觉质量产生负面影响，并降低各种计算机视觉算法的性能，例如目标检测[24]，视频跟踪[2]和分割[28]。因此，为了使户外视觉系统对不同的天气条件具有鲁棒性，有必要去除视频序列中的雪和雨在本文中，为了简单起见，我们使用雪/雨来表示雪花/雨条纹近年来，除雪/除雨的研究备受关注[14，23，30，31，32]。现有的雪/雨去除方法通常假设所有的雪/雨在场景中是稀疏的。根据强度波动、下落方向或形状，它们首先检测到雪/雨。*通讯作者图1：一般雪/雨场景的组成：低等级背景、前景、稀疏的雪/雨和密集的雪/雨。稀疏雪/雨通常具有强度波动大、方向一致和形状特殊等特点，现有的方法都可以检测到然而，密集的雪/雨误导了检测。然后，雪/雨过滤器被应用于损坏的像素。在小雪/小雨和相对静止的场景下，雪/雨是非常稀疏的然而，大雪/大雨场景不仅被稀疏的雪/雨遮挡，而且被杂乱的雪/雨模糊，没有明显的属性可检测。图1示出了一般雨场景的组成：低等级背景、前景、稀疏雨条纹和密集雨条纹。稀疏雨条通常具有强度起伏大、方向一致、形状特殊等特点，现有的方法都可以检测到。然而，密集的雨条纹，没有明显的属性，导致错误的检测。这可能是现有方法在大雨中表现不佳的原因。 在一个下雨的场景，也很难分开移动的物体4211和稀疏的雨带。因此，大多数现有的方法往往会导致变形和工件上的移动对象。针对这个问题，我们提出了一个基于矩阵分解的模型，用于在大雨和动态场景下的视频去噪或去噪（第3.1节）。我们将雨条分为两类：稀疏雨条和密集雨条（见图1）。利用背景波动和光流信息，稀疏雨条纹和运动物体的检测被公式化为多标记MRF（第3.2节）。对于密集雨带，假设它们服从高斯分布.通过对背景的低秩表示，去除了场景背景中所有的雨条纹，包括稀疏的雨条纹和密集的雨条纹在检测到运动目标后，设计了一个组稀疏项来过滤运动目标内的雨像素（3.3节）。本文主要有三个方面的贡献：1. 对于暴雨场景，雨带具有复杂的物理和光学特性，单个模型难以模拟所有雨带。因此，我们把雨条纹分为稀疏的和密集的，并在一个矩阵分解框架中分别建模。这一过程使我们的模型在处理大雨时有效2. 在雨带干扰下，运动目标的检测和滤除是一个难题。基于背景起伏和水流信息，我们将稀疏雨带和运动目标的检测公式化为多标记MRF。3. 由于错误的检测或不适当的滤波，前处理方法往往会导致运动物体的变形和伪影。为了避免这个问题，我们设计了一个组稀疏项来过滤移动对象中的雨像素。2. 相关工作在[11]中提出了一项关于检测和去除视频中雨条纹的开创性工作，其作者提出了雨滴在成像系统上的视觉效果的综合分析，并开发了一个检测雨滴动态的相关模型和一个基于物理的运动模糊模型，该模型解释了雨的照片。然而，当移动物体与雨条纹混合时，他们的方法通常会在雨条纹和移动物体之间产生错误检测[17]。他们进一步表明，相机参数，如曝光时间和景深，可以选择，以减少甚至消除雨的影响，而不改变雨的外观[12]。 利用时态和色性，Zhang et al. [36]提出了一种K-means（k= 2）聚类方法来检测候选雨像素。首先计算每个像素的强度直方图然后，根据直方图的两个峰值，可以得到雨强分布。然而，他们的方法通常会模糊图像，因为背景的时间平均值。Barnum等人[1]演示了一种通过使用物理和统计模型来抑制某些时空频率来全局检测和去除雨雪的方法。这种方法的缺点是，频域中的变化并不总是在空间域中产生令人满意的效果，并且当对应于雨的频率过于杂乱时，基于频率的检测会产生误差[32]。Bossu等人在[4]中提出了基于光度和大小的选择规则来选择潜在的雨条纹或雪花。然而，他们的假设，如均匀的速度和方向的雨条纹，限制了该方法的性能。最近，为了处理动态场景中的强降雨，Chen et al.[6]提出了一种基于光流场和场景聚类的运动目标估计方法。虽然空间和时间的信息是自适应利用在雨像素恢复，他们的方法的-10不能处理从移动相机拍摄的场景。Yao等人。[34]开发了一种贝叶斯概率方法来解决雨条纹检测问题。雨的时间运动被假定为病态运动，但这种方法不能检测运动物体内的雨条纹。Asari等人研究了文献[30]中的雨痕特征，设计了一个基于Alpha混合的雨痕去除框架由于混合因子难以确定，重建的场景背景有时会出现模糊伪影。Kim等人。[19]提出了一种基于时间相关和低秩矩阵完成的视频去噪和去噪方法。他们的方法可以处理动态场景，但它往往会导致变形和伪影的运动物体与大位移。原因可能是它们没有明确地检测移动对象。在其他相关工作中，如[16]，作者提出了一个基于单图像的雨去除框架，通过将雨去除公式化为基于稀疏表示的图像分解问题也与稀疏表示，罗等人。[25]建立了降雨图像的非线性生成模型这两种方法是不有效的大和混乱的雨/雪，由于其不精确的模型。Kim等人[18]观察到，典型的雨带具有垂直方向的细长椭圆形。通过分析椭圆核的旋转角度和长宽比，他们提出了一种针对单张图像的雨带检测方法 基于高斯混合模型和补丁先验，李等。[21]将单个图像中雨条纹去除公式化为层分解问题，但是他们的方法可能导致模糊和过度平滑。Chen等人[7]假设雨带通常在成像场景中显示相似和重复的图案，并提出了一种从矩阵到张量结构的低秩模型，以捕获时空相关的雨带。然而，雨条纹并不总是有类似的模式大雨。Eigen等人[10]一个特殊的训练--42122∈PPP◦ ◦◦2DDSD卷积神经网络的形式，以恢复通过被灰尘或雨水覆盖的窗户拍摄的图像。You等人[35]专注于建模，检测和去除粘附在挡风玻璃或窗户玻璃上的的前景，即移动对象，在视频中具有类似的结构，并且可以经由组稀疏性来公式化参考[5][37]，我们通过解决矩阵分解问题来检测和去除雨[10，35]中的方法对于雨滴去除和在一个场景中，窗户玻璃上有雨，但效果不好。在min12<$Sd<$F+η·rank（B）+λ1<$Ss+F<$0在本文中，我们的方法主要是去除场景中的雨雪，对于附着的雨水或污垢可能会失败。3. 我们的模型B，F，Ss，Sd2σd+P（F）G，S.T. I=B+F+Ss+Sd，（三）在本节中，我们将介绍我们基于矩阵分解的雨水去除模型，并解释如何使用MRF来检测稀疏离群值（即稀疏的雨带和移动的物体）。我们还介绍了如何使用一 个 组 稀 疏 性 的 性 质 ， 以 过 滤 的 雨 像 素 内 移 动obturations。3.1. 一般模型令I=[I1，I2，...，In]∈Rm×n是一个n帧的视频序列，其中IjRm表示该视频序列的第j帧。 第i第j帧中的像素表示为Iij。输入视频I可以看作是B、F、Ss和Sd的组合，即I=B+F+Ss+Sd，（1）其中σd、η和λ1是正则化参数。这些参数的正确选择将在下面的部分中讨论。在获得强度波动F之后，操作者首先从I中提取前景，然后对前景应用块匹配。伪矩阵范数（F）G使前景群在运算后稀疏化.为了处理运动摄像机拍摄的动态场景，首先将相邻帧对齐到目标帧，然后对目标帧进行去噪。让表示由矢量τ j参数化的变换之后的帧。 其次，提出的分解（1）变为Iττ=B+F+Sd+Ss，且Iτ= [I1τ1，I2τ2，. . .，Inτn]。我们还用核范数来代替（3）[29]中的秩算子，最终的模型可以可以写成：其中B∈Rm×n是一个与I大小相同的矩阵，F∈Rm×n表示清晰的背景，min12（四）前景引起的强度波动;Ss∈ Rm×nB，F，Ss，τ2σd+λ1Ss+F+P（F）Sd∈Rm×n表示0G引起的光强起伏分别是稀疏的雨带和密集的雨带背景强度应该是不变的，因此它们彼此线性相关，这形成低秩矩阵B。我们对B施加以下约束：rank（B）≤κ，其中κ是常数，其约束背景模型的复杂度。视频序列上的强度波动主要是由稀疏离群值引起的，即，运动物体F和稀疏雨条Ss，它们被视为稀疏矩阵。3.2. 基于MRF的雨中的移动物体很难处理。如果在不知道其中移动对象的确切位置的情况下直接对帧进行滤波，则通常会在移动对象上引起变形和伪影（图1）。（五）。为了避免这个问题，与其他方法[11，19，31，36]相比，我们显式地使用MRF检测移动对象以进行组稀疏滤波。当量(4) 由于稀疏离群值S和F的存在，难以优化。设M∈ {0，1}m×n是一个二值矩阵，表示稀疏离群点支持度（Ss和对于Sd，我们认为它是由密集雨带引起的波动。实际上，它可能包含波动，F）：.0，如果Iij是背景，M=（五）背景噪声和照明变化。本文在分析了现有文献的基础上，IJ1，如果Iij是稀疏离群值。我们简单地假设它是高斯分布，我们设置E=I<$τ−B来表示背景涨落。.2Σǁ只要Eij= 0，即 Mij0，我们必须有Eij= Fij1P（S）=exp-SdF、（二）或Eij=（Ss）最小化（4）。因此，（4）可以写成D. 联系我们2πσ22σ2IJ如：12min<$（1−M）<$E<$+λ1<$M<$+η·<$B<$+<$P（F）<$，其中σd是高斯分布的标准偏差，N是图像像素的数量。B，M2σ2F1赛车4213G（六）4214⊙Dλ−（E）...D..2 σ2ij.IJ..DRij。D其中表示逐像素乘法。 当B和τ固定时，M的优化由λ1和背景变化E确定。当量(6)可以进一步写为：在移动的物体中，并减少强度变化。为了区分F和Ss，我们将（5）中的M重写为：如果Iij是背景，minMΣ。λ1−IJ12σ2Σ2（英ij）·Mij .（七）如果Iij是稀疏雨/snowwSs，2，如果Iij是移动对象F。同时，我们还将（8）重写为多标签MRF：（十）当考虑邻居之间的依赖性时，（7）可以被重写为一阶MRF：最小Ed+MΣ Σγ·（Mij−Mkl），（11）ij kl∈NijΣ。min112σ2ijΣΣ·Mij+Σγ·ε（Mij−Mkl），M国际法学会ij kl∈Nij（八）哪里12其中γ是正则化参数，Nij是4-2σ 2（Eij），如果Mij=0，Mij的连通邻居，以及好吧D.1 .一、ψ（x）=.如果x=0，（九）Ed= 。λ1−。。2σ21（Eij））2. ，如果M.=1，（十二）1，如果x0.好吧λ2 -（E）2. ，如果M= 2。通过（8），分离背景和稀疏离群值然而，仍然很难区分F和S。D为了使λ1对诸如光照变化和视频噪声的背景变化具有鲁棒性，我们将背景波动E与光流信息相结合。基于光流方法[22]，我们首先估计视频中两个相邻帧之间的2D流场u（x，y）然后，我们对第n个帧Ik+1进行遍历以获得I<$k，并计算-Ik和Ik之间的区别。I<$k=Ik+1（x+u（x，y）），.。（十三）图2：在图的两端，由于下雨，背景中的强度波动不规则地变化，Ir=. Ik−Ik. .由于雨条纹太小，移动太快，影响光流估计，我们使用Ir来指导MRF优化M。一个粗略的阈值λ1来区分雨像素和背像素，场. 另一个阈值表示为λ，由1（E）2σ2IJ）2，如果MIJ= 0，2运动物体，可用于区分运动物体好吧D.1 .一、和背景。Ed=. λ1+λr。2σ2 （Eij）.）2− ω1（I）2。 ，如果M= 1，通过对大量雨雪视频的分析，。1 .一、。二、序列，我们发现由移动物体引起的强度波动比雨。λ2− 2σ2（Eij）. 如果M ij=2，（十四）条纹或雪花。图2示出了在特定位置处的像素的100个连续帧中的背景波动E的曲线图。在图的两端，背景中的强度波动由于降雨而不规则地变化，并且存在区分稀疏异常值和背景的阈值λ1这一分析反映在（8）中。从第60帧到第75帧，一个移动的物体穿过背景，引起很大的亮度变化.2IJ−IJ4215另一个用λ2表示的阈值可用于识别移动物体和雨条纹，即使有时会出现图2中红色圆圈标记其中ω1控制背景变化和光流信息之间的权重。阈值λ1和λ2与背景变化E有关，λr与光学信息有关。这些参数的正确选择将在下一节中讨论。在图3中，雨条纹和移动物体可以准确地检测马尔可夫随机场。利用运动目标的位置信息，设计了一个组稀疏项来滤除其中的该过程可以有效地避免运动对象的变形和伪影。4216PP−D√D≤√--输入图像雨或雪图Ir运动图u稀疏离群值图3：马尔可夫随机场检测到的稀疏离群值。利用局部空间信息Ir和u，可以检测移动对象和稀疏的雨条纹或雪花。3.3.运动对象的利用局部或非局部滤波算法，现有这些方法通常以逐像素的方式去除移动对象内的雨水，并且该过程通常导致移动对象上的模糊和伪像。由于图像块在空间和时间空间中具有非局部相似性[9][15]，因此我们设计了一个组稀疏项来以块方式过滤移动对象。基于从（11）获得的M，算子（F）首先从I提取前景。然后，将前景划分为重叠的块，并在以参考块为中心的特定搜索窗口内将相似对于一个目标帧，相似的块只在它的两个相邻帧中搜索，即，三个连续跳转有关补丁匹配的更多详细信息，请参见[8]。伪矩阵范数φ·φG寻求群spar-ing算法，该算法将B，τ，F和Ss上的能量最小化分开。B和τ的步长是一个凸问题，并且已经证明了对于核范数优化问题，[27][29]是有效的。Ss和F的步骤由（11）求解以获得M。基于M，对F的操作然后通过（15）过滤前景内的雨。通过将清晰的背景和过滤的前景相结合，得到最终的去雨结果。整体算法在算法1中给出。4.1. 重建背景B当稀疏离群值支持M（即M）并且变换τ固定时，根据（6），目标函数（4）的最小化可以变换为：12min+ η·。（ 十六）面片集的密度。 处理完补丁集后，我们将图像补丁通过加权平均方法返回。B，τ2σ2F（P（F））i，j是P（F）中的片集，并且其参考片是第i帧中的第j块。设Y=（P（F））i，j参考[27]，（16）中B的解可以由下式给出：SVD：并且Y =[y1，y2，...，yl]∈ Rh×l，其中y1，y2，.，我是B=svd.Σ（1−M）<$（I<$τ）+M<$B<$=UαVT，三个相似的路径在前景提取成功静态帧。根据组/结构稀疏性[26][38]，群稀疏项可以通过以下方式求解：哪里 Σα = diagα中国（17）（d1−α）+，.，（dr−α）+，t+=G¨ ¨2Σrmax（t，0），并且diag = diag [d1，.，dr]。 计算中过程中，B可以任意初始化，B是计算（U，V，V）= argmin<$YUVT<$U、V、F+µi=1σi，（15）通过迭代使用（17）。（16）中的参数η和σ2控制场景背景的复杂度更大的式中，Σ = diagσ1，σ2.σr（r= rank（Y））。 当量(15)可以从双边方差估计的角度通过奇异值分解（SVD）来解释[9]。由于雨条纹在空间和时间上是随机分布的，所以运动物体内的雨像素可以通过（15）去除。4. 算法目标函数（4）是非凸的，很难一步得到解因此，我们采用交替-η给出更平滑的场景背景。在我们的算法中，首先给出rankκ=n的粗略估计，n表示我们选择重建场景背景的帧的数量在本文中，我们设置n= 15的小雨场景和n= 31的大雨。然后我们从一个大的η开始，实验上η被初始化为I的第二大奇异值。 参数σ2被设置为0。5、估计密集的雨带。在（17）的每次迭代之后，如果rank（B）为κ，则我们将η减小因子θ1=1/2，并重复（17），直到rank（B）> κ。D4217∈◦ ≈◦IJ在（16）中，τ =[τ1，τ2，...，τn] Rp×n是所有变换的参数化。 当τ的变化很小时，可以通过线性化τ的当前估计来近似该约束[29]。设I（τ+<$τ）Iτ+Jτ <$τ，其中Jτ是雅可比矩阵矩阵的图像。当B和M固定时，该线性化导致在τ上的凸优化问题：<$τ<$←arg min<$（1−M）<$（I<$τ−B+J<$τ）<$25. 实验为了评估我们提出的模型的性能，各种雨和雪视频序列被采用。它们包含照明变化、摄像机运动、移动对象等。图4是一个动态的雪景从一个移动的相机。Garg和Nayar[11]的方法可以检测到候选雪像素通过计算方向和τ∆ττ← τ + τ。4.2. 检测连续离群值M（即M）F（十八）相关的雪花，并删除大多数检测到的雪花。但是由于相邻像素的平均值，背景和邮箱是模糊的（14）中的参数ω1控制权重，背景起伏和光流信息，λ1，λ2，λr与稀疏离群值有关。 通常，我们设置ω1= 0。5，因为Ir为Ss检测提供了大量的信息。 背景变化λ1= 4。5σ2，λ2= 12。5σ2，其中σ2由（I<$τ−B）的方差在线估计。同样，λr=12。5σr2，其中σr2由Ir估计。 在 第3.2节中，Eq. (4)转化为（11）求F和S的微分。当B和τ给定时，（11）是具有多个标签的MRF的标准形式，可以由[3][20]精确求解。当获得M.对于运动摄像机拍摄的动态场景，Zhang et al.[36]通过扭曲每个帧以与第一帧对齐来执行视频稳定，但是这种稳定技术导致场景中的模糊和过度平滑。由于没有用于移动视频的预对准，Tripathi等人的方法。[31]误导了雨水探测，邮箱的边缘严重退化。Kim et al.[19]可以很好地处理从移动的摄像机拍摄的视频，但它不能去除场景中的所有雪花。 我们在目标帧被除雪或除雨之前预先将相邻帧与目标帧对齐，并且我们的方法可以去除几乎所有的如果M= 0，M=（十九）所有的雪花1，如果M0。算法1用于雨或雪去除的总体算法输入：雨或雪视频序列I= [I1，I2，...，In]Rm×n输出：雨 或 雪 移除序列I在图5中，我们展示了一个动态的雨场景。 有七-雨场景中具有不同速度和方向的各种移动对象。 对于快速移动的对象，即汽车，Tripathi等人的方法。而我们的方法可以很好地处理，但是其他方法严重地降低了运动物体的边缘。 Tripathi等人的方法的缺点是：我，我……I][31]是雪花不能清楚地在1 2N初始化：转换τ，背景B，支持M1. 重复2. 更新τ至（18）3. 重建B至（17）4. 估计（14）中的λ1、λ2和λr5. 使用MRF优化M到（11）6. 直到收敛7. 过滤前景内的雨/雪（15）8. 组合前景和背景以获得I_4.3. 过滤移动对象在第4.1节中，场景背景中的雨条纹通过背景的低秩表示来去除。关键问题是对运动目标中的雨像素进行滤波。基于第4.2节中获得的稀疏离群值M，（15）采用三个连续的帧来寻找前景块上的组由于雨条纹在空间和时间域中随机分布，因此可以通过（15）去除移动对象内的雨像素。采用[9]提出的技术求解（15），参数μ一般设为5。背景把背部的位置放低在地面上，我们的模型可以消除几乎所有的雪花。同时，设计了一种组稀疏模型来滤除运动物体内部的雨纹，避免了恢复帧中运动物体的变形和伪影。图6是隔着窗户用智能手机拍摄的大雨场景，要去除所有的雨痕是一个挑战由于雨太大，所有的方法都会导致背景模糊。然而，我们的方法可以删除几乎所有的雨条纹与31帧重建场景背景和检测运动物体。与我们的方法类似，Kim et al.[19]采用5帧来消除低秩矩阵完成的雨，但大雨限制了他们的方法对于Kim的方法来说，这种比较似乎不公平，但事实并非如此。Kim图7显示了两个合成雨场景的雨去除结果：街道1和街道2。雨视频是使用[13]中的技术合成的，我们只显示Kim[19]和我们的结果，因为其他的PSNR值∈4218×[36]第36话：我的世界[19]第19话我的世界图4：移动相机拍摄的雪景的不同除雪/除雨方法的比较。我们在目标帧被除雪或除雨之前预先将相邻帧与目标帧因此，我们的模型可以检测几乎所有的稀疏雪花与马尔可夫随机场，它不依赖于方向和大小的雪花。[36]第36话：我的世界[19]第19话我的世界图5：不同雪/雨去除方法的动态场景的雨去除结果对于快速运动的目标，除了我们的方法，所有的方法，在不同程度上退化的运动目标的边缘。在我们的模型中，使用组稀疏过滤运动对象，它避免了变形和恢复帧中的伪影。方法相对较低（表1）。 虽然Kim的方法可以消除大部分雨条纹，但它无法处理宽而明亮的雨条纹。该方法将雨带分为稀疏雨带和密集雨带两类，所有的雪花都可以通过该模型进行检测和去除。包括Human 4、Bike和Campus 在 内 的 视 频 搜 索 结 果 可 以 在http://vision.sia.cn/our%20team/RenWeihong-homepage/vision-renweihong% 28 English %29.html中找到。表1显示了五个合成雨视频的定量比较，使用视频的平均PSNR值。Street1，Street2和Campus是用移动的智能手机拍摄的，另外两个 视频是从[33]中选择的。我们从PSNR值的角度来看，我们的方法表现最好，原因是我们的方法可以去除所有的雨条纹。由于滤波算法不当，[11，31，36]中的方法对于合成的暴雨场景表现相对较差。Kim在我们的Matlab代码在具有Intel i5 CPU和10G内存的PC上进行对于720 480视频帧，Kim等人提供的Matlab代码的运行时间。是126.4秒，我们的是136.5秒据我们所知，很少有方法可以很好地实时除雪/除雨。Zhang等人使用整个视频来检测雪/雨。Tripathi和Garg4219[36]第36话：我的世界[19]第19话我的世界图6：大雨下不同除雪/除雨方法的比较由于雨太大，所有的方法都会导致背景模糊。然而，我们的方法可以消除几乎所有的雨条纹。[19]第19话最后一句话图7：两个人工降雨视频的比较。金我们的方法可以很好地处理所有的雨条纹与不同的模型雨条纹。分别使用15帧和30帧来清除雪/雨。表1：五个合成雨场景的PSNR比较6. 局限与讨论目前，我们的方法可以消除所有的雨纹，在场景中，但它可能会损害动态纹理，如波浪，摇曳的树木和拥挤的街道。换句话说，我们的方法可能无法分离动态纹理和移动对象。将雨幕视频分解为运动目标、稀疏雨幕、密集雨幕和动态纹理等多个层次可能是一个不错的选择，但需要提取更多的特征进行分割。动态纹理和复杂场景的处理将是我们的研究重点。7. 结论本文将雨条分为稀疏雨条和稀疏雨条，密集的，并在矩阵分解框架中分别对它们建模。该划分使我们的模型在处理暴雨时比其他方法更有效。由于雨带的干扰，给运动目标的检测和滤波带来了困难。此外，不适当的滤波算法会导致运动物体的变形和伪影。为了避免这个问题，我们首先明确地检测运动物体与MRF，然后设计一个组稀疏项过滤其中的雨像素。在真实视频和合成视频序列上的实验表明，该方法的性能优于其他现有方法。确认我们感谢陈希实 验 本 工 作 得 到 了 国 家 自 然 科 学 基 金 的 资 助 。61473280、61333019、91648118和61303168。我们也感谢中科院青年创新促进会的支持.场景雨视频加格[11]张[36]特里帕蒂[31][19]第十九话我们街道129.3728.6124.2526.4930.9631.40Street228.8029.0024.2725.7129.0329.62校园29.1329.1824.0127.4729.8230.45人类430.1728.6224.3323.0030.7931.35自行车29.9533.0528.9330.4033.2133.544220引用[1] P. C. Barnum，S. Narasimhan和T.卡纳德雨雪天气的频率空间分析。International Journal of Computer Vision，86（2-3）：256[2] J. Black，T. Ellis和P.松香一种新的视频跟踪性能评估方法。IEEE International Workshop on Visual Surveillanceand Performance Evaluation of Tracking and Surveillance（VS-PETS 03），第125-132页[3] A. Blake，P.Kohli和C.罗瑟马尔可夫随机场的视觉和图像处理。Mit Press，2011.[4] J. Bossu，N. 上埃，还有J. - P. 塔瑞尔通过使用条纹方向直方图检测图像序列中的雨或雪International Journalof Computer Vision，93（3）：348[5] E. J. Cand e`s，X. Li，Y. Ma和J. 赖特用主成分分析法吗？Journal of the ACM（JACM），58（3）：11，2011.[6] J. Chen和L.-周鹏。一种高动态场景下的雨像素恢复算法 。 Image Processing ， IEEE Transactions on ， 23（3）：1097[7] Y. L. Chen和C. T. Hsu.时空相关雨带的广义低秩出现模式。2013年IEEE国际计算机视觉会议（ICCV），第1968-1975页[8] K.达博夫河Foi，V.Katkovnik，and K.埃吉亚扎利安人稀疏三维变换域协同滤波图像去噪。图像处理，IEEE学报，16（8）：2080[9] W. Dong，G.Shi和X。李具有双边方差估计的非局部图像 恢 复 ： 低 级 的 方 法 Image Processing ， IEEETransactions on，22（2）：700[10] D. Eigen，D. Krishnan和R.费格斯。恢复通过被灰尘或雨水覆盖的窗户拍摄的图像。2013年IEEE国际计算机视觉会议（ICCV），第633-640页[11] K. Garg和S. K.纳亚尔从视频中检测和去除雨水。计算机视觉与模式识别，2004年。CVPR 2004。2004年IEEE计算机协会会议论文集，第1卷，第I-528页。IEEE，2004年。[12] K. Garg和S. K.纳亚尔 相机什么时候能看到雨？计算机视觉，2005年。ICCV 2005年。第十届IEEE国际会议，第2卷，第1067-1074页。IEEE，2005年。[13] K. Garg和S. K.纳亚尔雨条纹的真实感渲染。在ACM图形学报（TOG），第25卷，第996-1002页中。ACM，2006年。[14] K. Garg和S. K.纳亚尔视觉与雨International Journal ofComputer Vision，75（1）：3[15] H.吉角，澳-地Liu，Z. Shen和Y.徐使用低秩矩阵完成的鲁棒视频去噪。见CVPR，第1791- 1798页Citeseer，2010.[16] L- W.康角，澳-地W.林和Y H. Fu.通过图像分解自动去除基于单个图像的雨条纹。Image Processing，IEEETransactions on，21（4）：1742[17] H. G. Kim，S.J. Seo和B.C. 歌基于运动补偿非局部均值滤波器的多帧雨天视频去雨算法。Journal of VisualCommunication and Image Representation，26：317[18] J. H.金角，澳-地李，J. Y. Sim和C. S. Kim.使用自适应非局部均值滤波器的单图像去噪。在图像处理（ICIP）中，2013年第20届IEEE国际会议，第914-917页[19] J. H.金，J. Y. Sim和C. S. Kim. 视频去同步以及使用时间相关性和低秩MAC-MAC-COMPLEMENT进行去噪Image Processing IEEE Transactions on，24：2658[20] 诉Kolmogorov和R.扎宾什么样的能量函数可以通过图割最 小 化 ？ Pattern Analysis and Machine Intelligence ，IEEE Transactions on，26（2）：147[21] Y.利河，巴西-地T. Tan，X. Guo，J. Lu，and M. S.布朗使用层先验去除雨痕。在IEEE计算机视觉和模式识别会议（CVPR）上，2016年6月。[22] C. Liu，J. Yuen，and A.托拉尔巴SIFT流：场景间的密集对应及其应用。IEEE传输模式分析马赫内特尔，33（5）：978[23] P. 刘，J.徐，J.刘，和X。唐基于像素的时域分析利用色度特性去除视频中的雨水计算机与信息科学，2（1）：p53，2009。[24] D. G.洛基于局部尺度不变特征的目标识别。计算机视觉，1999年。第七届IEEE国际会议论文集，第2卷，第1150-1157页。Ieee，1999年。[25] Y. Luo，Y.Xu和H.纪通过鉴别稀疏编码从单幅图像中去除雨水在IEEE计算机视觉国际会议（ICCV），2015年12月。[26] J. Mairal，F. Bach，J. Ponce，G. Sapiro和A.齐瑟曼。图像复原的非局部稀疏模型。计算机视觉，2009年IEEE第12届国际会议，第2272-2279页。IEEE，2009年。[27] R. Mazumder，T. Hastie和R. Tibshirani学习大型不完全矩阵的谱正则化算法。机器学习研究杂志，11：2287[28] D. W. Murray和B. F.巴克斯顿基于全局优化的视觉运动场景分割。Pattern Analysis and Machine Intelligence，IEEE Transactions on，（2）：220[29] Y. Peng，中国黑杨A. Ganesh，J. Wright，W. Xu和Y.MA. Rasl：通过稀疏和低秩分解对线性相关图像进行鲁棒对齐Pattern Analysis and Machine Intelligence，IEEETransactions on，34（11）：2233[30] 诉Santhaseelan和V.K. Asari 利用局部相位信息去除视频中的雨水。International Journal of Computer Vision，112（1）：71[31] A. K. Tripathi和S. Mukhopadhyay。视频后期处理：用于检 测 和 去 除 雨 的 低 延 迟 时 空 方 法 。 Iet ImageProcessing，6（2）：181[32] A. K. Tripathi和S. Mukhopadhyay。从视频中删除雨水：审查. Signal，Image and Video Processing，8（8）：14214221[33] Y. Wu、J. Lim和M.- H.杨 在线对象跟踪：基准。在IEEE计算机视觉和模式识别会议论文集，第2411-2418页[34] C.姚角，澳-地王湖，加-地Hong和Y.程一个用于降雨探测的bapolism prob-100框架。Entropy，16（6）：3302[35] S.你，R T.坦河，巴西-地Kawakami和K.池内视频中附着雨滴的检测与去除。IEEE计算机协会计算机视觉和模式识别会议（CVPR 2013），2013年。[36] X. Zhang，H. Li，Y.齐，W. K. Leow和T. K. Ng. 通过结合时间和色彩特性在视频中去除雨水。多媒体和博览会，2006年IEEE国际会议，第461-464页。IEEE，2006年。[37] X. Zhou C.，中国青冈C. Yang和W. Yu.通过检测低秩表示中的连续离群值来检测运动对象。Pattern Analysisand Machine Intelligence ， IEEE Transactions on ， 35（3）：597[38] D. Zoran和Y.韦斯从自然图像块的学习模型到整体图像恢复。国际计算机视觉会议，第479-486页，2011年