4057一种基于张量的区分性内在先验的视频雨条纹去除方法姜泰祥1，黄廷柱1，赵喜乐1，邓良建1，王耀2，电子科技大学数学科学学院2西安交通大学{taixiangjiang，yao.s.wanggmail.com}@ www.example.com{tingzhuhuang，liangjian1987112}@126.comxlzhao122003@163.com摘要雨纹去除是户外视觉系统的一个重要问题，近年来得到了广泛的研究。本文提出了一种新的基于张量的视频雨纹去除方法，该方法充分考虑了雨纹和干净视频的区别性内在特征，不需要雨纹检测，也不需要耗时的字典学习阶段。具体而言，一方面，雨条在雨滴方向上稀疏平滑，另一方面，干净视频在垂直于我们使用l1范数来增强底层雨条纹的稀疏性，使用两个单向全变差（TV）正则化器来保证不同的判别平滑性，使用张量核范数和时间方向差分算子来表征干净视频沿时间的排他性相关性采用交替方向乘子法（ADMM）求解所提出的基于张量的凸模型.仿真和实际数据实验验证了该方法的有效在全面的定量性能指标下，我们的方法优于其他最先进的方法。1. 介绍室外视觉系统经常受到恶劣天气的影响，下雨就是其中之一。由于其散射光进出互补金属氧化物半导体的相机和它的高速度，雨滴通常带来明亮的条纹的图像或视频。此外，雨条纹也会干扰附近的像素，因为它们的镜面高光，散射和模糊效果[1]。这种不期望的干扰将降低各种后续计算机视觉算法的性能，例如*通讯作者图1. 从左至右：1）第1帧和第2帧分别与雨视频、干净视频和雨条纹的差异直方图：2）分别以降序的O（3）、B（3）和R（3）的奇异值; 3）下雨视频、干净视频和雨条纹的一些示例帧; 4）第10帧的雨方向差的直方图（c-1，2，3），以及分别为雨视频、干净视频和雨条纹的行（d-1，2，3）的强度。事件检测[2]、对象检测[3，4]、跟踪[5]和识别[6]以及场景分析[7]。例如，在监控视频的背景减除领域中，40581 2N无雨视频将缓解来自动态背景的困难[8]。因此，去除雨痕确实是相当重要和必要的，最近受到了很多关注[9，10，11，12，13，14，15]。一般来说，雨天图像的观测模型用公式表示为O=B+R [1 ， 9 ， 10] ， 它 可 以 推 广 到 视 频 情 况 ：O=B+R，其中O、B和R∈Rm×n×t是三个三模张量，分别表示观测到的雨视频、未知的无雨视频和雨条纹。雨条纹去除方法旨在从输入的雨天视频中分离干净的视频和雨条纹。在低层计算机视觉中，这是一个不适定问题，传统上通过对先验进行相应的正则化来解决因此，从这个角度来看，最重要的问题是合理地提取和充分利用先验知识，这是区分待重建的无雨视频和雨条纹。同时，如表1所示，许多最新的最先进的雨条纹去除方法也可以被视为基于一些先验或假设进行分离。Talbe中提到的这些方法。1被证明是有效的，然而存在一些缺点。首先，他们的一些我们的方法是凸的和简洁的，它是更容易实现和更有效地产生相当好的结果，定性和定量，与expertly国家的最先进的方法相比。此外，我们的方法是实用的，因为它不受雨带方向和相机或场景的动态/静态的限制（参见第4.2节中的更多细节）。据我们所知，这是第一个合理地提取这些先验知识的方法。本文的主要内容如下。第二节给出张量的一些初步知识。第三节讨论了相关的工作。在第4节中，我们的模型以及ADMM求解器的制定提出。实验结果见第5节。最后，我们在第6节中得出了一些结论。2. 符号和预备表2.张量记法注释X，X，x，x张量，矩阵，向量，标量.两个相同尺寸的内积先验或假设并不充分。第二、X，Y张量X和Y他们更关注雨痕而不是没有雨的部分。实际上，无雨部分保留了很多有用的信息-张量X的Frobenius范数。张量X∈这是一种没有充分利用的资源最后，他们中的大多数-省去了耗时的字典学习阶段。在那里-X（n），展开n（X）RI1×I2×···×IN表示为XQ（n）∈因此，它仍有进一步提高潜在能力的空间RIn×I nIi.雨纹去除模型的有效性和实用性为了解决这些问题，本文提出了一种新的雨条去除模型，该模型充分考虑了雨条的区分，（r1，r2，···，rN）N-秩，其中rn=秩（X（n）），n= 1，2，···，N.考虑了雨水和无雨部分的固有特性更具体地说，空间和时间，全局和局部的先验知识进行了分析。在空间方面，雨滴的方向性使雨滴图像产生沿雨滴方向和垂直于雨滴方向两种不同的效果在[20]之后，我们使用小写字母表示向量，例如，a，矩阵的大写字母，例如，A，以及张量的书法 字 母 ， 例 如 ， A. 定 义 一 个 N 模 张 量 为 X∈RI1×I2×···×IN，xii···i是它的第（i1，i2，· · ·，iN）个分量.两个大小相同的张量X和Y的内积可以从图中的（c-1，2，3）和（d-1，2，3）看出。1.一、 练习传统的TV正则化应用于[1，10]，定义为：X，Y=i1，i2，···，iNxi1i2···iN ·yi1i2···iN。的但它不能处理这两种不同的效果[16，17]。幸运的是，在[18，19]中引入的单向TV自然是合适的，因此我们采用它来利用空间先验。至于时间方面，无雨部分保持着与之相当不同的情况-相应的范数（Frobenius范数）则定义为：X张量X的n型开折记为X（n）∈RIn×inIi，其中张量元素-t（i1，i2，···，iN）映射到矩阵元素（in，j）sat。假设j=1+N（i−1）J其中J =这是雨的条纹和下雨的部分。（a-2）和（b-2）在图。Q1显示了沿时间轴的更紧密的相关性，比较-k−1m=1，m/=nk=1，k/=nk k k我...展开的逆算子是de-分别与（a-1，3）和（b-1，3）进行比较因此，应用张量核范数和时间方向差分算子来同时提升底层干净视频沿时间方向的全局和局部最后，我们考虑雨纹的稀疏性，并使用l1范数来保证它。记为X=foldn（X（n））。我们在工作中采用的n-秩被定义为数组n-秩（X ）=[rank（X（1）），rank（X（2）），···，rank（X （ N ） ）]。张量X是low-w-秩的，如果X（n）对所有n都是low-w-秩的.请参阅[20]以获得更广泛的概述。4059表1.近期相关除雨工程比较方法先验或假设检测或词典-无学习Kang等人[9]雨条只存在于HF部分，可被MCA基于字典学习和稀疏编码两陈义磊等al. [10]雨条纹是时空相关的，TV正则化是从高度图案化的雨条纹也不Hakim等人[11]雨条纹是稀疏和干净的视频是低排名也不Kim等人[12]雨条纹是时间相关的，干净的视频是低等级的两Luo等人[13]来自图像和雨的局部补丁可以稀疏地建模在一个学习的字典，并且它们的稀疏码是足够有区别的字典学习Li等人[1]GMM块先验和背景字典学习3. 相关工作提出了许多方法来提高利用雨条纹干扰捕获的图像/视频的可见性。它们可以分为两类：基于多个图像/视频的方法和单个图像的方法。对于单个图像去雨任务，Kang等人。[9]将雨区图像分解为低频（LF）和高频（HF）两部分，并在高频部分采用基于MCA的字典学习和稀疏编码方法分离雨带。遵循这个优雅的分解思想，Sun et al. [21]考虑到结构信息。然而，这些方法估计的背景往往是模糊的。 Chen等人[10] 考虑了雨带的形态和背景的平滑性，但其目标函数的约束条件不够强。区分性稀疏编码被Luo等人采用。[13]，但其性能并不理想。最近的工作李等人。[1]首次将高斯混合模型（GMM）的斑块先验用于雨带去除，能够处理雨带的方向和尺度。尽管如此，他们的结果仍然过于平滑。对于视频病例，Abdel-Hakim等人[11]应用鲁棒主成分分析（RPCA）进行雨强去除。他们的方法对于静止的摄像机和静止的背景是有限的。Kim等人[12]考虑了雨带的时间相关性和干净视频的低秩性，但对于一些由动态摄像机记录的动态视频，其有效性仍然较弱。有关基于视频的方法的更全面综述，请参见[22]。在表1中，简要介绍了最近相关工作的特点。4. 基于张量的视频雨纹去除模型通常，从图像处理的角度来看，雨天视频O∈Rm×n×t可以建模为线性叠加：O= B+ R，其中B和R∈Rm×n×t分别是未知的无雨视频和雨条带。这三个张量在图1的第三列中示出。 我们的目标是从输入雨天视频O中分解无雨视频B和雨条纹R。为了解决这个不适定问题，我们需要分析B和R的先验，然后引入相应的正则化子，这将在下一小节中讨论。4.1. 先验和正则化器雨痕的稀疏性当雨很小时，雨痕自然可以被认为是稀疏的。 我们还可以从图1中的实例中获得雨带的稀疏性。1.因此，增强下垫面雨条的稀疏性有利于分离。为了提高雨纹的稀疏性，l0范数（表示非零元素的数量）是一个理想的选择。同时，我们可以调整稀疏项的参数来处理大雨场景，因为雨条纹总是比背景干净的视频本质上更稀疏。沿雨垂直方向的平滑度图图1、（d-1）、（d-2）和（d-3）分别显示从雨天视频、干净视频和雨条纹的第10帧开始的在雨垂直方向上的固定行的像素强度。很明显，只有（d-2）中的像素强度变化是分段平滑的，而（d-1）和（d-3）中经常出现锯齿因此，如前所述，用于B的雨垂直单向TV调节器的l0范数是合适的候选者。降雨方向的特殊性它可以在图中找到图1示出了（c-3），其展示了雨条纹- s帧的雨方向差异的强度的直方图，相对于（c-1）和（c-2）保持特定的分布更多的零和更小的非零值表示雨条纹沿着雨的平滑度4060F方向自然地，我们将l1范数应用于雨条纹R的雨方向单向TV正则化子，或者换句话说，雨方向差分算子。沿着时间方向的相关性可以发现，干净视频沿着图1的第一列和第二列的时间方向保持不同类型的相关性。1、与雨天视频和雨条纹相比。一方面，子图（a-1）、（a-2）和（a-3）呈现了两个相邻帧的差的幅度的分布，说明了干净视频的差具有更多的零值和更小的非零值。为方便起见，表示为y方向，而垂直方向通常，y方向和雨滴的实际下落方向之间会有一个角度当角度较小时，对应于单向TV正则化子的先验仍然事实上，图中的雨条纹。1不是严格垂直的，有一个5度角。对于大角度的情况，我们可以通过旋转雨天视频的帧来处理它们。我们的目标不是求解（1），而是求解下面的凸优化问题：零值，而雨视频和雨条纹的差异往往具有更多和更大的非零值。因此，对于时间di，自然选择l1minRα1y（R）1+α2R1+O−R+α3<$$>x（O − R）<$1+α4<$$>t（O − R）<$1。（二）干净视频的区域差异B。另一方面，（b-1），（b-2）和（b-3）分别给出了O（t），B（t）和R（t）的降序奇异值，其中矩阵X（t）是张量X的时间模展开.值得注意的是，B（t）的奇异值最后下降到近似为零，而O（t）和R（t）的奇异值却不具有这种性质。因此，我们可以得出结论，B（t）的秩最小化将促进雨条纹和干净视频的分离，尽管干净视频不是极低秩的，即，动态背景和移动相机。顺便说一下，如果视频是由静态相机或静态背景拍摄的，则秩最小化更有力。同时，如[23]中所讨论的，存在弱相关性，其中R ∈ Rm×n×t为雨痕。然后在下面的部分中提出一个有效的算法来解决这个问题。4.3. 优化由于所提出的模型（2）是凸模型，因此许多最先进的求解器是可用的。在这里，我们应用ADMM[25，26，27，28]，一种解决大规模优化问题的有效策略。首先，引入五个辅助张量Y、S、X、T和L，并且将所提出的模型（2）重新表述为以下等价约束问题：在视频帧或自然图像中。因此，我们考虑最小化B的秩。minR， Y， S，X， T， L，α1β γ1+α2β γ1+α3<$X101+α4<$T<$1+<$L1014.2. 制剂作为先验和正则化讨论的总结，我们的模型可以简洁地表述为：S.T.Y = yR，S=R，X =x（O− R），T=t（O − R），L=O− R，O>R>0，（三）minB、Rα1β1R β0+α2β R β0+α3β2Bβ1+α4tB1+秩（B），（一）其中S，Y，X，T和L∈Rm×n×t.则（3）的增广拉格朗日函数为：S.T.O=B+R， B，R>0，其中， T1和T2分别是雨方向和垂直方向的单向TV算子，T1和T2表示时间方向差算子。然而，（1）中的l0和rank项只能Lβ（R，Y，S，X，T，L，Λ）=α1<$Y1+α2<$S1+α3<$X <$1+α4<$T <$1+<$L<$1+<$Λ1，<$y（R）−Y <$+ β1（R）−Y2+Λ，R−S+β2R−S22岁2岁2岁取离散值，并导致组合优化应用中的问题很难解决。因此，我们重新-+Λ3，x （O−R）−X+β32x（O−R）−XCR2把它们分别作为l1模和张量核模，+Λ，（O−R）−T+β4（O−R）−T2其中，从[24]中选择为：nXi，3t tF其中X是i（X）=展开。i=12+Λ，（O−R）−L+β5<$O−R−L2，另外，在实际降雨场景中，雨滴一般为5~2F从上到下落下，使雨水顺着方向落下可以近似地计数为视频张量的模式1（列）方向。雨的方向，4061其中Λ =[Λ1，Λ2，···，Λ5]是拉格朗日乘子，β=[β1，β2，···，β5]是五个正标量。现在4062FF2011年131F1 2N该联合最小化问题能够在ADMM框架内求解，该联合最小化问题可以分解为六个更容易和更小的子问题Y、S、X和T子问题在其他参数固定的情况下，Y、S、X和T子问题都变成相同格式的等价问题：A+= arg minαA+βA−B2，一个2其具有通过软阈值化的封闭形式的解：A+= S hrink α（B）。β这里，张量非负软阈值算子Shrinkv（·）定义为：Shrink（B）=B<$算法1视频雨纹去除算法输入：雨天视频O;1：B（0）=O，R（0）=零（m×n×t）第二章： 而不收敛3：更新Y、S、X和T（4）;4：通过（5）更新L;5：通过（6）更新R;6：通过（7）更新多墩;7：结束while输出：无雨视频的估计B=O−R和雨纹R;R-subproblemR子问题是一个最小二乘问题：+β1~2vR= arg minRǁ∇y(R) −Y+ ǁF2β1与.β2Λ22bii ···i为bi1i2···iN−v，bi1i2···iN >v，0，否则。+R −S+ F2β2β3Λ3+（O−R）−X+22xβF因此，Y、S、X和T可以更新为：+β4（O−R）−T+Λ42Y（t+1）=Shrinkα1β1.ΣΛ（t）Ry（R（t））+1，β1.ΣΛ（t）2+β52不O−R−L+β4FΛ52002年，β5S（t+1）=Shrinkα2R（t）+2，其具有以下封闭形式的解：β2β2.Σ（吨）（四）R（t+1）.Σ−1F（K1）X（t+1）=Shrinkα3β3Λx（O−R（t））+3，β3=FF（ K2）、（6）T（t+1）=Shrinkα4.ΣΛ（t）t（O−R（t））+4。其中，F和F-1表示快速傅立叶变换（FFT）及其逆，K1=ΔT（β1Y（t+1）-Λ（t））+β2S（t+1）-β4β4γ1Λ（t）+<$T（β3<$xO−β3X（t+1）+Λ（t））+<$T（β4<$tO（t+1）−2x3t其他参数分别固定。 时间com-β4T（t+1）+Λ（t））+β5（O−L（t+1））+Λ（t）和K2=4 5算法复杂度为O（mnt）。β1βTβy+ β2I + β3βTβx+ β4βTβt+ I。 元素y x tL-子问题L-子问题是：β3Λ3R，小于0或大于相同元素在O中将被缩小。更新R的时间复杂度时间复杂度为O（log（mnt））L+= arg minL公司简介（O−R）−L+22.β3乘数更新 根据AD的框架，由于我们采用张量核范数定义为MM，拉格朗日乘子Λ=[Λ1，Λ2，···，Λ5]可以ǁXǁ∗=ni=1 ，其中Xi=展开i（X），则L更新为：可以更新为：Λ（t+1）= Λ（t）+β（λ（O−R（t+1））−Y（t+1）），Σ3L（t+1）=Foldi（L（t+1）），（5）1（t+1）1（吨）（t+1）（t+1）3我i=1=Λ2 +β2（O−R14063（t+1）+㈠-S），.Λ（t+1）= Λ（t）+ β3（λxR（t +1）− X（t+1）），其中L=D1B（t） Λ3（t）（i=1，2，3）和3（t+1）3（吨）（t+1）（t+1）（一）β3（i） β3Λ4= Λ4+ β4（ΔtR− T），D1（X）表示对奇异值进行软阈值处理Λ（t+1）= Λ（t）+β（R（t+1）−L（t+1））。β3X的值。5 55（七）4064所提出的用于视频雨条纹去除的算法可以概括为算法1。实际上，（3）中的目标函数可以被分成两个块。一个是核范数项，而另一个块包含其他四个l1范数项。因此，我们的算法符合典型的ADMM框架，其收敛性在理论上是有保证的（参见补充材料中的更多细节5. 实验结果为了验证所提出的方法的有效性和效率，我们将我们的方法与最新的最先进的方法进行了比较，包括使用时间相关性和低秩的方法[12]1（表示为15 'TIP），基于稀疏编码的字典学习方法[13]2（表示为15'ICCV）和使用层先验的方法[1]3（表示为16'CVPR）。 实际上，15'ICCV和16'CVPR是基于单图像的方法，但它们的性能有时超过基于视频的方法。此外，本文仅给出了部分帧的真实视频实验结果。因此，与这两种基于单个图像的方法的比较是合理且具有挑战性的。此外，在以下实验中，参数{α1，α2，α3，α4}选自{101，102，103}，βi（i=1，2，· · ·，5）设置为50（请参见关于柔性材料中的参数的更多细节）。5.1. 合成数据对于合成数据，由于地面真实干净视频可用，因此采用三种评估措施，包括峰值信噪比（PSNR）、结构相似性（SSIM）[29]和残差（RES）4。选择六个视频，命名为雨纹生成我们通过以下步骤生成雨。首先，将椒盐噪声添加到与地面实况视频大小相同的零张量。噪音越密集，合成雨就越大。然后，将运动模糊添加到噪声零张量，并且在运动方向和y轴之间存在小角度（5度）。最后，将模糊的噪声零张量线性叠加到地面实况视频，并且将大于1的像素的强度设置为1。1代码可查阅http://www.math.nus.edu.sg/。2代码见http://mcl.korea.ac.kr/jhkim/deraining/。3作者要表达他们的感谢博士。Yu Li分享代码。4定义为RSE=RSE X− YSEF，其中X和Y分别表示估计的干净视频和地面真值5 http://trace.eas.asu.edu/yuv/。Rainy15'TIP 15'ICCV 16' CVPR提出地面实况图2. 从左至右：雨帧、15'TIP、15'ICCV、16'CVPR的结果、所 提 出 的 方 法 和 地 面 实 况 帧 。 从 上 到 下 ： “carphone”，“container”，“coast guard”，“bridgefar”，“highway”和“foreman”视频分别带有重和轻合成雨。图3.分别研究了所提出的方法和其退化方法的性能在我们的模型（2）中有五个组成部分。为了使它们的效果更清楚，我们分别通过忽略每个组件来测试我们的方法。此外，当只包含稀疏和低秩项时，我们的模型退化为鲁棒主成分分析模型，这与[11]中的方法类似。我们4065表3.对选定的6个合成视频的雨条纹去除结果进行定量比较视频雨型重光方法整个平均时间（s）整个平均时间（s）PSNRSSIMSSIM（B）（R）RSEPSNRSSIMSSIM（B）（R）RSEPSNRSSIMSSIM（B）（R）RSEPSNRSSIMSSIM（B）（R）RSE阴雨26.8300.579-69.17626.8430.614-7.246-35.2560.771-26.22135.3190.832-2.739-15'头端29.0280.6190.52353.71229.0780.6450.4015.6142029.67334.8520.8900.62827.47035.0240.8920.3682.8511211.811Carphone 15'ICCV27.4780.5900.13864.20527.4960.6180.0546.7231558.47831.2800.7770.11141.44631.3360.8270.0464.3311593.01016'CVPR32.3960.7130.70636.77732.3390.7680.6883.8507582.20634.0860.8130.44431.08333.7870.8400.3093.2577300.395提出33.5970.8200.79031.74133.6320.8190.7213.32011.37740.1040.9260.73215.00640.5320.9270.4311.53211.230阴雨27.6340.558-63.06327.6400.608-6.608-36.1510.7570.00023.65536.1850.832-2.475-15'头端29.9940.6060.57348.05830.0210.6470.4415.0291750.08135.4280.9000.63125.70735.4840.9060.3762.6861200.039容器15'ICCV29.0310.5700.12753.69029.0520.6160.0615.6211591.62731.0820.7630.09042.39831.1060.8290.0404.4391614.71216'CVPR32.6590.6430.64935.82032.5550.7160.6263.7534497.38833.4780.6940.33433.43633.1470.7330.2183.5055476.641提出37.9750.9100.92019.17437.9850.9130.8772.00811.35146.7300.9630.8146.99846.7710.9660.4890.73211.447阴雨27.7160.769-69.48726.7260.807-7.280-35.0610.929-26.58735.1130.945-2.779-15'头端33.3470.9260.84632.38533.5990.9240.7723.3412467.20233.2790.9170.42932.64133.5150.9150.2413.3721875.336海岸警卫队15'ICCV28.5310.7900.17656.38928.5950.8190.0935.8891528.87932.1610.9320.16537.12632.9410.9440.0753.7131737.72316'CVPR30.5850.7270.59246.84330.1540.7420.5264.9074551.35729.6830.7340.13451.78429.2810.7250.1125.4255144.503提出34.0390.9470.79329.90534.2030.9490.7243.10411.73639.5730.9810.70115.81539.8050.9820.4311.63611.927阴雨27.7890.571-61.94727.8010.623-6.489-36.2080.841-23.50036.2700.876-2.455-15'头端31.7200.6220.65039.39531.7620.6460.5374.1191681.52035.5870.8070.49125.24235.6680.8140.2992.6331141.919公路15'ICCV29.8410.5960.12448.91129.8560.6390.0605.1221644.78336.6390.8550.11122.36136.6900.8830.0492.3371598.95016'CVPR32.2440.5650.62738.76831.8670.6100.5904.06210327.94932.0540.6360.32340.17131.5540.6480.2284.2104874.038提出36.7430.8310.77322.09636.7610.8400.7192.31311.68242.4570.9360.70211.44542.5520.9390.4291.19311.707阴雨28.1280.584-59.57628.1410.623-6.240-36.3100.837-23.22436.3810.858-2.425-15'头端32.2450.5570.54837.08635.2570.5730.4113.8851574.13137.4690.7810.48820.32337.4920.7810.2542.1281117.143布里奇法尔15'ICCV29.9600.6010.08448.42729.9730.6320.0295.0531638.19434.8950.8430.05627.33434.9360.8600.0242.8591663.53916'CVPR31.7360.4820.38739.69931.6670.5190.3594.1585017.96633.5270.5160.18034.71832.8200.5250.1333.6394928.519提出36.3420.8070.69623.13936.3520.8080.6402.42411.35342.3610.9250.64211.57142.3930.9200.3631.21111.252阴雨27.1280.682-66.83927.1350.695-7.004-35.6260.8500.00025.12835.6650.8790.0002.628-15'头端28.6840.7080.47155.88128.7500.7130.3565.8352020.53134.4430.9270.56328.79434.9590.9230.2982.9231380.608工头15'ICCV28.5700.6870.03956.62128.5770.6980.0135.9321608.91933.2620.8530.03932.98933.2820.8790.0013.4541583.97316'CVPR32.4160.7910.70036.64032.3620.8160.6783.8385077.71433.6450.8540.37532.90033.2900.8620.2763.4485417.467提出34.3240.8960.82529.19334.5250.8890.7563.02211.19639.5910.9560.67515.91940.1040.9520.3651.61811.070图中显示了所提出的方法及其降级版本的性能。3.第三章。由此可以看出，各组分对雨带的分离都有贡献。性能比较图2显示了15 ′ TIP、15 ′ ICCV、16 ′ CVPR和所提出的方法的结果的一帧，而相应的定量比较在表3中给出。正如所观察到的，我们的方法considerably优于其他三种方法在两个视觉质量方面的选择三个评价措施。 参考地面实况（图中最右边的一列）。2、我们的方法去除了几乎所有的雨条，保留了细节，而15'TIP和15'ICCV的结果中仍然存在许多雨条。虽然16'CVPR方法比15'TIP和15'IC-CV方法去除了更多的雨条，但空间细节被抹去了例如，在“海岸警卫队”视频（图5和6行）。（2）16'CVPR对水波进行平滑，而我们的方法能很好地保持水波。此外，令人鼓舞的是，我们的方法比其他三种方法花费的时间要少得多。5.2. 真实数据图4和图5示出了结果的四个相邻帧。第一个真实的视频是从著名的电影“黑客帝国”中剪辑出来的质量，我们的方法提供了最好的结果，无论是在消除雨条纹和保留空间细节。我们可以看到，15'TIP和15'ICCV的结果上出现了雨条纹，而16'CVPR删除了一些空间细节，例如，第二帧中的AgentSmith的鼻子和图11中的树叶。五、另外，当摄像机处于动态时，相邻两帧之间的快速变化严重影响了15'TIP的性能。更多的真实数据的实验结果，包括旋转情况，参数调整策略和参数分析将在补充材料中给出6. 结论本文提出了一种基于张量的视频雨纹去除方法.实际上，看到与低秩合作的全变差的推导击败稀疏字典学习和补丁先验的推导此外，基于视频的方法可以利用更多的信息比基于图像的方法，我们归因于我们的方法的out-performance下雨的视频，干净的视频和雨条纹的先验的深入分析。事实上，我们所考虑的先验是从空间到时间，从局部到全局变化的。因此，实现这样的性能是合理的。我们的方法并非没有限制。如果下雨的方向远离y轴，我们可以用视频/图像旋转来处理它，但是对于数字数据，旋转不可避免地会导致失真（请参见旋转的结果4066Rainy frame 15图4. “矩阵”数据的结果Rainy frame 15图5. 我们的视频结果。补充材料中的情况）。此外，如何处理遗留的人工降雨，也是一个悬而未决的问题.这些问题是今后工作的目标。致谢本研究得到国家973计划（2013CB329404）、国家自然科学基金（61370147，61402082，11501440）和中央高校基础研究基金（ZYGX 2016KYQD 142）的资助。4067引用[1] Y.利河，巴西-地T. Tan，X. Guo，J. Lu，and M. S.Brown，2736-2744[2] M. S. Shehata，J.蔡，W.M. Badawy，T.W. Burr，M.S.佩尔韦兹河J. Johannesson和A. Radmanesh，“智能道路的基于视频的自动事件检测：关于假警报的户外环境挑战”，IEEE智能交通系统学报，第9卷，第103号。第2页。349[3] S. Maji，A.C. Berg和J.Malik，一比八[4] O. L. Junio r，D. 德尔加多湾 Gon c. Nunes，“可训练分类器融合方案：行人检测的应用”，2009年，第2卷，智能交通系统。[5] D.科马尼丘河谷Ramesh和P. Meer，“Kernel-based objecttracking ， ”IEEE Transactions on pattern analysis andmachine intelligence，vol.25，no.第5页。564[6] K. Garg和S. K. Nayar，75，不。第1页。2007年3月[7] L. 伊蒂角Koch，E. Niebur等人，号20第11页。1254[8] T. Bouwmans，“用于前景检测的背景建模中的传统和最近的方法：《计算机科学评论》（Computer ScienceReview），第11卷，第12页。31[9] L- W.康角，澳-地W.林和Y H. Fu，"通过图像分解自动去除基于单个图像的雨条纹"，IEEE图像处理学报，第21卷，第2009年10月。第4页。1742[10] Y.-- L. Chen和C. T. Hsu，1968-1975年。[11] A. E. Abdel-Hakim，IEEE，2014年，第351-356[12] J. - H.金，J. - Y. Sim和C.- S. Kim，“Video deraining anddesnowing using temporal correlation and low-rank ma-rank ma-nowing completion ， ”IEEE Transactions onImage Processing，vol.24，no.第9页。2658[13] Y. Luo，Y. Xu和H. Ji，3397-3405[14] M. Roser，J. Kurz，and A. Geiger，使用贝塞尔曲线”，Springer，2011，pp. 235-244[15] S.你 ， RT.坦 河 ， 巴 西 - 地Kawakami ， Y.Mukaigawa，K. Ikeuchi，“Adherent raindrop modeling，detectionandremoval in video”，IEEE transactions on pattern analysisand machine intelligence，vol.38，no.第9页。1721[16] G. 刘 德 铭 Z. Huang 和 J. Liu ， &“High-order tvl-basedimages restoration and spatially adapted regularizationparameteselection” ， ComputersMathematicswithApplications，vol.67，no.第10页。2015[17] J. Liu，T.- Z.黄岛，澳-地W. Selesnick，X.- G. Lv和P. -Y.陈，232[18] M. Bouali和S. Ladjal，“Toward optimal striping of modisdata using a unidirectional variation model”，Proceedingsof theIEEE Transactions on Geoscience and RemoteSensing，vol.49，no.第8页。2924[19] Y.昌湖，澳-地Yan，H. Fang和C. Luo，“Anisotropicspectral-spatial total variation model for multispectralremote sensing image striping” ， IEEE Transactions onImage Processing，vol.24，no.第6页。1852[20] T. G. Kolda和B. W. Bader，“张量分解和应用”，SIAMReview，第51卷，第2005年。第3页。455-500，2009。[21] S.- H.孙，S.- P. Fan和Y.- C. F. Wang，IEEE，2014年，第4482-4486[22] A. K. Tripathi和S. Mukhopadhyay，“从视频中删除雨水 ： 综 述 ”Signal ， Image and Video Processing-ing ，vol.8，no.第8页。1421[23] W. Cao，Y. Wang，J. Sun，D.孟角，澳-地Yang，杨树A. Cicloski和Z.Xu，号25第9页。4075[24] J. Liu，P.Musialski，P.Wonka和J.Ye，35，第1号，页。208[25] S. 博 伊 德 ， N. Parikh ， E. 楚 湾 ， 澳 - 地 Peleato 和 J.Eckstein，&“Distributed optimization and statistical learningviathealternatingdirectionmethodofmultiplers，”Foundations T r end s r in Ma c hine Learningg，vol. 号3 第1页。2011年第1-122页。[26] X.- L. Zhao ， F. 王 德 铭 Z. Huang ， M. K. Ng 和 R. J.Plemmons，“超光谱图像的去模糊和稀疏解混”，IEEE地球科学与遥感学报，第51卷，第103号。第7页。4045[27] A. C. Sauve、A.希罗，W。L. Rogers，S.怀尔德曼，以及N. Clinthorne，“康普顿SPECT相机模型的3D图像重建”，IEEE
