基于半监督迁移学习的图像去雨算法

3877基于半监督迁移学习的图像去雨算法魏巍1、2、孟德宇1、赵谦1、徐宗本1、吴英21西安交通大学数学与统计学院2美国伊利诺伊州西北大学电气与计算机工程系摘要单幅图像除雨是计算机视觉中典型的逆问题深度学习技术已被验证可有效完成此任务，并实现了最先进的性能。然而，以前的深度学习方法需要预先收集大量的有/没有合成雨的图像对进行训练，这往往会使神经网络偏向于学习合成雨的特定模式，而不太能够泛化到雨类型与训练数据中的雨类型不同的真实测试样本。针对这一问题，本文首先提出了一种半监督学习范式。与传统的深度学习方法仅使用有/无合成雨的监督图像对不同，我们进一步将真实的下雨图像，而不需要它们的干净图像，放入网络训练过程中。这是通过精心制定的残差之间的输入下雨的图像和其预期的网络输出（没有雨的清晰图像因此，通过对有监督合成雨的转换，使网络能够适应真实的无监督的不同雨型，从而明显改善了训练样本不足和对有监督样本的偏差问题合成和真实数据的实验验证了我们的模型相比，国家的最先进的技术的优越性。1. 介绍雨条和雨滴经常遮挡或模糊户外拍摄的图像的关键信息。因此，对图像或视频进行去雨处理是非常必要的，可以作为户外视觉系统的一个重要的预处理步骤有效的雨水去除技术通常可以帮助图像/视频更好地提供更准确的检测或识别结果[17]。目前除雨工作主要分为两类：视频除雨（VRR）和单幅图像除雨（SIRR）。与VRR相比，孟德玉为通讯作者。图1：合成雨和真实雨的比较。(a)是一个干净的形象;（b）、（c）是两个合成的雨天图像样本。(d)（e）、（f）是真实世界的雨天图像。利用连续帧之间的时间相关性，在没有能够从单个图像中提取的大量先验知识的帮助下，SIRR通常更加困难和具有挑战性。自Kang等 [17]首次提出以来，SIRR问题一直受到人们的关注。最近，深度学习方法[9，10，29，32，31，23，12，11，8]已经被经验证实，通过训练适当的，精心设计的网络来同时检测和去除雨纹，从而实现SIRR的最新性能。尽管目前的深度学习方法在这一任务上取得了良好的性能，但在方法论上仍然存在一些局限性。首先，对于训练数据，由于很难从真实的雨天场景中获得干净的/雨天的图像对，以前的方法使用合成数据作为替代，主要采用在干净的图像上添加Photoshop软件1合成的“假”雨条纹的策略图1显示了两个这样合成的雨天图像样本。(b)和（c）（相应的清晰图像如图1所示。（a））。尽管雨带的方向和密度不同，合成的雨带图像仍然不能包括足够广泛的雨带模式在真正的例如，在图1中。(d)在风的影响下，雨条在同一帧内具有多个方向;在图1中(e)，雨带已经1https://www.photoshopessentials.com/photo-effects/rain/3878多层，因为它们到照相机的距离不同;如图1所示。(f)，雨痕产生类似雾或薄雾的聚集效果。因此，在该任务中，合成训练数据和真实测试数据之间存在明显的偏差，自然导致在合成训练数据上训练的网络可能无法精细地推广到真实测试数据的问题同时，深度学习方法的主要问题之一在于它们通常需要足够大数量的监督样本（理想情况是我们的任务有/没有真实降雨的自然图像）的初步条件，这些样本通常是耗时的，并且收集起来很麻烦，以便训练一个深度网络。然而，人们通常可以容易地获得大量的实际非监督样本，即。，而没有相应的干净的。如何将这些廉价的样本合理地输入到网络训练中，不仅对所研究的任务有意义和必要，而且在下一代深度学习中也可能是不可避免的，以充分提高其在无监督数据上的能力，用于一般的图像恢复任务。由于训练数据和测试数据分布的不一致性，该任务可以自然地被视为一个典型的领域自适应问题。如何从学习合成的雨型（训练，监督）到学习真实的雨型（测试，无监督）是关键。为了缓解先前用于SIRR任务的监督深度学习方法的上述问题，而不是从手动收集更合适的监督数据集的角度（真实的雨天图像和它们相应的干净图像）为了更好地适应这个任务，我们提出了一种新的半监督方法，试图有效地将无监督的真实雨天图像也输入到网络训练中，最终期望从合成雨域转换到真实雨域。与以往仅使用合成图像对作为网络输入的监督深度学习方法不同，我们的方法能够以数学上合理的方式在训练期间充分利用无监督的实际下雨图像。具体而言，我们的模型允许将监督合成数据和无监督真实数据馈送到网络模拟器中，并且可以通过监督输入的网络输出图像及其地面真实标签的最小二乘残差（对于监督样本）和特定参数化雨分布的负对数似然（NLL）损失（对于无监督样本）的组合来优化网络参数。通过非监督输入的网络输出图像与其原始雨天图像的差异来衡量。以这种方式，监督的合成和无监督的真实样本都可以合理地用于我们的网络训练方法。总之，所提出的方法的主要贡献是：• 据我们所知，这是第一个注意到SIRR任务的域适应问题的工作。我们是第一个提出半监督迁移学习的人为这项任务提供框架。与复杂的深度学习SIRR方法不同，我们的模型可以充分利用无监督的真实降雨图像，这些图像在实践中可以很容易地收集，而不需要相应的干净图像。这种无监督样本不仅有助于显著减少预收集有/无真实降雨图像对以用于网络参数更新的时间和人力成本，而且通过补偿包含更普遍和实用的降雨特征的无监督样本，减轻了深度网络对仅由监督训练样本覆盖的有限降雨类型的过拟合问题• 我们提供了一个通用的方法，同时利用监督和无监督的图像恢复任务的知识。对于监督一，传统-可以直接使用网络输出图像和它们的干净图像之间的函数最小二乘损失对于无监督的，我们可以通过施加在基于残差的域理解设计的参数化分布上的似然项来合理地公式化期望输出干净图像和它们的原始噪声图像之间的残差（例如，雨在我们的研究）。• 我们设计了一个期望最大化算法和一个梯度下降策略来求解所提出的模型.降雨分布参数和净-工作参数可以通过每个时期中的序列来优化对合成的雨图像，特别是真实图像的实验表明，我们的模型是能够从学习合成到真正的雨模式，从而证实了所提出的方法相比，国家的最先进的优越性。本文的其余部分组织如下。第二节沿着历史的线索详细回顾了前人的研究成果。在第3节中，我们提出了我们的模型以及优化算法。第四节给出了实验结果，第五节给出了结论。2. 相关工作2.1. 单图像雨水去除方法SIRR问题首先由Kang等人提出[17]。他们基于形态学成分分析和字典学习从图像的高频部分检测到雨Chen等人’s [ 之后，Luo et al. [26]介绍3879屏幕混合模型，采用区分性稀疏编码进行雨层分离，并采用贪婪追踪算法求解Li等人’s [类似地，Zhang等人。 [30]学习了一组通用的基于稀疏性和基于低秩表示的卷积滤波器，分别表示背景和雨条纹。Gu等人[14]结合分析稀疏表示来表示图像大规模结构和合成稀疏表示来表示图像精细尺度纹理，包括他们的JCAS模型中的方向先验和非负先验最近，Zhu等人 [33]提出了一种联合优化过程，该过程在从背景层中移除雨条纹细节和从雨层中移除非条纹细节之间交替。他们的模型是由雨先验，这是狭窄的方向和自相似性的雨补丁，和背景先验，这是集中稀疏表示。Chang等人 [4]将雨图像变换到一个线模式外观具有非常明显的低秩结构的域中，提出了一个组合方向全变分和低秩先验的模型，将雨条纹同时作为线模式噪声和相机噪声处理。虽然这些基于模型的方法在数学上是合理的，但它们在测试时通常速度较慢，因为它们需要解决优化问题。深度学习在测试速度上具有优势，并且已经证实在许多计算机视觉任务中是有效的[21，20，15]，在SIRR中也是如此。Fu等人在[9]中首次为这项任务引入了深度学习技术。他们在图像的高频域上训练了一个具有三个隐藏层的卷积神经网络（CNN）后来，他们通过引入更深的隐藏层，批量归一化和负残差映射结构进一步改进了CNN，并取得了更好的效果[10]。为了更好地处理大雨图像的场景（其中几乎看不到单独的条纹，因此视觉上类似于薄雾或雾）。Yang等人。[29]利用二元映射开发了一个上下文化的扩张网络。在他们的模型中，一个连续的过程雨条纹检测，估计和消除预测的顺序。 Zhang等人 [32]应用了GAN的机制，并引入了一个感知损失函数来考虑除雨问题。之后，他们开发了一种密度感知的多流密集网络，用于联合降雨密度估计和降水[31]。总之，这些方法从合成的降雨数据中学习，并在真实场景中测试其学习的网络。2.2. 视频雨去除方法由于额外的帧间信息是非常有用的，这些方法表现出相对更好的重建效果比SIRR方法。早期的视频检测方法[13，2，3，18]设计了许多有用的技术来基于其物理特性检测潜在的雨条纹，并通过图像恢复算法去除这些检测到的雨。近年来，低秩[6，27]，全变分[16]，随机分布先验[28]，卷积稀疏编码[22]，神经网络[25]已被应用于任务并取得了令人满意的结果。由于SIRR问题在现实世界中更困难，除了下雨的图像之外，提供的信息更少，因此设计有效的SIRR制度也比VRR更具挑战性。3. SIRR的半监督模型我们展示了模型的框架，其中包括训练数据（监督和无监督样本）和图2中的网络损失。如前所述，我们的模型不仅能够将有监督的合成雨图像，而且能够将无监督的真实雨图像输入到网络训练过程中，以便从学习合成雨模式过渡到学习真实雨模式。3.1. 模型配方如图1所示。（d，e，f），真实雨通常显示出与合成雨相似的相对更复杂的图案和表示。 然而，由于技术缺陷，这些数据的“标签”（即，对应的干净图像）通常是不可用的。虽然我们很难从真实的雨天图像中准确地提取出雨层以及干净的背景，但我们可以设计一个参数化分布来精细地近似其随机配置。由于雨通常包含多模态结构，由于它们出现在与相机的不同距离的位置上，我们可以精细地将雨表示为高斯混合模型（GMM）。也就是说，ΣKR <$π kN（R|µ k，k），（1）k=1其中，πk、µk、k表示混合系数、高斯分布均值和方差。混合模型可以对任意连续函数进行普适逼近，因此适合于描述从输入图像中提取的雨纹。因此，施加在这些无监督样本上的负对数似然函数可以写为：为了文献的全面性，我们简单地列出了几种具有代表性的最先进的视频雨去除方法。Lunsupervised（R; n，n）=−ΣNn=1日志ΣKk=1πkN（Rn|0，k），（2）3880房房有监督的w i iF图2：所提出的方法的流程图。那些被混凝土黄色正方形框架包围的是网络训练的给定输入。箭头表示网络训练的前进过程上图显示了监督学习项，该项使用最小二乘损失来最小化网络输出和相应的干净图像的差异。下图显示了无监督学习项，其用于最小化MAP模型，其中GMM似然项施加在雨分布上，TV正则化项施加在背景上。网络结构和参数在两部分中共享。在两类残差（提取的雨）的分布之间进一步增加了一个K-L正则化器来控制自由度。其中Π =π1，...π K，π = π1，. 其中K是混合组分的数量，N是样本的数量。请注意，高斯分布的平均值被手动设置为零，这其中x i，i= 1，. N表示合成大小的下雨图像的样本。此外，由于GMM可以适应任何连续分布，为了让它更好地适应真实的降雨样本，我们增加了一个约束，即合成和非合成样本之间的差异通过最小化在训练期间从合成雨学习的高斯Gsyn和从真实雨学习的高斯GMM 真 实 的上述混合之间的Kullback-Leibler发散，大小雨数据域和真实雨数据域不太远，具有小的控制参数，如图2的右中所示。这表明，我们的模型是期望从合成雨转移由于这种KL发散在分析上是不可处理的，我们使用Gsyn和GMMreal的每个分量之间的KL发散的最小值作为经验和简单的替代，以确保从真实样本中学习到的GMM的至少一个分量也就是说，DKL（Gsyn||GMMreal）GMMDKL（Gsyn||GMMk），（4）K哪里GMMk指示的第k分量GMM真实。为了进一步去除输出图像中可能残留的雨条纹，我们添加了一个总变差正则化项来稍微平滑图像。请注意，与上述关于雨的似然项一起，完整的MAP模型（似然+正则化器）在无监督的真实雨图像的待估计网络输出上被公式化它有助于在这些无监督数据上进行梯度下降到网络训练的正确方向，即使没有相应干净图像的具体明确指导。通过结合Eq.（2）、（3）、（4）和TV项，训练网络的整个目标函数被公式化为：实验利用上述编码方式，我们还可以L（w，n，n）=ΣN1i=12||F+α||F+αN2n=1||TV||TV构建一个目标函数，用于无监督的雨天IM-AGES，其可以进一步用于通过将其梯度反向传播到网络层来微调网络+βDKL（Gx||GMMx）−λN2n=1日志ΣKk=1πk N（x<$n−fw（x<$）n|0，k），（五）同时，我们遵循DerainNet [10]（一种深度卷积神经网络）的网络结构和负残差映射技巧来制定监督样本的损失函数。由fw（·）表示的网络（这里w表示网络参数）被假定为：去除输入图像的雨纹，输出无雨图像。CNN的经典损失函数是最小化期望的derain输出fw（xi）和地面真值标签yi之间的最小二乘损失，如图2的上图所示。也就是说，施加在监督样本上的损失函数具有以下最小二乘形式：ΣNL=||f（x）−y||第二条、第三条i=1其中xi，yi，i = 1，. N1代表相应的雨季-合成的监督数据的放置和地面实况标记样本对，并且x=n，n=1，. N2表示没有地面真实标签的真实无监督数据的rainy在最后一个学期的EQ。（5），无监督的数据可以输入到与施加相同的网络中，项xn−fw （x）n是从输入的雨天图像中提取的假设的雨，其等价于如等式（1）中定义的Rn（二）、α、β和λ是折衷参数。注意，当α、β和λ等于0时，我们的模型退化为传统的监督式深度学习模型[10]。通过使用这样的目标设置，网络不仅可以通过良好注释的监督数据来训练，3881也可以通过对雨纹分布的先验信息进行完全编码来实现纯无监督输入。与仅在监督样本上实现的传统深度学习技术相比，由于它促进了从监督样本到非监督类型的降雨的合理转移效果，因此预计网络的泛化效果更好。3.2. EM算法由于方程中的损失函数（5）是难处理的，我们使用期望最大化算法[7]迭代求解模型。在E步中，计算代表某个混合组分响应的后验分布。在M步中，更新混合分布和卷积神经网络参数。步骤E：引入潜在变量znk，其中znk∈ {0，1}真实无雨图像或地面真实雨图像）在训练期间不可用。这项研究的一个主要动机是人工合成的雨形状通常与实际收集的真实雨形状不同。根据深度学习框架中的几种SIRR方法[9，10，29，31]，使用干净的图像通过Photoshop软件合成下雨的图像。虽然每个干净图像应该合成几种不同类型的雨图像，如图1的上图所示，但几乎没有充分考虑真实雨条纹的尺度、照度和到相机的距离以及通常伴随的雾或薄雾视觉效果的差异，从而在用于训练的合成雨图像和用于测试的真实雨图像之间产生在我们的方法中，参与的无监督的真实下雨的数据，阐明了这个问题。如图3所示，ΣKk=1 znk = 1，表示噪声项的分配我们使用与[10]相同的合成降雨数据，监督训练数据。 以经验的方式展示（x<$n−fw（x<$）n）到混合模型的某个分量。根据贝叶斯用于生成噪声的分量k的性质由下式给出：πkN（x<$n−fw（x<$）n|0，克罗地 亚）传输能力，并验证了我们的模型在这一点上的优越性，我们使用了一种不同的方法来合成[28]中介绍的雨天图像，并将它们分离为非监督输入集和验证集。因此，受监督的γnk=γK πkN（x<$n-fw （x）n.（六）|0，克罗地亚）训练雨和验证雨位于不同的领域。我们M步骤：在E步骤之后，等式中的损失函数（5）展开为相对于GMM参数的差分，示出为：发现我们的模型显示出更好的克服能力间隙和从训练数据域到验证数据域的转移虽然我们的半监督模型不能很好地拟合训练数据的效果，min2000年λ0000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000（xn−fw（x）n）和238821+ 日志|Σk|−logπk）在 我们的损失函数Eq中的无监督项。 （5）播放更多w，，ΣN1+ ||Fn=1k=12（x）−y||+αN22张照片2||f(x˜)||+βD（G）||GMM）。重要角色（如图3的第1列所示，绿色蓝线是我们的半监督模型，具有不同的无监督项参数），图3W我i=1IFn=1Wn电视KL xx~（七）反映了我们的模型在目标域上有更好的效果（实线表示监督数据域，虚线表示监督数据域给出了混合系数和高斯分布的封闭解Sian协方差参数是[7]：线表示目标域）。此外，随着训练数据集的蓬勃发展，基线监督CNN（红线）ΣNNk=γnk，πk=Nk，（8）图3）越来越倾向于实现特定的模式k=1ΣNNkn=1n=1γnk（xn-f（x∈N）nN）2，k = 1，. K.（九）在训练数据中（即，训练数据的性能改进），因此较少被推广到验证数据（即，测试数据的性能并没有相应地提高，甚至略有恶化），如果它们位于单独的然后，我们可以采用梯度方法来优化目标函数，如方程中定义的。并且如此计算的梯度因此可以容易地反向传播到网络以逐渐改善其参数w。我们很容易利用Adam [19]，即现成的一阶梯度优化算法，对施加在合成监督和真实无监督训练样本上的目标函数（73.3. 关于领域迁移学习的讨论所提出的方法与其他有监督的深度学习SIRR方法的主要区别在于，域，如图3的列3所示。 但在我们的损失函数中加入无监督项可以有效地缓解这个问题，如图3的第4列和第5列所示，这在实际的除雨任务中至关重要4. 实验结果在本节中，我们评估我们的方法在合成的降雨数据和真实世界的降雨数据。比较的方法包括基于区分稀疏 编 码 的 方 法 （ DSC ） [26] 、 基 于 层 先 验 的 方 法（LP）[24]、CNN方法[10]、联合双层优化（JBO）[33]、多任务深度学习方法（JORDER）[29]和多流密集网络（DID-MDN）[31]。这些方法包括3883图3：训练过程中监督训练数据和验证数据的PSNR趋势图。在所有子图中，实线表示监督训练数据的趋势，虚线表示验证数据的趋势注意，它们在不同的领域，因为不同的雨合成的方式。红、绿、蓝线代表方程中的无监督项控制参数λ。（5）分别等于0（相当于监督学习）、0.2和1。这三行从上到下分别使用500、5000和10000个图像块作为训练数据传统的无监督模型驱动的方法和最近的监督数据驱动的深度学习方法。我们的方法在某种程度上可以被看作是两种方法的内在4.1. 实现细节对于有监督的训练数据，我们使用一百万个64×64合成的雨/干净图像块对，它们是与基线CNN方法相同[10]。对于未监督的训练数据，我们从[29，28，32]和Google图像搜索提供的数据集中收集真实世界的下雨图像。我们从这些图像中随机裁剪了100万个64×64的图像块，以构成无监督的样品批量大小为20。初始学习率为10−3，每5个epoch后乘以0.1。我们总共训练了15个epoch。训练使用Ten-sorflow [1]实现。我们将GMM组件的数量设计为3。对于折衷参数λ，我们在所有实验中将其简单地设置为0.5控制TV平滑项的参数α被设置为小值10−5。控制KL散度项的参数β被设置为10−9。网络结构和相关参数直接继承自基线方法[10]。4.2. 合成图像在本小节中，我们通过视觉质量和性能指标来评估我们的方法与合成数据的雨水去除效果我们使用[28]的技巧合成了雨天图像作为测试数据。考虑到复杂性和雨带的多样性，我们在两种不同的情况下比较了我们的方法和其他方法：稀疏雨纹和密集雨纹。在每个场景中，我们使用十个测试图像。图4显示了具有稀疏雨带的合成数据的示例。添加的雨条纹是稀疏的，但有多个长度和层次，考虑到不同的距离相机。如图4所示，DSC方法[26]和JBO方法[33]未能去除雨纹的主要成分。LP方法[24]倾向于模糊图像的视觉效果，并过度平滑纹理和边缘信息。CNN [10]和JORDER [29]这两种深度学习方法具有更好的雨水去除效果，但其结果中仍然明显存在雨条纹。相比之下，我们的方法可以更好地去除稀疏的雨条纹，并保持背景信息。我们还设计了密集雨条情景下的实验。在现实世界中，密集的雨条纹具有聚集效应，当雨较大时，图像变得模糊，类似于雾或在图5中，添加的雨是重的，不仅具有长的雨条纹，而且还具有损害图像视觉质量的模糊环效应。如图5所示，DSC [26]、JORDER [29]和JBO的结果[33] 仍然有明显的雨条纹，而LP [24]仍然过于平滑的图像。与基线CNN方法[10]相比，我们的方法具有更好的恢复效果。由于合成实验的真实数据是已知的，因此我们使用最广泛的性能指标峰值信噪比（PSNR）进行定量评估。如表1所示，我们的方法在两组不同场景的数据中均获得了最佳PSNR，3884表1：合成的雨图像上的两组数据的平均PSNR比较数据集输入DSC[26][第24话][29]第二十九话美国有线电视新闻网[10]JBO[33][31]第三十一话我们密集稀疏17.9524.1419.0025.0519.2725.6718.7524.2219.9026.8818.8725.2418.6025.6621.6026.98(a) 输入（b）地面实况（a）输入（b）地面实况(c)[26]（d）LP [24]（c）DSC [26]（d）LP [24]（e）CNN [10]（f）JORDER [29]（e）CNN [10]（f）JORDER(g)（h）我们的组织图4：稀疏雨带情景下的综合除雨结果。图4和图5中的视觉效果。4.3. 真实图像实验评价一种SIRR方法最直接的方法是看它在真实世界雨区图像上复原结果的视觉效果我们使用从Google搜索中选择的测试数据。为了更好地表示真实雨条纹的多样性，我们有意选择具有不同类型雨条纹的图像，如图6所示。为了证实研究迁移学习的必要性，我们列出了完整的合成雨类型[9]在图7中的监督训练数据中。 图6和图7之间的降雨偏差是明显的，因此可以证实我们的模型的传输能力。 视觉（g）联合办事处[33]图5：密集雨带情景下的综合降雨去除结果。对图像的去噪效果表明，该方法能更好地去除雨纹，并能更好地保持图像的视觉质量。与其他竞争方法相比，该方法能在较好地保持图像结构不变的情况下，去除更多的雨纹。5. 结论在本文中，我们试图解决SIRR问题的半监督迁移学习的方式。我们在合成的监督和真实的无监督下雨图像上训练CNN。通过这种方式，我们的方法特别解决了为该任务设计的传统深度学习方法中存在的难以收集训练样本和过度拟合训练样本的问题。3885]图6：不同场景下的真实雨纹去除实验。从左到右是输入图像，DSC[26]，LP [24]，CNN [10]，DID-MDN[31]和我们的结果。每个图像中的划界区域以3倍的比例放大。图7：我们的监督数据中的14种合成降雨数据类型列表。 左图是没有雨带的原图，右图14幅是不同雨型叠加的图。通过在电脑屏幕上放大图像，可以更清楚地观察到降雨的细节。在合成图像和真实图像上的实验证明了该方法的有效性。我们承认，我们的模型仍然不是万能的所有下雨的图像，这可能是非常复杂的处理。在训练网络时，对降雨和背景层进行更详细的先验知识的参与可能是进一步提高这项任务性能的未来方向。此外，这种半监督迁移学习方法也可以考虑到其他逆问题。我们希望将人类的先验知识应用到神经网络框架的学习过程中，更充分地实现基于数据和基于模型的结合。基于方法。最终目标是利用基于监督数据的深度学习方法和基于模型的方法，前者可以缩短测试时间以满足在线要求，后者可以将网络训练推向更可解释的方向。承认本 研 究 得 到 国 家 重 点 研 发 计 划（ 2018YFB1004300 ） 、 国 家 自 然 科 学 基 金 项 目（61661166011，11690011，61603292，61721002，U1811461）、国家科学基金会资助IIS- 1619078、IIS-1815561和陆军研究办公室ARO W 911 NF-16-1-0138。3886引用[1] Mart´ın Abadi， Paul Barham ， Jianmin Chen ， ZhifengChen ， Andy Davis ， Jeffrey Dean ， Matthieu Devin ，Sanjay Ghe-mawat，Geoffrey Irving，Michael Isard，etal. Tensorflow：一个大规模机器学习系统。在OSDI，第16卷，第265-283页，2016中。6[2] Peter C Barnum、Srinivasa Narasimhan和Takeo Kanade。雨 雪 天 气 的 频 率 空 间 分 析 。 International Journal ofComputer Vision，86（2-3）：256，2010. 3[3] 我是博苏，尼古拉斯·豪我是，让-菲利普·塔雷尔。通过使用条纹方向直方图的图像序列中的雨或雪检测。International Journal of Computer Vision，93（3）：348-367，2011. 3[4] 易畅，闫璐欣，盛重。用于线图案噪声去除的变换低秩模型。在IEEE计算机视觉和模式识别会议论文集，第1726-1734页，2017年。3[5] Duan-Yu Chen，Chien-Cheng Chen，and Li-Wei Kang.基于稀疏编码的视觉深度引导彩色图像雨纹去除。IEEETransactionsonCircuitsandSystemsforVideoTechnology，24（8）：1430-1455，2014。2[6] 陈怡蕾，徐秋婷。时空相关雨条纹的广义低秩出现模式。在计算机视觉（ICCV），2013年IEEE国际会议上，第1968-1975页。IEEE，2013。3[7] Arthur P Dempster，Nan M Laird，and Donald B Rubin.不完全数据的最大似然法。皇家统计学会杂志。B辑（方法），第1-38页，1977年。5[8] Zhiwen Fan，Huafeng Wu，Xueyang Fu，Yue Huang，and Xinghao Ding.用于单幅图像去噪的残差导频网络。在 2018 年 ACM Multimedia Conference on Multime-diaConference，第1751-1759页。ACM，2018。1[9] Xueyang Fu ， Jiabin Huang ， Xinghao Ding ， YinghaoLiao，and John Paisley.清除天空：一种用于单图像雨消除 的 深 层 网 络 架 构 。 IEEE Transactions on ImageProcessing，26（6）：2944-2956，2017。一、三、五、七[10] Xueyang Fu，Jiabin Huang，Delu Zeng，Yue Huang，Xinghao Ding，and John Paisley.通过深度细节网络从单个图像中去除雨水。在IEEE计算机视觉和模式识别会议（CVPR）上，2017年。一、三、四、五、六、七、八[11] Xueyang Fu ， Borong Liang ， Yue Huang ， XinghaoDing，and John Paisley.轻量级金字塔网络的图像去雨。arXiv预印本arXiv：1805.06173，2018。1[12] 傅学阳、祁琪、岳煌、丁星豪、凤舞、约翰·佩斯利。一种用于单幅图像去噪的深度树结构融合模型。arXiv预印本arXiv：1811.08632，2018。1[13] Kshitiz Garg和Shree K Nayar。从视频中检测和去除雨水。计算机视觉和模式识别，2004年。CVPR 2004。2004年IEEE计算机协会会议录。IEEE，2004年。3[14] 古书航、梦德宇、左王梦、张磊。用于单图像层分离的联合卷积分析和合成稀疏表示2017年计算 机视 觉国 际会 议（ICCV） ，第 1717-1725页。IEEE，2017年。3[15] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on Computer Vision and PatternRecognition，第770-778页，2016中。3[16] Tai-Xiang Jiang，Ting-Zhu Huang，Xi-Le Zhao，Liang-Jian Deng，and Yao Wang.一种新的基于张量的视频雨条纹去除方法，通过利用歧视性的内在先验。计算机视觉与模式识别会议论文集，2017年。3[17] 康立伟，林嘉文，傅玉祥。通过图像分解自动去除基于单 图 像 的 雨 条 纹 。 IEEE Transactions on ImageProcessing，21（4）：1742-1755，2012。一、二[18] Jin-Hwan Kim，Jae-Young Sim，and Chang-Su Kim.使用时间相关和低秩矩阵完成的视频去噪和去噪。IEEETransactions on Image Processing ， 24 （ 9 ） ： 2658-2670，2015。3[19] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[20] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。神经信息处理系统进展，第1097-1105页，2012年。3[21] YannLeCun，Le'onBottou，YoshuaBengio和PatrickHaffner。基于梯度的学习应用于文档识别。Proceedings of the IEEE，86（11）：2278-2324，1998.3[22] 李明翰、谢七、赵千、薇薇、古书航、景涛、梦德玉。用多尺度卷积稀疏编码去除视频雨纹。在IEEE计算机视觉和模式识别会议集，第6644-6653页，2018年。3[23] Xia Li，Jianlong Wu，Zhouchen Lin，Hong Liu，andHongbin Zha.循环压缩激励上下文聚合网络用于单图像去噪。欧洲计算机视觉会议，第262-277页。Springer，2018. 1[24] Yu Li，Robby T Tan，Xiaojie Guo，Jiangbo Lu，andMichael S Brown.使用层先验去除雨痕。在Proceedingsof the IEEE Conference on Computer Vision and PatternRecognition，第2736-2744页，2016年。三五六七八[25] Jiaying Liu，Wenhan Yang，Shuai Yang，and ZongmingGuo.D3 r-net：动态路由剩余递归网络，用于视频雨消除。IEEE Transactions on Image Processing，2018。3[26] 羽落、雍虚、慧姬。通过鉴别稀疏编码从单幅图像中去除 雨 水 。 IEEE International Conference on ComputerVision，第3397-3405页，2015年。二五六七八[27] 刘仁，田建东，韩智，陈安东尼，唐延东。基于小波分解的视频去噪与去噪在IEEE计算机视觉和模式识别会议论文集，第4210- 4219页，2017年。33887[28] W. 韦湖，澳-地伊角，印尼-地谢峰Zhao，中国粘蝇D.Meng和Z.徐我们应该将视频中的雨纹编码为确定性的还是随机的？在2017年IEEE计算机视觉国际会议（ICCV），第00卷，第2535-2544页，10月。2018. 三五六[29] 杨文汉，谭泰，冯佳世，刘佳英，郭宗明，严水成.从单个图像中检测和去除深度关节雨。在IEEE计算机视觉和模式识别会议论文集，第1357-1366页，2017年。一、三、五、六、七[30] He Zhang和Vishal M Patel.基于卷积稀疏和计算机视觉应用（WACV），2017年IEEE冬季会议，第1259-1267页。IEEE，2017年。3[31] He Zhang和Vishal M Patel.使用多流密集网络的密度感知单图像去噪。在CVPR，2018年。一三五七八[32] He Zhang，Vishwanath Sindagi，and Vishal M Patel. 使用条件生成对抗网络的图像去训练arXiv预印本arXiv：1701.05957，2017。一、三、六[33] Lei Zhu ， Chi-Wing Fu ， Dani Lischinski ， and Pheng-Ann Heng. 单 图 像 雨 纹 去 除 的 联 合 双 层 优 化 。InProceedings of the IEEE Conference计算机视觉和模式识别，第2526- 2534页，2017年。三五六七