1. Introduction∗Corresponding Author58210无监督去雨：对比学习与自相似性的结合0叶云通1，于长峰1，常毅1�，朱琳2，赵希乐3，严路新1，田永红201华中科技大学2北京大学3中国电子科技大学0图1.所提方法可以以无监督的方式同时去除现实世界的雨滴和遮挡效应，同时很好地保留图像结构。更多真实结果和与最先进方法的比较可以在补充材料中找到。0摘要0图像去雨是一种典型的低级图像恢复任务，旨在将多雨图像分解为两个可区分的图层：干净图像层和雨层。大多数现有的基于学习的去雨方法是在合成的多雨-干净对上进行有监督训练的。合成和真实雨之间的领域差距使它们对不同的真实多雨场景的泛化能力较差。此外，现有方法主要独立利用两个图层的属性，很少考虑两个图层之间的互斥关系。在这项工作中，我们提出了一种新颖的非局部对比学习（NLCL）方法用于无监督图像去雨。因此，我们不仅利用样本内在的自相似性属性，还利用两个图层之间的互斥属性，以更好地区分干净图像和雨层。具体而言，非局部自相似性图像层补丁作为正样本被拉在一起，相似的雨层补丁作为负样本被推开。因此，在原始空间中接近的相似正负样本有助于丰富更具区分性的表示。除了自相似性采样策略，我们还分析了如何选择适当的特征编码器。对不同的真实多雨数据集进行了大量实验，证明了所提方法的优势0在真实去雨中取得了最先进的性能。0现有的高级计算机视觉任务，如图像分割[6]和目标检测[34]，近年来取得了显著进展。不幸的是，在多雨天气下，它们的性能会受到降级的影响[1, 22,29]。为了减轻雨水的影响，已经提出了许多全监督去雨方法[11, 54,59]。尽管它们在模拟多雨图像上可以取得良好的结果，但由于简化的合成雨与复杂的真实雨之间存在领域差距，它们无法很好地推广到真实雨。本文的目标是以无监督的方式去除真实雨水。为了处理真实世界中复杂的多雨图像，首先提出了基于优化的方法，其中包括稀疏编码[36]、低秩[4]和高斯混合模型[31]等手工先验。然而，这些手工先验的表示能力有限，特别是对于高度复杂和多样化的多雨场景。为了纠正这个弱点，学习型CNN方法[11, 28, 30,54]取得了很大的进展。这些有监督学习方法的关键思想是尽力模拟雨水58220尽可能真实地使用复杂模型，如加法模型[25]、屏幕混合模型[36]、大雨模型[54]和综合雨模型[19]等等。不幸的是，这些合成雨模型与真实雨降解之间仍然存在差距，因为真实的多雨大气通常是一个高阶非线性系统。此外，已经提出了半监督去雨方法来有效提高对真实降雨的鲁棒性[20, 35, 48,49, 55,56]，其中它们利用模拟标签进行良好的初始化和无标签的真实降雨进行泛化。它们的性能在某种程度上仍然取决于模拟和真实多雨图像之间的分布差距。一旦分布距离很大，这些半监督去雨结果将不太令人满意。最近，无监督方法对于真实去雨引起了更多的关注，主要包括基于CycleGAN的非配对图像转换方法[23, 50,60]和基于优化模型的深度先验网络[58]。然而，包括无监督方法在内的以前的方法主要关注图像或雨层的属性，很少考虑两个层之间的互斥关系。为了克服这些问题，我们从无监督的角度将图像去雨转化为对比学习框架[7,18]。对比学习的核心思想是相似样本的表示应该在嵌入空间中拉近，而不相似样本的表示应该被推远[16,52]。图2说明了所提方法的主要思想。图像去雨被形式化为图像分解任务，其中将干净的图像块视为正样本，将雨层块视为负样本。因此，我们不仅利用了图像和雨层的属性，还模拟了两个层之间的互斥关系，以更好地进行分解。另一方面，所提方法不需要干净的监督，这使其在现实世界的多雨图像中具有很好的泛化能力。对比学习的关键因素是如何为正负样本构建不同的视图。主流方法是通过不同的变换增强单个实例作为正样本，以便学习不变表示[7]。然而，这些实例级的手工增强不足以覆盖各种情况。在这项工作中，我们通过单个图像中的补丁级自相似性提供了一个新的视角。虽然非局部自相似性[3]在文献中已经广泛研究，但是在对比学习中利用这种内在属性来捕捉单个图像中的跨补丁关系几乎没有被探索过。据我们所知，我们是第一个将非局部自相似性纳入对比学习进行正负采样的研究。所提方法的优势0图像层 雨层0推0非局部采样 非局部采样0正样本 负样本0拉 拉 拉 拉 拉 拉0图2.大多数以前的方法都是以监督方式独立地对图像层和雨层进行建模。在这项工作中，我们进一步考虑了这两个层之间的互斥关系，并提出了一种无监督的非局部对比学习方法，通过将图像正样本和雨负样本分开来学习互斥关系。此外，非局部自相似性已被用于改进具有鉴别性表示的正/负样本采样。0非局部采样的好处有两个。首先，非局部自相似性采样策略自然地保证了正样本和负样本分别具有更紧凑的聚类，这有助于我们区分正样本和负样本。其次，这些正样本非局部补丁是从具有多样化变量信息的真实图像中搜索得到的样本，而不是手动生成的虚假样本，这将为表示提供更真实的信息。请注意，非局部策略不仅适用于正样本，对负样本也有益处。总的来说，我们的贡献可以总结如下：0•我们提出了一种非局部对比学习方法（NLCL）用于无监督图像去雨。与以前的去雨方法相比，我们不仅利用了图像和雨层的特定属性，还对它们之间的对比关系进行建模，以更好地将雨层与干净图像分离。0•我们将对比学习与非局部自相似性相结合。非局部补丁采样策略自然地为正/负样本提供了更紧凑和有区别性的表示，以更好地进行分解。此外，我们提供了如何设计一个良好的编码器以更好地嵌入在NLCL中的指导。0•我们在合成和真实世界数据集上进行了大量实验，并展示了NLCL在真实图像去雨方面优于现有方法。02. 相关工作0单图像去雨。在这里，我们主要关注基于学习的去雨方法。大多数现有的方法都是全监督的，需要大量成对的雨天和干净图像作为训练样本[5, 12, 13, 19, 28, 30, 41, 47, 54, 57,62]。Fu等人[12]首次引入了端到端残差CNN用于去除雨滴。随后，多阶段[54]、多尺度[22]、密度[59]等方法也被提出。Pb(B) = EB [logD(B)] + EO [log(1 − D(GB(O)))] , (3)58230并且注意力[30]已被广泛应用于更好的表示。不幸的是，复杂的真实雨和简化的合成雨之间的领域差距会限制它们在真实场景中的泛化能力。半监督去雨模型[20, 48, 49, 55,56]可以在一定程度上缓解这个问题。例如，Wei等人[48]首次提出了一种半监督迁移学习框架，通过网络结构共享进行真实图像去雨。最近，出现了无监督去雨方法[23, 50, 58,60]。Yu等人[58]通过无监督学习框架将基于模型的和基于数据的方法连接起来。在这项工作中，我们提出了一种新颖的无监督去雨的对比学习框架。与以前的方法相比，NLCL能够更好地考虑图像和雨层之间的互斥关系。对比学习。对比学习（CL）在无监督表示学习[7-9, 18, 39,52]方面取得了有希望的结果。其主要思想是将不相关数据的特征（作为负样本）推开，并将相关数据的特征（作为正样本）拉近，从而学习到对负样本有区别性、对正样本不变的表示。通过适当地定义任务中的正样本和负样本，CL可以有效地应用于多视图[42,43]、视频序列中的时间一致性[17]、增强变换[7,18]等任务。最近，研究者们将CL应用于低层次的应用[33,40,51]。Wu等人[51]将恢复的图像拉近到真实图像（GT）并将其与模糊图像在表示空间中拉远。我们的NLCL在三个方面与[51]显著不同。首先，我们的方法完全是无监督的，不需要GT。其次，我们将估计的图像和雨层分别作为正样本和负样本。这种明确的分离两个层之间的方法将更好地帮助我们将雨从干净图像中分离出来。第三，[51]使用经典的实例图像级别样本进行对比，而我们则探索了单个图像内补丁之间的内在相似性。正样本或负样本内的自相似性将进一步提升更紧凑和结构化的特征空间。非局部自相似性。自相似性作为一种强大的图像先验模型，在各种图像恢复技术中得到了验证，包括滤波方法[3, 10]、稀疏优化模型[15,37]和深度神经网络[2, 32,46]。非局部先验揭示了一个普遍的图像属性，即相似的小补丁往往在单个图像中反复出现。这种通用属性可以为图像提供具有结构表示的群体稀疏性。受益于捕捉自相似补丁之间的相关性，这些基于非局部的方法在当时取得了最先进的性能，例如去噪中的BM3D[10]、恢复中的WNNM[15]和盲超分辨率中的kernelGAN。0分辨率 [ 2]。在本文中，我们展示了这种固有属性如何在正负采样方面有益于对比学习，并提高低级图像去雨任务的性能。03. 非局部对比学习03.1. 框架概述0给定一张雨天图像 O，我们的目标是将雨天图像分解为干净背景层 B 和雨层 R。降解过程可以表示为：O = B + R 。 (1)需要注意的是，尽管我们遵循这个简单的分解框架 [ 31]，但这并不意味着所提出的方法只处理雨滴。所提出的方法可以很好地恢复带有雾霾或遮挡伪影的大雨。因此，图像去雨任务可以被表示为一个逆问题，其优化函数如下：Ldecom = || B + R − O || 2 F + δP b ( B ) + λP r ( R )， (2) 其中第一项是自一致性损失，即数据保真度项，P b和 P r分别表示干净图像和雨滴的先验知识。由于雨滴在空间上的稀疏性，我们在本文中使用 L 1 约束对雨层进行正则化：P r( R ) = || R || 1，偏好具有较大不连续性的雨滴。另一方面，对于干净图像，我们采用对抗损失 [ 14 ]来学习将雨天图像与干净图像区分开的分布映射：0其中 D 是鉴别器，G B是干净图像的生成器。分解式架构的相应网络如图3 (a)所示，它由两个分支组成，用于恢复背景 ( G B ) 和提取雨滴( G R )。大多数现有的恢复方法都遵循 Eq. ( 2 )中的分解框架，使用不同的手工或学习的先验知识，它们只考虑干净图像或雨层。也就是说，Eq. ( 2 )主要关注信号本身的统计特性建模。然而，它忽略了干净图像 B 、雨层 R 和观察图像 O之间的关系。在本文中，我们认为这些组件之间的关系可以进一步帮助区分它们。我们引入对比学习来建模不同组件之间的关系。具体而言，我们发展了干净图像 B 和雨层 R之间的关系 L LayerCon ，以及干净图像 B 和观察图像 O之间的关系 L LocCon。因此，包括分解约束和对比损失的完整目标函数如下：Loverall = L decom + µ L LayerCon ( B , R )+ σ LLocCon ( B , O ) 。 (4)Rain Streaks RClean Image BORainy Image OClean Image B(5)58240L LayerContra0L位置对比0雨滴 R0干净图像 B0L 稀疏性0L一致性0雨天图像 O0图像生成器0鉴别器0雨生成器0L 对抗0L LayerContra0鉴别器编码器0鉴别器编码器0MLP MLP0非局部采样0正样本0非局部采样0负样本0随机采样0L LocContra0图像编码器0MLP MLP0图像编码器0反向非局部采样0图3. 提出方法的架构概述。 (a) NLCL由两个子网络组成，分别提取背景和雨层，并引入两个额外的对比约束。 (b)使用正负样本的非局部采样进行干净图像和雨滴之间的层对比。 (c) 使用负样本的反向非局部采样进行干净图像和雨天图像之间的位置对比。0层对比：首先，干净图像B和雨层R非常不同，其中雨条纹是简单的定向线条模式，而自然图像是复杂而有意义的结构，如边缘和纹理。B和R作为两个不同类别之间的不相似性可以通过CL作为负对进行很好地建模。将同一图像中的补丁作为正样本是非常合理的。下一小节将讨论CL中的重要采样策略和编码器。将雨补丁pRi作为负样本，将背景补丁作为正样本pBi，两个层B和R之间的对比损失可以表示为：0L LayerCon = -10NB0NB×0k=10NB×0i=10ΣNRj=1 exp(fBi ∙fRj/τ)0-10NR0NR×0m=10NR×0j=10ΣNBi=1 exp(fRj ∙fBi/τ),0其中fBi = ED(pBi)，fRj =ED(pRj)，τ表示尺度温度参数[7]。ED是对比网络的编码器。特征fBk是从pBi的非局部补丁pBk中提取的，而fRm是从pRj的非局部补丁pRm中提取的。NB和NR分别表示正样本和负样本的样本数量。层对比可以帮助我们更好地将图像层从雨层中分离出来，并将每个层进一步推向不同的聚类。位置对比：其次，我们可以观察到干净图像B和观察图像O在视觉上非常接近，因为雨条纹R比B简单得多。B和O中相同位置的补丁之间的相似性，作为相同的视图，可以很好地建模为正样本。因此，我们将具有不同位置的补丁作为负样本。需要注意的是，在这里0对于位置对比，应该只有一个正样本，因为位置对应关系是一对一的。图像生成器EGB的编码器被用来提取补丁特征，表示为vOi = EGB(pOi)和vBi = EGB(pBi)。因此，位置对比损失可以表示为：0L LocCon = Σ exp(vOi ∙ vBi/τ)0exp(vOi ∙ vBi/τ)+ΣNj=1 exp(vOj ∙vBi/τ), (6)0其中N是负样本数量。位置对比约束将位置i处的恢复背景补丁pBi与其他随机补丁pOj相比与相应的输入补丁pOi相关（正相关），以保留图像内容。03.2. 非局部采样策略0在对比学习中，负样本是应该通过学习表示进行区分的样本，而正样本则是高度相关并在学习表示中具有不变性的样本。以往的方法通常使用增强技术构建单个实例的正样本，并随机采样作为负样本[7]。需要注意的是，自相似性是一种通用且强大的先验知识。在这项工作中，我们引入了非局部自相似性，以自动选择单个图像中的正样本和负样本。我们使用块匹配[10]和L2欧氏距离来衡量图像空间中的不相似性/相似性：Dist(p_i, p_iR) = ||p_i -p_iΩ||^2，其中p_i是查询补丁，p_iΩ是支持集Ω中的搜索补丁。我们将最小的Dist()的前k个作为相似补丁，而最大的Dist()的前k个可以视为不相似补丁。一方面，具有相似结构的非局部采样将极大地减轻Non-local SamplingEpochsRandom Sampling(a) Example of Positives(b) Positive distances decrease during epoch(c) Progressive restoration of positivesEpoch 5Epoch 20Epoch 50Epoch 10001001234200300400500Random SamplingNeighbour SamplingNon-local SamplingEuclidean Distances of PositivesImageEncoderDiscriminatorEncoderClean ImageRain Streaks58250图4. 非局部采样策略的有效性。 (a)随机采样的正样本示例与非局部自相似采样的正样本相比具有较低的相似性。 (b)与随机策略相比，非局部采样策略使正样本的欧氏距离迅速降低到相对较低的水平，表明自相似性逐渐学习并且补丁在去雨过程中更加相关。 (c)相似的补丁相互引导，逐步恢复清晰图像并去除随机分布的雨滴。0学习难度。另一方面，相似样本内的小扰动将进一步提高多样性。此外，从图像本身裁剪的补丁将提供更可靠的表示学习。非局部采样策略可以用于采样正样本和负样本。这里我们简要描述了如何以非常灵活的方式使用非局部采样。层对比中的非局部采样。在层对比中，清晰图像和雨滴可以被视为两个不同的类别，它们具有类内相似性和类间差异性。我们的原则是正样本（B中的清晰图像补丁）应尽可能地被拉在一起，负样本（R中的雨滴补丁）也应被拉在一起。也就是说，我们对正样本和负样本都进行非局部采样。与单个正样本相比，多个非局部正样本将有助于改善特征表示。最近的研究还表明，如果适当采样（使用监督标签[26]或多种模态[17]），多个实例的正样本可以改善表示。此外，与随机负样本相比，非局部采样还可以进一步建模样本之间的关系。为了说明这一点，图4展示了非局部采样在正样本上的优越性。图4(a)展示了随机采样和非局部采样的补丁示例。与随机采样的补丁相比，非局部补丁具有结构上的自相似性。在训练过程中，我们不断重新采样非局部正样本，并通过欧氏距离计算相似性。与随机采样或邻域采样（采样周围的补丁邻居）相比，非局部正样本的距离迅速减小，并在相对较低的水平上收敛，这表明自相似性逐渐学习并且补丁在去雨过程中更加相关。0图5.判别器编码器的有效性。第一行显示从图像编码器提取的特征。虽然两个不同图像中提取的特征很清晰，但图像生成器对雨滴几乎没有响应。第二行显示从判别器编码器提取的特征。两个图像和雨滴的提取特征都清晰且具有区分性。这强烈支持判别器作为图像和雨滴层的编码器的有效性。0在恢复过程中，补丁在去雨过程中更加相关[图4(b)]。因此，通过最大化正样本的相关性，自相似补丁相互引导，逐步恢复清晰图像并去除雨滴。逐步去雨结果如图4(c)所示。位置对比中的非局部采样。观察图像O和清晰图像B非常相似。在位置对比中，目标是保留图像内容并去除观察图像中的雨滴，这正是一个图像到图像的转换任务。因此，我们遵循CUT[40]的做法，将B和O中相同位置的补丁作为正样本，并使用较大的批量大小。之前的方法，包括CUT，随机选择不同的补丁作为负样本。然而，更合理的做法是，与正样本越不相似，负样本就越好。这激发了我们使用非局部采样策略构建负补丁的动机。我们选择最远的前k个样本（最大距离），这意味着它们与目标正样本大部分不同。我们将这种负采样称为反向非局部采样。03.3. 特征编码器0在对比学习中，特征编码器用于将输入映射到嵌入低维特征表示空间，以便测量正负样本之间的距离。已经认识到对于不同的对比学习任务，编码器的选择会极大地影响最终的性能[27]。在这项工作中，我们还证明了对于低级恢复任务，编码器确实依赖于任务，并通过直观和实验的方式探索了不同的编码器用于层对比和位置对比约束。至于层对比，目标是区分出干净图像中的雨滴痕迹，已经分析过这类似于一个分类问题。也就是说，层对比的编码器应该提取关于类别信息的高级语义。判别器与层对比编码器一致，可以区分出图像中的可区分特征，更好地完成层对比学习任务。58260表1. 与SOTA无监督方法在合成和真实数据集上的定量比较。0方法 RainCityscapes SPA0PSNR SSIM NIQE PSNR SSIM NIQE0DSC 24.91 0.7603 6.17 33.71 0.9127 9.82 DIP 22.45 0.6936 7.86 30.360.8422 9.97 CycleGAN 24.86 0.7906 3.68 33.54 0.9127 6.67 UDGNet25.16 0.8749 5.31 29.67 0.9299 9.50 CUT 25.21 0.8225 4.08 32.970.9434 9.60 NLCL 26.46 0.8666 3.67 33.82 0.9468 9.550对于位置对比，干净图像和观察到的雨天图像非常相似，其中干净图像是雨天图像中的主要成分。换句话说，位置对比的编码器应该能够很好地提取图像特征。图像生成器可以满足这个目标。为了验证我们的假设，图5可视化了由不同编码器（图像生成器和判别器）编码的嵌入特征图。第一行显示了从图像编码器提取的特征，第二行显示了从判别器编码器提取的特征。我们选择了两个不同的干净图像和两个不同的雨滴痕迹作为示例。我们可以观察到图像生成器可以有效地提取图像结构，而无法从雨滴痕迹中提取任何有信息量的信息。相反，判别器编码器提取的特征中可以清晰地观察到线条状的雨滴痕迹和图像结构。判别器专注于图像和非图像因素的可区分特征来执行分类任务，这更符合层对比学习任务。04.1. 实现细节0我们在背景提取和雨滴提取方面都使用了相同的ResNet架构[24]。详细信息请参考补充材料。鉴于鉴别器，我们采用了PatchGAN[21]。我们首先在图像空间中计算前k个非局部补丁，然后从编码器中获取多层特征[40]，最后通过具有256个单元的两层MLP嵌入非局部特征。采样数量N、NB和NR分别设置为256、8、256。编码器的更新遵循MoCo[18]的设置，使用动量值0.99和温度值0.77。每个损失的平衡权重λ、δ、µ、σ分别设置为0.1、1、1、1。在训练过程中，原始图像被随机裁剪为256×256的输入，没有任何数据增强。我们采用Adam优化器，在四个RTX 2080TIGPU上以学习率0.0001和批量大小4进行网络训练。04.2. 数据集和实验设置0我们在合成数据集RainCityscapes [19]和真实数据集SPA[45]上进行实验。为了模拟0真实情况是，我们将RainCityscapes数据集分为1400张用于训练和175张用于测试。请注意，我们无法访问地面真实数据，只能以无监督的方式进行学习。对于真实数据集，我们从SPA获取了2000张用于训练和200张用于测试的雨天图像。为了进行公平比较，我们主要选择了无监督方法，包括基于优化的DSC [36]，基于CNN的DIP[44]，基于GAN的CycleGAN [61]，基于对比学习的CUT[40]和基于优化的深度CNN[58]。此外，我们还与最先进的有监督方法JORDER-E[53]在真实雨天图像上进行比较。我们使用全参考PSNR和SSIM来评估去雨效果，并使用无参考自然图像质量评估器（NIQE）[38]进行综合评估。04.3. 与最先进技术的比较0在表1中，我们报告了Cityscape和SPA上的定量结果。这些数据集主要包含具有不同视觉外观的雨滴，而没有在大雨图像中的遮蔽。NLCL的定量结果大多优于最先进的方法，这验证了所提出的NLCL的鲁棒性。请注意，UDGNet主要利用雨滴的方向性，非常适合Cityscape中的定向雨滴。CycleGAN是一种旨在实现视觉自然外观的图像生成方法，与NIQE的目标相匹配，但在相对较低的PSNR方面无法很好地保留原始图像内容。我们承认我们的NLCL并不是为了定量评估雨滴而设计的。相反，我们的理念是无监督地处理真实的雨水。为了验证这一点，在图6中，我们与真实世界的雨天图像上的最先进方法进行了比较，其中包含了雨滴和遮蔽。NLCL始终实现了更自然和更好的视觉结果，不仅去除了雨滴，还去除了遮蔽伪影。这些结果强烈支持了CL和非局部采样在更好地区分真实雨水和图像纹理方面的有效性。04.4. 剔除研究0非局部采样策略的有效性。在表2中，我们比较了不同的采样策略，包括对正样本和负样本的随机采样、邻居采样（8个最近邻补丁）和非局部采样。这些实验都是在对比层上进行的。与随机采样相比，非局部采样对正样本和负样本都能明显改善恢复结果。也就是说，非局部采样有利于学习图像和雨滴的相似性，从而确实减小了正样本和负样本之间的差异，并同时增大了它们之间的差异。邻居采样能稍微改善结果，而非局部采样仍然获得最佳性能。RainyCUTJORDER-ESIRRUDGNetNLCLDSC423.2126.1126.1926.30824.5526.3026.4626.421624.5425.9626.0226.113223.4925.0225.4025.3758270图6. 包括雨滴和浓雾的真实雨天场景的视觉比较。建议在电脑上查看放大的结果。0表2. 不同采样策略的剔除结果。0正样本 负样本 PSNR SSIM0随机 随机 25.83 0.8471 邻居 随机 26.030.8491 邻居 邻居 25.97 0.8477 非局部随机 26.18 0.8489 随机 非局部 26.160.8531 非局部 非局部 26.46 0.86660表3. 不同特征编码器的选择。0编码器 PSNR SSIM NIQE0图像生成器 24.86 0.8046 3.83图像-雨生成器 24.12 0.8023 3.95 判别器26.46 0.8666 3.670不同特征编码器的选择。对于潜在特征空间的编码器的选择非常重要。在表3中，我们测试了不同的编码器用于层对比特征嵌入。首先，我们将图像生成器作为图像和雨层的特征编码器。其次，我们将图像生成器和雨生成器分别作为图像和雨层的特征编码器。第三，我们将判别器作为图像和雨层的特征编码器。判别器编码器取得了最佳结果，这验证了判别器适合区分图像和雨补丁。非局部采样数量的影响。我们在表4中展示了采样数量如何影响去雨结果。当正样本的大小增加到适当的数量时，PSNR会增加，然后由于0表4. 最佳采样数量的分析。0正样本 负样本 64 128 256 5120表5. 位置对比的不同策略消融。0消融 PSNR SSIM NIQE0随机采样 26.33 0.8617 3.810判别器编码器 24.71 0.8476 3.940样本数量 64 25.03 0.8646 3.88 样本数量128 26.14 0.8604 3.75 样本数量 512 25.980.8594 3.700NLCL 26.46 0.8666 3.670过多的正样本在某种程度上是不相似的。8个正样本和256个负样本获得了最佳性能。原因是大部分雨滴具有相似的线条模式，因此可以找到更多的非本地相似补丁来提升学习，而不是复杂的图像补丁。此外，采样数量并不是越大越好，因为强制不相似的补丁变得相似可能会违反相似性假设。位置对比的策略。我们在表5中进一步研究了位置对比的策略，该表显示了通过反向非本地采样获得的改进。此外，图像生成器编码器比判别器在位置对比中更好地保留了图像内容。256是一个适当的采样数量。每个损失的有效性。在表6中，我们展示了每个损失对NLCL的贡献。Image w/ LLayerCon Image w/o LLayerCon Rain w/ LLayerCon Rain w/o LLayerCon 58280表6. NLCL中每个损失的有效性。0模型 PSNR SSIM NIQE0w/o L adv 21.55 0.7984 5.03 w/o L 126.33 0.8566 3.74 w/o L LocCon 25.200.8469 3.85 w/o L LayerCon 24.120.8402 3.98 NLCL 26.46 0.8666 3.670表7. 在图像256 * 256下的模型大小和推理时间。0方法 DSC JORDER-E CycleGAN UDGNet CUT NLCL0大小(MB) – 16.7 45.6 5.7 45.6 2.60时间(s) 33.95 0.128 0.0144 0.0170 0.0135 0.00980不带 带 带 不带0图7. 层对比的有效性，用于更好地进行图像和雨滴分解。 (a) 和 (c)分别显示了带有和不带有层对比的解耦雨滴和图像补丁。 (b)可视化了带有和不带有层对比的低维分布。0每个损失对最终结果的贡献。 L LocCon 和 L LayerCon旨在学习雨天清洁图像之间的相关性以及雨滴图像层，这可以极大地改善去雨效果。自一致性和对抗性损失是我们模型的基线。 L 1 稀疏损失可以稍微提高性能。04.5. 分析和讨论0对比学习的有效性。在图7(b)中，我们执行tSNE来可视化带有和不带有对比约束的分解图像和雨滴层的分布。没有层对比，绿色菱形（图像）和粉色五角星（雨滴条纹）的分布是不一致的。此外，它们彼此混合，这意味着它们仍然无法区分。相反，通过层对比，红色菱形（图像）和深色模糊五角星（雨滴条纹）的分布是聚焦和可区分的。在图7(a)和(c)中，通过对比损失，图像和雨滴层更好地解耦。自相似补丁的可视化。我们在图8中可视化了轻雨和大雨条件下前5个非本地正样本和负样本。极端大雨会增加非本地搜索的难度。可以使用两阶段搜索框架，在搜索中间结果的非本地补丁之前，先获得粗糙的更清晰结果。正样本和负样本与查询键的相似性相似，略有差异，而不是合成或固定的转换。这种固有属性有助于我们学习区分表示。0查询前5个非本地补丁0正样本图像层负样本雨层0图8. Top5非局部搜索的补丁的可视化。0雨 UDGNet UDGNet+CL0图9. 将NLCL应用于UDGNet的好处。0NLCL策略对其他方法的好处。我们的NLCL是一种通用的先验，可以自然地嵌入到现有方法中以获得更好的分解效果。在这里，我们以无监督去雨方法UDGNet[58]为例。如图9所示，尽管UDGNet可以很好地去除雨痕，但是图像结构也被意外地去除了。UDGNet +NLCL的结果要好得多，例如文本。模型大小和运行时间。在推理阶段，只使用图像生成器，使得NLCL非常快速和小巧，如表7所示。但是在训练阶段，额外的非局部自相似性搜索有些耗时。通常，我们需要一天半的时间来训练1400张图像，这是NLCL的主要限制。加快训练时间是我们未来的工作之一。结论。0在本文中，我们提出了一种新颖的非局部对比学习方法，它探索了图像内部的强大自相似性质。我们的方法是完全无监督的，可以自动将图像与雨痕分离开来。我们展示了我们的非局部采样策略可以用于学习正样本和负样本的有意义的表示。特别是，所提出的非局部采样策略丰富了负样本和正样本的忠实、多样化和结构化表示。此外，我们提供了如何选择适当的编码器以获得更好特征嵌入的指导。大量实验证明了所提方法的有效性。致谢。本工作得到了中国国家自然科学基金会的支持，批准号61971460和62101294，JCJQ计划批准号2021-JCJQ-JJ-0060，以及设备预研基金批准号6142113200304。58290参考文献0[1] Chris H Bahnsen和Thomas BMoeslund。交通监控中的雨去除：重要吗？IEEE智能交通系统交易，20（8）：2802-2819，2018年1月0[2] Se� Bell-Kligler，Assaf Shocher和MichalIrani。使用内部GAN进行盲超分辨率核估计。在神经信息处理进展中，页码284-293，2019年3月0[3] Antoni Buades，Bartomeu Coll和J-MMorel。用于图像去噪的非局部算法。在IEEE计算机视觉和模式识别会议上，卷2，页码60-65，2005年2月，3月0[4] Yi Chang，Luxin Yan和ShengZhong。用于线条模式噪声去除的转换低秩模型。在国际计算机视觉会议上，页码1726-1734，2017年1月0[5]陈成豪和李浩。带有反馈的鲁棒表示学习用于单幅图像去雨。在IEEE计算机视觉和模式识别会议上，页码7742-7751，2021年2月0[6] Liang-Chieh Chen，Yukun Zhu，George Papandreou，FlorianSchroff和HartwigAdam。带有空洞可分离卷积的编码器-解码器用于语义图像分割。在欧洲计算机视觉会议上，页码801-818，2018年1月0[7] 陈婷，Simon Kornblith，Mohammad Norouzi和GeoffreyHinton。用于对比学习视觉表示的简单框架。在机器学习国际会议上，页码1597-1607，2020年2月，3月，4月0[8] Ting Chen，Simon Kornblith，Kevin Swersky，Mohammad Norouzi和GeoffreyHinton。大型自监督模型是强半监督学习器。arXiv预印本arXiv:2006.10029，2020年3月0[9] 陈新磊，范浩琦，RossGirshick和何凯明。改进的动量对比学习基线。arXiv预印本arXiv:2003.04297，2020年3月0[10] Kostadin Dabov，Alessandro Foi，Vladimir Katkovnik和KarenEgiazarian。通过稀疏3D变换域协作过滤进行图像去噪。IEEE Trans. ImageProcess.，16（8）：2080-2095，2007年。3，40[11] 付学阳，黄佳斌，丁兴浩，廖英豪和JohnPaisley。晴天：用于单幅图像去雨的深度网络架构。IEEE Trans. ImageProcess.，26（6）：2944-2956，2017年。10[12] 付学阳，黄佳斌，曾德禄，黄越，丁兴浩和JohnPaisley。通过深度细节网络从单幅图像中去除雨滴。在IEEE Conf. Comput.Vis. Pattern Recog.，页3855-3863，2017年。20[13]付学阳，齐琦，郑军朝，朱宇瑞和丁兴浩。通过双图卷积网络去除雨滴。在AAAI，页1-9，2021年。20[14] Ian J Goodfellow，Jean Pouget-Abadie，Mehdi Mirza，BingXu，David Warde-Farley，Sherjil Ozair，Aaron C Courville和YoshuaBengio。生成对抗网络。在Adv. Neural Inform. Process.Syst.，页1050-1060，2014年。30[15]顾书航，张磊，左王盟和冯祥初。带权核范数最小化及其在图像去噪中的应用。在IEEE Conf. Comput. Vis. Pattern Recog.，页2862-2869，2014年。30[16] Raia Hadsell，Sumit Chopra和YannLeCun。通过学习不变映射进行降维。在IEEE Conf. Comput. Vis. PatternRecog.，卷2，页1735-1742，2006年。20[17] 韩腾达，谢伟迪和AndrewZisserman。自我监督协同训练用于视频表示学习。在Adv. Neural Inform.Process. Syst.，页5679-5690，2020年。3，50[18] Kaiming He，Haoqi Fan，Yuxin Wu，Saining Xie和RossGirshick。动量对比用于无监督视觉表示学习。在IEEE Conf. Comput. Vis.Pattern Recog.，页9729-9738，2020年。2，3，60[19] 胡晓伟，傅志荣，朱磊和Pheng-AnnHeng。用于单幅图像去雨的深度注意特征。在IEEE Conf. Comput. Vis.Pattern Recog.，页8022-8031，2019年。2，60[20] 黄怀波，于爱静和何然。面向记忆的半监督图像去雨迁移学习。在IEEEConf. Comput. Vis. Pattern Recog.，页7732-7741，2021年。2，30[21] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou和Alexei AEfros。带条件对抗网络的图像到图像翻译。在IEEE Conf. Comput. Vis.Pattern Recog.，页1125-1134，2017年。60[22]姜奎，王中原，易鹏，陈晨，黄宝金，罗一民，马佳艺和姜俊俊。用于单幅图像去雨的多尺度渐进融合网络。在IEEE Conf. Comput. Vis. PatternRecog.，页8346-8355，2020年。1，20[23]金鑫，陈志波，林建新，陈志凯和周伟。无监督的单幅图像去雨与自我监督约束。在IEEE Int. Conf. Image Process.，页2761-2765，2019年。2，30[24] Justin Johnson，Alexandre Alahi和LiFei-Fei。用于实时风格转换和超
我的内容管理
展开
