没有合适的资源?快使用搜索试试~ 我知道了~
where O, B, and R denote the rainy image, clean image,and rain streaks, respectively. The goal of single image de-raining (SID) is to estimate clean image B from the inputrainy image O. This is an ill-posed problem as only rainyimage is known. To make the problem well-posed, conven-tional methods [17,19,23,47] usually impose certain priorson the clean images and rain components. Although decentresults have been achieved, the priors are based on empiricalstatistical results and may not model the inherent propertiesof the clean images and rain components, which thus do noteffectively remove the rain well.Recently, numerous data-driven learning methods havedeveloped [15,27,42,45,49]. Although remarkable perfor-mance has been achieved, these fully-supervised methodsneed paired synthetic data which does not model the real-world degradation well. Therefore, these methods usuallydo not perform well when handling the real-world rainy im-ages due to the domain gap between the training and testdata. Moreover, obtaining large scale paired real-world datafor training in complex rainy environments is challenging.To overcome these problems, the semi-supervised [13,20170使用双对比学习的非配对深度图像去雨0陈翔1,2,潘金山2,姜奎3,李宇峰1,黄宇峰1,孔彩华1,戴龙刚1,范振涛101 沈阳航空航天大学,2 南京理工大学,3 武汉大学0https://cxtalk.github.io/projects/DCD-GAN.html0摘要0从非配对的干净图像和雨天图像集合中学习单幅图像去雨(SID)网络是实际和有价值的,因为获取配对的真实世界数据几乎是不可行的。然而,没有配对数据作为监督,学习SID网络是具有挑战性的。此外,仅仅使用现有的非配对学习方法(如非配对对抗学习和循环一致性约束)在SID任务中是不足以学习从雨天输入到干净输出的潜在关系的,因为雨天图像和干净图像之间存在显著的领域差异。在本文中,我们开发了一种有效的非配对SID对抗框架,通过深度特征空间中的双对比学习方式来探索非配对样本的相互属性,命名为DCD-GAN。所提出的方法主要由两个协同分支组成:双向翻译分支(BTB)和对比引导分支(CGB)。具体而言,BTB充分利用对抗一致性的循环结构来生成丰富的样本对,并通过双向映射来挖掘两个域之间的潜在特征分布。同时,CGB通过鼓励相似特征分布更接近而将不相似特征分布推开,隐式地约束了深度特征空间中不同样本的嵌入,以更好地促进去雨和图像恢复。大量实验证明,我们的方法在合成和真实世界数据集上表现优于现有的非配对去雨方法,并且与几种全监督或半监督模型生成的结果相当。01. 引言0在复杂的雨天环境下拍摄的图像通常受到雨滴的不利能见度的影响。这些退化的图像通常会对许多计算机视觉任务(包括检测[20]、分割[38]和视频监控[28]等)产生严重的性能下降。因此,开发一种有效的算法来恢复高质量的无雨图像具有很大的兴趣。一般来说,雨过程通常由以下线性叠加模型建模:0图1.通过非配对学习方法在真实世界的雨天图像上去雨的结果。直接使用现有的非配对学习方法,如CycleGAN和DCLGAN,不能有效地去除雨滴。0其中O、B和R分别表示雨天图像、干净图像和雨滴。单幅图像去雨(SID)的目标是从输入的雨天图像O中估计干净图像B。这是一个不适定问题,因为只有雨天图像是已知的。为了使问题适定,传统方法[17, 19, 23,47]通常对干净图像和雨滴组分施加一定的先验。尽管取得了不错的结果,但这些先验是基于经验统计结果的,可能不能很好地模拟干净图像和雨滴组分的固有属性,因此不能有效地去除雨滴。最近,已经发展了许多数据驱动的学习方法[15, 27, 42, 45,49]。尽管取得了显著的性能,但这些全监督方法需要配对的合成数据,这不很好地模拟了真实世界的退化。因此,这些方法通常在处理真实世界的雨天图像时表现不佳,因为训练数据和测试数据之间存在领域差异。此外,在复杂的雨天环境中获得大规模的配对真实世界数据进行训练是具有挑战性的。为了克服这些问题,半监督方法[13,0O = B + R, (1)20180已经提出了有监督[22, 36, 43]和无监督[9,51]的学习方法用于SID。这些方法[13,16]要么通过利用有限的标记数据和引入辅助优化目标来关注域不变特征,要么开发域自适应策略[9,37]来提高深度模型的泛化能力。然而,现有的无配对学习方法[8,52]在没有适当的雨滴和清晰图像约束的情况下,不能有效地恢复高质量的去雨结果,如图1(b)和(c)所示。需要注意的是,这些方法主要考虑图像空间中的映射关系,而忽视了特征空间中的潜在关系,这并没有充分挖掘用于SID的有用特征信息。由于地面真实标记数据不完全可用,如何通过探索雨天输入和清晰输出之间的关系来建模潜在空间表示对于基于深度学习的方法非常重要。此外,鉴于可以轻松获得清晰图像,开发一种能够在没有配对数据的情况下探索清晰样本特性以促进图像恢复的有效方法也非常重要。为此,我们开发了一种双对比去雨GAN(DCD-GAN)方法,该方法将最近的对比学习与对抗性框架相结合,以从雨天图像和无配对的清晰图像中挖掘有用的特征,以更好地促进去雨。理想情况下,我们注意到如果一个深度模型可以准确地从雨天图像中恢复出清晰图像,那么用于清晰图像重建的特征将与通过相同深度模型从地面真实无雨图像中提取的特征具有相互信息。这激励我们引入对比学习方法来在深度特征空间中挖掘雨天图像和清晰图像的相互特征,以便我们可以使用清晰图像的特征更好地指导图像恢复。因此,我们提出的DCD-GAN包括两个主要的交互分支:双向翻译分支(BTB)和对比引导分支(CGB)。具体而言,BTB配备了双向映射来挖掘与雨相关或清晰线索特征,并且通过对抗性训练的使用在优化过程中产生了丰富的样本对。此外,CGB隐式地约束了对应补丁的潜在空间,通过使正例(即相似特征分布)更接近,同时使负例(即不相似特征分布)更远。总结一下,本文的主要贡献如下:0•我们提出了一种有效的DCD-GAN,利用双对比学习来鼓励模型在深度特征空间中探索相互特征,同时区分雨天域和无雨域之间的不相似特征。0• 提出的DCD-GAN是在没有配对的情况下进行的0训练信息,其中来自无配对清晰样本的特征可以促进去雨。学到的潜在恢复可以提升跨域去雨的泛化性能。0•在具有挑战性的数据集上的实验结果明显表明,我们开发的方法在现有的无配对去雨方法中表现出色,并且在几个全监督或半监督模型上达到可比较的性能。02. 相关工作02.1. 单图像去雨0现有的基于深度学习的SID方法可以分为配对(全监督)、半监督和无配对(无配对监督)方法[41]。对于配对去雨方法,Fu等人[5]首次使用多层CNN的DerainNet提取和去除雨层,并进一步引入深度细节网络(DDN)[6]通过减少映射范围直接去除雨滴。之后,Zhang等人[48]提出了一种密度感知的多流密集连接CNN算法,称为DID-MDN,通过估计雨密度来表征雨滴。RESCAN的经典工作[18]引入了基于卷积和循环神经网络的方法来充分利用上下文信息。基于空间注意力网络(SPANet)[34]基于循环网络捕捉空间上下文信息,并应用分支以局部到全局的方式获取空间细节。通过用潜在高质量特征替换低质量特征,[1]提出了一种鲁棒的表示学习网络来解决去雨模型错误。对于基于半监督学习的方法,Wei等人[36]利用半监督学习框架(SSIR)分析域之间的残差差异。Syn2Real的工作[43]开发了一种基于高斯过程的半监督方法,通过使用合成图像和未标记的真实雨天图像来增加网络能力。在[22]中,设计了一种雨向正则化器来通过结合半监督学习部分和知识蒸馏部分来约束网络。对于无配对去雨方法,CycleGAN[52]被广泛应用于解决无配对图像到图像转换问题,实现去雨过程。最近的工作[9, 16, 37,51]都使用了改进的CycleGAN架构和约束转移学习来联合处理雨天和无雨图像域。如前所述,这些方法仅使用循环一致性约束来学习两个域之间的准确转换是困难的,因为它们的域知识是不对称的。相反,我们的方法可以克服这个限制,并将对比学习与对抗性训练相结合,以进一步提高无配对设置中的去雨鲁棒性。20190图2.我们的双对比去雨-GAN(DCD-GAN)的整体框架。有两个合作分支,双向翻译分支(BTB)和对比引导分支(CGB)。在特征空间中,从接近(“正样本”)潜在代码生成的图像在视觉上是相似的,而从远离(“负样本”)潜在代码生成的图像在视觉上是不相似的。我们开发的CGB旨在学习一种表示,将相似的特征分布(例如,干净→干净)拉近,将不相似的特征分布(例如,雨←→干净)推开。02.2. 对比学习0对比学习在自监督和无监督表示学习领域取得了显著进展。对比正则化不使用固定的目标和预定义的目标,而是通过利用正样本和负样本的信息,最大化不同领域之间的相互特征。具体而言,它旨在通过将样本与正样本靠近并将其与负样本远离来学习适当的嵌入,从而在相关表示空间中获得合适的嵌入。最近的研究在许多低级视觉任务中应用了对比损失,并取得了SOTA的性能,例如图像去雾[39],图像去噪[4],图像超分辨率[50]和水下图像恢复[7]。类似地,最近的DCLGAN[8]的工作利用了CUT[26]和CycleGAN[52]的优势来处理无监督的图像到图像的转换问题。与复杂图像空间中的相互映射不同,我们展示了在深度特征空间中使用对比约束来进行无配对学习,这可以更好地帮助图像恢复。03. 提出的方法0图2展示了我们提出的DCD-GAN的整体架构。它由BTB和CGB两个分支组成。BTB用于指导雨天领域和无雨领域之间的转移能力和潜在特征分布。此外,采用CGB来约束两个领域之间的相互特征信息,并提供多个损失函数进行联合优化。我们在下面详细描述了所提出网络的细节。03.1. 双向翻译分支(BTB)0令D R表示没有地面真实标签的雨天图像集合,DN表示干净的样本图像集合,我们的最终目标是学习一个深度模型,从这些没有配对的数据D R和DN中探索特征,而不需要地面真实标签的监督来估计无雨的图像。为此,我们引入了一个双向翻译分支(BTB),作为DCD-GAN的主干。具体而言,BTB包含两个生成器GR2N,G N2R分别生成干净和雨天图像,以及两个鉴别器DR,D N区分伪造的去雨图像和真实的干净图像。沿着[37,44]的轨迹继续,BTB的整体流程包括两个雨天生成和去雨的电路:(1)雨天到雨天的前向循环一致性转换R→NR→R�;(2)无雨到无雨的反向循环一致性转换N→RN→N�。0由于双向学习的循环架构,BTB生成的样本可以在优化过程中挖掘与雨有关或干净线索的特征,从而形成潜在特征分布来进行正则化。值得注意的是,来自反向循环的无配对干净样本可以促进去雨。我们将在第4.3节展示干净样本的影响。事实上,仅仅利用循环一致性来去除雨水是不足够的,因为这个约束是弱的。因此,我们开发了对比约束来构建多个对比引导分支(CGBs),作为进入BTB的内部桥梁,产生更准确的解决方案(良好的生成和良好的重建)。下面描述了CGB组件。6040200204060402002040rainy_image_featureclean_image_feature40200204040302010010203040rainy_image_featureclean_image_featureLcont (GR2N, GN2R) =�− logsim (f, f +)sim (f, f +) +Nsim f, f −�,Lcolorcyc =�i∈{r,g,b}Ein∼N [∥GR2N (GN2R(n)) − n∥1]+�i∈{r,g,b}Eir∼R [∥GN2R (GR2N(r)) − r∥1] ,(3)20200(a) 无CGB0(b) 有CGB0图3.使用/不使用我们的CGB学习的特征的t-SNE可视化。红色圆点表示从雨天图像中提取的用于清晰图像重建的深度特征。蓝色圆点表示从清晰图像中提取的深度特征。使用CGB,来自清晰图像和雨天图像的特征在潜在空间中具有较低的距离。因此,通过CGB使用雨天特征能够生成清晰图像。03.2. 对比引导分支(CGB)0为了更好地引导去雨,我们在 D R 和 D N 之间引入了CGBs,以利用学习到的领域相关特征分布的优势。我们的主要观点是,从 D R 提取的特征与从 D N提取的特征共享一些共同属性。如果从不同领域生成的具有低特征差异的补丁对相似(称为“正样本”),它们在潜在空间中的嵌入也应该具有较低的距离,反之亦然。因此,我们提出通过强制对比约束在深度特征空间中学习图像恢复。在稳定训练中采用双重学习设置的优势[46]的建议下,我们将辅助编码器 E 作为单独的嵌入器,分别从域 D R 和 D N中提取特征。根据[21,26]的建议,通过使用现成的生成器在对比学习中提取特征表示,可以避免对原始架构进行过多修改。因此,我们直接从生成器(G R 2 N 和 G N 2 R)的 L编码层中提取图像的特征作为 CGB的辅助编码器,并将它们发送到一个两层多层感知器(MLP)投影头。在这里,我们不共享权重,从而捕捉两个域中的变异性并学习更好的嵌入。在具有不同特征堆栈之后,我们的 CGB使用两个不同的嵌入来约束对比分布学习,目标是将查询生成的示例及其相似的特征分布(例如,clean →←clean)与其他不相似的特征分布(例如,rain ←→clean)同时关联,以隐式监督去雨过程。为了约束它们嵌入中的相互特征,让我们定义从一个域中采样的查询代码 ˆx,从另一个域中采样的正样本代码 ˆ x + 和 k个负样本代码 ˆ x − i 。与之前的方法[26,39]只在输入图像内选择负样本不同,我们0关注内部和外部潜在代码,将CGB的两侧在特征空间中连接起来,实验证明我们的策略对SID获得了更好的效果(见第4.3节)。CGB的约束通过使正样本更接近而使负样本更远来实施,以帮助去雨生成器正确地将雨天输入转换为清晰输出。为了理解这种CGB的效果,我们进一步使用t-SNE[32]在图3中可视化学习到的特征。理想情况下,如果一个深度模型能够准确地从雨天图像中恢复出清晰图像,用于清晰图像重建的特征和无雨图像的特征将在深度特征空间中完全重叠。显然,使用CGB,这两种类型的特征被拉在一起,它们变得很好地区分开,并能够捕捉 D R 和 D N之间的关系。从数学上讲,这些相应的特征表示被形式化为:f = E(ˆx),f+ = E(ˆx+),f−i =E(ˆx−i)。因此,对比损失被开发出来规范捕获的图像特征分布,可以写成:0E r � R,n � N0∥ u ∥∥ v ∥ τ �是计算两个归一化特征向量之间相似度的余弦相似性函数,τ 表示温度参数。03.3. 损失函数0由于没有可用的真实值,开发有效的损失函数来约束DCD-GAN以获得更好的SID非常重要。除了对比损失,我们还引入其他约束来规范网络训练。颜色循环一致性损失。值得注意的是,以前的CycleGAN-based方法大多采用循环一致性损失来保留图像内容。然而,循环一致性损失存在“通道污染”问题[29,30],因为一次生成整个图像会使不同的通道相互作用,导致最终去雨结果中出现不愉快的伪影。为了缓解这个问题,我们通过独立地构建每个通道的一致性损失提出了一个简单而有效的解决方案。在这里,我们分别计算输入图像和重构图像之间红色、绿色和蓝色通道的像素损失,然后将三个距离损失相加作为颜色循环一致性损失,可以表示为:RR-GAN [51]23.510.757//////Ladv (GR2N, DN) = En∼N [log DN(n)]+Er∼R [log (1 − DN (GR2N(r)))] ,(4)20210表1. 四个基准数据集上定量结果的比较。粗体和斜体表示最佳和次佳结果。0数据集 Test100 Test1200 Test1400 Test10000指标 PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM0基于先验的方法 DSC [ 23 ] 18.56 0.599 24.24 0.827 27.31 0.837 34.95 0.9410GMM [ 19 ] 20.46 0.730 25.66 0.817 26.87 0.808 34.30 0.9420配对 / 监督方法0DDN [ 6 ] 21.16 0.732 27.93 0.853 28.00 0.873 34.70 0.9340DID-MDN [ 48 ] 21.89 0.795 29.66 0.899 26.38 0.835 34.68 0.9300RESCAN [ 18 ] 24.09 0.841 32.25 0.907 32.03 0.917 34.71 0.9370SPANet [ 34 ] 24.37 0.861 30.05 0.934 29.83 0.904 35.13 0.9440半监督方法 SIRR [ 36 ] / / 30.57 0.910 30.01 0.907 34.85 0.9360非配对 / 无配对监督方法0CycleGAN [ 52 ] 21.92 0.683 24.17 0.729 24.34 0.776 31.59 0.8960DerainCycleGAN [ 37 ] 24.30 0.854 / / / / 35.20 0.9500我们的方法 25.61 0.813 32.46 0.937 31.65 0.918 35.30 0.9430表2. 不同基准训练数据集的描述。0数据集 Rain800 DID-Data DDN-Data SPA-Data0训练集 700 12000 12600 28500 测试集 100 1200 140010000类型 合成 真实世界0名称 Test100 Test1200 Test1400 Test10000其中 i 表示不同的通道。r ∈ D R ,n ∈ D N分别表示雨图像和非配对的清晰图像。对抗损失。我们观察到使用对抗损失能够生成逼真的图像。与[51]类似,SID中的对抗损失在 D N 中定义为:0其中 G R 2 N最小化目标函数,使生成的清晰图像看起来与真实样本相似。相反,D N最大化损失,以区分生成的清晰图像和真实清晰图像。在这里,我们省略了 D R 中的相同对抗损失。整体对抗损失通过L adv = L adv ( G R 2 N , D N ) + L adv ( G N 2 R , DR ) 计算。频率损失。受[2,12]的启发,我们利用频域并利用频率损失进一步保留图像的内容和结构信息:0Lfreq = En�N[∥FT(GR2N(GN2R(n)))−FT(n)∥22]0+ Er�R[∥FT(GN2R(GR2N(r)))−FT(r)∥22], (5)0其中FT表示单边傅里叶变换以获得其对应的频域。基于上述考虑,最终的损失函数为:0Ltotal = λ1Lcont + λ2Lcolorcyc + λ3Ladv + λ4Lfreq, (6)0其中λi是权重。在我们的实验中,我们经验性地设置λ1=2,λ2=1,λ3=1和λ4=0.1。04. 实验04.1. 实验设置0数据集。我们使用了四个具有挑战性的基准数据集0包括Rain800 [49]、DID-Data [48]、DDN-Data [6]和SPA-Data[34]等四个具有不同大小、形状和方向的雨痕的具有挑战性的基准数据集。所使用的训练和测试数据集的详细描述在表2中列出。0实现细节。DCD-GAN的整体架构基于CycleGAN,一个基于Resnet的[10]生成器,具有9个残差块和一个PatchGAN[14]鉴别器。在训练过程中,我们使用Adam优化器,β1=0.5和β2=0.999,并且模型总共训练600个epochs。模型从头开始训练300个epochs,学习率为0.0001,然后再训练300个epochs,学习率线性衰减为0。在CGB中,我们为一个查询选择了255个内部和256个外部负样本。温度参数τ设置为0.07。我们使用批量大小为1和实例归一化[31]。整个网络使用PyTorch框架在两个NVIDIA Tesla V100GPU上执行。需要注意的是,所有训练图像都以无配对学习的方式随机裁剪为256×256的补丁。为了更好地促进对比学习,我们为上述基准数据集实施了特定的数据增强策略。0比较方法。我们将我们的方法与两种基于先验的算法(即DSC [23]和GMM [19]),四种配对监督方法(即DDN[6],DID-MDN [48],RESCAN [18]和SPANet[34]),两种半监督方法(即SSIR [36]和Syn2Real[43])以及三种无监督深度网络(即CycleGAN[52],RR-GAN [51]和DerainCycleGAN[37])进行比较。由于方法[37,51]的代码不可用,我们参考了他们论文中提供的一些比较结果。对于其他方法,如果没有预训练模型,我们使用作者提供的实现重新训练它们,否则我们直接使用在线可用的代码进行评估。0评估指标。对于有真实值的图像,我们使用两个广泛使用的指标PSNR和SSIM[35]来评估每种方法。对于没有真实值的情况,我们使用无参考质量指标NIQE [24]和BRISQUE [25]进行定量比较。20220图4. 对Test100数据集的定性评估。放大图像可以更好地观察去雨能力。0图5. 对Test1000数据集的定性评估。放大图像可以更好地观察去雨能力。0图6. 对真实雨天图像的定性评估。放大图像可以更好地观察去雨能力。04.2. 实验结果0合成数据。表1报告了不同方法在合成数据集(包括Test100、Test1200和Test1400)上的定量结果。我们可以观察到:(1)与无配对去雨方法相比,我们的网络在PSNR方面取得了最先进的结果,这反映了DCD-GAN的出色性能。(2)对于半监督方法,与全监督模型相比仍存在性能差距,甚至比我们的无配对网络还差。(3)我们的方法在几个现有的配对监督模型上可以取得有竞争力的结果,这要归功于CGB提供的额外约束。此外,我们在图4中展示了一些难例进行视觉观察比较。根据真实情况,其他所有方法在细节和颜色恢复方面都做得不好。相比之下,我们开发的方法不仅能够去除各种类型的雨痕,还能在很大程度上保持底层对象的颜色和结构特性。0真实世界数据。为了进一步验证在实际使用中的普适性,我们在真实世界雨天数据集上与其他算法进行比较。由于SPA-Data[34]具有人工标注的真实值,可以使用数值指标进行评估。0表3.在真实世界雨天图像上的定量结果比较,较低的分数表示更好的图像质量。0方法RESCAN SPANet SSIR Syn2Real CycleGAN 我们0NIQE ↓ 4.571 4.317 4.263 4.354 4.689 4.032 BRISQUE ↓ 25.446 20.220 27.41815.920 23.801 13.3110数值指标。根据Tab.1的最后一列中的数值,我们提出的DCD-GAN模型在PSNR指标上获得最佳值,并在Test1000上获得与其他相关网络相比具有竞争力的SSIM值。从图5中可以观察到,所提出的方法恢复出具有清晰结构的图像。0此外,我们从Google图像搜索中选择了30个真实世界的雨天图像。图6展示了所有竞争方法在一个样本图像上的去雨效果。由于自然场景中的雨天图像更加复杂和具有挑战性,我们的方法仍然展现出了显著的性能,雨痕残留较少。相比之下,其他方法无法达到期望的结果。根据Tab.3中NIQE和BRISQUE的平均值,我们的方法得分较低,这意味着在真实世界图像上与其他比较模型相比具有更高的自然性和更好的保真度。es.del.ion.20230图7. 负样本选择策略的定性分析。0图8.t-SNE的可视化结果。(a)无反向循环;(b)前向+反向循环。04.3. 消融研究0提出的损失函数的有效性。为了评估我们的混合损失函数的有效性,我们在Test100上进行了消融研究。具体来说,我们每次都从每个配置中删除一个组件。为了确保公平比较,所有模型测试保持相同的训练设置,除了Tab.4中的修改。最佳性能通过使用以上所有组件达到25.61dB,因此我们考虑的每个损失项在去雨过程中都有自己的贡献。我们通过与常用的循环一致性损失(Lcyc)进行比较,进一步研究了我们的颜色循环一致性损失的效果。通过Tab.4的最后一列,我们可以观察到,替换颜色循环一致性损失后性能下降,这证实了它在改善恢复结果质量方面的优势。0选择负样本的影响。对于对比学习来说,最重要的设计是如何选择负样本。在每次迭代中,我们开发的DCD-GAN可以生成四个不同的特征堆栈。由于双重学习设置的优势,我们将两个特征堆栈连接在CGB的两侧,以提供更多的负样本。在Tab.5中,对Test100的定量结果显示,我们的策略在PSNR值上达到最高值,而仅使用内部负样本的方法获得最佳的SSIM值。然而,放大图7中的彩色框,我们观察到比较输出质量的0表4. 不同损失函数的消融研究。*表示 L colorcyc 被 L cyc 替换。0模型无 L adv 无 L colorcyc 有 L cyc * PSNR / SSIM 24.03 /0.754 25.08 / 0.782 25.32 / 0.7950模型无 L cont 无 L freq 我们的 PSNR / SSIM 22.84 / 0.73125.40 / 0.799 25.61 / 0.8130表5. 不同选择负样本方式的消融研究。0仅模型内部 仅模型外部 我们的(内部+外部)0PSNR / SSIM 25.47 / 0.815 25.09 / 0.798 25.61 / 0.8130表6. 我们模型不同变体的消融研究。0没有反向循环的模型 我们的模型(前向+后向循环)0PSNR / SSIM 24.15 / 0.776 25.61 / 0.8130图9. 跨领域泛化的定量分析。0模型的效果不如我们的策略好,也就是说,他们的去雨结果往往会使图像变得模糊。0清晰样本的影响。为了进一步验证来自不配对的清晰图像样本的影响,我们将没有反向循环的模型作为对比模型。在Test100上的定量结果记录在表6中。可以看到,缺少反向循环会大幅降低结果。此外,我们使用t-SNE[32]在图8中可视化相应的特征。有趣的是,我们进一步观察到在优化过程中产生了更多的清晰特征。这是因为反向循环丰富了清晰样本,使这些不配对的数据更好地促进了去雨。04.4. 跨领域泛化性分析0我们还进行了实验,证明DCD-GAN可以促进其跨领域泛化。具体来说,我们使用在DID-Data[48]上训练的模型依次测试任务序列Test1200 [48] →Test12 [19] → Test1400 [6] → Test100L [40] → Test100[49],结果如图9所示。显然,由于领域变化,完全监督方法的性能急剧下降。由于在深度特征空间中学习到的潜在恢复,我们的方法可以轻松适应新领域中不需要任何配对数据的情况,从而极大地提高了其跨领域去雨泛化能力。To better solve the SID problem, we implement a mixedtraining manner. Here, we assemble a mixture of Rain800[49] and 356 real rainy images (selected elaborately andcropped manually to highlight the rainy regions), which canprovide more rain streak information for model learning.We note that [52] introduces a cycle-consistent constraintfor unpaired image-to-image translation. In this work, tobetter achieve SID, we further develop multiple CGBs toprovide complementary constraints. Fig. 11 (b) shows thatCycleGAN fails to remove rain streaks, and it tends to blurthe contents and cause color distortion. In contrast, we con-struct an effective contrastive regularization to explore thecorrelation of the latent space between the rainy and rain-free images, which thus leads to better derained results.In addition, we also note that [7] recently develops adual contrastive learning method for unsupervised image-to-image translation based on the CycleGAN framework.Different from this method learns domain-invariant infor-mation in complex image space, we focus on domain-specific properties in deep feature space. As displayed inFig. 11 (c) and (d), the recovery result of DCLGAN hassome residual rain streaks, while our proposed DCD-GANcan deal with majority of rain streaks. Since the mapping inthe low-dimensional feature space is in principle much eas-ier to learn than in the high-dimensional image space [33],another benefit can be found is being good at avoiding un-necessary image structure distortion. Due to the introduc-tion of real rainy images in the mixing training, it also sup-plies more negative samples to CGB to some extent. One20240图10. 在Google Vision API上进行的比较结果。(a-b) 输入雨天图像和我们去雨后的图像的物体识别结果;(c)识别雨的平均置信度。注意,较低的分数表示更好的性能。0图11. 在混合数据集上训练时的比较结果。04.5. 与相关方法的讨论0另外,循环一致性约束和对比约束具有一些共同点[11],这将对鼓励去雨性能产生双重效益。04.6. 应用0为了检验我们的方法是否有助于户外视觉应用,例如物体识别,我们应用检测方法,即Google VisionAPI,来评估去雨结果。图10(a)和(b)显示,使用我们的去雨输出可以提高识别准确性,这表明DCD-GAN可以有效改善后续的检测性能。与[3,45]类似,我们测试了30组真实世界的雨天图像和六种不同方法的去雨图像,如图10(c)所示。雨的置信度表示雨天的概率。可以看出,我们的输出结果中识别雨的平均置信度显著降低,这表明DCD-GAN可以恢复高质量的图像,相对于其他方法。因此,我们开发的无配对去雨方法对于推动实际应用的实用性和可扩展性具有意义。05. 结论0在本文中,我们提出了一种有效的无配对学习方法,即DCD-GAN,用于SID。我们将双向翻译分支和对比引导分支融入到统一的框架中,实现联合训练。对比学习首次应用于SID任务,以在深度特征空间中探索相互特征,同时区分不相似的特征,以实现更好的图像恢复。我们的方法利用无配对的干净样本的特征来促进去雨处理。在合成和真实的雨天数据集上的实验结果明显表明了我们模型的有效性和泛化性。在未来的工作中,我们将探索我们提出的学习方案在其他无监督低层次视觉任务中的潜力。0局限性 .我们的方法在小规模数据集上进行SID性能训练时存在局限性,因为对比学习往往需要大量的样本对来实现优秀的性能。20250参考文献0[1] Chenghao Chen 和 Hao Li.基于反馈的鲁棒表示学习用于单张图像去雨. 在《计算机视觉与模式识别IEEE会议论文集》, 页码7742-7751,2021年. 20[2] Ka Leong Cheng, Yueqi Xie, 和 Qifeng Chen. Iicnet:一种用于可逆图像转换的通用框架. 在《国际计算机视觉IEEE会议论文集》, 页码1991-2000, 2021年. 50[3] Sen Deng, Mingqiang Wei, Jun Wang, Yidan Feng,Luming Liang, Haoran Xie, Fu Lee Wang, 和 Meng Wang.基于上下文聚合网络的细节恢复图像去雨. 在《计算机视觉与模式识别IEEE会议论文集》, 页码14560-14569,2020年. 80[4] Nanqing Dong, Matteo Maggioni, Yongxin Yang,Eduardo P´erez-Pellitero, Ales Leonardis, 和 StevenMcDonagh. 基于残差对比学习的联合去马赛克和去噪方法.《arXiv预印本arXiv:2106.10070》, 2021年. 30[5] Xueyang Fu, Jiabin Huang, Xinghao Ding, Yinghao
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功