没有合适的资源?快使用搜索试试~ 我知道了~
38380单幅图像去雨:一项全面的基准分析0Siyuan Li 1 � , Iago Breno Araujo 2 � , Wenqi Ren 3 † , Zhangyang Wang 4 † , Eric K. Tokuda 2 , Roberto Hirata Junior 2 , RobertoCesar-Junior 2 , Jiawan Zhang 1 , Xiaojie Guo 1 , Xiaochun Cao 301 天津大学 2 圣保罗大学 3 中国科学院信息工程研究所国家信息安全重点实验室 4 德克萨斯农工大学0https://github.com/lsy17096535/Single-Image-Deraining0摘要0最近提出了许多单幅图像去雨算法。然而,这些算法主要使用某种类型的合成图像进行评估,假设了特定的雨模型,再加上一些真实图像。因此,目前尚不清楚这些算法在“野外”获取的雨天图像上的表现如何,以及如何评估该领域的进展。本文旨在弥合这一差距。我们提出了对现有单幅图像去雨算法的全面研究和评估,使用一个新的大规模基准数据集,包括各种雨类型的合成和真实世界的雨天图像。该数据集突出了多样的雨模型(雨纹、雨滴、雨和雾),以及丰富多样的评估标准(全参考和无参考客观评价、主观评价和任务特定评价)。我们的评估和分析表明合成雨天图像和真实世界图像之间的性能差距,并使我们能够更好地识别每种方法的优势和局限性,以及未来的研究方向。01. 引言0在雨天拍摄的图像会受到明显的场景可见度降低。单幅图像去雨算法的目标是从雨天图像输入中生成清晰的图像。图像去雨可以潜在地改善图像的人类视觉感知质量,以及许多计算机视觉应用,如户外监控系统和智能车辆。近年来,单幅图像去雨取得了显著的进展。这一领域的进展可以归因于各种自然图像先验 [1, 2, 3, 4, 5]和基于深度卷积神经网络(CNN)的模型 [6, 7,8]。然而,迄今为止,对该问题、现有算法和性能指标的公平综合研究尚未出现,这是本文的目标。0� 前两位作者贡献相等。† 表示通讯作者。01.1. 雨天图像的表述模型0作为一个复杂的大气过程,雨水可能会导致多种不同类型的能见度降低,这取决于许多环境因素,包括雨滴大小、雨密度和风速[9]。当拍摄一张雨天图像时,雨对数字图像的视觉效果还取决于许多相机参数,如曝光时间、景深和分辨率[10]。大多数现有的去雨方法假设一种雨模型(通常是雨纹),这可能过于简化了问题。我们将文献中现有的雨模型分为三个主要类别:雨纹、雨滴以及雨和雾。雨纹图像 R s可以被建模为干净背景场景 B 和稀疏的线状雨纹成分 S的线性叠加:0R s = B + S. (1)0雨纹 S 在整个场景中积累,降低了背景 B的可见性。这是大多数去雨算法所假设的最常见模型。附着在相机镜头或窗户玻璃上的雨滴 [11]可以阻挡和/或模糊背景场景。雨滴退化图像 R d可以被建模为干净背景 B 和雨滴 D在散射的、小尺寸的局部连贯区域中的模糊或阻塞效应的组合:0R d = (1 - M) ⊙ B + D. (2)0M是二进制掩码, ⊙表示逐元素乘法。在掩码中,如果M(x)=1,则像素x是雨滴区域的一部分,否则属于背景。此外,雨天图像通常在真实情况下同时包含雨和雾[12]。此外,遥远的雨条在整个场景中积累,以类似于雾的方式降低了能见度,在图像背景中产生了类似雾的现象。关于此,我们可以基于捕获的图像Rm定义雨和雾模型,基于38390图1.MPID数据集中的示例图像。该数据集包含合成和真实世界的雨条、雨滴和雨和雾图像。此外,我们还从自动驾驶和视频监控场景中为两组真实世界的图像标注了物体边界框。0由雨条模型和大气散射雾模型的组合构成[13]:0Rm = B ⊙ t + A(1−t)+ S,(3)0其中S是雨条成分;t和A是决定雾/雾成分的透射图和大气光,分别。01.2. 我们的贡献0不论遵循哪种雨模型,图像去雨都是一个高度不适定的问题。尽管近年来发表了许多令人印象深刻的方法,但由于缺乏大规模的数据集和算法基准,很难评估取得的进展以及这些算法在实际中的实用性。当前去雨算法开发存在几个不清楚和不令人满意的方面,包括但不限于:i)雨的建模过于简化,即每种方法都考虑并评估了0只考虑一种类型的雨,例如雨条;ii)大多数定量结果是在合成图像上报告的,这通常无法捕捉到真实雨的复杂性和特征;iii)由于最后一点,评估指标在图像恢复目的上主要限于(全参考)PSNR和SSIM。当涉及到其他任务目的时,它们可能与人类感知质量[14]或计算机视觉效用[15]之间的关系变得不好。0在本文中,我们旨在在一个全面和公正的环境中系统评估最先进的单幅图像去雨方法。为此,我们构建了一个大规模的基准数据集,称为多功能图像去雨(MPID)。MPID的概述可在表1中找到,并且图1中显示了图像示例。与现有的合成数据集相比,MPID数据集涵盖了更多种类的雨模型(雨条、雨滴、雨和雾),包括合成和真实世界的雨模型。38400为了评估这些算法在合成和真实图像上的性能差距,我们使用MPID基准数据集对六种最先进的单幅图像去雨算法进行评估。我们采用了一系列全参考指标(PSNR和SSIM),无参考指标(NIQE、BLIINDS-II和SSEQ),以及人类主观评分,以全面检查图像去雨方法的性能。我们还进行了人类主观研究。此外,由于图像去雨可能被期望作为中高级计算机视觉任务的预处理步骤,我们还根据其对后续目标检测任务的影响对当前算法进行评估,作为“任务特定”的评估标准。我们揭示了在各个方面的性能差距,当这些算法应用于合成和真实图像时。通过在MPID数据集上广泛比较最先进的单幅图像去雨算法,我们对图像去雨的新研究方向有了深入的了解。02. 相关工作 2.1. 去雨算法概述0基于多帧的方法:早期的方法通常需要多帧来处理去雨问题[4, 16, 17, 18, 19, 5, 20, 11]。Garg和Nayar[21]提出了一种从视频中检测和去除雨线的方法,通过从前一帧和后一帧检测到的雨线的平均强度来选择相机参数,而几乎不改变场景外观。然而,这些方法不适用于单幅图像去雨。基于先验的算法:许多去雨方法利用清晰图像或雨类型的先验来去除雨[22, 1, 23, 24,25]。Kang等人[2]将输入图像分解为低频和高频分量。然后,他们通过稀疏编码将雨线频率从高频层中分离出来。Zhu等人[26]基于雨线通常跨越一个狭窄的方向范围的先验引入了一种去雨方法。陈和徐[3]基于低秩先验将背景和雨线层分解开来。Li等人[27]使用高斯混合模型的形式为干净背景和雨层的补丁先验进行建模。上述所有方法都依赖于良好(相对简单)的先验。因此,它们在具有复杂场景和雨形的真实图像上往往表现不佳。数据驱动的CNN模型:最近,CNN在图像恢复[28, 29],包括单幅图像去雨[30,31]方面取得了主导性的成功。Fu等人[6]提出了一种用于从单幅图像中去除雨的深度细节网络(DDN)。0Yang等人[32]提出了一种基于CNN的方法,用于联合检测和去除雨线,使用多流网络捕捉雨线组件。[8]介绍了一种密度感知的多流密集连接卷积神经网络,用于联合雨密度估计和图像去雨。钱等人[7]解决了从单幅图像中去除雨滴的不同问题,使用生成对抗网络(GAN)的视觉注意力。尽管与基于先验的去雨方法相比,基于深度学习的方法取得了进展,但它们的性能依赖于合成训练数据,如果真实的雨天图像显示出域不匹配,这可能会成为问题。02.2. 数据集0使用多个数据集来衡量和比较图像去雨算法的性能。Li等人[27]使用逼真的渲染技术介绍了一组12张图像。Zhang等人[33]使用与[27]相同的方法合成了一组训练和测试图像,其中包含雨滴。训练集包含700张图像,测试集包含100张图像。此外,[33]还从网络上下载了50张真实世界的雨天图像进行质量视觉比较。[7]发布了一组干净的和受雨滴污染的图像对,使用了特殊的镜头设备。然而,现有的数据集要么规模太小,限于一种雨类型(雨滴或雨线),要么缺乏足够多样的真实世界图像进行多样化评估。此外,它们中没有任何语义注释,也没有考虑任何后续任务的性能。03. 新基准:多功能图像去雨(MPID)0我们提出了一个新的基准作为一个综合平台,用于从各个角度评估单幅图像去雨算法。我们的评估角度从传统的PSNR/SSIM到无参考感知驱动的指标和人类主观质量,再到“任务驱动的指标”[15,34],指示去雨图像上目标计算机视觉任务的执行情况。为了适应这些目的,我们从合成和真实世界的来源中大规模生成/收集图像,涵盖多样的真实场景,并在需要时进行注释。新的基准称为多功能图像去雨(MPID),下面详细介绍MPID。MPID的概述可以在表1中找到。03.1. 训练集:三个合成模型0根据第1.1节中的三个雨水模型,我们创建了三个训练集,分别命名为雨滴(T),雨点(T)和雨和雾(T)集(T代表“训练”)。这三个集合都是在受控环境中合成的。38410表1. 提出的MPID数据集概述。0训练集子集图像数量真实/合成注释指标0雨滴(T)2400(对)合成否/雨点(T)861(对)合成否/雨和雾(T)700(对)合成否/0测试集子集图像数量真实/合成注释指标0雨滴(S)200(对)合成否PSNR,SSIM,NIQE,BLIINDS-II,SSEQ雨滴(R)50真实否NIQE,BLIINDS-II,SSEQ雨点(S)149(对)合成否PSNR,SSIM,NIQE,BLIINDS-II,SSEQ雨点(R)58真实否NIQE,BLIINDS-II,SSEQ雨和雾(S)70(对)合成否PSNR,SSIM,NIQE,BLIINDS-II,SSEQ雨和雾(R)30真实否NIQE,BLIINDS-II,SSEQ0任务驱动评估集子集图像数量真实/合成注释指标0RID 2496真实是(边界框)mAP RIS 2048真实是(边界框)mAP0从干净图像中生成设置。1.所有使用的干净图像都是从网络上收集的,我们特别选择了那些在多云白天拍摄的无雨无雾的户外照片,以使合成的雨天图像在光照条件上更加逼真(例如,在晴朗的白天背景中不会有雨天照片)。雨滴(T)集包含2400对干净和雨天图像,其中雨天图像是使用(1)从干净图像生成的,使用与[27,33]相同的协议和超参数。雨滴(T)集是从[7]的发布的训练集中借用的,该训练集包含861对干净和受雨滴破坏的图像,并经过了作者的同意。雨和雾(T)集是通过首先使用大气散射模型添加雾气来合成的:对于每个干净图像,我们使用[35,36]中的算法估计深度,该算法是[37]推荐的,通过在[0.7,1.0]之间均匀随机选择每个通道的不同大气光A,并在[0.6,1.8]之间均匀随机选择β。然后,从合成的有雾版本中,我们以与雨滴(T)相同的方式添加雨滴。最终,我们得到了雨和雾(T)集的700对图像。3.2. 测试集:从合成到真实0对应于三个训练集,我们以相同的方式生成了三个合成测试集,分别称为雨滴(S),雨点(S)和雨和雾(S)(S代表“合成测试”),分别包含200、149和70对图像。在每个测试集上,我们使用经典的PSNR和SSIM指标评估去雨算法的恢复性能。此外,为了预测去雨图像对人眼观察者的感知质量,我们引入了三个无参考IQA模型:自然图像质量评估器(NIQE)[38],基于空间-光谱熵的质量评估(SSEQ)[39]和盲图像完整性评估器(BLIINDS-II)[40],以补充PSNR/SSIM的不足。NIQE是一个众所周知的无参考图像质量评分,用于指示图像的感知“自然度”,较小的评分表示更好的感知质量。我们使用的SSEQ和BLIINDS-II的评分范围从0(最差)到100(最佳)。20请注意,对于雨滴(T),数据生成使用了物理模拟[7],即有/无镜头,而不是算法模拟。0无参考图像质量评分,用于指示图像的感知“自然度”,较小的评分表示更好的感知质量。我们使用的SSEQ和BLIINDS-II的评分范围从0(最差)到100(最佳)。20除了上述三个合成测试集之外,我们还收集了三个真实世界图像集,分别属于三个定义的雨水类别,以评估去雨算法在真实世界中的泛化能力。这三个集合分别称为雨滴(R),雨点(R)和雨和雾(R)(R代表“真实世界测试”),它们是从互联网上收集的,并经过仔细检查,以确保每个集合中的图像很好地符合预定义的雨水类型。由于在真实世界中无法获得干净图像的真实情况,我们在这三个真实世界集合上评估了NIQE、SSEQ和BLIINDS-II。此外,我们还选择了一小组真实世界图像,用于人工主观评价去雨结果。03.3. 任务驱动评估集0正如最近几项研究所指出的[41, 15, 42,43],高级计算机视觉任务(如目标检测和识别)在各种感知和环境退化的情况下性能会下降。虽然去雨可以作为在雨天条件下许多计算机视觉任务的预处理方法,但目前还没有对去雨算法对这些目标任务影响的系统研究。我们将去雨后的任务性能视为去雨质量的间接指标。这种“任务驱动”的评估方式受到了很少的关注,对户外应用有着重要的影响。为了进行这种任务驱动的评估,需要真实的带注释数据集。据我们所知,目前还没有可用于此目的的数据集。02注意,在[39]和[40]中,较小的SSEQ/BLIINDS-II分数表示更好的感知质量。我们将这两个分数反转(100减去)以使其趋势与全参考度量一致:在我们的表格中,两个值越大,感知质量越好。我们没有对NIQE做同样的处理,因为NIQE没有有界的最大值。38420表2. RID和RIS集中的对象统计数据0类别:汽车 人 公交车 自行车 摩托车0RID集7332 1135 613 268 9680类别:汽车 人 公交车 卡车 摩托车0RIS集11415 2687 488 673 2750我们以任务驱动的方式收集了两个数据集:Rain in Driving(RID)集和Rain in Surveillance(RIS)集。RID集是从行驶中的汽车上收集的,天气多雨;RIS集是从网络交通监控摄像头在雨天收集的。对于这两个集合,我们标注了对象的边界框,并在应用去雨算法后评估了目标检测性能。RID和RIS集合的对象统计数据摘要可以在表2中找到。这两个集合在许多方面都不同:雨的类型、图像质量、对象大小和角度等。它们代表了需要进行去雨处理的真实应用场景。Rain in Driving(RID)集:该集合包含2495张来自高分辨率行车视频的真实雨天图像。我们观察到,它的雨效果最接近于“相机镜头上的雨滴”。这些图像是在多次行车中的各种真实交通位置和场景中拍摄的。我们为选定的交通对象(汽车、人、公交车、自行车和摩托车)标记了边界框,这些对象在所有图像的道路上普遍出现。大多数图像的分辨率为1920×990,少数例外的分辨率为4023×3024。Rain in Surveillance(RIS)集:该集合包含来自相对较低分辨率的监控视频摄像头的2048张真实雨天图像。它们是从总共154个监控摄像头的白天图像中提取的,确保内容的多样性(例如,我们不考虑时间上太接近的帧)。我们观察到,它的雨效果最接近于“雨和雾”(许多摄像头在雨天有雾凝结,低分辨率也会导致更多的雾效果)。我们选择并注释了交通监控场景中最常见的对象:汽车、人、公交车、卡车和摩托车。绝大多数摄像头的分辨率为640×368,少数例外的分辨率为640×480。04. 实验比较0我们在MPID上评估了六种代表性的最新算法:高斯混合模型先验(GMM)[27],联合雨滴检测和去除(JORDER)[32],深度细节网络(DDN)[6],条件生成对抗网络(CGAN)[33],使用多流密集网络的密度感知图像去雨方法(DIDMDN)[8]和DeRaindrop[7]。除了GMM外,所有算法都是基于卷积神经网络的最新去雨算法。评估协议:前五个模型专门用于去除雨条纹,而最后一个模型专门用于去除雨滴。因此,我们将它们用于雨条纹集进行比较。由于DeRaindrop是最近唯一发表的用于去除雨滴的方法,为了提供更多的0基线性能,我们还重新训练和评估了其他五个模型在雨滴集上的表现。最后,由于没有针对同时去除雨和雾的已发布方法,我们创建了一个级联流水线,首先运行每个五个雨滴去除算法,然后将其输入到预训练的MSCNN去雾网络[28]中。选择MSCNN是因为最近的去雾研究[15,48]都认可它能够产生最好的人类喜欢的、无伪影的去雾结果,并且有助于后续的雾中高级任务。这样的级联流水线可以从头到尾进行调整,我们在调整过程中冻结MSCNN部分,以便专注于比较去雨组件。当在特定的雨水类型上进行评估时,所有模型都将在相应的MPID训练集上重新训练。4.1.客观比较0我们首先比较了合成图像上的去雨结果0使用两个全参考指标(PSNR和SSIM)和三个无参考指标(NIQE,SSEQ和BLIINDS-II)对图像进行评估。从表3中可以看出,结果在合成数据上具有很高的一致性水平。首先,DDN在雨滴(S)集上是明显的优胜者,其次是JORDER;这两种方法在雨和雾(S)集上也表现出最佳性能。其次,DerainDrop在雨滴(S)集上表现最佳,特别是在PSNR和SSIM方面明显超过其他方法,表明其特定的结构确实适用于这个问题。与退化图像相比,其他雨滴去除模型似乎甚至会损害PSNR,SSIM和BLINDS-II。优胜者的有效性可以归因于雨水检测和去除的两步策略。我们注意到,DDN在训练阶段关注高频细节,而JORDER首先检测雨滴的位置,然后根据估计的雨滴区域去除雨滴。巧合的是,DeRaindrop也使用一种注意力生成网络首先生成雨滴掩模,然后利用这些掩模去除雨滴图像。因此,去除背景干扰并专注于雨滴区域似乎是优胜者的主要原因。然后,我们使用三个无参考指标(NIQE,SSEQ和BLIINDS-II)在真实世界图像上展示去雨后的结果。雨滴(R)和雨滴(R)集显示出与合成情况一致的结果:JORDER和DDN在前者上排名前两位,而De-rainDrop仍然在雨滴集上占主导地位。然而,在雨和雾(R)集上观察到了一些不同的趋势:CGAN成为这些真实图像上的主要优胜者,在DDN和JORDER上表现出较大的差距。正如我们观察到的,由于CGAN最不受物理先验或雨水类型假设的限制,它对于重新训练以适应不同数据具有最大的灵活性。由于对抗性损失,其结果也最接近真实照片。此外,该结果还可能暗示了更大的领域差距DegradedGMM [27]JORDER [32]DDN [6]CGAN [33]DID-MDN [8]DeRaindrop [7]PSNR25.9526.8826.2629.3921.8626.80/SSIM0.75650.76740.80890.78540.62770.8028/SSEQ70.2467.4673.7075.9570.0260.05/NIQE5.45294.42484.23373.98344.61894.8122/BLINDS-II78.8975.9584.2191.7179.2967.90/PSNR25.4024.8527.5225.2321.3524.7631.57SSIM0.84030.78080.82390.83660.73060.79300.9023SSEQ78.4864.7384.3277.6263.1558.4272.42NIQE3.81265.10984.32784.14623.35514.11925.0047BLINDS-II92.5075.9588.0591.9573.8564.7096.45PSNR26.8429.3730.3732.9822.4428.77/SSIM0.85200.89600.92620.93500.76360.8430/SSEQ72.3765.3970.5569.8068.7165.33/NIQE3.45483.21172.85952.99702.83363.0871/BLINDS-II82.9574.9083.7585.7580.2076.35/DegradedGMM [27]JORDER [32]DDN [6]CGAN [33]DID-MDN [8]DeRaindrop [7]SSEQ65.7761.6364.0063.5159.3255.11/NIQE3.52363.21173.53713.58113.53745.1255/BLINDS-II78.0475.5482.6285.8178.4266.65/SSEQ78.2364.7769.2667.6262.1860.6579.83NIQE3.82294.38013.65793.82904.46924.56313.5953BLINDS-II84.4671.2180.0477.7566.2966.6387.13SSEQ73.8659.5165.1864.5670.0463.85/NIQE3.26024.48083.32383.72612.95323.2260/BLINDS-II84.0062.7078.6281.6784.9176.08/38430表3. 合成雨天图像的平均全参考和无参考评估结果。我们使用粗体和下划线分别表示最佳和次优的性能。0雨滴0雨滴0雨和雾0表4. 在真实雨天图像上去雨结果的平均无参考评估结果。我们使用粗体和下划线分别表示最佳和次优的性能,除了退化输入之外。0雨纹0雨滴0雨和雾0合成和真实雨和雾数据之间的差异。04.2. 主观比较0接下来,我们进行了人类主观调查,评估图像去雨算法的性能。我们采用标准设置,使用Bradley-Terry模型[49]估计每种方法的主观评分,以便对它们进行排名,与之前类似的工作[15]完全相同的程序。我们从雨纹(R)中选择10张图像,从雨滴(R)中选择6张图像,从雨和雾(R)中选择11张图像,尽一切可能确保它们具有非常多样化的内容和质量。每个雨纹或雨和雾图像都经过五种去雨算法(除了DerainDrop)的处理,将五种去雨结果与原始雨天图像一起进行成对比较,构建获胜矩阵。对于雨滴图像,除了会被所有六种方法处理之外,程序是相同的。我们从11名人类评分者那里收集了人类主观研究的成对比较结果。尽管评分者数量相对较少,但我们观察到有很好的一致性和较小的人际差异。0在相同对比结果中,评分可信度较高,评分者之间的差异较小。0主观评分报告在表5中。请注意,我们没有对评分进行归一化处理:因此,在这里,评分的排名而不是绝对评分值更有意义。在雨纹图像上,大多数人类观察者似乎更喜欢CGAN,然后是DDN。如图2的第一行所示,CGAN生成的去雨结果比其他方法更平滑。在雨滴图像上,令人惊讶的是,用户不喜欢DerainDrop;相反,非基于CNN的GMM方法在用户中非常受欢迎,尽管在先前的客观指标下没有优势。我们推测,基于补丁的高斯混合先验可以将雨纹和雨滴都视为“异常值”并去除,对训练/测试数据域差异不太敏感。最后,在雨和雾图像上,DID-MDN获得最高分,其次是CGAN。这主要归因于融合了雨密度子网络或GAN,可以提供更多的场景上下文信息,从而改善对复杂雨天条件的泛化能力。Perhaps surprisingly at the first glance, we find that al-most all existing deraining algorithms will deterioratethe detection performance compared to directly usingthe rainy images4, for YOLO-V3, SSD-512, and Reti-naNet. Our observation concurs the conclusion of anotherrecent study (on dehazing) [51]: since those deraining algo-rithms were not trained/optimized towards the end goal ofobject detection, they are unnecessary to help this goal, andthe deraining process itself might have lost discriminative,semantically meaningful true information.38440表5. 10张真实图像上去雨结果的平均主观评分。0雨天GMM [27] JORDER [32] DDN [6] CGAN [33] DID-MDN [8] DeRaindrop [7]0雨条纹 0.64 0.80 0.91 1.15 1.26 0.97 –0雨滴 0.80 1.14 0.75 0.83 0.85 0.95 0.800雨和雾 0.44 1.00 0.70 0.90 1.22 1.40 –0表6. RID和RIS数据集上的检测结果(mAP)。每个类别的详细结果可以在补充材料中找到。0Rainy JORDER [32] DDN [6] CGAN [33] DID-MDN [8] DeRaindrop [7]0RID0FRCNN [44] 16.52 16.97 18.36 23.42 16.11 15.580YOLO-V3 [45] 27.84 26.72 26.20 23.75 24.62 24.960SSD-512 [46] 17.71 17.06 16.93 16.71 16.70 16.690RetinaNet [47] 23.92 21.71 21.60 19.28 20.08 19.730RIS0FRCNN [44] 22.68 21.41 20.76 18.02 18.93 19.970YOLO-V3 [45] 23.27 20.45 21.80 18.71 21.50 20.430SSD-512 [46] 8.19 7.94 8.29 7.10 8.21 8.130RetinaNet [47] 12.81 10.71 10.39 9.36 10.33 10.850虽然我们正在招募更多的人工评分员来进一步巩固我们的主观评分结果,但我们的结果目前似乎是一致的,这可能意味着现成的无参考感知度量(SSEQ、NIQE、BLINDS-II)与真实人类感知质量的去雨结果不太一致。事实上,最近的研究[50]已经发现了类似的不一致性,当将标准的无参考度量应用于估计去雾感知质量时,并提出了雾特定的度量方法。目前还没有找到类似的去雨研究,我们期望这个有价值的努力在不久的将来会出现。04.3.任务驱动的比较0我们首先应用除GMM之外的所有去雨算法,对两个任务驱动的测试集进行预处理。由于它们具有不同的雨特征,对于RID数据集,我们使用在雨和雾情况下训练的去雨算法;对于RIS数据集,我们使用在雨滴情况下训练的去雨算法。我们对去雨结果进行了目视检查,并发现应用所选的去雨算法后,雨的视觉衰减。我们在补充材料中展示了RID和RIS数据集上的一些去雨结果。然后,我们使用几种最先进的目标检测模型(Faster R-CNN (FRCNN) [44]、YOLO-V3[45]、SSD-512 [46]和RetinaNet[47])研究了去雨集上的目标检测性能。最后,我们通过平均精度(mAP)结果比较了所有的去雨算法的性能。重要的是要注意,我们的主要目标不是在雨天优化检测性能,而是从补充的角度使用强大的检测模型作为固定的公平度量来比较去雨性能。这样,目标检测器不应该适应雨天或去雨图像,并且我们使用所有作者在MSCOCO上预训练的模型。基本假设是:i)一个在干净的自然图像上训练的目标检测器在输入也来自干净图像领域或接近干净图像领域时表现最好;ii)对于雨中的检测,雨被去除得越好,一个在干净图像上训练的目标检测模型的性能就会越好。这种任务特定的评估理念遵循[34,15]。03我们没有包括GMM在这两个数据集中,因为(1)当我们尝试将其应用于这两个数据集的时候,它没有产生有希望的结果;(2)它运行非常慢,考虑到我们有两个大数据集。0也许乍一看令人惊讶的是,我们发现几乎所有现有的去雨算法与直接使用雨天图像相比,都会降低YOLO-V3、SSD-512和RetinaNet的检测性能。我们的观察与另一项最近的研究(关于去雾)的结论相一致[51]:由于这些去雨算法没有针对目标检测的最终目标进行训练/优化,它们对于帮助这个目标是不必要的,而且去雨过程本身可能已经丢失了有区别性、语义有意义的真实信息。0表6报告了使用四种不同的检测模型在RID和RIS数据集上使用不同去雨算法实现的mAP结果比较。我们发现从这两个数据集中可以得出相当一致的结论。0表6中RID和RIS数据集上的结果都表明,YOLO-V3实现了最佳的检测性能,不受应用的去雨算法的影响。图3显示了使用YOLO-V3在相应的雨天图像上进行检测以及这些比较中考虑的所有去雨算法的去雨结果。由于RID和RIS都有许多小物体,因为它们与相机的相对距离较远,我们认为YOLO-V3从其新的多尺度预测结构中受益,该结构已被证明可以显著改善小物体的检测效果[ 45]。我们还注意到去雨图像的无参考评估结果与mAP结果之间存在相当弱的相关性:更多细节请参见补充材料。04唯一的例外是RID数据集上的FRCNN。然而,它的整体mAP结果是最差的,与其他三种方法相比。这意味着存在强烈的领域不匹配,暗示FRCNN的结果可能不像其他三种方法那样可靠,作为RID去雨性能的指标。38450(a) 雨天输入 (b) GMM [ 27 ] (c)JORDER [ 32 ] (d) DDN [ 6 ] (e) CGAN [ 33 ] (f) DID-MDN [ 8 ] (g) DeRaindrop [ 7 ] 图2.实际图像的去雨结果示例:雨纹(第一行),雨滴(第二行)和雨和雾(第三行)。0(a) 雨天输入 (b) JORDER [ 32 ] (c) DDN [ 6 ] (d) CGAN [ 33 ] (e) DID-MDN [ 8 ] (f) DeRaindrop [ 7 ] (g) 真实结果 图3.在RID数据集的两个图像(前两行)和RIS数据集的两个示例(后两行)上应用不同去雨算法后的目标检测结果可视化。05. 结论和未来工作0本文提出了一个新的大规模基准,并对最先进的单幅图像去雨方法进行了全面调查。根据我们的评估和分析,我们提出了以下总体评价和假设,希望能为未来的去雨研究提供一些启示:0•雨的类型多样,需要专门的模型。某些模型或组件在特定的雨类型中表现出良好的性能,例如雨的检测/注意力、GAN和基于补丁级别的GMM等。我们还提倡合适的先验知识和数据驱动方法的结合。0•没有一种适用于所有雨类型的最佳去雨算法。为了处理复杂多变的雨,可能需要考虑专家混合模型。另一个实用的方向是开发场景特定的去雨算法,例如用于交通视图的算法。0•在所有指标下,没有一种最佳的去雨算法。在设计去雨算法时,需要明确其最终目的。此外,0经典的感知度量本身可能不适合评估去雨算法。开发新的度量标准可能与开发新算法一样重要。•在合成配对数据上训练的算法可能在真实数据上泛化能力较差,特别是在复杂的雨类型(如雨和雾)上。对所有真实数据进行非配对训练[ 52]可能是一个有趣的研究方向。•目前没有任何一种去雨方法似乎直接有助于目标检测。这可能鼓励学术界开发新的鲁棒算法,以解决现实世界中雨天图像的高级视觉问题。另一方面,实现在雨中的鲁棒检测目标并不一定要采用去雨预处理;还有其他领域适应类型的选择,例如[ 53 ],我们将在未来的工作中讨论。0致谢。本工作得到中国国家自然科学基金(No. 61802403,U1605252U1736219)、北京市自然科学基金(No.L182057)和CCF-DiDi GAIA(YF20180101)的部分支持。Z.Wang的工作得到美国国家科学基金会的资助(Grant1755701)。[1] Shao-Hua Sun, Shang-Pu Fan, and Yu-Chiang Frank Wang.Exploiting image structural similarity for single image rainremoval. In IEEE International Conference on Image Pro-cessing, pages 4482–4486, 2014. 1, 338460参考文献0[2] Li-Wei Kang, Chia-Wen Lin, and Yu-Hsiang Fu.基于图像分解的自动单幅图像雨滴去除。《IEEE图像处理期刊》,21(4):1742, 2012. 1, 30[3] Yi-Lei Chen and Chiou-Ting Hsu.一种用于时空相关雨滴条纹的广义低秩外观模型。在2013年IEEE国际计算机视觉会议上,页码1968–1975。1, 30[4] Xiaopeng Zhang, Hao Li, Yingyi Qi, Wee Kheng Leow, andTeck Khim Ng.结合时间和色彩特性在视频中去除雨水。在2006年IEEE多媒体与博览会上。1, 30[5] J´er´emie Bossu, Nicolas Hauti`ere, and Jean-PhilippeTarel.通过使用条纹方向直方图检测图像序列中的雨雪。《国际计算机视觉期刊》,93(3):348–367, 2011. 1, 30[6] Xueyang Fu, Jiabin Huang, Delu Zeng, Yue Huang,Xinghao Ding, and John Paisley.通过深度细节网络从单幅图像中去除雨水。在2017年IEEE计算机视觉和模式识别会议上。1, 3, 5, 6, 7, 80[7] Rui Qian, Robby T Tan, Wenhan Yang, Jiajun Su, and Jiay-ing Liu.一种用于单幅图像去除雨滴的注意力生成对抗网络。在2018年CVPR上。1, 3, 4, 5, 6, 7, 80[8] He Zhang and Vishal M Patel.利用多流密集网络进行密度感知的单幅图像去雨。在2018年IEEE计算机视觉和模式识别会议上。1, 3, 5, 6, 7, 80[9] Sudipta Mukhopadhyay and Abhishek Kumar Tripathi.对抗恶劣天气的方法之一:从视频中去除雨水。《图像、视频和多媒体处理综合讲座》,7(2):1–93, 2014. 10[10] Kshitiz Garg and Shree K Nayar.相机何时能看到雨?在2005年IEEE国际计算机视觉会议上。1, 30[11] Shaodi You, Robby T Tan, Rei Kawakami, YasuhiroMukaigawa, and Katsushi Ikeuchi.视频中附着雨滴的建模、检测和去除。《IEEE模式分析与机器智能交易》,38(9):1721–1733, 2016. 1, 30[12] Zheng Zhang, Wu Liu, Huadong Ma, and Xinchen Liu.利用暗通道引导网络去除雾天中的雨水。10[13] Earl J McCartney.大气光学:分子和颗粒的散射。纽约,约翰∙威利和儿子公司,1976年。421页,1976年。20[14] Wei-Sheng Lai, Jia-Bin Huang, Zhe Hu, Narendra Ahuja,and Ming-Hsuan Yang.单幅图像盲去模糊的比较研究。在IEEE计算机视觉和模式识别会议上,页码1701–1709。20[15] Boyi Li, Wenqi Ren, Dengpan Fu, Dacheng Tao, Dan Feng,Wenjun Zeng, and Zhangyang Wang.单幅图像去雾及其他相关任务的基
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- Simulink在电机控制仿真中的应用
- 电子警察:功能、结构与抓拍原理详解
- TESSY 4.1 英文用户手册:Razorcat Development GmbH
- 5V12V直流稳压电源设计及其实现
- 江西建工四建来宾市消防支队高支模施工方案
- 三维建模教程:创建足球模型
- 宏福苑南二区公寓楼施工组织设计
- 福建外运集团信息化建设技术方案:网络与业务平台设计
- 打造理想工作环境:详尽的6S推行指南
- 阿里巴巴数据中台建设与实践
- 欧姆龙CP1H PLC操作手册:SYSMACCP系列详解
- 中国移动统一DPI设备技术规范:LTE数据合成服务器关键功能详解
- 高校竞赛信息管理系统:软件设计与体系详解
- 面向对象设计:准则、启发规则与系统分解
- 程序设计基础与算法解析
- 算法与程序设计基础概览
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)