基于高质量降雨数据集的图像去噪

12270∼基于高质量降雨数据集的空间关注单图像去噪王田宇1，2杨欣1，2徐克1，2陈少哲1张强1林森. Lau2†1大连理工大学2香港城市大学摘要从单个图像中去除雨条纹已经引起了相当大的关注，因为雨条纹会严重降低图像质量并影响室外视觉任务的性能虽然最近CNN的去噪器报告了有希望的性能，但去噪仍然是一个悬而未决的问题，原因有两个。首先，现有的合成雨数据集只有有限的现实主义，在模拟真实的雨的特征，如雨的形状，方向和强度。第二，没有公开的基准对真实的降雨图像进行定量比较，这使得目前的评估不太客观。核心挑战是真实世界的雨/干净图像对不能同时捕获本文从两个方面研究了单幅图像的雨水去除问题首先，我们提出了一个半自动的方法，incorpo-率时间先验和人类的监督，从每个输入序列的真实雨图像生成一个高质量的干净的图像 使用这种方法，我们构建了一个大规模的数据集29。5K雨/无雨图像对，覆盖广泛的自然雨场景。其次，为了更好地覆盖真实雨条纹的随机分布，我们提出了一种新的空间注意网络（SPANet），以消除雨条纹在本地到全球的方式。大量的实验表明，我们的网络表现良好，对国家的最先进的dereraining方法。1. 介绍在各种降雨条件下拍摄的图像通常显示低能见度，这可能会显著影响某些户外视觉任务的性能，例如，行人检测[30]、视觉跟踪[37]或路标识别[48]。因此，从输入的雨图像中去除雨条纹是一个重要的研究问题。 在本文中，我们专注于单图像雨去除问题。在过去的十年里，我们目睹了雨水去除研究不断进展，提出了许多方法[20，29，26，5，47，9]，通过仔细的建模*联合第一作者。[2]Rynson Lau是通讯作者，他领导了这个项目。(a) 雨图像（b）干净图像（c）SPAN(d)[11]（e）DID-MDN [42]（f）RESCAN [25]图1. 我们以两种方式解决单图像雨去除问题。首先，我们从每个真实雨图像序列中生成高质量的雨/ 干净图像对（（a）和（b）），以形成数据集。其次，我们提出了一种新的SPAN，以充分利用所提出的数据集。（c）至（f）比较SPAN和最先进的脱轨器的目视结果。雨纹的物理特征得益于大规模训练数据，最近的基于深度学习的去噪器[10，11，40，42，25，45，15]实现了更有希望的性能。尽管如此，单图像雨去除问题仍然以两种方式开放，如下所述。缺乏真实的训练数据。 由于真实的雨/干净图像对不可用，现有的去噪器通常依赖于合成数据集来训练它们的模型。他们通常从一个干净的图像开始，然后在上面添加合成的雨，形成雨/干净的图像对。虽然已经做了一些工作来研究雨的物理特性，例如，雨方向[40]和雨密度[42]，他们的数据集仍然缺乏模拟大范围真实世界雨条纹的能力例如，通常很难将降雨密度分为三个级别（即，[42][43][44][45][46][47][48][49][4 为 了 模 拟 全 球 降 雨 效果，一些方法采用Adobe Photoshop的非线性“屏幕混合模式”，或者在合成的雨图像上添加雾。然而，这些全局设置只能在某些类型的雨中使用，或者背景可能会变暗，细节会丢失。12271∼缺乏真正的基准。目前，研究者主要依靠对实际雨图像的目视比较来定性地评价降水的相对湿度。 Fan等人[45]还可以使用对象检测任务来帮助评估脱轨性能。然而，对各种脱轨方法进行定量评价，仍然需要一个高质量的真实脱轨基准.在本文中，我们以两种方式解决单图像雨水去除问题，如图1所示。首先，我们基于两个观察来解决缺乏真实训练/评估数据集的问题：（1）由于随机雨滴以高速落下，它们不太可能一直覆盖同一个像素[13，44]，以及（2）被雨覆盖的像素的强度在一系列图像中波动高于真实背景辐射这两个观察结果意味着我们可以从一系列雨图像中生成一个干净的图像，其中干净图像的各个像素可能来自序列的不同图像因此，我们提出了一个半自动的方法，结合雨的时间属性以及人类的监督，构建一个大规模的真实降雨数据集。我们表明，它可以显着提高国家的最先进的de-rainers对现实世界的雨图像的性能其次，我们观察到真实的雨纹可以表现出高度多样化的外观属性（例如，雨的形状和方向），这对现有的脱轨器提出了挑战，因为它们缺乏准确识别真实雨带的能力为 了 解 决 这 个 问 题 ， 我 们 利 用 了一 个 空 间 注 意 网 络（SPAN），它首先利用水平/垂直邻域信息来模拟雨纹的物理特性，然后通过进一步考虑非局部上下文信息来去除它们。 通过这种方式，可以以两阶段局部到全局的方式学习用于雨条纹去除的判别特征。 广泛的评估表明，所提出的网络表现良好的国家的最先进的deraners。总之，这项工作有以下贡献：1. 我们提出了一种半自动的方法，结合雨条纹的时间特性和人类的监督视觉，从一系列真实的雨图像生成一个高质量的干净的图像。2. 我们构建了一个大规模的数据集29。5K高分辨率的雨/干净图像对，它涵盖了广泛的自然雨场景。 我们表明，它可以显 着 提 高 性 能 的 国 家 的 最 先 进 的derainers对真正的雨图像。3. 我们设计了一个新的SPAN，有效地学习区分deraining功能在本地到全球的注意的方式。与最先进的脱轨器相比，SPAN实现了卓越的性能。2. 相关作品单图像雨去除。这个问题是非常具有挑战性的，因为不适定的deraining公式为：B=O−R，（1）其中，O、R和B分别是输入雨图像、雨条纹图像和输出降维图像Kang等人 [20]建议首先将雨图像分解为高频/低频层，并通过字典学习去除高频层中的雨条纹。 Kim等人 [21]建议使用非局部均值滤波器来滤除雨带。Luo等人[29]提出了一种基于稀疏编码的方法来将雨条纹与背景分离。Li等[26]建议使用高斯混合模型分别对雨条纹和背景进行建模，以去除雨水 Chang等[5]建议首先将雨图像转换为雨条纹具有垂直外观的空间，然后利用低秩属性来去除雨条纹。Zhu等 [47]利用雨带方向首先确定雨带主导区域，该区域用于指导基于雨带主导斑块统计将雨带与背景细节分离的过程。在[11，10]中，深度学习被应用于单个图像去训练，并实现了显着的性能提升。 他们以端到端的方式将雨纹建模为网络输入/输出之间的“残差”。Yang等 [40]建议将雨带层分解为一系列表示不同方向和形状的雨带的子层，并使用递归网络联合检测和去除雨带。在[43]中，Zhanget al. 建议通过条件GAN去除雨条纹并恢复背景。最近，Zhang和Patel [42]提出将降雨密度分类以指导降雨去除步骤。Li等 [25]提出了一个带有挤压和激励块的循环网络[17]，以在多个阶段消除雨纹。 然而，基于CNN的去卷积器在真实雨图像上的性能在很大程度上受到仅在合成数据集上训练的限制。这些derainers也缺乏能力，在倾向于雨的空间分布。 在本文中，我们建议利用真实的训练数据以及空间注意机制来解决单个图像去重问题。多图像雨去除。 与单图像去雨不同，丰富的时间信息可以从一系列图像中获得，以提供除雨的附加约束。开创性的工作[12，13]提出应用光度特性来检测雨条纹，并通过对时间或空间相邻像素的红外辐射进行平均来估计相应的背景强度。 随后，[44，28，36]探索了雨条纹的更多内在属性，例如色彩属性。最近作品[4，8，6，21，19，35，39，24，27]专注于从具有移动对象的背景中去除雨条纹。12272--M−1LNILLpLLp=0R=100%！{1|0<φ}，Chen等人 [7]进一步提出了一种时空内容对齐算法来处理快速相机运动和动态场景内容，以及一种CNN来重建高频背景细节。然而，这些方法不能应用于我们生成高质量无雨图像的目的这是因为如果他们的假设（例如，低秩[8，39，24]）被违反，则整个序列可能发生过度/不足，并进一步掩盖真实的背景辐射，即，在该序列中可能不存在干净的背景像素。因此，在本文中，我们建议使用雨图像的原始序列来生成一个干净的图像，并依赖于人的判断所生成的无雨图像的质量。从真实噪声图像生成地面实况。 获得无噪声/无噪声图像对的一个典型策略[ 2，33 ]是，对于噪声图像，使用高ISO值和短曝光时间拍摄场景，对于无噪声图像，使用低ISO值和长曝光时间拍摄场景。然而，这种策略在这里不能用于捕获无雨图像。 当雨滴以高速落下时，增加曝光时间将扩大雨纹，而不是消除它们。 获得地面真实无噪声图像的另一种方法是多帧融合[46，32，1]，其对预对准的图像序列执行加权平均。一个人指示（或预测）在N个帧上特定像素何时被雨覆盖以及何时不被雨覆盖 我们观察到两种现象。首先，雨条纹并不总是覆盖相同的像素（视频去同步的时间属性[44]）。其次，人类通常基于像素强度来预测像素是否被雨覆盖。如果像素的强度在特定帧处比其他帧低，则人类将预测它没有被雨覆盖 这是因为雨条纹往往会使背景变亮。 这两个观察结果意味着，给定N个连续雨图像的序列，我们可以基于这些人类预测的无雨像素值来近似像素1处的真实背景辐射率B1（即， 图2（b）中直方图的蓝色区域）。 如果我们假设环境光在该时间跨度期间是恒定的，则我们可以使用最频繁出现的值（即，统计中的模式）来近似背景辐射。 背景近似值。参考图3，给定来自序列1的位置1处的像素值集合O1，对于N个雨图像，我们首先计算O1的模式为：Φ1=Φ（01），（2）其中Φ是模式操作。然而，由于Eq。2在计算φ时没有考虑邻域信息，在密集雨环境下得到的图像往往有噪声用固定的摄影机拍摄静态场景的图像-lminMax婷然而，由于雨条纹具有比随机噪声更亮的外观和更大的形状，因此这种方法不能准确地从雨像素中去除雨与此相反，我们建议根据雨覆盖像素的强度值波动高于其真实背景强度的观测结果来细化雨像素。条纹因此，我们基于它们的强度值将计算的φ 1在O 1中的百分位数范围（R1，R1）NminlNill i=1NRmax=100%！{1|o>φ}。（三）像素(a) 雨图像序列（b）图像序列中像素图2.我们跟踪图像中一个像素的强度，（a）中的序列我们要求用户识别每个帧中的这个像素是雨（红色）还是不雨（蓝色）。在（b）中示出了该像素在所有帧上的强度分布。结果表明，与有雨覆盖的像元相比，无雨覆盖的像元强度波动范围较小我 们 首 先 进 行 了 一 个 实 验 ， 研 究 如 何 从 像素值Ol=o1l，...，〇来自N个雨图像的序列的空间位置l处的Nl我们在静态背景上捕获一个雨景的视频，如图2所示，然后问图3（c）显示了一个例子。 我们可以确定一个合适的百分位数p_i，使其穿过最高数量的百分位数范围（图3（c）中的红色虚线），而不是使用多边形线来连接所有空间位置处的模态值φ l。以这种方式，通过如下计算来全局平滑估计的背景图像：p=argmax（{！{1|Rmin

下载后可阅读完整内容，剩余1页未读，立即下载