自引导网络：一种快速图像去噪方法

1一种快速图像去噪的自导引网络顾书航1，李亚伟1，Luc Van Gool1，2，Radu Zufte11计算机视觉实验室，苏黎世联邦理工学院，瑞士，2KU鲁汶，比利时{yawei.li，shuhang.gu，vangool，radu.timofte}@ vision.ee.ethz.ch摘要在过去的几年中，使用高度复杂的神经网络在图像恢复任务中取得了巨大的进步。尽管它们具有良好的恢复性能，但沉重的计算负担阻碍了这些网络在受限设备上的部署，例如。智能手机和消费电子产品。为了 解 决 这 个 问 题 ， 我 们 提 出 了 一 个 自 引 导 网 络（SGN），它采用自顶向下的自指导架构，以更好地开发图像的多尺度信息。SGN直接gener- ates多分辨率输入与洗牌操作。在低分辨率下提取的大规模上下文信息逐渐传播到更高分辨率的子网络中，以指导这些尺度上的特征提取过程。这种自指导策略使SGN能够有效地结合多尺度信息，并提取良好的局部特征来恢复噪声图像。我们通过大量的实验验证了SGN的有效性实验结果表明，SGN在不牺牲PSNR精度的情况下，大大提高了内存和运行时间效率。1. 介绍图像去噪是信号处理和计算机视觉领域的基本问题之一。给定噪声观测y=x+v，图像去噪旨在去除噪声v并估计潜在的干净图像X.随着各种消费类相机的广泛使用，对高精度和高效的图像去噪算法的需求变得比以往任何时候都更强烈。在过去的几年里，深度神经网络在图像去噪方面非常成功[10，1]。通过堆叠卷积，批量归一化[16]，ReLU层和采用残差学习的思想，Zhang等人。[45]提出了DnCNN方法，其实现了比传统的最先进方法高得多的PSNR指数[7，11]。DnCNN取得的巨大成功激发了多个后续作品。 为追求 为了获得高精度的去噪结果，已经提出了一些复杂的网络[25，38]虽然这些网-图1.通过提出的SGN（L3g3m2）1和最先进的方法DnCNN[45]，U-Net [33]，RED [25]和Mem- Net [38]比较PSNR，运行时间和峰值GPU内存消耗。运行时在TITAN Xp GPU上进行评估。虽然这些算法可以在基准数据集上获得非常有竞争力的去噪性能，但是它们繁重的计算和存储器占用阻碍了它们在硬件受限的设备（例如智能电话或消费电子产品）上的应用。在图1中，我们比较了基准数据集Set68[26]上不同去噪算法的平均运行时间、峰值GPU内存消耗以及去噪性能。从图中可以看出，最先进的MemNet [38]处理480×320图像需要150ms以上，这显然不能满足当前实时系统的要求。在 本 文 中 ， 我 们 提 出 了 一 个 自 引 导 神 经 网 络（SGN），以寻求更好的去噪性能和计算资源消耗之间的权衡。在图2中，我们呈现了具有3个洗牌级别的SGN。为了更好地捕捉输入图像和目标图像之间的关系，我们采用自顶向下的指导策略来设计SGN的网络结构。具体地说，我们采用洗牌操作，以产生多分辨率的输入。由于具有多分辨率输入变化，SGN首先处理比原始输入im小8倍的顶部分支1在实验部分中提供了关于所提出的SGN与其他超参数25112512舒娥Concatenate输入或shu输入输出舒娥舒娥图2.自引导网络（SGN）。SGN直接将混洗后的图像作为多分辨率输入，并采用自顶向下的自指导策略来更好地利用上下文信息。SGN的更多细节可以在Sec. 3 .第三章。年龄以如此低的空间分辨率进行卷积因此，仅使用几个卷积层，顶部子网络就能够概述图像内容。然后，上下文信息被传播到更高分辨率的子网络，以引导在更高分辨率分支处的特征提取过程。注意，我们尽可能早地将包含大规模信息的低分辨率子网络的特征引入高分辨率分支。我们的实验表明，在早期阶段对图像结构有一个宏观的理解有助于高分辨率子网络更好地提取局部特征，从而获得更好的去噪结果。利用多尺度上下文信息来处理密集估计任务的想法已经在以前的一些工作中进行了研究[33，47，5，48]。但是所提出的SGN在以下两个方面与以前的方法有显著不同：自上而下的自引导架构和混洗的多尺度输入。1)自上而下的自我指导：SGN不是在中间层[33]中逐渐生成多尺度特征图，而是生成输入变化并直接作用于多分辨率输入。此外，SGN首先在低分辨率分支中提取特征，并将上下文信息传播到高分辨率分支中。2)混洗多尺度输入：SGN通过混洗操作生成多分辨率输入，以避免下采样/池化操作引入的信息丢失。在一些先前的图像恢复工作[46，34，37]中已经采用混洗操作来改变图像/特征图的空间分辨率。然而，据我们所知，我们是第一个通过混洗而不是下采样操作直接生成多尺度输入的人。详细的消融研究证实了上述策略的优势。我们的主要贡献总结如下：• 提出了一种快速高效的网络SGN来处理图像去噪问题。通过采用自顶向下的自引导架构，SGN在去噪性能、速度和内存效率方面优于当前算法。• 我们提供了详细的消融研究，分析和验证所提出的自我指导策略的优势。• 定量和定性的合成和真实数据集上的实验结果已经提供了比较-帕尔SGN与国家的最先进的算法。2. 相关工作在本节中，我们回顾了与我们的研究相关的工作。首先，我们回顾了一些基于DNN的去噪算法和引导图像增强算法。然后，我们讨论了一些以前的工作扩大的感受野和纳入多尺度信息。2.1. 深度神经网络图像去噪图像去噪作为最经典的图像处理问题之一，已被广泛研究多年[10]。将卷积神经网络（CNN）应用于图像去噪的最早尝试之一是[17]，其中Jain和Seung声称CNN具有与马尔可夫随机场模型相似最近，Xieet al.[42]堆叠稀疏去噪自动编码器，并实现了与K-SVD [3]算法相当的去噪性能。Schlemen等人[36]训练多层感知器（MLP）用于图像去噪。MLP方法是第一个实现与基线BM3D [7]方法相当的去噪性能的网络。在MLP之后，Schmidt等人[35] Chenet al. [6]展开了基于优化的去噪模型设计去噪网络的推理过程。Zhang等人[45]堆叠卷积、批归一化[16]和ReLU [27]层，以估计噪声输入和相应的干净图像之间的残差受DnCNN成功的启发，Maoet al.[25日]/2Shu X2/2Shu X2Shu X2/2......CONVShu Jiang/2Shu X2ReLUCONVConv+ReLUConv+ReLUConv2513提出了一种非常深的残差编解码（RED）框架来解决图像恢复问题，其中引入了跳过连接来训练非常深的Tai等人[38]提出了一种用于图像去噪的非常深的持久记忆网络（MemNet）。在不同的感受野下，采用递归单元和门单元来学习多层次表征.此外，Liuet al.[22]将非局部操作纳入递归神经网络（RNN），并提出了用于图像恢复的非局部递归网络（NLRN）。Liu等[23]修改了U-Net [33]架构，并提出了一种多级小波CNN（MWCNN）模型，以结合大的感受野进行图像去噪。NLRN [22]和MWCNN方法[23]提高了DnCNN [45]的去噪性能，但对计算资源也有更高的要求2.2. 引导图像恢复利用指导信息提高图像恢复性能的想法已经在许多以前的双边滤波器[39]，引导滤波器[14]及其变体[19，29]利用外部图像来调整局部滤波器参数。他们在广泛的低水平视觉任务上取得了非常好的表现，包括闪光和无闪光摄影[32]，图像拼接[14]，深度上采样[29]等。通过将深度图和RGB图像两者结合到联合目标函数中，引导深度超分辨率方法[8，9，13]实现了比普通深度超分辨率方法更好的性能。在过去的几年中，引导信息也被引入到基于DNN的模型中，以追求更好的图像恢复性能。 在[21，15，12]中，已经利用从对齐的RGB图像中提取的特征来引导深度图的超分辨率。在[20]中，已经利用高质量面部图像来指导来自同一人的低质量面部图像的增强。最近，Wanget al.[41]提出了利用语义分割图来指导输入图像的超分辨率。通过在超分辨率网络的早期阶段引入高级语义信息，[41]在超分辨率结果中生成更逼真的纹理上述方法的成功表明，适当的引导信息有利于图像恢复。在本文中，而不是将外部信息，SGN采用自我指导策略。通过洗牌操作产生多分辨率输入，在低分辨率分支提取大尺度信息，以指导细尺度的恢复过程。2.3. 感受野封闭大的感受野对CNN的学习能力至关重要。与分类和检测等高级问题相比，它可以获得大的感受野通 过 利 用 池 化 （ pooling ） 或 跨 步 卷 积（stridedconvolution）连续地对特征图进行下采样，密集估计任务需要预测图像中每个像素的标记。因此，如何在全分辨率输出上结合来自大感受野的上下文信息是一个具有挑战性的问题。在这一小节中，我们提出了一些相关的工作，提出密集估计任务的感受野扩大。一种方法利用扩张卷积[43]来增加DNN的感受野。在Yu等人的开创性工作之后。[43]，大量最近提出的语义分割工作[48，40]已经采用扩张卷积来合并来自大的周围区域的信息。在图像处理领域，Chenet al. [5]提出了一种上下文聚合网络（CAN）来整合多尺度上下文信息。另一类方法通过对网络中间的特征图进行下采样和上采样来并入上下文信息在[31，44]中采用了编码器-解码器结构，用于合并图像全局信息。U形网络[33，23，28]方法使用连续池化方法来逐渐降低特征图的空间分辨率，并使用上卷积运算将特征图恢复到原始分辨率。我们的工作有一个相似的思想，即在低分辨率下提取信息，以扩大网络的接收范围。然而，与逐渐降低特征图的空间分辨率的先前作品[33]不同，SGN开始处理直接使用shuf- fling操作生成的最低分辨率分支处我们的烧蚀实验表明，早期的大规模信息被纳入，更好的是可以实现的恢复性能。3. 自引导网络（SGN）在本节中，我们将介绍所提出的SGN的网络结构。我们首先介绍了SGN的总体网络结构。然后，详细介绍了各个子网络的结构，并讨论了超参数的设置.3.1. SGN的总体结构这项工作的核心思想是利用大规模的上下文信息来指导图像恢复过程在更细的尺度。 给定一幅维数为M × N × C的输入图像I 0，SGN首先将I 0混 洗 成 一 系 列 空 间 维 数 为 {M/2k× N/2k×4kC}k=1，.，K. 然后，在层K的顶部子网络f K（·）首先从IK提取特征。由于IK的空间分辨率比原始输入的空间分辨率小2K倍，因此在子网络fK（·）处进行卷积比在全分辨率分支f0（·）处进行卷积快2K倍地增加网络的分辨率场。因此，f K（·）能够有效地提取大规模上下文信息。拥有大规模的信息，我们将其传播到更高的层次2514分辨率分支fK−1（·），以指导该尺度下的特征提取具体而言，将在子网络的开始引入 直通中间子网{fk（）stec}k=1，.，K-1，多尺度的真实信息逐渐移动到全分辨率，并引导底部子网络f0（·）生成最终估计。3.2. 网络体系结构详细信息SGN由三种子网络组成：1）最低空间分辨率的顶部子 网 络 fk （ · ） ， 2 ） 中 间 子 网 络 works{fk（·）}k=1，.，K−1在中间分辨率3）底部子网f 0（·）在全分辨率分支。3.3. 顶层子网顶部子网络在非常低的空间分辨率上工作如图在图2中，顶部子网络包含两个Conv+ReLU层和残差块。由于本文的目标是设计一个快速的去噪算法，我们采用轻量级结构的顶部，中间和底部的子网络。因此，我们不引入许多小的残差块，并且仅使用一个跳过连接来在每个子网络中形成残差块。通过改变残差块中卷积的数量，我们获得了SGN的不同操作点。我们将跳过连接之间的卷积层的数量表示为g。在图2中，蓝色框表示g=3的残差块。混洗操作降低空间分辨率I0，但增加了它的通道。混洗后，I K的通道号-ber是4K倍大于原始输入I0的通道号。我们在顶部子网络中采用更多的特征图，以更好地提取特征。 将全分辨率子网络f〇（·）处的特征图的数量表示为c〇，对于顶部子网络f K（·），我们将特征图的数量设置为cK=2Kc〇。请注意，由于顶部子网络的特征图的空间大小比全分辨率特征图小×4 K，因此在K仍然比在全分辨率下进行要快得多。3.3.1中间子网中间子网络的网络结构类似于顶部子网络的结构。特征图的数量fk（·）被设置为2kc0，并且在中间子网络中使用的残差块也包含g个卷积层。唯一的区别是中间子网络需要合并来自其上层子网络的指导信息。具体来说，我们采用shuffle×2操作来扩大从fk（·）中提取的特征图的空间分辨率，并将它们与第一个在中间子网络中采用额外的卷积层，以将特征映射的数量减少回Ck。请注意，也可以使用其他指导合并方法，例如特征图乘法[13]或复杂的空间特征变换（SFT）块[41]来引入指导信息。但是，由于本文的主要目标是提出SGN架构的整体框架，在这里我们使用一个简单的连接操作，这是最常用的融合特征映射的操作。简单的级联操作也有助于我们在去噪精度和速度之间实现良好的权衡。3.3.2底层子网底层子网络采用与中间子网络相同的制导融合方法。将来自f1（·）的混洗引导特征映射与底层子网络的第一卷积层的输出连接起来，然后，我们采用c。卷积Σ层减少特征将编号从c0+c1/4映射回c0。对于denois-ing任务，因为我们在输入图像和最终估计，我们不使用底部子网络中的任何残差块。在引导块之后，我们使用m个Conv + ReLU层来进一步处理联合特征映射，最终估计是用额外的卷积层生成的。底部子网络总共包含（m+3）个卷积层。3.4. SGN参数SGN具有超参数g、m、c0和K。超参数g控制顶部和中间子网络的深度，m控制底部子网络的深度，c0是特征图编号，K是SGN中的混洗级别的数量在本文中，我们设置网络深度参数g=3，m=2和c=32，以实现性能和效率之间的平衡。顶部、中间和底部子网络分别包含5、6和5个卷积层。层次参数K影响顶层子网络的空间分辨率。对于合成高斯去噪任务，我们设置K=3以将SGN与其他去噪算法进行比较。而对于更具挑战性的噪声原始图像数据集[4]，我们采用K=4以实现更大的感受野。实验结果以及对K的讨论将在4中提供。我们的源代码和SGN使用其他超参数的更多实验结果可以在我们的项目网页2中找到。4. 实验：消融研究在本节中，我们进行实验来验证所提出的SGN网络的有效性。我们首先在-fk−1（·）中的层。随着连接操作的增加ck中的特征图的数量到.Ck+ck+1Σ4、我们2https://github.com/ShuhangGu/SGN ICCV20192515介绍了实验设置，然后验证了自顶向下的自引导结构以及多尺度输入产生的shuff-fling操作的优点。4.1. 实验环境在消融研究部分，我们评估了所提出的方法对灰度图像去噪任务。为了全面评估网络的能力，我们使用DIV2K 数 据 集 [2] 中 提 供 的 800 幅 高 分 辨 率（2040×1550+）训练图像作为训练集，并使用DIV2K的100幅图像验证集作为测试集。为了与以前的去噪算法进行比较，还提供了来自Berkeley分割数据集[26]的常用68幅图像的去噪结果以供参考。我们遵循MemNet[38]中的实验设置，并使用标准差σ为30、50和70的加性高斯白噪声评估去噪方法。所有方法都在相同的噪声样本上进行了评估（使用Matlab随机种子0生成的噪声）。由于在以前的方法中采用了不同的训练数据[45，38，25]，为了公平比较，我们在训练数据集上重新训练了所有竞争方法所有竞争方法以及提出的SGN都是使用Pytorch工具箱实现的[30]。网络使用Adam [18]求解器进行训练，参数β1=0。9 .第九条。 由于SGN具有大的感受野，在每个iter中-在此基础上，我们随机裁剪了8幅大小为256 ×256从训练集。在线数据增强与运行-采用DOM翻转和旋转操作来进一步增加训练数据。我们训练我们的模型表1.不同层数的SGN的去噪结果（PSNR）和计算消耗（峰值GPU内存、运行时间）。噪音水平σ= 50。方法峰值信噪比[dB]GPU [GB]时间[ms]BSD68DIV2KSGNL025.4826.950.06543.1SGNL126.1528.030.07464.6SGNL226.3628.420.08176.2SGNL326.4628.570.09427.5SGNL426.4828.580.13249.14.3. 自引导特征提取正如我们在前面的章节中所讨论的，这项工作的核心思想是利用大规模的上下文信息来指导更精细尺度的图像恢复过程。在这一部分中，我们验证了引导式特征提取的思想我们在K = 1的网络上进行了实验，结果表明，我们越早将上下文信息以精细的尺度结合起来，我们就可以实现更好的去噪性能。我们在图中训练三个网络。3用于图像去噪，其在不同阶段将上下文信息结合到全分辨率。具体地，第一网络是所提出的SGN（g=3，m=4）。它在细尺度分支的开始引入大尺度信息，而其余两个网络在细尺度子网络的中间或末端引入我们将这三种网络分别表示为SGN早、SGN 中、SGN 晚。它们的去噪结果可以在表2中找到。在Set68和DIV2K 100学习率1×10−4，500K次迭代，然后减少学习率为1×10- 5，再进行500 K次迭代。数据集，建议的SGN（SGN早期 ）取得了最好的4.2.多尺度信息我们首先表明，多尺度处理可以显着提高去噪性能。为了显示多尺度信息的有效性，我们用不同层数的SGN去噪效果进行评估。级别为0的SGN（表示为SGNL0）仅使用底部子网。类似地，具有电平K的SGN被表示为SGNLK。SGNL2、SGNL3和SGNL4是普通的SGN网络，而SGNL1直接使用来自上层子网络的信息来指导全分辨率的去噪过程。不同层数的SGN网络的去噪结果如表1所示。同时给出了处理320×480图像的GPU内存消耗和运行时间，以供参考。结果清楚地显示了并入的优点使用多尺度信息进行去噪。去噪结果随着SGN中的层数而改善。此外，通过在小空间分辨率下仅利用6个卷积层，SGNL1将SGNL0在DIV2K上的性能提高了1 dB以上。去噪性能 此外，结果显然表明，我们越早引入上下文信息，我们可以实现更好的性能。表2中的结果证明了我们自上而下的自我指导策略的优势，我们认为这是提出的SGN优于之前的多尺度方法（如U-Net）的主要原因[33]。表2. SGN 早 期 、SGN 中 期 和SGN 晚期的去噪结果（ PSNR[dB]，σ= 50）如图12所示。3 .第三章。数据集SGN早期SGN中间SGN晚期Set6826.1626.1226.06DIV2K28.0828.0227.92图3.一个水平SGN与早期（左），中期（中）和后期（右）的指导。三个网络的去噪结果可以在表2中找到。25164.4.洗牌与下采样为了在早期阶段提取大规模上下文信息，SGN将原始图像混洗并生成其多尺度变化作为输入。在以前的一些语义分割工作中[47]，输入图像的多尺度变化也被直接用作网络的输入。然而，由于语义分割任务不需要推断精细的纹理细节，因此多尺度变化通常通过对原始输入进行下采样来实现。对于图像去噪任务，由于精细细节非常重要，因此我们使用洗牌而不是下采样操作来生成多尺度输入。与下采样相比，置乱技术在降低空间分辨率的同时保留了输入图像的全部信息。因此，SGN中的每个子网络都可以自适应地在不同尺度上提取更好的图像去噪特征。在表3中，我们比较了标准SGN及其变体，其将下采样的输入图像作为不同子网络的输入。混洗输入的网络比下采样输入的竞争方法具有更好的性能。 请注意，在一些先前的图像恢复工作[46，34，37]中已经采用了混洗操作来改变图像/特征图的空间分辨率。我们的方法是第一个工作，利用洗牌操作，以产生多尺度变化的输入图像。shuf-fling操作和我们的自我指导策略合作，以提供我们完整的SGN算法。表3.Shuffle/Down-sample用于在SGN中生成多尺度输入Dataset Set68 DIV2K混洗→下采样26.43→26.20 28.53→28.185. 实验：高斯噪声去除在本节中，我们将SGN与最先进的去噪方法进行比较。我们首先简要介绍了竞争的approaches，然后提供实验结果的灰度和RGB图像去噪任务。5.1. 比较方法比较的方法包括常用的去噪算法DnCNN [45]、RED[25]和Mem- Net [38]。我们更强大的SGN（包含更多卷积层）与最新的去噪算法[22，23]的比较可以在我们的项目网页中找到。我们还提供了相关工作U-Net[33]和CAN [5]的去噪结果。U-Net和CAN都提出将大规模上下文信息合并以用于更好的图像操作。CAN [5]利用扩张卷积，而U-Net [33]是以不同空间分辨率提取特征的代表性方法。对于CAN [5]和U-Net [33]，我们使用与建议SGN，即。32张全分辨率特征图。我们遵循U-Net[33]的作者，以5种不同的尺度处理图像。对于CAN [5]方法，我们遵循原始论文中的设置，并利用具有不同膨胀参数的9个膨胀卷积层。我们的SGN模型是在DIV2K [2]的训练数据集上训练的，该数据集包含800张高分辨率图像。为了公平比较，我们自己实现了所有的网络，并在相同的训练数据集上重新训练了所有的方法。我们已经尽了最大的努力来训练比赛方法。具体地，我们使用与第2节中描述的相同的训练参数。4.1训 练 CAN [5] ， U-Net [33] ， RED [25] 以 及 拟 议 的SGN。由于DnCNN [45]和MemNet [38]方法在其网络中采用批量归一化[16]层，因此它们需要大批量才能获得良好的性能。我们遵循原始作者的批量大小设置，并将DnCNN [45]和MemNet [38]的批量大小设置为64。由于内存限制，我们无法使用大小的子图像训练DnCNN[45]和MemNet [38]256×256。我们将DnCNN [45]和MemNet [38]的训练补丁大小分别设置为64×64和48×48。两种方法所采用的斑块大小均大于原始文件中采用的值。5.1.1灰度图像去噪我们首先比较了不同的算法对灰度图像去噪任务。在Set 68和DIV2K验证100数据集上采用不同方法的图像去噪结果如表4所示。处理噪声水平σ=50的320×480图像的运行时间和GPU内存消耗见表5。一般来说，所提出的SGN优于竞争的方法在所有的噪声水平。考虑到计算负担，所提出的SGN表现出很大的优势，竞争的方法。所有的计算方法都需要更多的GPU内存和更长的运行时间比建议SGNL3网络。与最先进的MemNet [38]相比，SGN不仅速度快20倍，而且消耗的GPU内存减少15倍，以消除一张图像的噪声。不同方法的去噪结果的可视化示例如图所示。4.第一章5.1.2彩色图像去噪我们还评估了彩色图像去噪任务上的不同算法。我们使用彩色版本的DIV2K训练数据集来训练所有模型。不同方法的训练参数设置与灰度图像去噪实验相同。不同方法的PSNR值如表6所示。建议SGN优于所有竞争的方法。2517噪声输入地面实况DnCNN [45][38]第25话我的世界图4.通过不同方法对来自DIV2K数据集（σ= 70）的测试图像进行去噪。表4.不同方法对灰度图像的去噪效果（PSNR）数据集噪声水平加拿大[5]U-Net [33]DnCNN [45]红色[25]MemNet [38]SGNL3σ = 3026.2828.2928.4328.4628.4628.50BSD 68σ = 5024.8226.2626.3026.3526.4026.43σ = 7024.1725.0325.0025.0524.9925.17σ = 3027.2830.4830.5530.5930.5130.71DIV2K 100σ = 5024.9928.3428.2528.3928.5028.53σ = 7025.3727.0326.7926.9226.8627.10表5.处理480×320图像的不同方法的峰值GPU内存消耗[GB]和时间使用[ms]所有方法都在PyTorch [30]下实现，运行时间在Nvidia Titan Xp GPU上进行评估。方法加拿大[5]U-Net [33]DnCNN [45]红色[25]MemNet [38]SGNL3SGNL4GPU消耗[GB]0.11990.17310.15830.45301.37770.09420.1323时间[ms]10.17.723.241.3156.87.59.1表6.RGB图像去噪结果（PSNR [dB]）。数据集噪声水平U-Net [33]DnCNN [45]红色[25]MemNet [38]SGNL3（我们的）σ = 3030.3030.3130.4030.4530.45BSD 68σ = 5028.0328.0328.0428.0828.18σ = 7026.6926.5026.6226.5926.79σ = 3031.9331.9932.1432.2032.21DIV2K 100σ = 5029.7429.7929.8229.8530.02σ = 7028.4028.1328.3328.3728.626. 图像原始数据的增强在本 节中，我 们在更具 挑战性的 See-in-the-Dark（SID）数据集上验证了所提出的SGN[4]。SID数据集由Chen等人收集。以支持用于低亮度图像处理的基于学习的流水线的开发。在数据集中已经提供了5094个具有对应的长曝光参考图像的原始短曝光图像。短曝光图像是在前拍摄2518treme低光条件下的两个摄像头：索尼α 7S II和富士X-T2。神经网络需要学习低光照原始数据的图像处理管道，包括颜色变换、去马赛克、降噪和图像增强。在[4]中，建议使用LeakyReLU的U-Net [33]构建从低光原始数据到高质量图像的映射函数。在本文中，我们遵循实验-2519参考图像U-Net [33] SGNL3SGNL4图5. U-Net和SGNL3、SGNL4对SID [4]数据集图像的结果。实现了比U-Net高0.8 dB的PSNR [33]。在图5中，我们展示了U-Net [33]和SGN的估计结果的可视化示例。U-Net严重改变了墙壁上的颜色，而SGNL3和SGNL4都生成了高质量的估计。注意，正确颜色的估计依赖于结合大规模上下文信息。由于U-Net采用4个池化层，并且其低分辨率分支比SGNL3的低分辨率分支小2倍，因此其感知域实际上大于SGNL3的感知域。由于自我指导策略，SGNL3能够在早期阶段结合上下文信息，从而更好地估计输出中的颜色。图6显示了SGN在恢复两个示例的图像细节方面优于U-Net [33表7. S GN和CAN [5]，U-Net [33]以及我们在SID数据集上的SGN之间的PSNR[dB]定量比较。方法加拿大[5]U-Net [33]SGNL3SGNL4索尼数据集27.4028.8828.9129.06Fuji数据集25.7126.6126.9027.41U-Net [33，4]参考图像SGNL4图6.U-Net和SGNL4对SID图像的缩放结果[4]。[4]心有灵犀。我们使用相同的原始数据预处理方案，并使用[4]提供的相同训练数据训练SGN。如[4]所示，L1损失导致比L2损失更好的映射精度，因此我们在具有L1损失的SID数据集此外，我们还将激活函数改为LeakyReLU [24]作为[4]。在SID数据集中，网络需要捕获输入数据和输出图像之间的因此，大上下文信息比高斯去噪任务更重要。我们报告 了SGNL3和SGNL4的估计结果.所提出的SGNL3、SGNL4以及竞争性方法CAN [5]和U-Net [33]的估计结果如表1所示7 .第一次会议。CAN [5]和U-Net[33]方法的PSNR值由[4]提供。在Sony和Fuji子数据集上，所提出的SGN实现了比U-Net更好的性能[33]。在更具挑战性的Fuji子数据集上，SGNL47. 结论本文提出了一种用于快速图像去噪的自引导神经网络（SGN）。SGN采用自指导策略自顶向下地对图像进行去噪。给定输入图像，采用混洗操作来产生具有不同空间分辨率的然后，SGN在低空间分辨率下提取特征，并利用大规模的上下文信息来指导更细尺度的特征提取过程。多尺度上下文信息逐渐移回全分辨率分支以指导输出图像的估计。在标准灰度图像和彩色图像去噪基准上对该算法进行了验证。我们的SGN能够生成高质量的去噪结果，运行时间和GPU内存消耗比比较最先进的方法少得多。致谢：这项工作得到了华为、苏黎世联邦理工学院普通基金和英伟达GPU硬件资助的支持。2520引用[1] Abdelrahman Abdelhamed，Radu Schafte，and Michael S.布朗Ntire 2019挑战真实图像去噪：方法和结果。在IEEE计算机视觉和模式识别会议上，2019年6月。1[2] Eirikur Agustsson和Radu Timofte。Ntire 2017挑战单幅图像超分辨率：数据集和研究。在CVPR研讨会，2017。五、六[3] Michal Aharon ， Michael Elad ， and Alfred Bruckstein.rmk- svd：一个为稀疏表示设计过完备字典的算法。IEEE信号处理学报，2006年。2[4] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.学会在黑暗中看东西在IEEE计算机视觉和模式识别会议论文集，第3291-3300页四、七、八[5] Qifeng Chen，Jia Xu，and Vladlen Koltun.使用全卷积网络进行快速图像处理。二三六七八[6] Yunjin Chen和Thomas Pock。可训练的非线性反应扩散：一个灵活的框架，快速有效的图像恢复。IEEEtransactionsonpatternanalysisandmachineintelligence，2017。2[7] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen Egiazarian。稀疏三维变换域协同滤波图像去噪IEEE Transactions on Image Processing，2007。一、二[8] James Diebel和Sebastian Thrun。马尔可夫随机场在距离传感中的应用。神经信息处理系统，2005年。3[9] David Ferstl 、 Christian Reinbacher 、 Rene Ranftl 、Matthias Ruüther和HorstBischof。使用各向异性总广义变分的图像引导深度上采样在IEEE国际计算机视觉会议上，2013年。3[10] 古书航、拉杜·提莫夫特。图像去噪算法的简要回顾和超越。2019. 一、二[11] 古书航、张磊、左王梦、向楚风。加权核范数最小化及其在图像去噪中的应用。CVPR，2014。1[12] 古书航、左王梦、石果、陈云锦、陈崇宇、张磊。用于深 度 图 像 增 强 的 学 习 动 态 引 导 。 在 计 算 机 视 觉（ICCV），2011年IEEE国际会议上，2017年。3[13] Bumsub Ham，Minsu Cho，and Jean Ponce.使用联合静态和动态引导的鲁棒图像滤波。在IEEE计算机视觉和模式识别会议的Proceedings，第4823-4831页，2015年。三、四[14] 何开明，孙建，唐晓鸥。引导图像滤波。欧洲计算机视觉会议，第1-14页。施普林格，2010年。3[15] Tak-Wai Hui，Chen Change Loy，and Xiaoou Tang.通过深度多尺度引导实现深度图超分辨率。欧洲计算机视觉会议，第353施普林格，2016年。3[16] Sergey Ioffe和Christian Szegedy。批次标准化：通过减少内部协变量偏移来加速深度网络训练。arXiv预印本arXiv：1502.03167，2015。 一、二、六[17] Viren Jain和Sebastian Seung使用卷积网络进行自然图像去噪。神经信息处理系统的进展，第769-776页，2009年。2[18] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[19] Johannes Kopf，Michael F Cohen，Dani Lischinski，andMatt Uyttendaele.联合双边上采样。ACM Transactions onGraphics（ToG），26（3）：96，2007. 3[20] Xiaoming Li，Ming Liu，Yuting Ye，Wangmeng Zuo，Liang Lin，and Ruigang Yang.学习变形引导的盲人脸复原。arXiv预印本arXiv：1804.04829，2018。3[21] Yijun Li，Jia-Bin Huang，Narendra Ahuja，and Ming-Hsuan Yang.深度联合图像滤波。2016年欧洲计算机视觉会议。3[22] Ding Liu ， Bihan Wen ， Yuchen Fan ， Chen ChangeLoy，and Thomas S Huang.用于图像复原的非局部递归网络。神经信息处理系统进展，第1673-1682页，2018年。三、六[23] Pengju Liu，Hongzhi Zhang，Kai Zhang，Liang Lin，and Wangmeng Zuo.用于图像恢复的多级小波神经网络。在IEEE计算机视觉和模式识别研讨会会议论文集，第773三、六[24] Andrew L Maas、Awni Y Hannun和Andrew Y Ng。整流器的非线性改善了神经网络声学模型。在Proc.icml，第30卷，第3页，2013中。8[25] 毛晓娇，沈春华，杨玉斌。使用具有对称跳跃连接的非常 深的 卷积 编码 器-解 码器 网络 的图 像恢 复 。InAdvances神经信息处理系统，第2802-2810页，2016年。一、二、五、六、七[26] D.马丁角，澳-地Fowlkes，D. Tal和J.马利克 人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用。第八届国际会议论文集计算机视觉，第2卷，第416-423页，2001年7月。一、五[27] Vinod Nair和Geoffrey E Hinton。校正线性单元改善受限玻尔兹曼机。ICML，2010年。2[28] Alejandro Newell，Kaiyu Yang，and Jia Deng.用于人体姿态估计的堆叠沙漏网络在欧洲计算机视觉会议上，第483-499页施普林格，2016年。3[29] Jaesik Park，Hyeongwoo Kim，Yu-Wing Tai，Michael SBrown，and Inso Kweon.用于3d-tof相机的高质量深度图上采样。在计算机视觉（ICCV），2011 IEEE国际会议上，第1623IEEE，2011年。3[30] Adam Paszke、Sam Gross、Soumith Chintala、GregoryChanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。pytorch中的自动微分。2017. 五、七[31] Deepak Pathak 、 Philipp Krahenbuhl 、 Jeff Donahue 、Trevor Darrell和Alexei A Efros。上下文编码器：通过图像 修 复 进 行 特 征 学 习 。 在 Proceedings of the IEEEConferen