基于特征关注的盲真实图像去噪算法

1基于特征关注的赛义德·安瓦尔（Saeed Anwar），尼克·巴恩斯（Nick Barnes）Data61，CSIRO和澳大利亚国立大学。摘要深度卷积神经网络在包含空间不变噪声（合成噪声）的图像上表现更好;然而，它们的性能在真实噪声照片上受到限制，并且需要多级网络建模。为了提高去噪算法的实用性，采用模块化结构，提出了一种新的单级盲真实图像去噪网络（RIDNet）。我们使用残差结构上的残差来缓解低频信息的流动，并应用特征注意力来利用信道依赖性。此外，在三个合成和四个真实的噪声数据集对19个国家的最先进的算法的定量指标和视觉质量方面的评价证明了我们的RIDNet的优越性。1. 介绍图像去噪是一项低级视觉任务，在许多方面都很重要。首先，在图像采集期间，一些噪声破坏是不可避免的，并且可以显著地降低视觉质量;因此，对于许多计算机视觉和图像分析应用来说，从所获取的图像中去除噪声是关键步骤[28]。其次，去噪是从贝叶斯角度评估图像先验和优化方法的独特试验场[30，67]。此外，许多图像去噪任务可以通过一组去噪子任务通过变量分裂方法在展开推理中解决，这进一步拓宽了图像去噪的适用性[3，33，51，64]。一般来说，去噪算法可以分为基于模型的和基于学习的。基于模型的算法包括非局部自相似性（NSS）[18，13，20]、spar-自相似性算法[ 18，13，20 ]、基于模型的自相似性算法[ 18，13，20sity [30，48]，梯度方法[46，56，54]，马尔可夫随机场模型[52]和外部去噪先验[9，61，42]。基于模型的算法计算量大，耗时长，不能直接抑制空间变化的噪声和表征复杂的图像纹理。电子邮件：saeed.anwar@csiro.au电子邮件：nick. csiro.au[31]第31话我的世界图1.来自RNI15数据集的真实噪声人脸图像[38]。与CBDNet[31]不同，RIDNet没有过度平滑或过度对比的伪影（在高分辨率显示器上以彩色显示效果最佳）另一方面，区分学习的目的是从一组噪声和地面实况图像集的图像先验模型。一种技术是在截断推理[17]的上下文中学习先验，而另一种方法是采用蛮力学习，例如MLP [14]和CNN方法[63，64]。CNN模型[65，31]由于其建模能力，网络训练和设计而提高了去噪性能然而，当前学习模型的性能是有限的，并且是针对特定的噪声水平而定制的一个实用的去噪算法应该是高效的，灵活的，使用单个模型执行去噪，并且当噪声标准差已知或未知时处理空间变化和不变的噪声。不幸的是，目前最先进的算法还远远没有达到所有这些目标。我们提出了一个CNN模型，它是有效的，能够处理图像中存在的我们在下面的段落中总结了这项工作的贡献1.1. 贡献• 目前基于CNN的真实图像去噪方法采用两阶段模型;我们提出了第一个模型，其仅使用一个阶段就提供了最先进的结果。• 据我们所知，我们的模型是第一个在去噪中关注企业特征的模型.• 目前大多数模型是连续连接配重层的;因此增加深度将无助于提高性能[21，41]。此外，这些网络31553156可以从消失梯度[11]受苦。我们提出了一个模块化的网络，其中增加模块的数量有助于提高性能。• 我们在三个合成图像数据集和四个真实图像噪声数据集上进行了实验，结果表明，我们的模型在定量和定性方面都取得了最先进的结果。2. 相关作品在本节中，我们将介绍并讨论图像去噪的最新趋势。两种值得注意的去噪算法NLM [13]和BM3D [18]使用自相似补丁。由于它们的成功，提出了许多变体 ， 包 括 SADCT [27] ， SAPCA [20] ， NLB [37] 和INLM [29]。其在不同的变换域中寻找自相似补丁。基于字典的方法[25，43，22]通过采用自相似补丁和从干净图像学习过完备字典来增强许多算法[67，26，59]研究了最大似然算法来学习统计先验，例如。自然斑块或斑块组的高斯混合模型用于斑块恢复。Fur-11，Levin等[40]和Chatterjeeet al. [16]，通过显示可以通过从干净的外部数据库中选择参考补丁来恢复图像，从而以可忽略的误差来驱动外部去噪[9，7，42，62但是，所有外部算法都是类特定的。最近，Schmidtet al. [53]介绍了一个级联的收缩场（CSF），它集成了半二次优化和随机场。收缩旨在抑制较小的值（噪声值）并有区别地学习映射。CSF假设数据保真度项是二次的，并且它具有基于离散傅立叶变换的封闭形式的解决方案。目前，由于卷积神经网络（CNN）的普及，图像去噪算法[63，64，39，14，53，8]已经实现了性能提升。值得注意的去噪神经网络DnCNN [63]和IrCNN [64]预测图像中存在的残留物而不是去噪图像，因为与原始干净图像相比，损失函数的输入是真实噪声。这两个网络都取得了更好的结果，尽管它们具有简单的架构，其中使用了重复的卷积块、批量归一化和ReLU激活。此外，IrCNN[64]和DnCNN [63]依赖于盲预测噪声，即，而不考虑噪声图像的基本结构和纹理。另一个基本的图像恢复框架是可训练的非线性反应扩散（TRND）[17]，其通过将非线性扩散范例扩展到深度可训练的参数化线性滤波器和影响函数中，将专家领域先验[52虽然TRND的结果是有利的，但该模型需要大量的数据来学习参数和影响函数以及整体微调、超参数确定和阶段式训练。类似地，非局部颜色网络（NLNet）[39]由非局部自相似（NSS）先验激励，其采用非局部自相似性与判别学习相结合。NLNet是对传统方法的改进;但是，由于NSS先验的适配，与大多数CNN[64，63]相比，它的性能滞后，因为它无法找到图像中所有补丁的类似物。基于DnCNN的成功[63]，Jiaoet al.提出了一个由两个堆叠子网组成的网络，分别命名为“FormattingNet”和“DiffResNet”。两种网络的架构相似，不同之处在于所使用的损耗层。第一个子网使用总变分和感知损失，而第二个子网使用102损失.整个模型被命名为FormResNet，并在[64，63]基础上进行了小幅改进。最近，Baeet al. [10]通过小波变换域采用持久同源性分析[24]来学习CNN去噪中的特征。与[63，35]相比，该模型的性能略好，这可以归因于采用的大量特征图而不是模型本身。最近，Anwaret al.介绍了CIMM，一种深度去噪CNN架构，由身份映射模块组成[8]。该网络使用扩张内核学习级联身份模块中的特征，并使用自集成来提高性能。CIMM改进了所有以前的CNN模型[63，35]。最近，许多算法专注于对真实噪声图像进行盲去噪[50，31，12]。算法[64，63，35]受益于CNN的建模能力，并显示出学习单盲去噪模型的能力;然而，去噪性能是有限的，并且在真实照片上的结果不令人满意。一般来说，真实含噪图像去噪是一个两步过程：第一步涉及噪声估计，而第二步涉及非盲去噪。噪声诊所（NC）[38]估计依赖于信号和频率的噪声模型，然后使用非局部贝叶斯（NLB）对图像进行去噪。相比之下，Zhanget al. [65]提出了一种非盲高斯去噪网络，称为FFDNet，它可以在一些真实的噪声图像上产生令人满意的结果;然而，它需要人工干预来选择高噪声水平。最近，CBDNet [31]为真实照片训练了一个盲去噪模型。CBDNet [31]由两个子网组成：噪声估计和非盲去噪。CBDNet [31]还包含多个损失，被设计为在真实合成噪声和真实图像噪声上进行训练，并对低噪声图像实施更高的噪声标准差此外，[31，65]可能需要手动间-3157i=1EAMEAMEAMEAM卷积层后接ReLUSigmoid函数逐元素加法全局池化图2.建议网络的架构。转换层的不同绿色表示不同的膨胀，而转换层的较小尺寸意味着内核是1 ×1。第二行显示了每个EAM的体系结构。以改善结果。另一方面，我们提出了一种端到端的架构，它可以学习噪声并在真实的噪声图像上产生结果，而不需要单独的子网络[35，31]采用一个以上的损失来优化模型，与早期的网络相反，我们只采用一个损失，即。1. 现在，给定一批N个训练对，网或人工干预。{xi，yi}N，其中x是噪声输入，y是地3. CNN去噪器事实上，目标是最小化1损失函数为1ΣN3.1. 网络架构我们的模型是由三个主要模块，即。fea，fea，feaL（W）=N i=1||第1、（4）条||1,(4)真提取、特征学习、残差模块上的残差、重构，如图2所示。让我们考虑x是一个有噪声的输入图像，y是去噪的输出图像。我们的特征提取模块仅由一个卷积层组成，用于从噪声输入中提取初始特征f0f0=Me（x），（1）其中Me（·）对噪声输入图像执行卷积。接下来，f 。被传递到残差模块上的特征学习残差，称为Mfl。其中RIDNet（·）是我们的网络，W表示学习所有网络参数。我们的特征提取Me和重建模块Mr类似于以前的算法[21，8]。我们现在关注残差块上的特征学习残差，以及特征关注。3.2. 特征学习残差上的残差在本节中，我们提供了有关增强注意力模块的更多细节，该模块在具有局部跳过和短跳过连接的残差结构上使用残差每个EAM进一步由D块组成，随后是特征关注。因为残留的牙弓上的残留物fr=Mfl（f0），（2）结构，非常深的网络现在可以提高去噪性能;但是，我们将模型限制为其中，fr是学习的特征，Mfi（·）是残差分量上的主要特征学习残差，残差分量由级联在一起的增强注意模块（EAM）组成，如图2所示。 我们的网络具有小的深度，但提供了一个广泛的感受域，通过核膨胀在每个EAM初始两个分支卷积。最后一层的输出特征被馈送到重构模块，该重构模块再次由一个卷积层组成y=Mr（fr），（3）其中Mr（·）表示重构层。有几种选择可用作优化的损失函数，例如2[63，64，8]，感知损失[35，31]，总变化损失[35]和不对称损失[31]。一些3158仅四个EAM模块。EAM的第一部分覆盖了输入特征的全部感受域，接着是对特征的学习;然后，为了速度而压缩特征，并且最后，特征注意模块增强来自地图的重要特征的权重。EAM的第一部分使用如图2第二行所输入特征分支并通过两个扩张卷积，然后连接并通过另一个卷积。接下来，使用两个卷积的残差块来学习特征，同时通过三个卷积层的增强残差块（ERB）来ERB的最后一层通过应用1×1内核来对特征进行分类最后，将特征关注单元的输出加到EAM的输入。3159图3.用于选择基本特征的特征注意机制在图像识别中，残差块[32]被堆叠在一起以构建超过1000层的网络。类似地，在图像超分辨率中，EDSR[41]堆叠了可以被认为具有低频区域（平滑或平坦区域），和高频区域（例如， 线边缘和纹理）。 由于卷积层仅利用局部信息，无法利用全局上下文信息，因此我们首先采用全局平均池化来表示表示整个图像的统计信息，还可以探索用于聚合特征的其他选项来表示图像描述符。设fc是具有c个大小为h×w的特征映射的最后一个卷积层的输出特征;全局平均池化将大小从h×w×c减小到1 × 1 ×c，如下所示：剩余块，并使用长跳过连接（LSC）来形成非常深的网络。然而，迄今为止，很深g=1Σph×wΣwfc（i，j），（7）网络还没有被研究用于去噪。动机由于[66]的成功，我们引入残差上的残差作为我们网络的基本模块来构建更深层次的系统。现在考虑EAM的第m个模块被给出为fm=EAMm （ EAMm−1 （ ··· （ M0（f0））· · ·））， （五）其中fm是EAMm特征学习模块的输出，换句话说，fm=EAMm（fm−1）。每个EAM的输出被添加到组的输入，如fm=fm+fm−1。我们已经观察到，简单地级联剩余模块将不会实现更好的性能，相反，我们将特征提取器模块的输入添加到堆叠模块的最终输出，如fg=f0+Mfl（Ww，b），（6）其中Ww，b是在组中学习的权重和偏差这种添加，即LSC简化了跨组的信息流fg被传递到重构层以输出与网络的输入相同数量的通道。此外，我们使用另一个长跳跃连接将输入图像添加到网络输出i。e. y=Mr（fg）+x，以便学习残差（噪声）而不是去噪图像，因为由于噪声的稀疏表示，该技术有助于与学习原始图像相比更3.2.1特色关注本节提供有关特征注意机制的信息。注意[60]已经存在了一段时间;但在图像去噪中尚未得到应用。图像去噪方法中的通道特征被同等对待，这在很多情况下是不合适的为了开发和学习图像的关键内容，我们将注意力集中在通道特征之间的关系;故名：注意功能（见图3）。这里的一个重要问题是如何为每个通道特征产生不同的注意力。图像通常i=1i=1其中fc（i，j）是特征图中的位置（i，j）此外，如[34]中所研究的，我们提出了一种自门控机制，以从通过全局平均池化检索的描述符根据[34]，所提到的机制必须学习通道之间的非线性协同以及互斥关系。在这里，我们采用软收缩和sigmoid函数来实现门控机制。让我们考虑δ和α分别是软收缩算子和那么选通机制是rc=α（HU（δ（HD（gp），（8）其中Hd和Hu分别是信道缩减算子和信道上采样算子。全局池化层gp的输出与由软收缩函数激活的下采样Conv层卷积。 为了区分通道特征，然后将输出馈送到上采样Conv层，然后进行sigmoid激活。此外，为了计算统计数据，sig-moid的输出（rc）由通道特征的输入fc自适应地重新缩放为fc=rc×fc（9）3.3. 执行我们提出的模型包含四个EAM块。每个卷积层的内核大小被设置为3 × 3，除了增强残差块中的最后一个Conv层和特征注意力单元的卷积层，其中内核大小为1 × 1。零填充用于3 × 3以实现相同大小的输出特征图。每个卷积层的通道数量固定为64，除了特征注意力缩小。因子16减少了这些Conv层;因此只有四个特征图。最终卷积层根据输入输出三个或一个特征在运行时间上，我们的方法处理一幅512 × 512的图像大约需要0.2秒H3160长跳跃连接短跳连接（SSC）长连接（LC）特性注意（FA）CCCCCCCCcCCCCCCcCPSNR（dB）28.4528.7728.8128.8628.5228.8528.8628.9028.96表1.跳跃连接和特征注意的研究在2×105次迭代中，给出了BSD 68 [52]上的值的PSNR（dB）的最佳结果4. 实验4.1. 培训设置为 了 生 成 嘈 杂 的 合 成 图 像 ， 我 们 采 用 BSD 500[44]，DIV 2K [4]和MIT-Adobe FiveK [15]，重新在4k图像中进行计算，而对于真实的噪声图像，我们使用来自SSID [1]，Poly [55]和RENOIR [6]的512 ×512裁剪补丁在训练图像上执行数据增强，包括90°、180°、270°的随机旋转和水平翻转在每个训练批次中，提取32个补丁作为输入，大小为80 × 80。Adam [36]用作具有默认参数的优化器。学习速率最初设置为10-4，然后在10 -5次迭代后减半。该网络在Pytorch [47]框架中实现，并使用Nvidia Tesla V100 GPU进行训练。此外，我们使用PSNR作为评估指标。4.2. 消融研究4.2.1跳跃连接跳过连接在我们的网络中起着至关重要的作用。在这里，我们展示了跳过连接的有效性。我们的模型由三种基本的连接类型组成，包括长跳跃连接（LSC）、短跳跃连接（SSC）和局部连接（LC）。表1显示了BSD68 [52]数据集的平均PSNR。当所有跳过连接可用时获得最高性能，而当任何连接不存在时性能较低我们还观察到，在没有跳过连接的情况下增加网络的深度不会对性能有好处。4.2.2注意力我们的网络的另一个重要方面是特征注意。表1比较了具有和不具有特征关注的网络的PSNR值。结果支持我们的主张使用功能注意的好处。自DnCNN [63]问世以来，CNN模型已经成熟，进一步的性能改进需要仔细设计块和重新缩放特征图。这两个特征在我们的模型中以特征注意和跳跃连接的形式存在。4.3. 比较我们使用峰值信噪比（PSNR）指标作为误差度量来评估我们的算法，并与许多最先进的竞争算法进行比较，其中包括传统的方法，即。[19]埃尔斯岛MLP [14]，TNRD [17]，DnCNN [63]，IrCNN[64]，CNLNet [39]、FFDNet [65]和CBDNet [31]。为了比较公平，我们使用相应作者提供的传统方法的默认设置。4.3.1测试数据集在实验中，我们测试了四个有噪声的真实世界数据集I.E. RNI15 [38]、DND [49]、Nam [45]和SSID [1]。最后，我们从广泛使用的12个经典图像、BSD 68 [52]彩色和灰度68图像中准备了三个合成噪声数据集用于测试。我们破坏干净的图像加性高斯白噪声，使用15，25和50标准差的噪声σ。• RNI15 [38]提供了15个真实世界的噪声图像。不幸的是，这个数据集没有给出干净的图像;因此，仅对该数据集进行定性比较。• Nam [45]包括11个静态场景和通过相同场景的500个噪声图像获得的相应无噪声图像。图像的大小是巨大的;因此，我们将图像裁剪成512 × 512块，并从其中随机选择110块进行测试。• DnD是Plotz等人最近提出的。[49]其最初包含50对真实世界的有噪声和无噪声场景。这些场景被数据集的提供者进一步裁剪成512 × 512的小块，从而产生了1000张更小的图像。接近无噪声的图像不是公开的，结果（PSNR/SSIM）只能通过[49]介绍的在线系统获得• SSID [1]（Smartphone Image Denoising Dataset，智能手机图像去噪数据集）是近年来出现的一种新的智能手机图像去噪数据集。作者收集了30 k真实噪声图像及其相应的干净图像;然而，只有320个图像被释放用于训练，1280个图像对用于验证，如测试图像一样。3161噪声水平方法BM3dWNNMEPLLTNRDDenoiseNetDnCNNIrCNNNLNetFFDNet我们1531.0831.3231.1931.4231.4431.7331.6331.5231.6331.812528.5728.8328.6828.9229.0429.2329.1529.0329.2329.345025.6225.8325.6726.0126.0626.2326.1926.0726.2926.40表2.对于我们的方法和竞争，BSD 68数据集[52]的去噪图像和干净图像之间的相似性在灰度图像上以σ31.68dB 32.21dB[64]第64话我的世界表3.对12种经典图像的去噪算法进行了定量比较（以PSNR计）.最佳结果以粗体突出显示。还没有释放我们将使用验证图像来测试我们的算法和竞争方法。4.3.2灰度噪声图像在这一小节中，我们评估我们的模型上的噪声灰度图像破坏的空间不变的加性高斯白噪声。 我们比较了非局 部 自 相 似 代 表 模 型 ， 即 。 BM3D [18] 和 WNNM[30]，基于学习的方法，即EPLL，TNRD [17]，MLP[14]，DnCNN [63]，IrCNN [64]和CSF [53]。在表3和表2中，我们给出了Set12和BSD68上的PSNR值。这里要记住，BSD500 [44]和BSD68 [52]是两个不相交的集合。我们的方法优于所有的竞争算法在这两个数据集的所有噪声水平;这可能是由于更大的感受野以及更好的建模能力。4.3.3彩色噪声图像接下来，对于含噪彩色图像去噪，我们保持网络的所有参数类似于灰度模型，除了第一层和最后一层改为输入和输出三个通道而不是一个。图4呈现了视觉比较，并且表4报告了我们的方法和替代算法之间的PSNR数对于CBSD68数据集，我们的算法始终优于表4中公布的所有其他技术[52]。类似地，我们的网络产生最佳感知质量图像，如图4所示。对花瓶的仔细检查表明我们的32.33dB 32.84dB[63]第六十三话图4. 对于σn= 50，我们的RIDNet与[ 52 ]中的彩色图像的最新方法的去噪性能网络生成最接近地面实况的纹理，具有更少的伪影和更多的细节。4.3.4真实世界噪声图像为了进一步评估我们模型的实用性，我们采用了一个真实的噪声数据集。由于未知的噪声水平、各种噪声源如散粒噪声、量化噪声等，评估是困难的，成像流水线，即，图像压缩、有损压缩等。此外，噪声是空间变化的（非高斯），也依赖于信号;因此，假设噪声是空间不变的，采用了许多算法不适用于真实的图像噪声。因此，真实噪声图像评估决定了算法在现实世界中的应用的成功。DnD：表5呈现了竞争性出租的sRGB数据的定量结果（PSNR/SSIM）和从公开可用的在线DnD基准网站获得的我们的方法。盲高斯去噪器DnCNN [63]效率低下，并且由于训练期间噪声的泛化能力差，无法实现比BM 3D [18]和WNNM [30]更好的结果。类似地，非盲高斯传统去噪器能够报告有限的性能，尽管提供了噪声标准偏差。这可能是由于这些去噪器[18，30，67]仅针对AWGN定制，并且实际噪声在特性上与同步噪声不同方法σ= 15σ= 25σ= 50BM3D [18]32.3729.9726.72WNNM [30]32.7030.2627.05EPLL [67]32.1429.6926.47MLP [14]-30.0326.78CSF [53]32.3229.84-[17]第十七话32.5030.0626.81DnCNN [63]32.8630.4427.18IrCNN [64]32.7730.3827.14FFDNet [65]32.7530.4327.32我们32.9130.6027.433162噪声水平方法CBM3D [19]MLP [14][17]第十七话DnCNN [63]IrCNN [64][39]第三十九话FFDNet [65]我们1533.50-31.3733.8933.8633.6933.8734.012530.6928.9228.8831.3331.1630.9631.2131.375027.3726.0025.9427.9727.8627.6427.9628.14表4.我们的网络与现有最先进算法在BSD 68数据集彩色版本上的性能比较[52]。30.896dB29.98dB30.73dB29.42dB嘈杂CBM3D [18]WNNM [30]NC [38]TWSC [57]噪声图像图5.来自DND数据集[49]的真实噪声示例，用于将我们的方法与最先进的算法进行比较。噪声FFDNet CBDNet RIDNet图6.我们的方法与其他方法在包含空间变化噪声的RNI 15[38表5.在DnD sRGB图像上评估的最新算法的平均PSNR和SSIM去噪结果[49]感觉噪声通过一个新的模块来消除特征注意力和捕捉噪声的适当特征意味着我们的算法领先于大幅度的，即。与第二种执行方法CBDNet相比，PSNR为1.17dB[31]。此外，我们的算法仅使用真实噪声图像进行训练，仅使用1001损失，而CBDNet [31]使用多种技术，如多重损失（即总变差、RIS2和不对称学习）和真实噪声以及合成生成的真实噪声。正如CBDNet [31]作者所报告的那样，它只能在真实噪声图像的情况下实现37.72 dB。Noise Clinic（NC）[38]和Neat Image（NI）[2]是除[31]之 外 的 另 外 两 种 最 先 进 的 盲 去 噪 器 。 NI [2] 是Photoshop和Corel PaintShop的一部分。我们的网络能够分别比NC [38]和NI [2]多实现3.82dB和4.14dB的PSNR接下来，我们直观地比较我们的方法与竞争的方法的结果上提供的在线系统的Plotz等人的去噪图像。[49]在图5中。PSNR和SSIM值也来自网站。从图5中可以清楚地看出，[31，65，63]的方法在从恒星中去除噪声方面表现不佳，并且在某些情况下图像过于平滑，另一方面，我们的算法可以消除噪声，同时保留恒星图像中的更精细的细节和结构。30.88dB28.43dB31.37dB31.06dB32.31dBMCWNNM [58]美国[2]FFDNet [65]CBDNet [31]RIDNet（我们的）方法盲态/非盲态PSNRSSIMCDnCNNB [63]盲32.430.7900EPLL [67]非盲33.510.8244[17]第十七话非盲33.650.8306NCSR [23]非盲34.050.8351MLP [14]非盲34.230.8331FFDNet [65]非盲34.400.8474BM3D [18]非盲34.510.8507[52]第五十二话非盲34.620.8845WNNM [30]非盲34.670.8646NC [38]盲35.430.8841美国[2]盲35.110.8778CIMM [8]非盲36.040.9136KSVD [5]非盲36.490.8978MCWNNM [58]非盲37.380.9294TWSC [57]非盲37.960.9416FFDNet+[65]非盲37.610.9415CBDNet [31]盲38.060.9421RIDNET（我们的）盲39.230.95263163嘈杂的DnCNN FFDNet我们的图7.来自RNI 15数据集的真实高噪声示例[38]。我们的方法是能够消除噪声的纹理和光滑的地区，而不引入文物。方法数据集BM3dDnCNNFFDNetCBDNet我们越南[45]SSID [1]37.3030.8835.5526.2138.729.2039.0130.7839.0938.71表 6. SSID [1] 和 Nam [45] 数 据 集 的 定 量 结 果 （ PSNR（dB））。RNI15：在RNI15 [38]中，我们仅提供定性图像，因为地面实况图像不可用。图6显示了低噪声强度图像的去噪结果。FFDNet [65]和CBDNet [31]无法完全去除噪声，如在髋臼杯图像的手柄和主体的左下角附近所见。相反，我们的方法能够去除噪声，而不引入任何伪影。我们在图7中展示了来自RNI15数据集[38]的另一个具有高噪声的示例。CD-nCNN [63]和FFDNet [65]产生有限自然的结果，因为在狗图像的眼睛和手套相比之下，我们的算法恢复了实际的纹理和结构，而不牺牲从图像中去除噪声。Nam：我们在表6中给出了结果去噪图像的平均PSNR分数。与CBDNet [31]不同，CBDNet [ 31 ]是在Nam[45]上训练的，专门处理JPEG压缩，我们使用相同的网络来对Nam图像进行降噪[45]并实现有利的PSNR数字。我们在PSNR方面的性能高于任何当前最先进的算法。此外，如图8所示，我们的模型产生的图像的视觉质量支持我们的声明。通过我们的方法去噪后存在的噪声量与CDnCNN和其他同行相比可以忽略不计SSID：作为最后一个数据集，我们采用了SSID真实噪声数据集，该数据集具有最高数量的测试（验证）图像。表6的第二行中示出了PSNR方面的结果。同样，很明显，我们的方法分别比FFDNet [65]和CBDNet [31]的性能好9.5dB和7.93dB。在图9中，我们示出了通过不同算法的具有挑战性的图像的去噪结果。我们的技术恢复的真实颜色更接近原始像素值，而竞争的方法噪声CBM3D（39.13）IRCNN（33.73）DnCNN（37.56）CBDNet（40.40）我们的（40.50）图8.来自Nam数据集[45]的JPEG压缩图像。CBDNet在JPEG压缩图像上进行显式训练;尽管如此，我们的方法表现得更好。25.75 dB 21.97 dB 20.76 dB噪声CBM3D IRCNN DnCNN19.70分贝28.84分贝35.57分贝FFDNet CBDNet我们的GT图9. SSID数据集的一个具有挑战性的例子[1]。我们的方法可以去除噪声，恢复真实的颜色。无法恢复原始颜色，并在特定区域诱发假色。5. 结论在本文中，我们提出了一种新的CNN去噪模型，用于合成噪声和真实噪声照片。与以前的算法不同，我们的模型是一个单盲去噪网络的实际噪声图像。我们提出了一种新的恢复模块来学习的功能，并进一步提高网络的能力，我们采用功能的关注，考虑到通道之间的依赖关系，重新调整通道的功能我们还使用LSC、SSC和SC来允许低频信息绕过，因此网络可以专注于残余学习。在三个合成和四个真实噪声数据集上的大量实验证明了我们所提出的模型的有效性。这项工作是支持在部分通过NH MRC项目授权号1082358。3164引用[1] Abdelrahman Abdelhamed，Stephen Lin，and Michael SBrown. 智 能 手 机 摄 像 头 的 高 质 量 去 噪 数 据 集 。 在CVPR，2018年。五、八[2] ABSoft。 很好的形象。7[3] ManyaVAfonso，Jose'MBioucas-Dias，andMa'rioATFigueiredo.使用变量分裂和约束优化的快速图像恢复。TIP，2010年。1[4] Eirikur Agustsson和Radu Timofte。Ntire 2017挑战单幅图像超分辨率：数据集和研究。在CVPR研讨会，2017。5[5] Michal Aharon，Michael Elad，and Alfred Bruckstein. K-SVD：一种为稀疏表示设计过完备字典的算法。TIP，2006年。7[6] Josue Anaya和Adrian Barbu雷诺阿-一个真实的低光图像降 噪 数 据 集 。 Journal of Visual Communication andImage Representation，2018。5[7] Saeed Anwar，C Huynh，and Daughh Porikli.结合内部和外部特定类别的图像去噪。在BMVC，2017年。2[8] Saeed Anwar，Cong Phouc Huynh，and Daughh Porikli.用于图 像去噪的链式 恒等映射模 块。arXiv预印本arXiv：1712.02933，2017。二、三、七[9] Saeed Anwar，Dahh Porikli，and Cong Dahoc Huynh.特定类别对象图像去噪。TIP，2017年。一、二[10] 熊培柳在俊叶钟哲Beyond Deep Residual Learning forImage Restoration：Persistent Homology-Guided 流形简化。在CVPR研讨会，2017。2[11] Yoshua Bengio，Patrice Simard和Paolo Frasconi。用梯度下降学习长期依赖性是困难的。TNN，1994年。2[12] Tim Brooks ， Ben Mildenhall ， Tianfan Xue ， JiawenChen，Dillon Sharlet，and Jonathan T Barron.未处理图像，用于学习的原始去噪。在CVPR，2019年。2[13] 安东尼·布阿德斯、巴托梅乌·科尔和让-米歇尔·莫雷尔。一种非局部图像去噪算法。在CVPR，2005年。一、二[14] Harold Christopher Burger，Christian J Schleman，StefanHarmeling。图像去噪：普通神经网络能与bm3d竞争吗？CVPR，2012。一、二、五、六、七[15] Vladi mirBychko vsky，Syl vainParis，EricChan，andFre´doDurand.使用输入/输出图像对的数据库学习摄影全局色调调整CVPR，2011。5[16] P. Chatterjee和P.米兰法去噪已死？TIP，2010年。2[17] Yunjin Chen和Thomas Pock。可训练的非线性反应扩散：一个灵活的框架，快速有效的图像恢复。TPAMI，2017。一、二、五、六、七[18] Kostadin Dabov，Alessandro F.，弗拉基米尔·卡特科夫尼克和凯伦·埃吉亚扎里安稀疏三维变换域协同滤波图像去噪2007. 一、二、六、七[19] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen Egiazarian。基于亮度-色度空间分组约束的稀疏三维协同滤波载于ICIP，2007年。五、六、七3165[20] K. Dabov，Alessandro Foi，Vladimir Katkovnik，andKaren Egiazarian. 基 于 形 状 自 适 应 主 成 分 分 析 的BM3D图像去噪在信号处理与自适应稀疏结构化表示，2009年。一、二[21] Chao Dong，Chen Change Loy，Kaiming He ，andXiaoou Tang.使用深度卷积网络的图像超分辨率。TPAMI，2016. 第1、3条[22] 董伟生，李欣，D. Zhang，and Guangming Shi.基于字典学习和结构聚类的图像去噪。CVPR，2011。2[23] Weisheng Dong，Lei Zhang，Guangming Shi，andXin Li.图像恢复的非局部集中稀疏表示。TIP，2012年。7[24] 赫伯特·埃德尔斯布伦纳和约翰·哈勒。持久同源性研究综述。当代数学，2008年。2[25] Michael Elad和Dmitry Datsenko基于示例的正则化部署到单个图像的超分辨率重建。Comput. J. ，2009年。2[26] L.张F. Chen和H. Yu.外部块先验引导的内部聚类图像去噪。在ICCV，2015年。2[27] Alessandro Foi ， Vladimir Katkovnik ， and KarenEgiazarian.逐点形状自适应DCT，用于灰度和彩色图像的高质量去噪和去块。TIP，2007年。 2[28] 拉斐尔·冈萨雷斯和 保罗·温茨。数字 图像处理（书）.马萨诸塞州雷丁Addison-Wesley出版公司Inc.（应用数学与计算，1977年。1[29] 巴特·古森斯，海·朗，亚历山德拉·皮楚里卡，还有W·弗里德·菲利普斯。一种改进的非局部去噪算法。InIP，2008. 2[30] 古书航、张磊、左王梦、向楚风。加权核范数最小化及其在图像去噪中的应用。CVPR，2014。一、五、六、七[31] 史国，严子飞，张凯，左王梦，张磊。真实照片的卷 积 盲 去 噪 。 arXiv 预 印 本 arXiv ： 1807.04686 ，2018。一二三五七八[32] Kaiming He ，Xiangyu Zhang， Shaoying Ren ， andJian Sun.用于图像识别的深度残差学习。在CVPR，2016年。4[33] Felix Heide ， Markus Steinberger ， Yun-Ta Tsai ，Mushfiqur Rouf ， Dawid Pajak ， Dikpal Reddy ，Orazio Gallo，Jing Liu，Wolfgang Heidrich，KarenEgiazarian，et al.Flexisp：一个灵活的相机图像处理框架。TOG，2014年。1[34] 杰虎，李申，孙刚。挤压-激发网络。在CVPR，2018年。4[35] Jianbo Jiao ， Wei-Chih Tu ， Shengfeng He ， andRynson WH Lau. Formresnet：用于图像恢复的简化残差学习。在CVPR研讨会，2017。二、三[36] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[37] M Lebrun，Antoni Buades，and Jean-Mic