17120走向真实照片的卷积盲去噪0史国1,3,4，严子飞（�）1，张凯1,3，左旺盟1,2，张磊3,401 哈尔滨工业大学，哈尔滨；2 深圳市鹏城实验室；3 香港理工大学，香港；4阿里巴巴集团达摩院0guoshi28@outlook.com，{wmzuo,yanzifei}@hit.edu.cn0cskaizhang@gmail.com，cslzhang@comp.polyu.edu.hk0摘要0尽管深度卷积神经网络（CNN）在使用加性白噪声（AWGN）进行图像去噪方面取得了令人印象深刻的成功，但它们在真实世界的噪声照片上的性能仍然有限。主要原因是它们学到的模型很容易在简化的AWGN模型上过拟合，而这个模型与复杂的真实世界噪声模型严重偏离。为了提高深度CNN去噪器的泛化能力，我们建议使用更逼真的噪声模型和真实世界的噪声-清晰图像对训练卷积盲去噪网络（CBDNet）。一方面，考虑到信号相关噪声和相机内部信号处理流程，合成逼真的噪声图像。另一方面，还包括真实世界的噪声照片及其几乎无噪声的对应物来训练我们的CBDNet。为了进一步提供一种方便地修正去噪结果的交互策略，我们将一个具有非对称学习的噪声估计子网络嵌入到CBDNet中，以抑制对噪声水平的低估。在三个真实世界噪声照片数据集上进行的大量实验结果清楚地证明了CBDNet在定量指标和视觉质量方面优于现有技术的卓越性能。代码已经在https://github.com/GuoShi28/CBDNet上提供。01. 引言0图像去噪是低级视觉和图像处理中的一个基本问题。经过几十年的研究，已经开发出了许多有希望的方法[3, 12, 17, 53,11, 61]，并且已经实现了接近最优的性能[8, 31,50]，用于去除加性白噪声（AWGN）。然而，在真实的相机系统中，图像噪声来自多个来源（例如暗电流噪声、短噪声和热噪声），并且受到相机内部处理（ISP）流程（例如去马赛克、Gamma校正和压缩）的影响。所有这些使得真实噪声与AWGN有很大的不同0（a）来自DND [45]的“0002 02”0（b）噪声图像0（c）BM3D [12]0（d）DnCNN [61]0（e）FFDNet+ [62]0（f）CBDNet0图1：不同方法在DND [45]的真实世界噪声图像“000202”上的去噪结果。0从AWGN到真实世界噪声的盲去噪仍然是一个具有挑战性的问题。0最近，通过深度CNN的发展，高斯去噪性能得到了显著提升[61, 38,62]。然而，当应用于真实照片时，盲AWGN去噪的深度去噪器性能会显著下降（见图1（d））。另一方面，非盲AWGN去噪的深度去噪器会在去除噪声的同时平滑掉细节（见图1（e））。这种现象可以从深度CNN的特性[39]解释，其中它们的泛化能力在很大程度上取决于记忆大规模训练数据的能力。换句话说，现有的CNN去噪器往往对高斯噪声过拟合，并且在具有更复杂噪声的真实世界噪声图像上泛化能力较差。17130在本文中，我们通过开发一种卷积盲去噪网络（CBDNet）来解决这个问题，用于处理真实世界的照片。正如[39]所指出的，CNN去噪器的成功在很大程度上取决于合成噪声和真实噪声的分布是否匹配。因此，逼真的噪声模型是盲去噪真实照片的首要问题。根据[14,45]的研究，泊松-高斯分布可以近似为一个信号相关和一个平稳噪声分量的异方差高斯分布，被认为是真实原始噪声建模的更合适的替代方法，而不是AWGN。此外，相机内部处理还会使噪声在空间上和色彩上相关，增加了噪声的复杂性。因此，我们在噪声模型中考虑了泊松-高斯模型和相机内部处理流程（例如，去马赛克、Gamma校正和JPEG压缩）。实验证明，相机内部处理流程在逼真噪声建模中起到了关键作用，并在DND[45]上比AWGN获得了显著的性能提升（即PSNR提高了5dB以上）。我们进一步结合了合成噪声图像和真实噪声图像来训练CBDNet。一方面，可以轻松获得大量的合成噪声图像。然而，真实照片中的噪声无法完全由我们的模型来描述，因此为改善去噪性能提供了一定的余地。另一方面，一些方法[43,1]建议通过对同一场景的数百个噪声图像进行平均来获得无噪声图像。然而，这种解决方案成本高，并且会导致无噪声图像的过度平滑效果。通过合成噪声图像和真实噪声图像的结合，CBDNet在DND[45]上可以获得0.3�0.5dB的PSNR增益。我们的CBDNet由两个子网络组成，即噪声估计和非盲去噪。引入噪声估计子网络后，我们采用了一种不对称损失，对噪声水平的低估误差施加更多的惩罚，使得我们的CBDNet在噪声模型与真实世界噪声不匹配时能够稳健地工作。此外，它还允许用户通过调整估计的噪声水平图来交互地修正去噪结果。我们在三个真实噪声图像数据集上进行了大量实验，即NC12[29]、DND [45]和Nam[43]。无论是定量指标还是感知质量，我们的CBDNet在与现有技术的比较中表现出色。如图1所示，非盲BM3D[12]和盲AWGN的DnCNN[61]都无法去噪真实世界的噪声照片。相比之下，我们的CBDNet通过保留大部分结构和细节，同时去除复杂的真实世界噪声，实现了非常令人满意的去噪效果。总之，本文的贡献有四个方面：0•通过考虑异方差高斯噪声和相机内部处理流程，提出了一个逼真的噪声模型，极大地有益于去噪。0性能。0•合并合成噪声图像和实际噪声照片，以更好地描述实际图像噪声并提高去噪性能。0•通过引入噪声估计子网络，建议使用不对称损失来提高对实际噪声的泛化能力，并通过调整噪声水平图来进行交互式去噪。0•在三个实际噪声图像数据集上的实验证明，我们的CBDNet在定量指标和视觉质量方面都达到了最先进的结果。02. 相关工作02.1. 深度CNN去噪器0深度神经网络（DNN）的出现极大地改善了高斯去噪。直到Burger等人[6]，大多数早期的深度模型无法达到最先进的去噪性能[22, 49, 57]。随后，CSF [53]和TNRD[11]展开了优化算法，以学习阶段性推理过程的专家模型。通过结合残差学习[19]和批归一化[21]，Zhang等人[61]提出了一种去噪CNN（DnCNN），可以胜过传统的非CNN方法。不使用干净数据，Noise2Noise[30]也达到了最先进的效果。最近，其他CNN方法，如RED30 [38]，Mem-Net [55]，BM3D-Net [60]，MWCNN[33]和FFDNet[62]，也以有希望的去噪性能而开发。受益于CNN的建模能力，研究[61, 38,55]表明，学习一个单一模型进行盲高斯去噪是可行的。然而，这些盲模型可能过度拟合到AWGN并且无法处理实际噪声。相比之下，非盲CNN去噪器，例如FFD-Net[62]，可以通过手动设置适当或相对较高的噪声水平在大多数实际噪声图像上获得令人满意的结果。为了利用这一特点，我们的CBDNet包括一个噪声估计子网络以及一个不对称损失来抑制噪声水平的低估误差。02.2. 图像噪声建模0大多数去噪方法是针对非盲高斯去噪而开发的。然而，实际图像中的噪声来自各种来源（暗电流噪声、短噪声、热噪声等），并且更加复杂[44]。通过使用泊松分布建模光子感测和使用高斯分布建模剩余固定干扰，泊松-高斯噪声模型[14]已被采用于成像传感器的原始数据。在[14,32]中，还考虑了相机响应函数（CRF）和量化噪声，以进行更实际的噪声建模。与泊松-高斯不同，Hwang等人326412825617140L asymm : 不对称损失0L T V : TV正则化项0L rec : 重构损失0λ asymm L asymm + λ T V L T V L rec0CNN E : 噪声估计子网络0CNN D : 非盲去噪子网络0CBDNet : 卷积盲去噪网络0图2：我们的CBDNet用于实际世界噪声照片的盲去噪的示意图0al .[20]提出了一种用于泊松光子噪声建模的Skellam分布。此外，当考虑到相机内部图像处理流程时，独立通道噪声假设可能不成立，有几种方法[25,43]被提出用于跨通道噪声建模。在这项工作中，我们展示了逼真的噪声模型在基于CNN的实际照片去噪中起到了关键作用，并且泊松-高斯噪声和相机内部图像处理流程都有益于去噪性能。02.3. 实际图像的盲去噪0盲去噪真实噪声图像通常更具挑战性，可能涉及两个阶段，即噪声估计和非盲去噪。对于AWGN，已经开发了几种基于PCA的[48，34，9]方法用于估计噪声标准差（SD）。Rabie[49]将噪声像素建模为异常值，并利用洛伦兹鲁伯估计器进行AWGN估计。对于泊松-高斯模型，Foi等人[14]提出了一个两阶段的方案，即多个期望/标准差对的局部估计和全局参数模型拟合。在大多数盲去噪方法中，噪声估计与非盲去噪密切相关。Portilla[46，47]采用高斯尺度混合模型来建模每个尺度的小波块，并利用贝叶斯最小二乘法估计干净的小波块。基于分段平滑图像模型，Liu等人[32]提出了一种统一的框架，用于估计和去除彩色噪声。Gong等人[15]将数据拟合项建模为L1和L2范数的加权和，并利用小波域中的稀疏正则化器处理混合或未知噪声。Lebrun等人[28，29]通过将每个补丁组的噪声建模为零均值相关高斯分布，提出了非局部贝叶斯方法[27]的扩展。Zhu等人[63]建议使用贝叶斯非参数技术通过低秩混合0高斯的低秩混合（LR-MoG）模型。Nam等人[43]将跨通道噪声建模为多元高斯，并通过贝叶斯非局部均值滤波器[24]进行去噪。Xu等人[59]提出了一种多通道加权核范数最小化（MCWNNM）模型来利用通道冗余。他们进一步提出了一种三边加权稀疏编码（TWSC）方法，以更好地建模噪声和图像先验[58]。除了噪声诊所（NC）[28，29]，MCWNNM [59]和TWSC[58]之外，大多数盲去噪器的代码都不可用。我们的实验表明，它们在去除真实图像的噪声方面仍然有限。03. 提出的方法0本节介绍了我们的CBDNet，包括噪声估计子网络和非盲去噪子网络。首先，我们介绍噪声模型以生成合成噪声图像。然后，介绍网络架构和非对称损失。最后，我们解释了如何将合成噪声图像和真实噪声图像结合起来训练CBDNet。03.1. 真实噪声模型0正如[39]所指出的，CNN的泛化主要取决于其对训练数据的记忆能力。现有的CNN去噪器，如DnCNN[61]，通常在真实噪声图像上效果不佳，主要是因为它们可能过度拟合于AWGN，而真实噪声分布与高斯分布有很大不同。另一方面，当使用真实噪声模型进行训练时，CNN的记忆能力将有助于使学习模型在真实照片上具有良好的泛化能力。因此，噪声模型在保证CNN去噪器性能方面起着关键作用。与AWGN不同，真实图像噪声通常更为复杂且与信号相关[35，14]。实际上，光子感应产生的噪声可以建模为泊松噪声，而其余的固定干扰σ2(L) = L · σ2s + σ2c.(1)17150可以将其建模为高斯分布。因此，泊松-高斯提供了成像传感器原始数据的合理噪声模型[14]，并且可以进一步近似为具有异方差的高斯分布n(L)�N(0，σ2(L))，定义为，0其中L是原始像素的辐照度图像。n(L)=ns(L)+nc包括两个分量，即具有噪声方差σ2c的固定噪声分量nc和具有空间变异噪声方差L∙σ2s的信号相关噪声分量ns。然而，真实照片通常是在相机处理（ISP）之后获得的，这进一步增加了噪声的复杂性，并使其在空间和色彩上相关。因此，我们考虑了ISP流水线的两个主要步骤，即去马赛克和Gamma校正，得到了如下的真实噪声模型，0y = f(DM(L + n(L))), (2)0其中y表示合成噪声图像，f(∙)表示从[16]提供的201个CRF中均匀采样的相机响应函数(CRF)。L =Mf-1(x)用于从干净图像x生成辐照度图像。M(∙)表示将sRGB图像转换为Bayer图像，DM(∙)表示解马赛克函数[37]。注意，DM(∙)中的插值涉及不同通道和空间位置的像素。因此，方程(2)中的合成噪声是通道和空间相关的。此外，为了扩展CBDNet以处理压缩图像，我们可以在生成合成噪声图像时包括JPEG压缩。0y = JPEG(f(DM(L + n(L)))). (3)0对于非压缩噪声图像，我们采用方程(2)中的模型生成合成噪声图像。对于压缩噪声图像，我们利用方程(3)中的模型。具体来说，σs和σc均匀采样于[0, 0.16]和[0,0.06]的范围。在JPEG压缩中，质量因子从[60,100]的范围中采样。我们注意到，量化噪声不被考虑，因为它很小，可以忽略，对降噪结果没有明显影响[62]。03.2. 网络架构0如图2所示，提出的CBDNet包括一个噪声估计子网络CNNE和一个非盲降噪子网络CNN D。首先，CNNE接收嘈杂的观测y，产生估计的噪声水平图ˆσ(y) = FE(y;WE)，其中WE表示CNN E的网络参数。我们让CNNE的输出成为噪声水平图，因为它与输入y的大小相同，并且可以用全卷积网络估计。然后，CNND同时接收y和ˆσ(y)作为输入，得到最终的降噪结果ˆx =FD(y, ˆσ(y); WD)，其中WD表示0CNN D的网络参数。此外，引入CNNE还允许我们在将其输入非盲降噪子网络CNND之前调整估计的噪声水平图ˆσ(y)。在这项工作中，我们提出了一种简单的策略，即通过令ˆ�(y)=γ∙ˆσ(y)进行交互式降噪。我们进一步解释了CNN E和CNN D的网络结构。CNNE采用了一个简单的五层全卷积网络，没有池化和批归一化操作。在每个卷积(Conv)层中，特征通道的数量设置为32，滤波器大小为3×3。ReLU非线性[42]在每个Conv层之后部署。至于CNND，我们采用了U-Net[51]架构，它将y和ˆσ(y)作为输入，给出一个无噪声干净图像的预测ˆx。根据[61]，首先通过学习残差映射R(y,ˆσ(y);WD)来采用残差学习，然后预测ˆx=y+R(y,ˆσ(y);WD)。CNNE的16层U-Net架构也在图2中给出，其中引入了对称跳跃连接、步进卷积和转置卷积，以利用多尺度信息和扩大感受野。所有的滤波器大小都是3×3，除了最后一个卷积层之外，每个Conv层之后都应用ReLU非线性[42]。此外，我们经验性地发现，对于真实照片的噪声去除，批归一化帮助很小，部分原因是真实噪声分布与高斯分布根本不同。最后，我们注意到，训练单个盲CNN降噪器也是可能的，通过学习从嘈杂的观察到干净图像的直接映射。然而，正如[62,41]所指出的，将嘈杂图像和噪声水平图作为输入对于将学习的模型推广到超出噪声模型的图像是有帮助的，从而有益于盲降噪。我们经验性地发现，对于噪声水平较低的图像，单个盲CNN降噪器的性能与CBDNet相当，对于噪声较重的图像，单个盲CNN降噪器不如CBDNet。此外，噪声估计子网络的引入还使得交互式降噪和非对称学习成为可能。因此，我们建议在我们的CBDNet中包括噪声估计子网络。03.3. 非对称损失和模型目标0当输入噪声SD高于真实噪声SD时，CNN和传统的非盲去噪器都能够稳健地表现出色（即过度估计误差），这鼓励我们采用非对称损失来提高CBDNet的泛化能力。正如FFDNet[62]所示，当输入噪声SD和真实噪声SD匹配时，BM3D/FFDNet的效果最好。当输入噪声SD低于真实噪声SD时，BM3D/FFDNet的结果会包含可察觉的噪声。当输入噪声SD高于真实噪声SD时，BM3D/FFDNet仍然可以通过逐渐消除一些低对比度结构来获得令人满意的结果。i|α − I(ˆσ(yi)−σ(yi))<0| · (ˆσ(yi) − σ(yi))2 , (4)17160输入噪声SD的增加，非盲去噪器对噪声SD的低估误差非常敏感，但对过度估计误差具有鲁棒性。具有这种特性，BM3D/FFDNnet可以通过设置相对较高的输入噪声SD来去噪真实照片，这可能解释了BM3D在DND基准测试[45]中在非盲设置下的合理性能。为了利用盲去噪中的非对称敏感性，我们提出了一种对噪声估计的非对称损失，以避免噪声水平图上的低估误差的发生。给定像素i处的估计噪声水平ˆσ(yi)和真实噪声σ(yi)，当ˆσ(yi) <σ(yi)时，它们的均方误差应该受到更多的惩罚。因此，我们将噪声估计子网络上的非对称损失定义为，0Lasymm = �0其中Ie = 1表示e < 0，否则为0。通过设置0 < α <0.5，我们可以对低估误差施加更多惩罚，以使模型能够很好地泛化到真实噪声。此外，我们引入总变差（TV）正则化器来约束ˆσ（y）的平滑性，0LTV = ∥�hˆσ(y)∥22 + ∥�vˆσ(y)∥22, (5)0其中�h（�v）表示沿水平（垂直）方向的梯度算子。对于非盲去噪的输出ˆx，我们将重构损失定义为，0Lrec = ∥ˆx − x∥22. (6)0总之，我们CBDNet的总体目标是，0L = Lrec + λasymmLasymm + λTVLTV, (7)0其中λasymm和λTV分别表示非对称损失和TV正则化器的权衡参数。在我们的实验中，通过最小化上述目标来报告CBDNet的PSNR/SSIM结果。至于视觉质量的定性评估，我们通过在Eqn.（7）的目标中进一步添加VGG-16 [54]的relu33的感知损失[23]来训练CBDNet。03.4. 使用合成和真实噪声图像进行训练0在第3.1节中的噪声模型可以用来合成任意数量的噪声图像。我们还可以保证清晰图像的高质量。尽管如此，真实照片中的噪声无法完全由噪声模型来描述。幸运的是，根据[43，45，1]的研究，通过对同一场景的数百张噪声图像进行平均，可以获得几乎无噪声的图像，并且已经在文献中建立了几个数据集。在这种情况下，场景被限制为静态，并且获取数百张噪声图像通常是昂贵的。此外，由于平均效应，几乎无噪声的图像往往过度平滑。因此，可以将合成和真实的噪声图像相结合，以提高对真实照片的泛化能力。0在这项工作中，我们使用第3.1节中的噪声模型生成合成噪声图像，并使用来自BSD500[40]的400张图像，来自Waterloo[36]的1600张图像以及来自MIT-AdobeFiveK数据集[7]的1600张图像作为训练数据。具体而言，我们使用RGB图像x来合成干净的原始图像L =Mf-1(x)作为逆ISP过程，并使用相同的f根据Eqns.（2）或（3）生成噪声图像，其中f是从[16]中随机采样的CRF。至于真实噪声图像，我们利用来自RENOIR数据集[4]的120张图像。特别地，在训练过程中，我们交替使用合成和真实噪声图像的批次。对于一批合成图像，通过最小化Eqn.（7）中的所有损失来更新CBDNet。对于一批真实图像，由于无法获得真实噪声水平图，只考虑Lrec和LTV进行训练。我们凭经验发现，这种训练方案对于提高去噪真实照片的视觉质量是有效的。04. 实验结果04.1. 测试数据集0采用了三个真实世界噪声图像数据集，即NC12 [29]，DND[45]和Nam [43]：0NC12包含12个噪声图像。无法获得地面真实清晰图像，我们仅报告定性评估的去噪结果。0DND包含50对真实噪声图像和相应的几乎无噪声图像。与[4]类似，几乎无噪声图像是通过对低ISO图像进行精心后处理获得的。PSNR/SSIM结果通过在线提交系统获得。0Nam包含11个静态场景，对于每个场景，几乎无噪声图像是500个JPEG噪声图像的平均图像。我们将这些图像裁剪成512×512的块，并随机选择25个块进行评估。04.2. 实现细节0方程（7）中的模型参数为α = 0.3，λ1 = 0.5和λ2 =0.05。需要注意的是，Nam[43]的噪声图像经过了JPEG压缩，而DND[45]的噪声图像未经压缩。因此，我们采用方程（2）中的噪声模型训练DND和NC12的CBDNet，采用方程（3）中的模型训练Nam的CBDNet（JPEG）。为了训练我们的CBDNet，我们采用ADAM [26]算法，其中β1 =0.9。采用[18]的方法进行模型初始化。小批量的大小为32，每个块的大小为128×128。所有模型都经过40个时期的训练，前20个时期的学习率为10-3，然后使用学习率5×10-4进一步微调模型。使用MatConvNet软件包[56]在NvidiaGeForce GTX 1080 TiGPU上训练我们的CBDNet大约需要三天的时间。Table 2: The quantitative results on the Nam dataset [43].MethodBlind/Non-blindPSNRSSIMNI [2]Blind31.520.9466CDnCNN-B [61]Blind37.490.9272TWSC [58]Blind37.520.9292MCWNNM [59]Blind37.910.9322BM3D [12]Non-blind39.840.9657NC [29]Blind40.410.9731WNNM [17]Non-blind41.040.9768CBDNetBlind40.020.9687CBDNet(JPEG)Blind41.310.9784Table 3: PSNR/SSIM results by different noise models.MethodDND [45]Nam [43]CBDNet(G)32.52 / 0.7937.62 / 0.9290CBDNet(HG)33.70 / 0.908438.40 / 0.9453CBDNet(G+ISP)37.41 / 0.935339.03 / 0.9563CBDNet(HG+ISP)37.57 / 0.936039.20 / 0.9579CBDNet(JPEG)—40.51 / 0.9745Nam.The quantitative and qualitative results are given inTable 2 and Fig. 5. CBDNet(JPEG) performs much betterthan CBDNet (i.e., ∼ 1.3 dB by PSNR) and achieves thebest performance in comparison to state-of-the-arts.4.4. Ablation StudiesEffect of noise model.Instead of AWGN, we considerheterogeneous Gaussian (HG) and in-camera processing(ISP) pipeline for modeling image noise.On DND andNam, we implement four variants of noise models: (i)Gaussian noise (CBDNet(G)), (ii) heterogeneous Gaus-sian (CBDNet(HG)), (iii) Gaussian noise and ISP (CBD-Net(G+ISP)), and (iv) heterogeneous Gaussian and ISP(CBDNet(HG+ISP), i.e., full CBDNet. For Nam, CBD-Net(JPEG) is also included. Table 3 shows the PSNR/SSIMresults of different noise models.G vs HG.Without ISP, CBDNet(HG) achieves about0.8 ∼ 1 dB gain over CBDNet(G). When ISP is included,the gain by HG is moderate, i.e., CBDNet(HG+ISP) onlyoutperforms CBDNet(G+ISP) about 0.15 dB.w/o ISP.In comparison, ISP is observed to be more crit-ical for modeling real image noise.In particular, CBD-Net(G+ISP) outperforms CBDNet(G) by 4.88 dB, whileCBDNet(HG+ISP) outperforms CBDNet(HG) by 3.87 dBon DND. For Nam, the inclusion of JPEG compression inISP further brings a gain of 1.31 dB.Incorporation of synthetic and real images.We imple-ment two baselines: (i) CBDNet(Syn) trained only on syn-thetic images, and (ii) CBDNet(Real) trained only on realimages, and rename our full CBDNet as CBDNet(All). Fig.7 shows the denoising results of these three methods on aNC12 image. Even trained on large scale synthetic imagedataset, CBDNet(Syn) still cannot remove all real noise,partially due to that real noise cannot be fully character-ized by the noise model. CBDNet(Real) may produce over-smoothing results, partially due to the effect of imperfect17170表1：DND基准测试的定量结果。0方法 盲/非盲去噪 PSNR SSIM0CDnCNN-B [61] 盲sRGB 32.43 0.7900 EPLL [64] 非盲sRGB 33.51 0.8244 TNRD[11] 非盲sRGB 33.65 0.8306 NCSR [13] 非盲sRGB 34.05 0.8351 MLP [6] 非盲sRGB34.23 0.8331 FFDNet [62] 非盲sRGB 34.40 0.8474 BM3D [12] 非盲sRGB 34.510.8507 FoE [52] 非盲sRGB 34.62 0.8845 WNNM [17] 非盲sRGB 34.67 0.8646GCBD [10] 盲sRGB 35.58 0.9217 CIMM [5] 非盲sRGB 36.04 0.9136 KSVD [3]非盲sRGB 36.49 0.8978 MCWNNM [59] 盲sRGB 37.38 0.9294 TWSC [58] 盲sRGB37.94 0.94030CBDNet(Syn) 盲sRGB 37.57 0.9360 CBDNet(Real) 盲sRGB 37.72 0.9408CBDNet(All) 盲sRGB 38.06 0.942104.3. 与现有技术的比较0我们在比较中考虑了四种盲去噪方法，即NC [29, 28]，NI[2]，MCWNNM [59]和TWSC [58]。NI[2]是一款商业软件，已经包含在Photoshop和CorelPaintShop中。此外，我们还包括了一种盲高斯去噪方法（即CDnCNN-B [61]），以及三种非盲去噪方法（即CBM3D[12]，WNNM [17]，FFDNet[62]）。当将非盲去噪器应用于真实照片时，我们利用[9]来估计噪声SD。0NC12。图3显示了NC12图像的结果。所有竞争方法在去除暗区域的噪声方面都有限制。相比之下，CBDNet在去除噪声的同时保留了显著的图像结构。0DND。表1列出了在DND基准测试网站上发布的PSNR/SSIM结果。毫无疑问，CDnCNN-B[61]不能推广到真实噪声照片，并且表现非常差。尽管提供了噪声SD.，但非盲高斯去噪器，例如WNNM [17]，BM3D[12]和FoE[52]，仅能达到有限的性能，主要是因为真实噪声与AWGN差异很大。MCWNNM [59]和TWSC[58]是专门设计用于盲去噪真实照片的方法，也取得了有希望的结果。受益于逼真的噪声模型和与真实噪声图像的结合，我们的CBDNet取得了最高的PSNR/SSIM结果，略优于MCWNNM [59]和TWSC[58]。CBDNet还明显优于另一种基于CNN的去噪器，即CIMM[5]。至于运行时间，CBDNet处理一个512×512的图像大约需要0.4秒。图4提供了DND图像的去噪结果。BM3D和CDnCNN-B无法从真实照片中去除大部分噪声，NC，NI，MCWNNM和TWSC仍然无法去除所有噪声，而NI也受到过度平滑的影响。相比之下，我们的CBDNet在平衡去噪和结构保留方面表现出色。(a) Noisy image(b) WNNM [17](c) FFDNet [62](d) NC [29](e) NI [2](f) MCWNNM [59](g) TWSC [58](h) CBDNetFigure 3: Denoising results of another NC12 image by different methods.(a) Noisy image(b) BM3D [12](c) CDnCNN-B [61](d) NC [29](e) NI [2](f) MCWNNM [59](g) TWSC [58](h) CBDNetFigure 4: Denoising results of a DND image by different methods.(a) Noisy image(b) WNNM [17](c) CDnCNN-B [61](d) NC [29](e) NI [2](f) MCWNNM [59](g) TWSC [58](h) CBDNetFigure 5: Denoising results of a Nam image by different methods.1718(a) Noisy(b) γ = 0.4(c) γ = 0.7(d) γ = 1.0(e) γ = 1.3(f) γ = 1.6α = 0.4α = 0.317190图 6: 在两个DND图像上进行交互式图像去噪的结果。0(a) 噪声图像0(b) CBDNet(合成)0(c) CBDNet(真实)0(d) CBDNet(全部)0图 7: CBDNet在不同数据上训练的去噪结果。0无噪声图像。相比之下，CBDNet(全部)在去除真实噪声的同时保留了锐利的边缘。表 1显示了这三个模型在DND上的定量结果。CBDNet(全部)的PSNR/SSIM结果优于CBDNet(合成)和CBDNet(真实)。0非对称损失。图 8 比较了CBDNet在不同 α 值（即 α =0 . 5 , 0 . 4 和 0 . 3 ）下的去噪结果。当 α = 0 . 5时，CBDNet对低估和高估误差施加相等的惩罚，当 α < 0. 5 时，对低估误差施加更多的惩罚。可以看出，较小的 α(即 0 . 3 )有助于提高CBDNet对未知真实噪声的泛化能力。04.5. 交互式图像去噪0给定估计的噪声水平图 ˆ σ ( y ) ，我们引入一个系数 γ (> 0) 来交互地修改 ˆ σ ( y ) 为 ˆ � = γ ∙ ˆ σ ( y )。通过允许用户调整 γ ，非盲去噪子网络将 ˆ �和噪声图像作为输入来获得去噪结果。图 6展示了两个真实噪声DND图像以及使用不同 γ值获得的结果。通过指定 γ = 0 . 7 对第一张图像和0(a) 噪声图像0噪声 α = 0 . 50(b) 去噪补丁0图 8: CBDNet在不同 α 值下的去噪结果0γ = 1 . 3到第二个，CBDNet可以在保留详细纹理和去除复杂噪声方面获得更好的视觉质量的结果。这种交互式方案可以为在实际场景中调整去噪结果提供便利的手段。05. 结论0我们提出了一种用于盲去噪真实世界噪声照片的CBDNet。这项工作的主要发现有两个。首先，包括异质高斯和ISP管道的真实噪声模型对于使从合成图像中学习的模型适用于真实世界噪声照片至关重要。其次，通过在训练中结合合成和真实噪声图像，可以提高网络的去噪性能。此外，通过将噪声估计子网络引入到CBDNet中，我们能够利用非对称损失来提高其对真实世界噪声的泛化能力，并方便地进行交互式去噪。06. 致谢0这项工作得到了NSFC（grant no. 61671182, 61872118,61672446）和HK RGC General Research Fund（PolyU152216/18E）的支持。[2] NeatlabABSoft.Neatimage.https://ni.neatvideo.com/home. 6, 717200参考文献0[1] Abdelrahman Abdelhamed, Stephen Lin, and Michael SBrown. 一种用于智能手机相机的高质量去噪数据集. 在Proceedings of the IEEE Conference on Com- puter Visionand Pattern Recognition , 页码1692–1700, 2018. 2 , 50[3] Michal Aharon, Michael Elad, and Alfred Bruckstein. K-svd: 一种用于设计过完备字典的稀疏表示算法. 2006. 1 , 60[4] Josue Anaya and Adrian Barbu. Renoir -用于真实低光噪声图像降噪的数据集. 2014. 50[5] Saeed Anwar, Cong Phuoc Huynh, and Fatih MuratPorikli. 链接身份映射模块用于图像去噪. CoRR ,abs/1712.02933, 2017. 60[6] Harold Christopher Burger, Christian J. Schuler, andStefan Harmeling. 图像去噪: 普通神经网络能与bm3d竞争吗?2012 IEEE Conference on Computer Vision and PatternRecognition , 页码2392–2399, 2012. 2 , 60[7] Vladimir Bychkovsky, Sylvain Paris, Eric Chan和Fr´edoDurand. 使用输入/输出图像对的数据库学习全局色调调整.在第二十四届IEEE计算机视觉和模式识别大会上, 2011年. 50[8] Priyam Chatterjee和Peyman Milanfar. 去噪是否已经过时?IEEE图像处理期刊, 19:895-911, 2010年. 10[9] Guangyong Chen, Fengyuan Zhu和Pheng-Ann Heng.一种用于图像噪声水平估计的高效统计方法.2015年IEEE国际计算机视觉大会(ICCV), 第477-485页, 2015年. 3, 60[10] Jingwen Chen, Jiawei Chen, Hongyang Chao和MingYang. 基于生成对抗网络的图像盲去噪与噪声建模.在IEEE计算机视觉和模式识别大会上的论文集, 第3155-3164页,2018年. 60[11] Yunjin Chen和Thomas Pock. 可训练的非线性反应扩散:一种快速有效
