基于深度学习的高分辨率图像去噪方法及其性能研究

4651交叉面片图卷积网络图像去噪李耀，付学阳，查正军 * 中国科学技术大学xslx@mail.ustc.edu.cn，{xyfu，zhazj} @ustc.edu.cn摘要最近，基于深度学习的图像去噪方法相对于传统方法已经取得了显著的改进。由于硬件的限制，大多数基于深度学习的图像去噪方法利用裁剪的小块来训练卷积神经网络以推断干净的图像。然而，实际中的真正的噪声图像大多是高分辨率的，而不是裁剪的小块和香草训练策略忽略了跨块上下文依赖在整个图像。在本文中，我们提出了交叉补丁网络（CPNet），这是第一个基于深度学习的HR（高分辨率）输入真实图像去噪方法。此外，我们设计了一种新的损失引导的噪声水平地图，以获得更好的性能。与基于普通补丁的训练策略相比，我们的方法有效地利用了跨补丁上下文依赖性。此外，由于难以捕获真实的噪声和无噪声图像配对的训练数据，我们提出了一种有效的方法来生成逼真的sRGB噪声图像从其相应的清洁sRGB图像去噪训练。对真实sRGB图像的去噪更重要的是，我们的方法在实际的sRGB噪声图像去噪上实现了最先进的性能。1. 介绍由于图像去噪可以帮助下游计算机视觉任务[44，28，43，27，26，32]，因此它在相关领域引起了广泛的兴趣。由于GPU内存等硬件存储的限制，大多数去噪方法将裁剪后的小块作为训练数据集然而，这些方法训练的裁剪补丁可能会失败时，去噪的实际情况下，真正的噪声图像。目前，摄像机拍摄的图像通常具有高分辨率，并且整个图像中的块之间存在上下文一致性。*通讯作者。������������= 1.089 × 10−3������������= 0.956 ×10−5= 4.2������������= 1.113 × 10−3������������= 1.002 ×10−5= 5.1图1.SIDD中的分块噪声一致性的示例[1]。四个相似的贴片具有几乎相同的NLF（噪声水平函数的βs和βr-参见第3.1节）。NLF和高斯噪声水平分别通过使用由[13]和[8]提出的方法来估计。大量的去噪方法采用裁剪后的真实含噪图像块作为训练数据集来处理高斯噪声时，都能取得令人满意的去噪效果。然而，在高斯噪声和真实噪声之间存在虚拟差异。在高斯噪声图像中的补丁的噪声水平是相同的，这是固定的方差。因此，它是不必要的考虑高斯噪声补丁之间的上下文一致性。这与真正的噪音不同。真实的sRGB噪声由原始图像噪声通过图像处理流水线（ISP）生成 原始噪声可以分为两类：散粒噪声和读取噪声[13，29]，它们分别服从泊松分布和高斯分布。泊松噪声与图像像素值高度相关。此外，当原始图像被转换为sRGB图像时，每个像素上的噪声受到相邻区域中的像素的影响。因此，类似的补丁生成类似的噪声分布。图1给出了这种现象的一个示例，说明高分辨率噪声图像由一系列相似的补丁组成，并且噪声水平函数（NLF）几乎相同（散粒噪声σs和读取噪声σr）。通过使用SIDD[1]原始噪声图像和NLF估计方法[13]来估计所有NLF。因此，必须要有十字架--������������= 1.462 × 10−3������������= 1.073 × 10−5= 7.1������������= 1.594 × 10−3������������= 1.259 × 10−5= 7.24652考虑处理真实噪声的补丁一致性。为了获得更好的真实图像去噪性能，噪声水平图被广泛用作当今去噪方法中的输入噪声水平图不仅包含原始图像的像素值信息，而且包含每个像素的真实噪声分布信息。真实噪声和噪声电平图都记录了上述两种信息。但与噪声水平图不同，真实噪声伴随着不确定性和随机性，这使得难以提取原始像素值和噪声水平。虽然噪声水平图具有优越的性质，但大多数现有方法仅将其与作为网络输入的噪声图像连接，并且没有有效地利用它。除了跨块一致性之外，真实图像去噪性能还受到缺乏真实图像训练数据的限制。由于图像捕获过程中的困难例如，最大的数据集SIDD只有10个场景和160个训练图像对。每个真实的HR噪声图像可以被裁剪成多个噪声块训练对，但是每个图像的真实噪声参数是固定的，这使得大量的训练对共享相同的真实噪声参数。然而，在实际应用中，噪声参数的范围很广，训练图像中真实噪声参数的缺乏影响了去噪算法对未知噪声参数的鲁棒性。与高斯噪声不同，真实图像的噪声往往比较复杂，难以模拟。为了解决这个问题，我们提出了一种方法来合成逼真的sRGB噪声图像从干净的图像。在本文中，我们提出了CPNet，这是一种用于真实图像去噪的新型基于块的深度学习方法。具体来说，我们将输入图像裁剪成补丁，并根据它们之间的语义相关性进行初级补丁选择。然后我们构造了一个交叉补丁图，并提出了交叉补丁图卷积网络。我们将局部和非局部信息聚集到解码器以获得预测的干净图像。跨补丁GCN显式地捕获跨补丁长范围上下文依赖性。对于每个待估计的给定补丁（查询补丁），CPNet聚合与查询补丁高度相关的其他补丁。然后CPNet将这些相关的特征组合成更准确的预测干净图像。为了解决训练数据集不足的问题，我们提出了一种有效的方法，从它们对应的干净sRGB图像用于降噪器训练。概括而言，我们的贡献如下：我们提出了一个跨补丁策略，以探讨在高分辨率的真实噪声图像补丁之间的上下文一致性。我们提出了一种新的损失，以利用噪声水平地图。而不是仅仅把噪声水平图作为输入在以前的工作中，我们进一步使用它来监督网络的训练。我们设计了一个有效的管道，从相应的干净的sRGB图像去噪训练生成逼真的sRGB噪声图像。提出了一种基于图卷积网络CPNet的硬件资源约束下的高分辨率真实图像去噪算法.通过在不同数据集上的大量实验，我们表明所提出的方法能够实现最先进的性能。2. 相关工作图像去噪在计算机视觉中引起了广泛的兴趣。有两种主要的方法去噪的图像。一种是使用手工设计的算法对图像先验进行建模的经典技术，从贝叶斯的角度来看，图像先验在图像去噪中起着至关重要的作用。这些方法包括但不限于非局部自相似性（NSS）模型[6]、稀疏模型[11]、梯度模型[33]和马尔可夫随机场（MRF）模型[23]。自相似性驱动技术在最近的方法中仍然很流行，例如BM3D [10]和WNNM [17]。尽管图像去噪取得了进展，但由于测试阶段的复杂优化，该过程非常除此之外，经典的技术涉及一些手动选择的参数，有显着的效果去噪的性能。由于这两个问题，基于CNN的去噪方法开始发挥作用[22，41，12，9，25，35，7]。得益于CNN的建模能力，这些方法通常在sRGB空间中对具有模拟高斯噪声的图像进行盲去噪然而，由于真实噪声图像的去噪性能不令人满意，因此真实图像的去噪一直是图像去噪中最近研究的焦点[4，18，42]。它们都使用噪声水平图来帮助去噪。跨块一致性在图像恢复中得到了广泛的考虑。类似的块固有地在自然图像中频繁重现非局部均值[6]和BM3D[10]聚合相似的块以推断干净的图像。然而，大多数基于深度学习的去噪方法忽略了跨块一致性。由于噪声水平图包含丰富的真实噪声信息，因此大量方法将噪声水平图视为附加输入，例如[4，40]。但它们只将噪声图作为输入的一部分。不存在对它的后续处理，这导致实际噪声参数的利用不足。····4653×个C不超过Cn不超过CQJNJQJCNJC×个nqj图卷积网络[21，19，14，15]已成功应用于图像恢复。GCDN[37]介绍了一个轻量级的边缘条件卷积，它增加了在现今的图像去噪方法[18，4，42]中。我们可以通过等式1获得噪声水平图η针对图像去噪处理这种特定图形卷积的消失梯度和过度参数化问题IGNN[45]提出了一种图形网络，可以探索内部n=βs*L+βr，L=f−1（ i），（一）图像超分辨率的内部递归性质。图网络从真实图像中学习重复的纹理、角点和边缘。我们使用GCN有三个原因：首先，在实际的噪声图像中存在大量的小的相似结构。它们适合被建模为图形数据以学习节点的信息表示其中i是干净图像，f是相机响应函数（CRF）[30]。βs：散粒噪声的信号相关乘法分量。βr：读取噪声的独立加性高斯分量。原始噪声模型可以表示为[13]：y=x+N （ 0 ， σ （ x ） ） ，σ2 （ x ）=βx+β，（2）基于原始节点特征和结构信息mation 其次，相似斑块可以仅由GCN中的两个节点的边权重来表示第三，传统的非局部方法涉及许多影响去噪性能的手动选择的参数，而GCN自适应地学习参数并提高去噪性能。有大量的真实图像数据集[1，34，3，39，31，5]。然而，制作高质量的训练数据集非常昂贵[1]，因此图像和场景的数量有限。 因为很难捕捉到 大量的真实噪声和无噪声图像对，一些方法[4，40]基于对用于去噪器训练的ISP流水线的关键组件建模来合成真实的sRGB噪声图像。然而，生成的噪声图像不够逼真，因为存在一些不可逆的ISP组件，例如去马赛克[30]。我们设计了一个网络来学习ISP中的不可逆组件，以生成逼真的sRGB噪声图像。在本文中，我们利用GCN捕获跨补丁上下文依赖性，并优化训练损失，以利用噪声水平图的属性。此外，我们设计了一个网络来扩大训练数据集时，训练CPNet。3. 我们的方法在图像去噪中，我们裁剪输入图像及其噪声水平图（第2节）。3.1)用于训练我们的网络。给定查询块，我们在整个图像中找到与查询块相似的图像块（第二节）。 3.2）。 去撬- 年龄跨补丁信息有效地，我们提出了一种新的跨补丁GCN（Sec.3.3）。此外，我们提出了一种新的损失，以有效地利用噪声水平图的属性（第二节）。第3.4段）。然后，我们描述了我们的网络的细节（Sec. 3.5）。所提出的程序如图2所示。最后，我们设计了一个有噪声的图像生成网络，以避免缺乏训练数据集（第二节）。3.6）。3.1. 噪音水平图噪声水平图，包含原始像素值的图像。x和y分别表示干净的和有噪声的原始图像。活泼地从上面我们可以看到，即使一个图像中的所有块共享相同的NLF（βs和βr），由于原始像素值的不同，大多数块具有不同的噪声水平。对于相似的块，由于噪声的随机性，真实噪声不太可能相同，但是噪声分布和噪声水平最有可能相同。因此，跨块一致性在实际图像去噪任务中是值得研究的。根据经验，我们遵循[4]并将f−1定义为逆ISP，以简化计算而不牺牲精度。每个噪声水平图和噪声图像被级联作为输入。3.2. 交叉贴片采样我们假设ll查询补丁为Iq。我们的目标是在整个图像中找到与查询补丁Iq相似的补丁代替使用整个图像中的所有复制的块，我们仅通过步幅S1对N个候选块Ii，iN进行采样，然后选择前K个相邻块以节省计算而不牺牲准确性。具体地，我们将与其噪声水平图连接的整个噪声图像裁剪成补丁Ii。为了找到K个相邻特征块，我们首先通过编码器提取Iq和Ii的语义特征Eq和Ei我们根据查询特征图Eq与其他候选数据Ei之间的欧氏距离找到K11个最近邻块Ei，iK。较小的距离表明候选补丁与查询补丁的相关性更高，因此在信息传播中应该发挥更重要的作用例如，我们发现，与利用所有N个上下文补丁相比，K= 3已经可以实现相当的准确度3.3. 跨补丁GCN为了进一步减轻GCN的计算负担，我们设置步长s2以从Eq和Ei中提取d × d块E1和Ei。如图3所示，对于每个E1，特征E1与所有的特征E1之间的欧几里得距离是相同的用户终端和真实噪声参数信息，被广泛应用Ei的特征并在它们之间4654NJNJQJG--V E V × VG V En不超过nnNJS×个JFJ·--En.nQJNJQJMJNJQJ我Σ噪声图像噪音等级图图2. CPNet的体系结构。将与其噪声水平图级联的整个图像作为编码器输入。给定一个查询补丁，相似的上下文补丁将通过跨补丁采样来找到。以下框架包括两个分支：本地和非本地网络。对于前者，分支提取内部块的相关性。对于后者，Cross-PatchGCN提取分片一致性。然后，我们聚合的本地和非本地的功能作为输入的解码器。最后，应用残差连接来帮助生成干净的图像。1和具有最小距离的KEi。如验证[46]，在整个im中有大量的重复补丁-年龄，因此我们可以假设K个补丁Ei与E1相似。交叉片之间的连接可以很好地构造为图（，），其中每个片是一个顶点，并且edge=是两个顶点的相似加权连接。 在这项工作中，我们假设作为一个标记的二-没有自环的矩形图该图被构造为特征空间中的K近邻图。我们还假设每个边缘都有其标签，并将边缘标签函数设置为两个特征之间的差异图3.交叉贴片GCN的图示。Ei、i K是与查询块Eq相似的候选，其可以从交叉块采样获得。然后我们裁剪Eq和candi-将Ei划分为较小的块，例如E1及其最近的邻居J J在GCN的处理之后，聚合k个片Ei，并且层m处的非局部聚合被计算为：Em=1Σexp（Fmd（m，i，j）Ei）），我（三）输出嵌入有跨补丁上下文一致性。以提供输出特征。 根据经验，我们设计了三个层3 3卷积网络。最后，我们结合局部特征和非局部特征来生成Sm=exp（Fmd（m，i，j）），我其中M是层M处的全连接边缘条件卷积层，其将边缘标签作为输入exp（）表示指数函数。Sm表示归一化因子。在我们的交叉补丁GCN中，执行卷积层M=3。图中的K最近邻仅计算一次。其余两个卷积层共享相同的顶点。通过利用边缘标签，建议的GCN聚合K语义相似的功能强大和灵活的。尽管交叉补丁GCN的非局部操作，但经典的局部卷积处理局部相邻输出特征D作为解码器的输入。3.4. 损失3.4.1第二语言损失乍一看，该网络具有全局输入-输出残差连接，由此网络学习估计噪声，而不是连续清理图像。这已被证明[41]可以改善去噪问题的训练收敛。按照传统的方法，如[41]，我们采用L2范数损失函数，它是网络输出的去噪补丁与地面真实值之间的当地查询图像块解码器3层CNN编码器去噪贴片非本地K近邻Concatenate上下文补丁交叉面片采样按元素之和倍图贴片聚集交叉贴片采样交叉面片图卷积层交叉贴片GCN输出EM在层m处：d（m，i，j）=Eq受边缘条件卷积的启发[36]，我们4655~~因此，y更接近于y×个..|log σ + σ ≈ log|标准差|+x x y x k k k|+xxyxkkkk≈×个×个σk+ σkKK..|| ≫ ..≈L= Σ。（ykkk3.4.2NLF损失我们假设地面实况、噪声输入和预测的干净图像的辐照度为y，x，y。 我们在输入中有真实的噪声：ni= x − y，其中niN（0，σx）。我们也-将输出中的噪声细化为：no=y−y，其中noN（0，σy）。|X| ≫ |y|≈比x。考虑一个新的变量nv=x−y，它有nvN（0，σx+σy）。 对于给定的位置k，xk，yk，nvk是C × 1的向量（对于灰度图像C = 1，对于彩色图像C = 3），σxk，σyk是一个C-C协方差矩阵。如果我们忽略噪声信道相关性，协方差矩阵变成一个对角矩阵。受[38]的启发，我们将nvk的负对数似然的和作为NLF损失：L=Σ。1（y-x）T。σ+σΣ−1（y−x）个街区.交叉补丁GCN被插入编码器之后，并且是一个非常小的网络，仅包含三个卷积层，用于效率和准确性。3.6.数据增强受[16，1]的启发，如图4所示，我们提出了一种从干净图像合成真实sRGB噪声图像的方法。它包括三个步 骤 ： 将 干 净 的 sRGB 图 像 变 换 到 原 始 空 间 （ 逆ISP），将泊松-高斯噪声添加到原始图像，以及将有噪声的原始图像转换回sRGB空间（ISP）。ISP管线按顺序包括白平衡、Bayer后处理、DC-网、颜色空间转换、伽马变换和色调映射。在逆ISP流水线中，输入是sRGB图像，输出是模拟的原始图像，其依次经过逆色调映射、逆伽马变换、逆颜色空间转换、逆颜色空间转换和逆颜色空间转换。NLF2kK.Xkxkykkky.Σ反马赛克、反白平衡。本文设计了一个称为DC-Net的网络来学习ISP的不可逆分量的处理，包括去马赛克为了生成逼真的sRGB噪声图像，我们需要哪 里 |·| 表 示 矩阵的 行 列 式 。 我 们 考 虑 近 似 σxkσyk0，对数项可用其一阶泰勒近似膨胀点：tr.（σx）−1σyΣ，其中tr（·）表示ma的迹线提前训练DC-Net首先，我们将真实的含噪sRGB图像作为逆ISP流水线输入以生成模拟的含噪原始图像，然后关闭噪声模型组件，并通过ISP流水线处理原始图像以生成逼真的含噪图像。噪声的生成的sRGB图像共享类似的分布特里克斯x和y的辐照度通过使用逆ISP（第3.6节）转换噪声输入和预测的干净图像。噪声水平σx由真实噪声数据集SIDD和DND提供 噪声水平σy由[8]估计。引用文[8]的结论，估计的σy的数量级是准确的。 根据近似，σy+ σxσx和（σx）−1σy的迹可以很好地估计。因此，总损失可以提高性能最后，采用以下NLF损失来监督训练过程：作为原始的真实噪声图像。在框架训练完成后，打开噪声模型组件，并将大量干净的sRGB图像作为输入，以生成其对应的sRGB噪声图像。然后，我们可以利用这些真实的噪声图像作为真实图像训练的增强。补充材料中提供了更详细的实施方式4. 实验在本节中，我们将检查我们的方法对真实图像去噪的有效性。1NLF2kK1-xk）T。σx1 .一、+σyΣ−1（y−x）ΣΣKK4.1. 数据集我们主要在真实世界的数据集SIDD [1]上进行实验，这是目前信息量最大的数据集+2对数|σxk|+2树（σx）−1σy。（五）由智能手机摄像头拍摄它释放出160对干净和嘈杂的图像。 所有的图像都有元数据。我们随机选择140个干净的sRGB图像和相应的总损失可以写为：L总=L2+ λLNLF。（六）3.5.网络结构编码器由[24]提出的16个残差块组成。解码器由16个残差响应合成噪声图像以训练去噪模型。所有的图像被裁剪成128个128个非重叠的训练查询块，其总数为110810。将剩余的20幅真实噪声图像裁剪成16210、128、128个不重叠的小块进行测试。为了与最近的方法进行更多比较，我们还在DND[34]数据集上进行了实验此数据集+ log2、（四）1K4656×个×个--×个DC-NetBGGK倍模拟去马赛克BGGRR月12子像素拜耳图像特征地图特征地图月6完整第1集拜耳影像月7卷积基于Bayer模式模拟去马赛克图像特征图前sRGB噪声图像噪声模型DC-Net干净图像逆ISP原图像噪声RAW预处理图像处理拜耳影像前sRGB噪声图像后处理合成噪声sRGB图像逆ISP预处理后处理干净图像逆语气MG阿普因逆Gamma变换逆颜色空间转换逆逆去马赛克-白平衡-ing噪声原始图像白平衡拜耳Re e-arrangment前sRGB噪声图像色 彩空 间 转换伽马色调反式映射形式图4.一个流程图说明了在我们的过程中的现实噪声图像生成的主要步骤。将干净的sRGB图像通过逆ISP模块以获得原始图像，并且在添加噪声之后，对原始图像进行预处理以获得DC-Net的输入，DC-Net生成预sRGB噪声图像。最后，通过后处理得到真实感强的含噪sRGB图像。由50对有噪声和无噪声的图像组成，这些图像由四个消费者相机捕获。由于图像具有非常高的分辨率，因此提供者从每个图像中提取大小为512、512的20个作物，从而产生总共1000个块。完整的数据集用于测试，因为地面真实无噪声图像不是公开可用的。PSNR和SSIM方面的定量评估只能通过在线服务器执行。我们采用DIV2K[2]作为真实噪声训练数据集的增强。DIV2K有800个（相对）干净的训练图像，没有高质量（2K分辨率）的成对噪声图像。我们随机裁剪了50个非重叠的128- 128补丁在每个图像，从而产生了40000训练查询补丁。在跨块采样中，我们将步幅s1设置为200。邻居的数量K被设置为3。在交叉面片GCN中，我们将步长s2设置为4.GCN特征图的大小d是3。4.2. 实现细节4.2.1CPNet设置该模型被训练了大约800000次迭代，minibatch大小为 8 。 Adam 优 化器 [20] 已 用于 β1=0 的 设置 。 9 ，β2=0。九九九ε=10 8，学习率在10−4到10−5之间呈指数衰减。该框架是在8NVIDIA 1080Ti GPU上的Pytorch上实现的。4.2.2DC-Net设置在DC-Net的训练中，ADAM [20]被用作学习率设置为5的优化器 10-4。 批量为64。在每个时期，30000补丁被从整个训练补丁采样。在训练期间总共进行了1000K个时期。采用L2损失4.2.3培训战略根据测试数据SIDD和DND的不同对于SIDD测试，我们采用SIDD噪声数据作为DC-Net训练数据。所生成的DIV2K噪声图像具有与SIDD噪声图像相似的噪声分布。这两个数据集都被视为用于CPNet训练的训练数据集。对于DND测试，我们采用DND噪声数据作为DC-Net训练数据，并且生成的噪声图像与DND噪声图像具有相似的分布。然而，DND不提供训练对，使得仅将DIV2K噪声对作为CPNet训练输入。4657×个(a) 地面实况(b) 真实噪声图像22.12分贝(d) FFDNet25.64分贝(e) GooglesRGB28.59分贝(f) CBDNet33.52分贝(g) CycleISP35.31分贝(h)我们35.55分贝图5.SIDD数据集上六个模型的视觉比较4.3. SIDD算法的去噪性能我们验证了我们的去噪模型SIDD的有用性。五个最近 的 模 型 被 用 来 与 CPNet 进 行 比 较 第 一 种 是DnCNN[41]，这是一种经典的基于深度学习的去噪方法。第二个模型是FFDNet [42]，它通过使用具有估计噪声水平图的sRGB图像进行训练，其中噪声图像添加了不同水平的高斯噪声。 第三种模式是GooglesRGB[4]，它是用合成的原始图像训练的，损失是在sRGB空间中施加第四模型是CBDNet [18]，它使用sRGB图像进行训练第五个模型是CycleISP[40]，它向前建模相机成像管道，并在其管道生成的真实合成数据上训练新框架。所有这些模型都使用SIDD和DIV2K训练集进行训练。表1显示了这六种模型在实际噪声sRGB图像上的去噪性能比较。我们可以看到，CPNet在PSNR和SSIM方面的表现明显优于DnCNN，FFDNet，GooglesRGB和CBDNet它的性能也优于CycleISP表1.16210上六种型号的去噪性能从SIDD中的20个实际噪声图像中获得128个非重叠块。方法峰值信噪比（dB）SSIMDnCNN31.960.6970FFDNet34.660.7781GooglesRGB35.660.8485CBDNet37.080.9236CycleISP38.130.9524CPNet38.340.9571PSNR为0.21dB六种型号的直观对比见图5. 原始的真实噪声图像相当暗。为了更好地观察，图像的三个R、G和B通道的强度和去噪结果由线性函数y=2x拉伸。很容易看出，CPNet去除了大部分噪声，特别是在黑暗区域。(c)DnCNN24.38分贝4658L(a) 真实噪声图像(b) CBDNet30.63dB(c) GooglesRGB32.88分贝(d) CycleISP33.70分贝(e)我们33.84分贝图6.DND数据集上五个模型的视觉比较表2.五种模型在DND数据集上的去噪性能。方法峰值信噪比（dB）SSIMFFDNet36.880.9252CBDNet38.060.9421GooglesRGB38.100.9436CycleISP39.560.9564CPNet39.780.95664.4. DND的去噪性能我们还对另一个常用的真实世界数据集DND [34]进行了实验。由于DND只有50个真实的噪声图像，而没有发布它们的地面实况，因此所有模型都使用来自DIV2K的800个干净的sRGB图像进行训练，并在DND数据集上进行测试。如表2所示，我们的模型优于其他模型，即使训练和测试数据集不同。图6中给出了视觉去噪比较。4.5. 消融研究我们研究了各种设计参数对去噪性能的影响 为了验证交叉贴片GCN、NLF损失和数据增强的有效性，我们进行消融实验以评估我们提出的方法中每个关键组件的有效性：去除NLF损失（w/o NLF），这意味着损失仅是L2损失，去除交叉补丁GCN（w/o CPGCN），这意味着仅保留局部卷积，以及去除数据增强，这意味着仅使用SIDD训练数据集。表3示出了随着包括任何一个自适应组件，性能变得越来越好。上述实验结果表明，CPGCN增强了去噪性能，并且可以利用噪声水平图来监督网络训练。表 3. CPNet 变 体 的 SIDD 结 果 。 （ w/o CPGCN ） 、 （ w/oLNLF）和（w/o数据增强）分别表示去除跨补丁GCN、去除噪声水平图损失以及仅使用SIDD训练数据集。峰值信噪比（dB）SSIM基线36.850.9103不含CPGCN37.340.9311不带LNLF38.150.9531无数据扩充37.610.9382CPNet38.340.9571ing.此外，我们可以通过使用我们的方法来扩大训练数据集，以改善去噪。5. 结论我们已经提出了一个图卷积网络CP-Net来探索高分辨率真实图像去噪的跨补丁上下文一致性。此外，一种新的噪声水平图损失被应用到我们的模型，并提高降噪性能。为了提高真实图像去噪的鲁棒性和灵活性，我们设计了一个有效的流水线来生成真实的sRGB噪声图像，用于扩大训练数据集，并取得了令人满意的结果。致谢：本工作得到了国家重点研发&计划（2020 AAA0105702 ） 、 国 家 自 然 科 学 基 金 （ U19 B2038 和61901433）、安徽省高校协同创新计划（GXXT-2019-025）和中国 科学技术大学 双一流研究基金 （YD210000）的支持2003.4659引用[1] Abdelrahman Abdelhamed，Stephen Lin，and Michael S.布朗智能手机摄像头的高质量去噪数据集。在CVPR，2018年。[2] Eirikur Agustsson和Radu Timofte。Ntire 2017挑战单幅图像超分辨率：数据集和研究。在CVPRW，2017年。[3] Josue Anaya和Adrian Barbu RENOIR -一个用于真实降噪评估的基准数据集。CoRR，abs/1409.8230，2014。[4] Tim Brooks ， Ben Mildenhall ， Tianfan Xue ， JiawenChen， Dillon Sharlet，and Jonathan T. 巴伦未 处理图像，用于学习的原始去噪。在CVPR，2019年。[5] Benoit Brummer和Christophe De Vleeschouwer。自然图像噪声数据集。在CVPRW，2019年。[6] 安东尼·布阿德斯、巴托梅乌·科尔和让-米歇尔·莫雷尔。一种非局部图像去噪算法。在CVPR，2005年。[7] 常晨，熊志伟，田心梅，查正军，凤舞。真实世界的图像去噪与深度提升。IEEE传输模式分析马赫内特尔，42（12）：3071[8] Guangyong Chen，Fengyuan Zhu，and Pheng-Ann Heng.图像噪声水平估计的一种有效统计方法。在ICCV，2015年。[9] Yunjin Chen和Thomas Pock。可训练的非线性反应扩散：一个灵活的框架，快速有效的图像恢复。IEEE传输模式分析马赫内特尔，39（6）：1256[10] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen O.埃吉亚扎利安人稀疏三维变换域协同滤波图像去噪。 IEEE Trans. 图像处理，16（8）：2080 -2095，2007.[11] Weisheng Dong，Lei Zhang，Guangming Shi，and XinLi.图像恢复的非局部集中稀疏表示。IEEE Trans. ImageProcessing，22（4）：1620[12] Michael Elad和Michal Aharon通过学习字典上的稀疏和冗余表示进行图像去噪。IEEE传输图像处理。，15（12）：3736[13] Alessandro Foi、Mejdi Trimeche、Vladimir Katkovnik和Karen O.埃吉亚扎利安人单幅图像原始数据的实用泊松-高斯噪声建模与拟合IEEE Trans. Image Processing，17（10）：1737[14] Xueyang Fu，Qi Qi，Zheng-Jun Zha，Xinghao Ding，Feng Wu，and John W.佩斯利连续图卷积网络用于图像去噪。国际计算机目视，129（5）：1691[15] Xueyang Fu，Qi Qi，Zheng-Jun Zha，Yurui Zhu，andXing-hao Ding. 通 过 对 偶 图 卷 积 网 络 去 除 雨 痕 。 在AAAI，2021年。[16] Mi cha eülGharbi ， Gaura vChaurasia ， Syl vainParis ，andFre´doDurand.深度联合去马赛克和去噪。ACM事务处理图表，35（6）：191：1[17] 古书航、张磊、左王梦、向楚风。加权核范数最小化及其在图像去噪中的应用。CVPR，2014。[18] 史国，严子飞，张凯，左王梦，张磊。真实照片的卷积盲去噪。在CVPR，2019年。[19] Mikael Henaff，Joan Bruna，and Yann LeCun.图结构数据上的深度卷积网络。CoRR，abs/1506.05163，2015。[20] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。2015年，国际会议[21] 托马斯·N Kipf和Max Welling。使用图卷积网络的半监督分类。在ICLR，2017。[22] Jaakko Lehtinen 、 Jacob Munkberg 、 Jon Hasselgren 、Samuli Laine、Tero Karras、Miika Aittala和Timo Aila。Noise2noise ： 没 有 干 净 数 据 的 学 习 图 像 恢 复 。 在ICML，2018。[23] 斯坦·Z李图像分析中的马尔可夫随机场模型。模式识别进展。Springer，2009.[24] Bee Lim ， Sanghyun Son ， Heewon Kim ， SeungjunNah，and Kyoung Mu Lee.用于单图像超分辨率的增强深度残差网络在CVPRW，2017年。[25] Ding Liu ， Bihan Wen ， Yuchen Fan ， Chen ChangeLoy，and Thomas S.煌用于图像复原的非局部递归网络。NeurIPS，2018。[26] 刘丁、文碧涵、刘先明、王张阳和托马斯·S.煌当图像去噪满足高级视觉任务时：深度学习方法。在IJCAI，2018。[27] 刘大庆，张汉王，查正军，凤舞。学习组装用于视觉基础的神经模块树网络在ICCV，2019年。[28] Jiawei Liu，Zheng-Jun Zha，Xuojin Chen，Zilei Wang，and Yongdong Zhang.用于视频中人物重新识别的密集3d卷积神经网络。ACM Trans. Multim. Comput. Commun.Appl. ，15（1s）：8：1[29] JanLuk 's，JessicaJ. Fridrich，andMirosl a vGolj a n. 从传感器模式噪声识别数码相机IEEE Trans. Inf. ForensicsSecur.，1（2）：205[30] 亨 利 克·S. Malvar ， Li-wei He ， and Ross Cutler. 用 于Bayer模式彩色图像去马赛克的高质量线性插值。见ICASSP，2004年。[31] SeonghyeonNam 、 YoungbaeHwang 、 YasuyukiMatsushita和Seon Joo Kim。跨通道图像噪声建模的整体方法及其在图像去噪中的应用。在CVPR，2016年。[32] Xuejing Niu，Bo Yan，Weimin Tan，and Junyi Wang.语义分割的有效图像恢复。神经计算，374：100[33] Stanley Osher，Martin Burger，Donald Goldfarb，JinjunXu，and Wotao Yin.基于全变分图像复原的迭代正则化方法。多尺度建模仿真，4（2）：460[34] 托拜厄斯·普洛兹和斯特凡·罗斯。用真实照片对去噪算法进行基准测试。在CVPR，2017年。[35] TobiasP lótz 和Ste f anRoth。神经近邻网络。NeurIPS，2018。[36] Martin Simonovsky和Nikos Komodakis。图上卷积神经网络中的动态边缘条件滤波器。在CVPR，2017年。4660[37] Diego Valsesia Giulia Fracastoro和Enrico Magli。深度图-卷积图像去噪。IEEE传输图像处理。，29：8226[38] 吴晓鹤，刘明，曹跃，任东伟，左旺猛.深度图像去噪的非配对学习。在ECCV，2020年。[39] Jun Xu，Hui Li，Zhetong Liang，David Zhang，and LeiZhang. 真 实 世 界 噪 声 图 像 去 噪 ： 一 个 新 的 基 准 。CoRR，abs/1804.02603，2018。[40] Syed Waqas Zamir 、 Aditya Arora 、 Salman Khan 、Munawar Hayat 、 Fahad Shahbaz Khan 、 Ming-HsuanYang和Ling Shao。Cycleisp：通过改进的数据合成进行真实图像恢复。[41] Kai Zhang ， Wangmeng Zuo ， Yunjin Chen ， DeyuMeng，and Lei Zhang.超越高斯降噪器：深度CNN的残差学习用于图像去噪。IEEE Trans. Image Processing，26（7）：3142[42] 张凯、左王梦、张磊。Ffdnet：基于cnn的图像去噪的快速灵活解决方案。IEEE Trans. Image Processing，27（9）：4608[43] Ziqi Zhang，Yaya Shi，Chunfeng Yuan，Bing Li，PeijinWang，Weiming Hu，and Zheng-Jun Zha.对象关系图与教师推荐的视频字幕学习。在CVPR，2020年。[44] Zheng-Jun，Zha，Dahling，Liu，Hanwang，Zhang，Yongdong，Feng，and Wu.用于细粒度图像字幕的上下文感知视觉策略网络IEEE传输模式分析马赫内特尔，2019年。[45] Shangchen Zhou，Jiawei Zhang，Wangmeng Zuo，andChen Change Loy.图像超分辨率的跨尺度内图神经在NeurIPS，2020年。[46] Maria Zontak和Michal Irani。单个自然图像的内部统计CVPR，2011。