基于卷积神经网络的非局部彩色图像去噪性能的提高

1基于卷积神经网络的非局部彩色图像去噪莱夫基米蒂斯俄罗斯莫斯科斯科尔科沃科技学院（Skolkovo Institute of Science and Technology，Skoltech）s.lefkimmiatis@ skoltech.ru摘要我们提出了一种新的深度网络架构，用于基于非局部图像模型的灰度和彩色图像去噪。我们的动机，提出的网络的整体设计源于变分方法，利用自然图像的固有的非局部自相似性的prop，profession。我们建立在这个概念的基础上，并引入了执行非局部处理的深度网络，同时它们也从判别学习中受益匪浅。在Berkeley分割数据集上的实验比较了几种最先进的方法，结果表明，所提出的非局部模型在所有测试噪声水平下对灰度图像和彩色图像都具有最佳的去噪性能值得注意的是，与现有的替代深度网络架构相比，这种性能的提高并没有增加网络容量的此外，我们强调了所提出的非局部模型与卷积神经网络的直接联系。这种连接非常重要，因为它使我们的模型能够充分利用深度学习中GPU计算的最新进展，并通过其固有的并行性使其易于高效实现。1. 介绍深度学习方法已成功应用于各种计算机视觉任务，包括图像分类[16，20]和对象检测[11，29]，并显着提高了这些系统的性能，创造了新的最先进水平。最近，对于图像处理应用，例如图像恢复[5，39]、超分辨率[ 18 ]和超分辨率[19]，也已经报道了非常有前途的结果。光流[1]。深度网络在性能上的显著提升主要归功于其先进的建模能力，这要归功于其深度结构和非线性的存在，这些非线性与大型训练数据集上的区分性学习相结合然而，目前大多数为IM开发的深度学习方法(a)（b）第（1）款图1.基于深度非局部图像模型的图像去噪(a)加性高斯噪声污染的噪声图像（σ= 25）; PSNR = 20。16分贝。(b)使用5级前馈网络进行去噪图像，如第3.3;PSNR =29岁53分贝。年龄恢复任务是基于不完全利用问题特定知识的一般网络体系结构。因此，可以合理预期，纳入此类信息可能会导致性能的进一步改善。就在最近，Schmidt和Roth [34]以及Chen和Pock [6]引入了深度网络，其架构专门针对某些图像恢复问题。然而，即使在这些情况下，所得到的模型是本地的，并没有考虑到固有的非局部自相似自然图像的属性。另一方面，利用这一属性的传统方法已被证明获得显着的改善相比，标准的本地方法。一个值得注意的例子是块匹配和3D协同过滤（BM3D）方法[7]，这是一种非常有效和高度工程化的方法，在图像去噪方面保持了近十年的最新记录。在这项工作中，受到深度学习的最新进展的激励，并依靠丰富的算法思想35873588≥∈›→2›→2ǁ− ǁ过去已经开发了用于解决图像重建问题的深度网络架构，我们研究了用于图像去噪的深度网络架构。受非局部变分方法和其他相关方法的启发，我们设计了一个网络，该网络执行非局部处理，同时它显著受益于判别学习。具体地，我们的策略不是手动设计非局部正则化泛函，而是按照基于损失的训练方法来学习非局部正则化算子和势函数。我们在这项工作中的贡献可以概括为以下几点：（1）我们提出了一种新的深度网络架构，该架构经过区分性训练用于图像去噪。与现有的图像恢复深度学习方法基于局部模型，我们的网络通过相似块的分组操作和联合滤波来显式地模拟自然图像的非局部自相似特性。（2）我们将近似梯度方法展开到深度网络中，并使用简单而有效的反向传播策略学习相关参数（3）与大多数最近设计用于处理单通道图像的去噪方法相比，我们引入了一种适用于彩色图像的网络变体（4）我们强调了我们提出的非局部网络与卷积神经网络（CNN）的直接联系。这种连接使我们的模型能够充分利用深度学习中GPU计算的最新进展，并通过其固有的并行性使其易于2. 再论变分图像复原图像去噪的目标是从被破坏的观测值Y中恢复灰度或彩色图像X，后者根据观测模型获得y=x+ n。（一）在此设置中，y，xRN·C分别是观测图像和潜像的矢量化版本，N是像素数，C是图像通道数，n假设为方差为σ2的独立同分布高斯噪声。由于研究问题的不适定性[38]，当量（1）将潜像与观察相关联不能唯一地表征解决方案。这意味着，为了获得物理或统计上有意义的解决方案，图像证据必须与合适的图像先验相结合。其中最流行和强大的策略，可在文献中结合的观察和先验信息是变分方法。在这个框架中，从y中恢复x在很大程度上依赖于目标函数E（x）=D（x，y）+λJ（x）， （2）其作用是量化解决方案的质量 典型地，目标函数由两个项组成，即数据保真度项D（x，y），其测量解对观测的接近度，以及正则化子J（x），其通过使不表现出期望性质的解进行归一化来约束似然解的集合。正则化参数λ 0平衡了这两项的贡献。然后，恢复任务被投射为该目标函数的最小化，并且最小化者对应于恢复图像。请注意，对于正在考虑的问题，由于干扰观察的噪声是独立同分布高斯，因此数据项应等于1y x2。这种变分恢复方法也与贝叶斯估计方法有直接联系，可以解释为惩罚最大似然或最大后验（MAP）估计问题[2，13]。2.1. 图像正则化正则化函数的选择是影响图像质量的主要因素之一，因此正则化函数的选择是非常重要的。为此，人们在设计新的正则化函数方面做了大量工作，这些函数可以模拟重要的图像属性，从而改善重建结果。大多数现有的正则化方法是基于合成或基于分析的方法。基于合成的正则化发生在稀疏域中，例如小波基，并且通过应用逆变换获得恢复图像[13]。另一方面，基于分析的正则化涉及直接应用于要恢复的图像的正则化器。对于一般的逆问题，后一种正则化策略已被报道可以得到更好的重建结果[9，35]，因此是最优选的。基于分析的正则化器通常定义为：ΣRJ（x）=φ（Lrx），（3）r=1其中L：RNRR×D是正则化算子（Lrx表示通过将L应用于图像x获得的结果的D维第r项），φ：RDR是势函数。L的常见选择是一阶或更高阶的微分算子，如梯度[3，31]，结构张量[23]，拉普拉斯算子和海森算子[21，24]，或小波类算子，如小波，曲波和脊波（见[13]及其参考文献）。对于势函数φ，最流行的选择是向量和矩阵范数，但也经常使用其他类型的函数，如φ0伪范数和对数。上述正则化算子和势函数的组合导致现有的正则化泛函，其已被证明在包括图像去噪的若干逆问题中非常有效一位著名的代表35892ǁ−ǁ22Rr∈ C∞DZ∞XR上述正则化器的一个例子是全变差（TV）[31]，其中正则化算子对应于梯度，势函数对应于V2向量范数。TV正则化和类似的惩罚方法导数本质上是局部方法，因为它们涉及作用于图像域的受限区域的算子。最近，引入了一种不同的正则化范式，其中使用非局部算子来定义新的正则化泛函[10，14，19，22，40]。由此产生的非局部方法非常适合于图像处理和计算机视觉应用，我们将遵循这项工作，是直接使用梯度下降算法。由于指示函数IC是非光滑的，因此我们采用邻近梯度方法[28]代替经典的梯度下降算法该方法将目标函数分解为两项，其中一项是可微的.这里我们假设势函数φ是光滑的，因此我们可以计算它的偏导数。在这种情况下，我们为目标函数选择的分裂具有形式E（x）=f（x）+iC（x），其中f（x）定义为 ：产生非常有竞争力的结果。原因是它们允许图像点之间的长程相关性，f（x）=1ΣR2y−x2+λΣDφ d（（Lrx）d）.（五）能够利用自然图像固有的非局部自相似特性。这个属性意味着图像通常由局部化的模式组成，这些模式往往在图像域中的遥远位置重复它们自己。值得注意的是，已经开发出了不属于基于分析的正则化方案的类别但仍然利用自相似特性的替代图像去噪方法，这些方法的非穷举列表是非局部均值滤波器（ NLM ） [4] 、 BM 3D [7] 、 学 习 同 时 稀 疏 编 码（LSSC）[25]和加权核范数最小化（WNNM）[15]。2.2. 目标函数最小化除了目标函数的制定和正则化的适当选择外，变分方法的另一个重要方面是将用于获得解的最小化策略关于r=1d=1注意，在上面的定义中，我们更进一步，我们将多变量势函数φ表示为D个单变量函数的和，ΣDφ（z）=φ d（zd）。（六）d=1正如稍后将变得清楚的那样，这种选择将使我们能够显著降低训练网络的计算成本，并使学习过程变得可行。还值得注意的是，在图像正则化中经常遇到这种势函数的解耦公式，如小波正则化[13]，各向异性TV[12]和专家场（FoE）[30]。在目标函数分裂之后，邻近梯度方法使用更新研究中，图像去噪问题的解决方案可以在数学上表示为：xt=近端 γtιC. xt−1−γtf. xt−1，（7）∗12Σ其中，γt是步长，并且是近端手术x = arg min y x2 +λa≤xn ≤b1r=1ΣRφ（Lrx）[28]与指标函数IC相关。近侧在这种情况下，映射对应于输入到C上的正交投影，并且此后将被表示为PC。= argminX2y−x2+λr=1φ（Lrx）+iC（x）（4）假设f的梯度计算为.其中，iC是卷积x集合C=ΣRxf（x）=x−y+λLT（L x），（8）x∈RN|xn∈[a，b]<$n=1，. . . N. 指标功能-r=1如果x，则iC取值0否则取+。的在Eq.中存在该附加项（4）源于其中，n（z）=ΣΣT1（z 1）2（z 2）. . . D（zD）和事实上，对图像强度的这些类型的约束自然出现。例如，要求d（z）=dφd（z），每个邻近梯度迭代最终可以重写为恢复图像的强度应当是非负的（a=0，b= +的非负约束），或者其值应当位于特定范围内（框约束）。xt=PC.xt−1 .Σ1−γt +γty−αt ΣRr=1LT.Lrxt−1ΣΣ、（9）2.3. 近端梯度法有各种强大的优化策略来处理方程。（四）、然而，最简单的方法其中α t= λγ t。为了得到最小化问题的解，在Eq.（4）使用这种迭代方案，通常需要很大的CR3590∈=fF·KR∈=P∈·×∈·×›→∈∈rir需要迭代次数此外，还必须说明算子L和势函数φ的精确形式确定这些量的适当值通常是一项非常困难的任务。这引起了越来越多的研究兴趣，并已作出了大量的努力，设计正则化泛函，可以导致良好的重建结果。西河 贴片变换可以由矩阵-向量乘法fr=Fxr表示，其中FRF×P。注意，如果F> P，则变换域中的补丁表示是冗余的。 在这项工作中，我们专注于非冗余的情况下，F = P。对于变换后的面片fr，使用K个最接近的面片形成一个组这表示为3. 拟设非本地网络firΣTir，1不ir，2不ir，KΣT∈R.（十）在这项工作中，我们追求一种与传统正则化方法不同的方法，而不是手工挑选势函数和正则化算子的确切形式，我们设计了一个网络，它有能力直接从训练数据中学习这些量。我们探索的核心思想是展开近端梯度方法，并使用有限数量的迭代导出方程。（9）构造网络图然后，我们通过使用成对的损坏数据和地面实况数据训练网络来学习相关参数接下来，我们详细描述了所提出的网络的整体架构，该网络是针对图像去噪而训练的。首先，我们激励和推导其结构处理灰度图像，然后我们解释了必要的修改处理彩色图像。3.1. 非局部正则化算子非局部算子的最后一步是群间的协同滤波，可以表示为zr=Wfi，其中WRFx（F·K）是一个加权矩阵，通过保留循环矩阵的前F行来构造。矩阵的第一行对应-与向量r=ww1垂直. . .焕光RF·K，其中wi=w i0. . .0RF. 这种协同过滤相当于对该组中的K个变换后的面片进行加权求和，即，ΣKzr=w kfir，k.（十一）k=1基于上述，作用于图像块xr的非局部算子可以表示为三个线性算子的合成，即如前所述，非局部正则化方法已被证明可以产生优于局部对应方法的重建结果[14，22]，用于几个逆Lr x=.ΣWFPirx，（12）问题，包括图像去噪。它们在性能上的优越性主要归因于它们的建模能力其中PirΣTir，1不ir，2不ir，KΣT 而F∈通过允许图像域中的点之间的长范围依赖性来形成复杂的图像结构。这一事实极大地激发了我们去探索将表现出类似行为的网络的设计。为此，我们的出发点是界定一个非本地营办商，作为我们网络结构的骨干。让我们考虑大小为N x N y的单通道图像X，并且让xRN（其中N=N x N y）是通过将X的列堆叠在一起而形成的向量。此外，我们考虑大小为P xP y的图像块，并且我们用xrRP表示其元素对应于从X提取的第r个图像块的像素的向量，其中P= P x P y。 向量xr由x导出为xr= Prx，其中Pr是一个P×N二进制矩阵，表示x的元素属于xr。对于R个提取的图像块中的每一个，选择其K个设i r={i r，1，i r，2，. . .，i r，K}，其中r=1，. . .，R，是R（F·K）×（P·K）是块对角矩阵，其对角元素对应于分块变换矩阵F。上述非局部算子L：RNRR·F与所研究在[8]中。两者之间的主要区别在于，对于（12）中提出的算子，发生组中的变换后的片的加权平均，如等式（11）中所述。（11）中的算子，而对于[8]中的算子，对群应用我们对非局部算子的这种特殊设置的决定主要是基于计算方面的考虑，以及为了降低我们接下来提出的网络的复杂性要求。由于非局部算子Lr（线性算子的合成）的特定结构，现在很容易导出其伴随算子为LT=PTFTWT。（十三）K个与第r个补丁最相似的补丁的索引xr1。接下来，对每个面片应用二维变换1这里使用的约定是集合ir也包括参考补丁，即ir，1=r。非局部算子的伴随算子是网络的一个重要组成部分，因为它提供了从变换后的块域到原始图像域的逆映射，即LT：RR·F<$→RN。F. . .FP. . .P3591×--××2非本地操作员X2RNx×Ny卷积层F2RPx×Py×1×Fz}|{1}FX2RRx×Ry×FRGFX2R Rx×R y×K×F卷积层Z2RW2R1×1×KRx×R y×F贴片贴片图2.卷积实现的非本地运营商的方程。（十二）、3.1.1非局部算子的卷积实现正如我们接下来解释的那样，在（12）中定义的非局部算子及其在（13）中定义的伴随算子都可以使用卷积运算及其转置来计算。因此，它们可以使用支持多线程CPU和并行GPU实现的OMP和cuDNN等现代软件库来有效地实现。具体地，可以通过从卷积层传递图像X来组合和计算图像块提取和2D块变换fr=FPrx为了获得期望的输出，滤波器组应当由与反式中的系数的数量一样多的2D滤波器组成形成域。此外，这些过滤器的支持应该与图像补丁的大小相匹配。这意味着在我们的情况下，应该使用支持Px Py的F滤波器。还要注意，基于连续图像块之间的期望重叠，应该选择卷积层最后，（11）的非局部加权和运算也可以使用卷积来计算特别地，遵循相似的变换的片的分组操作，其完全由集合I=i r：r=1定义。. . R，可以通过将分组数据与支持11K的单个3D滤波器进行卷积来获得期望的输出。计算使用卷积层的非局部算子的必要步骤如图所示二、 为了计算非局部算子的伴随算子，只需遵循图中所示的图的相反方向。2，并将卷积和补丁分组操作替换为它们的转置操作。3.2. 势函数的参数化除了非局部算子L之外，我们还需要对势函数φ进行建 模 。 我 们 通 过 将 其 偏 导 数 表 示 为 径 向 基 函 数（RBFs）的线性组合来间接地做到这一点，即ΣM采用M=63个高斯核，它们的中心等距离分布，并且它们都具有相同的精度参数ε。使用RBF的混合来表示RPMI是非常强大的，并且允许我们以高精度逼近这是传统正则化方法的一个重要优势，传统正则化方法主要依赖于一组有限的势函数，如第2.1节中报道的势函数。还要注意，如果我们没有采用方程的解耦公式，势梯度的参数化在计算上将是非常昂贵的。（6）势函数。所有的拼图都按顺序排列，我们的网络的一个单一的“迭代”的架构，我们将其称为阶段，如图所示。3.第三章。我们注意到，我们的网络非常紧密地遵循等式中的近端梯度迭代。（九）、唯一的区别是参数αt已经被势梯度吸收，势梯度的表示是学习的。我们进一步观察到，网络的每个阶段都由卷积层和去卷积层组成，并且在它们之间有一层可训练的非线性函数。3.3. 彩色图像去噪所提出的网络的架构如图所示。3只能处理灰度图像。要处理RGB彩色图像，一个简单的方法是使用相同的网络来独立处理每个图像通道然而，这将导致次优恢复性能，因为网络将不能探索不同信道之间的现有相关性。为了规避这一限制，我们遵循与[7]中类似的策略，并且在将噪声彩色图像馈送到网络之前，我们应用相同的对手颜色变换，这导致一个亮度和两个色度通道。由于颜色变换的性质，LU通道包含关于原始图像结构的大部分有价值的信息，并且具有更高的信噪比。ψi（x）=j=12019- 05 - 22 00：00：00（|x−µj|），（十四）噪声比（SNR）比两个色度通道。 我们采取由于这一事实的优点，并且由于块匹配操作可能对噪声的存在敏感，我们执行其中πij是展开系数，μj是基函数ρj的中心。有几个径向函数可供选择[17]。但在他的工作中我们使用高斯-仅从亮度通道对片进行分组然后，我们使用完全相同的组索引I={i r：r=1。. . R}，用于其他两个图像通道。sian RBFs，ρ j（r）=exp −ε j r . 对于我们的网络，另一个重要的修改，我们作出的原始-3592KR（问）√L（问）log 10y −x2Θt2D卷积元素非线性加权NL总和XKxt−11−γt+γt y加权NL和转置二维卷积转置框投影xt−1wt·wt·z=PC（z）xt输入k=1r输出块匹配yK最近邻图3. 所提出的深度非本地网络的单级架构。网络的每一级都是对称的，由卷积层和去卷积层组成。在这些层之间有一层可训练的非线性函数。最终网络是，对于每个图像通道，我们学习不同的RBF混合。这样做的原因是由于颜色变换，三个结果通道具有不同的颜色。战略同样的方法在[6，34]中也得到了应用。在这种情况下，我们最小化成本需要正确解释的不同SNR。最后，重要的是要注意，所有图像通道共享卷积层和加权和层L. Θt= 你好。ℓq=1不（问）Σ，x（q），（15）和它们的转置。这里的理由是，这样网络可以更好地利用信道相关性。特定网络设计的一个副产品是，搜索类似的补丁只需要执行一次，其中x是是第t级的输出，损失函数λ对应于负峰值信噪比（PSNR）。这被计算为：这与需要为每个通道独立计算它的简单实现方式不同。此外，由于该操作仅从噪声输入计算一次，然后在所有网络级中重复使用，因此（y，x）=−20log10.Σ品int Ny −x（十六）颜色通道的处理可以以完全解耦的方式进行，因此该网络允许非常有效的并行实现。4. 区分性网络训练我们训练我们的网络，它由S阶段组成，用于灰度和彩色图像去噪，其中图像被i.i.d高斯噪声破坏。网络参数其中N是输入图像的像素的总数并 且 Pintt 是 最 大 强 度 水 平 （ 即 ， 对 于 灰 度 图 像 ，Pint=255，对于彩色图像，Pint=1为了最小化Eq. 对于参数Θt，我们采用L-BFGS算法[27]（我们使用[33]的可用实现L-BFGS是一种拟牛顿方法，因此需要梯度的Lw.r.t Θt.这可以使用链式规则计算为ΣΘ= Θ1，. . . ，Θ SΣ其中Θt={γ t，πt，Ft，Wt} de-.Σ注意第t级的参数集，使用损失最小化策略，给定Q对列车，∂（Θt）Q=你好，·不（问）阿姆斯壮，x（q）（十七）输入数据.y（q），x（q）QQq=1，其中y（问）是噪声输入，Θtq=1 Θt不（问）x（q）是对应的地面实况图像。实现随着网络容量的增加，我们学习到了不同的知识，哪里时间（y，x）伊=20（y-x）2阿斯特丽德得双曲正弦值.（问） 是雅可比矩阵每个阶段的ramers。 因此，整体架构的网络并不完全映射到最接近梯度方法，而是映射到自适应版本。尽管如此，在每个阶段中，卷积和去卷积层共享相同的滤波器参数，因此，它们对应于适当的邻近梯度迭代。由于我们需要最小化的目标函数是非凸的，为了避免陷入糟糕的局部极小值，同时也为了加快训练速度，我们首先通过贪婪训练来学习网络参数xx3593第t级的输出，可以使用当量（九）、我们省略了关于计算特定网络参数的导数的细节，并在补充材料中提供了它们的导数。这里，可以说损失函数的梯度可以使用反向传播算法[32]有效地计算，这是链式规则的巧妙实现。对于贪婪训练，我们运行100次L-BFGS迭代来独立学习每个阶段的参数。然后35947×77×75×55×57×7×××5×57×7×(a)（b）（c）（d）（e）（f）图4.灰度图像去噪。(a)原始图像，（b）被高斯噪声破坏的噪声图像（σ= 25）; PSNR = 20。16分贝。（c）使用NLNet5的去噪图像PSNR = 29。95分贝。(d)使用TNRD5[6] ; PSNR = 29. 72分贝。(e)去噪图像使用MLP [5]; PSNR = 29。76分贝。（f）使用WNNM [15]去噪图像; PSNR = 29。76分贝。(a)（b）（c）（d）图5.彩色图像去噪。 (a)原始图像，（b）被高斯噪声破坏的噪声图像（σ= 50）; PSNR = 14。15分贝。（c）第（1）款使用CNLNet 5去噪图像;PSNR = 26。06分贝。(d)使用CBM 3D去噪图像[7] ; PSNR = 25。65分贝。我们使用学习的参数作为网络的初始化，并且我们联合训练所有阶段。联合训练对应于最小化成本函数NVIDIA Tesla K40 GPU以及我们用于训练和测试的软件2都是基于MatConvnet构建的[36]。灰度降噪遵循第四节，我们训练了两个不同变量的5个阶段QQL（Θ）=.公司简介Σ，x（q） 、（十八）我们的模型，我们将称为NLNet5，q=1（问）NLNet5. 他们之间最大的区别是--w.r.t与网络的所有参数Θ的关系。该成本函数不再考虑中间结果，而仅取决于网络非本地操作员的配置对于第一个网络，考虑大小为5 5的斑块，而对于第二个，我们考虑大小为7 7的稍大的斑块。在这两种情况下，补丁步幅都是1，即图像中的每个像素S（问）. 在这种情况下，我们运行400次L-BFGS迭代来细化年龄被认为是斑块的中心因此我们从贪婪训练中得到的结果与前一种情况类似，我们仍然采用反向传播算法来计算所需的梯度。5. 实验为了训练我们的灰度和彩色非局部模型，我们使用Berkeley分割数据集（BSDS）[26]生成了训练数据，该数据集由500张图像组成我们将这些图像分为两组，一组是由400张图像组成的训练集，另一组是由相应地填充每个网络级的输入图像使用对称边界。此外，将通过训练学习的非冗余块变换应用于每个图像块3，并且使用K=8个最接近的邻居来形成该组。在以每个像素为中心的31 - 31窗口中，在网络的噪声输入上搜索类似的补丁。然后，相同的组索引用于网络的所有级。在表1中，我们报告了我们提出的NLNet5和NLNet5模型与最近几种最先进的去噪方法在标准评估剩下的100张图片 所有的图像都是随机的裁剪，其结果大小为180 × 180像素。我们注意到，用于表1和表2中报告的比较的[30]的68个BSDS图像被严格排除在训练集之外。对所提出的模型进行了训练，2实现非本地网络的代码可在作者的网页上获得。3类似于变分方法，我们不惩罚块变换的DC分量。因此，大小为P的片的变换域系数的数目等于P-1。x35955×55×55×55×57×77×77×7×××5×5噪声σ（标准）方法BM3D [7] LSSC [25] EPLL [41] WNNM [15] CSF5[34]7×7TNRD5[6]7×7DGCRF8[37] MLP [5] NLNet55×5 NLNet57×71531.0831.2731.1931.3731.2431.4231.43–31.4931.522528.5628.7028.6828.8328.7228.9228.8928.9628.9829.035025.6225.7225.6725.83–25.96–26.0225.9926.07表1. 灰度图像去噪比较三个不同的噪声水平超过标准的68 [30]伯克利图像。恢复性能以平均PSNR（dB）衡量，最好的两个结果以粗体突出显示表的左半部分引自Chen et al。[6]，而DGCRF 8的结果取自[37]。噪声σ（标准）方法TNRD5[6]7×7MLP [5] CBM3D [7] CNLNet55×51531.37–33.5033.692528.8828.9230.6930.965025.9426.0027.3727.64表2. 彩色图像去噪比较三个不同的噪声水平在标准的68 [30]伯克利图像集恢复性能以平均PSNR（dB）衡量，最佳结果以粗体突出显示。68张图片[30] 从这些结果中，我们观察到我们的两个非局部模型都产生了最佳的整体性能，唯一的例外是σ = 50的情况，其中MLP去噪方法[5]实现了比NLNet 5稍好的平均PSNR。值得注意的是，虽然NLNet5的容量较低（它使用了大约一半的参数），它们不能捕获图像通道之间的现有相关性，并且该限制对最终恢复质量具有直接影响表2中报告的颜色去噪比较也验证了这一事实。从这些结果中，我们观察到，TNRD和MLP模型，这优于BM 3D的单通道图像，落后于恢复性能超过1.3分贝。事实上，对于低噪声水平的CBM3D，目前产生的国家的最先进的结果，导致PSNR增益超过2分贝。 将所提出的非局部模型与CBM 3D进行比较，我们观察到CNLNet5能够为所有报告的噪声水平提供更好的恢复结果，PSNR增益范围约为0.2-0.3 dB。我们不知道有任何其他的颜色去噪方法能够在如此大的图像集上与CBM3D竞争。对于CNLNet5的颜色恢复性能的目视检查，我们参考图1和图2。1和5.6. 结论和未来工作57×7 TNRD5，它仍然产生更好的香蕉-结果在所有测试的情况下。这是由于利用了非本地信息，而CSF5和TNRD5是本地模型。代表性的灰度去噪结果，直观地证明了所提出的模型的恢复质量如图所示。4.第一章颜色去噪考虑到在灰度情况下，与使用5 5补丁相比，使用77补丁并没有带来任何实质性的改进，对于颜色情况，我们已经训练了我们模型的单个配置，仅考虑大小为55的彩色图像补丁。除了标准差异（如第3.3节所述）之外，NLNet5模型的彩色和灰度版本之间的其他参数（补丁组大小和搜索窗口）保持不变。这里要注意的一点是，之前考虑的大多数去噪方法都明确设计用于处理单通道图像，最明显的例外是BM3D，它确实存在彩色版本（CBM3D）[7]。在实践中，这意味着如果我们需要恢复彩色图像，这些方法中的一种应该独立地应用于每个图像通道。然而，在这种情况下，它们的去噪性能不再符合最新技术水平。原因是由于它们的单通道设计在这项工作中，我们提出了一种新的网络架构-真正的灰度和彩色图像去噪。模型的设计受到非局部变分方法的启发，它利用了自然图像的我们认为，非本地建模与判别学习相结合的关键因素，我们的模型实现的恢复性能的改善相比，最近的几个国家的最先进的方法。同时，所提出的模型与卷积神经网络有直接联系，因此可以充分利用深度学习中并行GPU计算的所有最新进展。我们相信，图像恢复只是我们的非局部网络可以成功处理的许多逆成像问题之一。我们认为，一个非常有趣的研究方向是调查我们目前的非局部模型的设计，使他们能够有效地应用于其他重要的重建问题的必要修改。另一个非常相关的研究问题是，是否有可能训练出一个可以处理所有噪声水平的单一模型。7. 致谢作者非常感谢NVIDIA公司的支持，并捐赠了一台用于本研究的Tesla K40CSF3596引用[1] C. 贝勒湾Taetz和D.斯特里克流场：高精度大位移光流估算的密集正在进行IEEE国际计算机视觉会议，第4015-4023页，2015年。1[2] M. Berberten和P.波卡奇成像中的逆问题介绍。IOP出版社，1998年。2[3] K. Bredies，K.Kunisch和T.Pock 完全的广义变异。SIAMJ. Imaging Sci. ，3：492-526，2010. 2[4] A. 布阿德斯湾Coll和J. -M. 莫瑞尔图像去噪方法。一个新的非局部原理。SIAM review，52：113 3[5] H. C.伯格角J. Schleman和S.伤害。图像去噪：普通神经网络能与bm3d竞争吗？正在进行IEEE国际计算机视觉和模式识别，第2392-2399页，2012年。一、七、八[6] Y. Chen和T.Pock 可训练的非线性反应扩散：快速有效图像恢复的灵活框架IEEE传输模式分析马赫Intell，2016.出现一、六、七、八[7] K.达博夫河Foi，V.Katkovnik，and K.埃吉亚扎利安人稀疏三维变换域协同滤波图像去噪。 IEEE Trans. 图像处理。，16（8）：2080一三五七八[8] A. Danielyan，V. Katkovnik和K.埃吉亚扎利安人Bm3d框架与变分图像去模糊。IEEE传输图像处理。，21（4）：1715-1728，2012. 4[9] M. Elad，P. Milanfar，and R.鲁宾斯坦信号先验中的分析与综合逆问题，23（3）：947，2007.2[10] A.埃尔莫阿塔兹岛Lezoray和S.布格勒加权图上的非局部离散正则化：图像和流形处理的框架。 IEEE Trans. 图像处理，17：1047-1060，2008. 3[11] D. 埃尔汉角Szegedy，A.Toshev和D.安盖洛夫使用深度神经网络的可扩展对象检测。正在进行IEEE国际计算机视觉和模式识别，第2147-2154页，2014年。1[12] S. Esedoglu和S.奥舍用各向异性的Rudin-Osher-Fatemi模型分解图像。纯粹数学与应用数学通讯，57（12）：1609-1626，2004. 3[13] M.菲格雷多J. Bioucas-Dias和R.诺瓦克基于小波变换的图像复原优化最小化算法。IEEE传输图像处理。，16：2980-2991，2007. 二、三[14] G. Gilboa和S.奥舍非局部算子及其在图像处理中的应用。多尺度模型你好，7：1005 三、四[15] S.古湖，澳-地Zhang，W. Zuo和X.峰加权核范数最小化及其在图像去噪中的应用。正在进行IEEE国际计算机视觉和模式识别，第2862-2869页，2014年。三、七、八[16] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。正在进行IEEE国际计算机视觉和模式识别，2016年。1[17] Y. H. Hu 和 J. - N. 黄 神 经网 络信 号 处理 手 册。CRCPress，2001. 5[18] J. Kim，K.金，等。Lee和K. M.李你使用非常深的卷积网络实现精确的图像超分辨率。正在进行IEEE国际计算机视觉和模式识别，第1646-1654页，2016年。1[19] S. Kindermann，S. Osher，和P. W.琼斯基于非局部泛函的图像去模糊与去噪。多尺度模型你好，4：1091-1115，2005. 3[20] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。在神经信息处理系统的进展，第1097-1105页，2012年。1[21] S. Lefkimmiatis，A. Bourquard和M. Unser基于Hessian范数正 则化 的生物 医学 图像恢 复。IEEE传输 图像 处理。，21（3）：983-995，2012. 2[22] S. Lefkimmiatis和S.奥舍图像正则化的非局部结构张量泛函。IEEE Trans. Comput.Imaging，1：16-29，2015. 三、四[23] S. Lefkimmiatis，A. Maragos和M. Unser结构张量全变分。SIAM J. Imaging Sci. ，8：1090-1122，2015. 2[24] S. Lefkimmiatis ， J. Ward 和 M. Unser 线 性 反 问 题 的Hessian-Schatten-范数正则化 IEEE Trans.图像处理。，22（5）：1873-1888，2013. 2[25] J. Mairal，F. Bach，J. Ponce，G. Sapiro和A.齐瑟曼。图像复原的非局部稀疏模型。正在进行IEEE国际计算机视觉会议，第2272-2279页，2009年。三、八[26] D.马丁角，澳-地Fowlkes，D. Tal和J.马利克 人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用。正在进行IEEE国际计算机视觉会议，第416-423页，2001年。7[27] J. Nocedal和S.赖特数值优化Springer Science BusinessMedia，2006. 6[28] N. Parikh和S.博伊德近似算法。出版社，2013年。3[29] S. Ren，K.赫利河Girshick和J.太阳Faster r-cnn：Towardsreal-time object detection with region proposal networks.在神经信息处理系统的进展，第91-99页，2015年。1[30] S. Roth和M. J.布莱克。专家领域。International Journalof Computer Vision，82（2 ）：205-229，2009. 三、七、八[31] L. Rudin，S. Osher和E.法特米基于非线性全变分的噪声去除算法。Physica D，60：259 二、三[32] D. E. Rumelhart，G. E. Hinton和R. J·威廉姆斯通过反向传播误差学习表示。自然，323（6088）：533-536，1986. 6[33] M. 施 密 特 minFunc ： 无 约 束 可 微 多 变 量 优 化 。http://www.cs.ubc的网站。ca/Schmidtm/Software/，2005年。6[34] 联合Schmidt和S.罗斯有效图像的收缩场修复正在进行IEEE国际计算机视觉和模式识别，第2774-2781页，2014年。一、六、八[35] I. Selesnick和M.菲格雷多 过完备小波变换的信号恢复分析和综合先验的比较。在SPIE（Wavelet XIII），2009年。23597[36] A. Vedaldi和K.伦克Matconvnet 在ACM Int. Conf. 多媒体，2015年。7[37] R.韦穆拉帕利岛Tuzel和M.- Y.刘某深度高斯条件随机场网络：一种基于模型的深度网络，用于区分去噪。正在进行IEEE国际计算机视觉和模式识别，第4801- 4809页，2016年。8[38] C. R.沃格尔 反问题。SIAM，2002年。2[39] 谢杰湖，加-地Xu和E.尘使用深度神经网络进行图像去噪和修复。神经信息处理系统的进展，第341-349页，2012年。1[40] D. Zhou和B. Scho ¨ l k opf.离散空间上的正则化模式识别，第361-368页。Springer，2005年。3[41] D. Zoran和Y.韦斯从自然图像块的学习模型到整体图像恢复。正在进行IEEE国际计算机视觉，第479-486页。IEEE，2011年。8