4160全卷积像素自适应图像去噪Cha Sungmin1和Taesup Moon1，21韩国成均馆大学电气与计算机工程系2人工智能系水原市16419{csm9493，tsoon}@www.example.com摘要我们提出了一种新的图像去噪算法，称为全卷积自适应图像去噪器（FC-AIDE），它可以使用全卷积神经网络从离线监督训练集学习，并自适应地微调每个给定噪声图像的监督模型。我们显着扩展的框架，最近提出的神经AIDE，它制定的降噪是基于上下文的像素映射，并利用无偏估计的MSE这样的降噪。我们做出的两项主要贡献是：1）实现提升基本监督模型的新颖的全卷积架构，以及2）引入用于自适应微调的正则化方法，使得可以获得更强和更鲁棒的自适应性。结果表明，FC-AIDE具有许多理想的特性;它在我们测试的所有基准数据集上都优于最近基于CNN的最先进的去噪器，并且对于各种具有挑战性的场景变得特别强大，例如，具有不匹配的图像/噪声特性或具有稀少的监 督 训 练 数 据 。 我 们 的 算 法 的 源 代 码 可 以 在https://github.com/csm9493/FC-AIDE-Keras上获得。1. 介绍图像去噪是图像处理和低层计算机视觉中最古老和最普遍的问题虽然在过去的几十年中已经提出了许多算法，[8，2，7，11，9，21]，目前在平均降噪性能方面的王座持有者是基于卷积神经网络（CNN）的方法[38，22，31]。基于CNN的方法背后的主要思想是将去噪视为监督回归问题;即，首先收集大量干净-噪声图像对作为监督训练集，然后学习将噪声图像映射到干净图像的回归函数。这种方法相对简单，因为它不需要任何复杂的先验知识然后让CNN从大量的训练数据中找出正确的映射。尽管概念简单，但使用残差学习[38]、跳跃连接[22]和密集连接结构[31]的基于CNN的去噪器的几种最新变体已经实现了令人印象深刻的最先进性能。然而，我们强调，上述方法存在一个明显的缺点;也就是说，它们仅仅基于CNN的离线批量训练，因此，对给定的经受去噪的噪声图像缺乏自适应性。这种自适应性的缺乏通常在其他现有的或基于优化的方法中具有，[8，2，7，11，9，21]中所述的方法，在训练数据和给定噪声图像之间存在各种失配的多个实际场景中，可能严重恶化基于CNN的方法这种不匹配的一个类别是图像不匹配，其中给定噪声图像的图像特性在离线训练集中没有很好地表示。另一类是噪声失配，其中给定噪声图像的噪声水平或分布与CNN已经训练的不同。上述缺点可以通过构建具有多个噪声和图像特征的复合训练集来部分解决，所谓的盲训练[16，38]，但这种方法的局限性是显而易见的，因为在许多应用中，构建充分包含所有变化的大规模监督训练集为此，我们提出了一种新的基于CNN的去噪算法，该算法可以像其他最近的最新技术一样从离线监督训练集学习，并且像其他基于先验或优化的方法一样自适应地微调每个给定噪声图像的去噪器设计我们的算法的主要工具，被称为FC-AIDE（完全卷积自适应图像去噪器），是最近在[4]中提出的也就是说，我们将去噪器公式化为基于上下文的逐像素映射，并获得SURE（Stein然后，通过监督训练，首先用神经网络4161我使用MSE，然后通过使用所设计的估计损耗自适应地微调具有给定噪声图像的网络。在遵循此框架的同时，我们通过做出以下两个主要贡献来显著改进原始神经AIDE（N-AIDE）[4]。首先，我们设计了一种新的全卷积结构，而不是简单的全连接结构的N-AIDE，使性能的基础监督模型可以提高。此外，与仅采用逐像素仿射映射的[4]不同，我们还考虑了二次映射。其次，我们介绍了两种用于自适应微调步骤的正则化方法：数据增强和T2- SP（起点）正则化[18]。虽然这些技术对于一般的监督学习设置是众所周知的，但是我们利用它们使得微调模型不会过拟合到估计的损失并且很好地推广到MSE，从而导致微调步骤的更大和更鲁棒的改进有了上述两个贡献，我们表明，FC-AIDE显着超越原来的N-AIDE以及基于CNN的国家的最先进的几个广泛使用的基准数据集的性能。此外，我们强调了我们的算法在多个具有挑战性的场景中的自适应性的有效性具有图像/噪声失配或具有稀少的监督训练数据。2. 相关工作关于图像去噪有大量的文献，其中最相关的文献在这里详细阐述。基于深度学习的去噪器继开创性工作[14，3，36]之后，最近的基于深度学习的方法[38，22，31]在监督回归框架，并且在去噪PSNR方面显著超过了最先进的最近，[6，19]在CNN框架内明确设计了一个非本地过滤过程，并展示了一些更多的改进，成本增加了运行时间。对于训练数据中缺乏干净数据的情况，[17]提出了一种方法，该方法仅使用噪声数据训练基于CNN的去噪器，前提是图像的两个独立的噪声实现可用。自适应去噪器与上述基于CNN的现有技术相比，一旦训练完成，就冻结模型参数，有许多方法可以从给定的噪声模型自适应地学习去噪函数年龄，尽管有一些PSNR的缺点。一些经典方法是滤波方法[2，7]、具有稀疏性或低秩假设的基于优化的方法[9，21，11]、基于小波变换的方法[8]和基于有效先验的方法[39]。最近，一些工作提出了实现基于深度学习的先验或正则化器，例如[32，37，20]，但他们的PSNR结果仍然无法与监督训练的基于CNN的去噪器竞争。自适应去噪的另一个分支是通用去噪，噪声框架[35]，其中没有对干净图像进行先验或概率假设，并且仅将噪声视为随机变量。[35]的原始离散去噪设置在[26，28]中扩展到灰度图像去噪，但性能不是很满意。一种相关的方法是基于SURE的估计量，它最小化MSE的无偏估计，例如，[8，10]，但他们通常只选择几个可调超参数进行最小化。相比之下，使用无偏估计作为经验风险最小化（ERM）框架中的经验风险来学习整个参数模型，首先在[25，4]中提出用于去噪。据作者所[29]还提出使用SURE和蒙特卡罗近似来训练基于CNN的去噪器，但性能低于监督训练的CNN。盲去噪大多数上述方法假设噪声模型和方差是先验已知的。为了消除这种强烈的假设，提出了监督的盲训练CNN模型[16，38]，由于CNN的固有鲁棒性，它们表现出相当强的性能但是，这些模型也缺乏适应性，即，它们不能适应给定噪声图像的特定噪声实现。3. 问题设置和准备工作3.1. 符号和假设我们一般遵循[4]，但引入更紧凑的符号。首先，我们将x∈Rn表示为干净图像，将Z∈Rn表示为其加性噪声污染的版本，即Z = x + N。我们对N做如下假设：• E（N）=0和Cov（N）=σ2In×n。• 每 个 噪 声 分 量 Ni 是 独 立 的 ， 并 且 具 有 对 称distribution.re注意，我们不一定假设噪声是同分布或高斯分布的。此外，与通用降噪一样，我们将干净的x视为没有任何先验或概率模型的单个图像，并且仅将Z视为随机的，这反映在大写符号中。去噪器通常由X（Z）∈Rn表示，其中第i次重建Xi（Z）是整个噪声图像Z.标准损失函数是指-确保去噪质量为MSE，表示为Λ（x，X（Z）），1x−X（Z）2.（一）nn23.2. NAIDE和无偏估计量虽然X∈i（Z）可以是任意一般函数，但我们可以考虑用于去噪器的d阶多项式函数形式ΣdXi（Z）=am（Z−i）Zm，i=1，. . . ，n，（2）m=041622我m=0k×kk×kk×km=0其中，Z−i表示除了第i个像素Zi之外的整个噪声图像，m（Z−i）表示Zi的m阶项的系数。注[4]主要讨论了d=1的情况，本文也考虑了d=2的情况注意，Xi（Z）可以是Z的高度非线性函数，因为m（·）在监督模型w_ supp中，通过最小化D上的MSE来学习具 有 （ 5 ） 形 式 的 去 噪 器 的 网 络 参 数 X_n（ w，Z_n），即， ΛN（x≠，X≠（w，Z≠））. 其次，对于经受去噪的给定的噪声图像Z，自适应滤波器可以被配置为：通过进一步最小化所述误差来进行有效的微调，估计损失Ln（Z，X<$（w，Z）;σ2），从w≠ supp 开始。的对于（2），其中d∈{1，2}，通过将m（Z−i）表示为m，i微调模型参数，用w表示N-AIDE ，然后为了简洁起见，我们可以定义（1）的无偏估计为：Ln（Z，X<$（Z）;σ2）（3）用于使用（5）获得（2）中的每个像素i的映射，并且Z利用那些仿射映射逐像素地去噪注意，保持去噪形式（2），而不是顺序-，1<$Z−X<$（Z）<$2+nσ2Σnni=1埃克塞特m=1Σ2mam，iZm−1−1.从全噪声补丁到干净补丁的直接映射的简单形式是实现微调的关键。注（3）不依赖于x，下面的引理说明了（3）的无偏性。引理1F或任意N在上述假设下且X∈（Z）（2）（1）（2ELn（Z，X<$（Z）;σ2）=EΛn（x，X<$（Z））.（四）此外，当N是白高斯时，（3）与SURE [30]一致注：引理的证明在Supple-Materials中给出，并且它严格依赖于（2）中去噪器的特定多项式形式也就是说，它利用了这样一个事实，即x是一个单独的图像，{am，i}条件独立于给定Z−i。附注（4）适用于具有对称分布的任何加性白噪声，而不一定仅适用于高斯。(The对称性条件仅对于d=2情况是需要的）。这样的属性使我们的算法具有很强的自适应性，如下所示文[4]中的N-AIDE可记为X<$N-AIDEE（w，Z）∈Rn，其中X<$i（w，Z）具有（2）的形式，其中d=1，a=a（Z−i），a（w，C−i）（5）4. FC-AIDE4.1. 全卷积QED架构N-AIDE的局限性[4] 令人鼓舞的是，最终的去噪性能比DnCNN-S [38]略差（约1.00dB），DnCNN-S [ 38 ]应用了CNN和残差学习的普通监督学习。我们认为这种性能差异主要是由于简单的全连接AR-[4，图1]中使用的体系结构，与最近工作中的完全卷积体系结构相反，例如，[38、22、31]。为了利用N-AIDE框架的卷积架构，我们首先观察到N-AIDE的滑动窗口性质确实是卷积运算。也就是说，一旦我们使用带孔的掩蔽k×k卷积滤波器（即，如果在第一层中将中心设置为0），并对更高层使用普通的1×1滤波器，则在噪声图像上操作的所得到的全卷积网络变得等同于以滑动窗口方式工作的N-AIDE的全连接网络。注意，使用标准零填充，网络的输出与输入图像大小相同，并且由两个通道组成，每个通道对应{am，i}1对于所有位置i.m，i m对于m= 0，1.在（5）中，C−imk×k代表二维的从这一观察，我们确定了一个关键的约束为了实现具有形式（2）的去噪器的完全卷积架构，即，任何去噪器的第i个像素都是卷积的Zi周围的噪声k×k补丁，但没有Zi，以及{am（w，C−i）}m=0，1是全连接神经网络，参数为w，以C−i为输入。任意层的特征映射不应依赖于Zi，输出层的滤波器必须保持1×1结构。这一点，对于维护有条件的...注意w不依赖于位置i，因此，去噪{am，i}d之间的悬垂性且Zi给定Z−i，即4163k×ki=1通过N-AIDE以滑动窗口的方式完成;也就是说，神经网络随后将C−i作为输入，并生成Z i的仿射映射系数，以获得每个像素i的重建。如引言中所提到的，N-AIDE的网络参数w的训练第一、 对于监督训练， 单独的训练集D={（xi，Ci， k×k ）}N基于许多干净的噪声图像对，（x~，Z~）被收集。这里，Ci，k×k表示包括中心pi x elZi的完整k × k面片。然后证明了Ln（Z，X∈（Z）;σ2）的无偏性的临界点，引理1.由于这种限制，我们可以看到，简单地说，ap-使用[38]中的普通卷积架构对于将N-AIDE扩展到1 ×1结构之外是不可行的。FC-AIDE的总体架构为了解决N-AIDE的上述限制，我们现在提出FC-AIDE，表示为X_FC-AIDE（w，Z），其具有完全的共同架构并且逐渐增加感受野，该层增加，同时满足上述约束。 此外，我们还扩展到使用二次4164000000000000000000000000000000000000我k×k(a) FC-AIDE的总体架构%&的百分比&(b) ResNet模块%&！！一个！$EE1E$DD1D$01 10 110 1 100000000000000000000000000000 000000 000(c) Q滤波器与第三层感受野(d) E-过滤器和第三层的感受野(e) D-滤波器和第三层的感受野图1.FC-AIDE的总体架构和QED滤波器类的描述逐像素映射，即，对于（2），使用d=2，以考虑到在学习去噪器时更多的非线性。即，FC-AIDE的第i次重构变为X≡i，FC-AIDE（w，Z）=a2，iZ2+a1，iZi+a0，i，（6）其中，对于m = 0，1，2，{a，m，i}图1（a）总结了我们的FC-AIDE。在块1中，被称为Q-、E-和D-滤波器的三种类型的掩蔽扩张卷积滤波器堆叠多达10层，其中每个类别的特定滤波器形式（多达第3层）分别在图1（c）-1（e） 注意，如图1（a）所示，每个滤波器类被单独应用于其自己的输入特征图，对于k=0，. .，9。由于滤波器的特定掩蔽结构，特征图中第i个像素的每个滤波器类的感受野（图1（c）-1（e）中用红色表示）随着层数的增加而逐渐增长，同时不包含Zi。层3处的示例感受野，即，红色像素的q3、e3和d3如图1（c）-1（e）所示。既然三种过滤器类别的感受野涵盖了复杂的在输入图像的半空间中，在第二层组合三种类型的特征图（例如，平均）生成特征图A，其中第i个像素取决于C−i，其中k=3+（−1），≥1。 注意由于扩张过滤器为≥2，感受野迅速增长，层的数量，同时保存参数的数量。一旦平均特征图A0，. . .，A9从每个层生成。在图1（a）的块2中，PReLU[12]激活和ResNet模块，如图1（b）所示，用于执行特征图的最后，在块3中，特征���=0ResNet模块（*0���ℓ0���ℓ1ResNet模块…���0���ℓ���ℓ日本+11ResNet模块（^=平均0���ℓBlock1Block2Block3= PReLUPRAVG日本+11日本+1���ℓ���ℓ00ResNet模块PR平均1x1转换PR1x1转换2101x1转换ResNet模块PR1x1转换AVGPR PRPRAVGPRPRPRAVG4165k×k将所有层（具有不同感受野）的映射进行平均，应用带有PReLU的1x1卷积和一个ResNet模块，并使用三个1×1卷积滤波器用于产生逐像素系数，即，{am，i}对于m=0，1，2和对于所有i.请注意，我们的整体架构确实是完全卷积的，并且由于块2和块3中的所有滤波器都是1 × 1，因此满足了关键的条件独立约束。我们对模型中的所有卷积层使用了64个滤波器得到的参数数约为820 K，比[4]中的N-AIDE的参数数小约63%然而，在这方面，由 于 过 滤 器 的 扩 张 ， 最 后 一 层 的 感 受 野 大 小 为93×93，远大于N-AIDE。FC-AIDE的训练与第3.2节中针对N-AIDE给出的描述类似地进行，除了下一节中给出的用于微调的附加调节方法注1：与我们类似的条件独立约束也出现在[33]中，其中相比之下，FC-AIDE需要利用整个注2：我们注意到，除了我们的QED滤波器之外，滤波器类也可以覆盖Zi周围的互补半空间，例如，覆盖4个垂直半空间的4个过滤器类围绕一个像素。然而，使用三个滤波器类（如我们的QED滤波器或其45◦旋转版本）被证明是最有效的参数选择。4.2. 用于自适应微调的正则化第4.1节中的全卷积QED架构扩展了函数逼近能力，并改进了受益于大量的4166nndant监督训练数据。然而，对于自适应微调，仅有的因此，随着模型复杂性的增加，测试数据易于过拟合。也就是说，虽然基于Z的估计损耗（3）在微调期间被最小化，但是基于x和Z两者的真实MSE（1）可能不会被最小化那么多。注意，用于微调的过拟合和泛化的概念不同于普通的概念;即，虽然普通的监督学习关心关于看不见的测试数据的性能，但是我们的微调关心关于看不见的干净数据的性能。为了解决这个过拟合问题，我们实现了两个正则化方案用于自适应微调：数据增强和2-SP正则化[18]。首先，对于数据增强，我们考虑A（Z），它是由Z及其纵向、纵向以及横向和纵向翻转版本。然后，我们将Laug（·）定义为A（Z）上的估计损失的平均值，即，就像素数量而言，训练数据与[38]中的DnCNN-S大致相同（204，800个大小为40×40的补丁），它使用的补丁比我们的小此外，我们使用标准的高斯噪声增强来生成每个小批量的用于训练σ-特定模型和盲训练模型的干净噪声补丁对分别使用0.001和0.0003的学习率进行监督训练和微调，并使用Adam [15]优化器学习速率decay仅用于监督训练，并且不使用dropout或BatchNorm。 所有实验均使用Keras2.2.0与Tensorflow 1.8.0和NVIDIA GTX1080TI。评估数据我们首先使用五基准数据集，Set 5，Set12 [38] ， BSD 68 [27] Urban 100 [13] 和 Manga 109[24]，以客观地比较FC-AIDE与其他最先进的高斯去噪性能。在基准测试中，Set12和BSD 68包含一般自然灰度图像，其特征与训练集的特征相似在Laug（Z，w;σ2），1Σ4Z（j）∈A（Z）. Z（j），X<$（w，Z（j））;σ2<$.相反，Set5（在补充材料中可视化），Urban100（具有许多自相似模式的图像）和Manga109（卡通图像）包含与训练数据完全不同的图像。我们测试了五个然后，将2-SP正则化加上平方2-范数，惩罚对监督训练的FC-AIDE模型的偏差，我们支持，并修改目标函数进行微调，Laug（Z，w;σ2）+λ<$w−w<$ sup <$2，（7）不同的噪声水平，σ={15，25，30，50，75}。总的来说，我们使用标准指标PSNR（dB）和SSIM，评价此外，我们还生成了两个额外的数据集来评估和比较算法的适应性第一、n2医学/高斯是一组50幅医学图像（收集其中λ是折衷超参数。这种简单的附加惩罚，也在[18]中在转移学习的上下文中被考虑，可以被解释为对网络参数施加先验，该先验是从监督训练集学习的;注意（7）与其他基于先验的去噪方法的公式的相似性通过上述两种正则化方法，我们通过最小化（7）来微调监督模型w，并获得最终的权重参数w_ FC-AIDE。 然后，通过将通过将（6）中的wRFC-AIDE 分别应用于A（Z）中的4个图像而获得的结果平均化来执行去噪。注意，我们的数据增强与普通的数据增强不同，监督学习，因为我们在测试之前使用测试数据进行训练在第5.4节中，我们更详细地分析了两种正则化技术对微调的影响5. 实验结果5.1. 数据和实验装置对于监督训练，我们完全遵循[38]并使用400个大小为180×180的公开可用的自然图像来构建训练数据集。我们从图像中随机抽取了总共20，500个大小为120×120的请注意我们的来自CT、MRI和X射线模态），尺寸为400×400，被高斯噪声破坏，σ={30，50}。这些图像来自开放的存储库[34，1，5]。显然，它们的特征与自然图像截然不同其次，通过用具有σ={30，50}的拉普拉斯噪声破坏BSD 68来生成BSD 68/拉普拉斯算子。建立这些数据集以分别测试图像和噪声失配的自适应性，因为所有的比较基于CNN的方法，包括FC-AIDE，仅在具有高斯噪声的自然图像上进行监督训练。我们使用的基线是：BM3D [7]、RED [22]、Memnet[31]、DnCNN-S和DnCNN-B[38]和N-AIDE [4]。对于DnCNN和N-AIDE，我们使用可用的源代码来复制训练（与FC-AIDE相同的监督训练数据）和去噪，对于BM 3D/RED/MemNet，我们从作者的网站下载模型并在我们的因此，我们表格中的所有数字都是相当可比的。我们将FC-AIDES+FT表示为经过监督训练和自适应微调后获得的最终模型。为了比较的目的，我们还报告了带有下标S，B和B+FT的FC-AIDE的结果，这些下标代表仅监督模型，盲训练的监督模型Ln4167表1.PSNR（dB）/SSIM（在具有高斯噪声的基准测试最好的和第二好的分别用红色和蓝色表示数据噪声BM3d红色DnCNNDnCNNB蔓梅N-AIDES+FTFC-AIDESFC-AIDES+FTFC-AIDEBFC-AIDEB+FTσ=1529.64/0.8983-30.22/0.947928.76/0.9364-30.23/0.948029.96/0.946130.78/0.951829.67/0.945330.69/0.9514σ=2526.47/0.8983-27.01/0.907226.14/0.8948-27.05/0.908326.91/0.908327.88/0.919126.75/0.907027.83/0.9182Set5σ=3025.32/0.876425.14/0.895325.95/0.888225.15/0.873525.97/0.890926.01/0.889625.85/0.889026.86/0.903825.72/0.888226.80/0.9030σ=5023.20/0.813923.02/0.816122.67/0.796922.58/0.794923.17/0.820523.08/0.816022.37/0.799224.20/0.848222.93/0.811724.23/0.8475σ=7521.21/0.7409-20.47/0.689917.30/0.5437-20.95/0.732320.38/0.709122.20/0.788920.62/0.717622.22/0.7857σ=1532.15/0.8856-32.83/0.896432.50/0.8899-32.58/0.891832.71/0.896232.99/0.900632.48/0.892932.91/0.8995σ=2529.67/0.8327-30.40/0.851330.15/0.8435-30.12/0.842030.32/0.852130.57/0.855730.16/0.849030.51/0.8545Set12σ=3028.74/0.808529.68/0.837829.53/0.832129.30/0.823329.62/0.837429.24/0.821429.47/0.833429.74/0.837329.33/0.830329.63/0.8353σ=5026.55/0.742327.32/0.774827.16/0.766726.94/0.752827.36/0.779126.84/0.749227.16/0.769827.42/0.776827.04/0.763627.29/0.7693σ=7524.68/0.6670-25.27/0.700117.64/0.2802-24.90/0.674925.37/0.709425.61/0.717024.93/0.670325.39/0.6980σ=1531.07/0.8717-31.69/0.886931.40/0.8804-31.49/0.882531.67/0.888531.78/0.890731.53/0.885931.71/0.8897σ=2528.56/0.8013-29.19/0.820228.99/0.8132-28.99/0.813729.20/0.824629.31/0.828129.11/0.821329.26/0.8267BSD68σ=3027.74/0.772728.45/0.798728.36/0.792528.17/0.784728.42/0.791528.15/0.784228.38/0.797428.49/0.801428.30/0.793728.44/0.7995σ=5025.60/0.686626.29/0.712426.19/0.702726.05/0.693426.34/0.719025.98/0.691126.27/0.712726.38/0.718126.18/0.706326.32/0.7132σ=7524.19/0.6216-24.64/0.624017.91/0.2856-24.40/0.610124.77/0.640224.89/0.647724.41/0.615124.75/0.6340σ=1531.61/0.9301-32.32/0.937531.75/0.9257-31.96/0.934031.98/0.931132.85/0.944831.54/0.929932.65/0.9433σ=2528.76/0.8773-29.41/0.888429.04/0.8787-29.11/0.886129.15/0.887130.05/0.905328.91/0.885029.91/0.9033Urban100σ=3027.71/0.852028.58/0.874328.38/0.865928.07/0.855628.57/0.872028.10/0.862228.16/0.864629.06/0.886727.99/0.863528.91/0.8837σ=5025.22/0.768625.83/0.794625.66/0.784325.42/0.773226.00/0.802125.40/0.776725.55/0.788526.42/0.817825.46/0.784526.23/0.8087σ=7523.20/0.6804-23.57/0.697318.35/0.4254-23.31/0.684323.61/0.709924.42/0.746923.28/0.690224.11/0.7248σ=1532.02/0.9362-33.52/0.948933.01/0.9406-33.07/0.945033.24/0.945733.86/0.952432.83/0.943333.70/0.9521σ=2529.00/0.8917-30.40/0.912130.15/0.9041-30.04/0.907130.24/0.911230.80/0.919330.02/0.908630.72/0.9191Manga109σ=3027.91/0.869129.52/0.901129.33/0.894529.09/0.885129.55/0.900328.96/0.888029.18/0.893529.75/0.904129.02/0.891329.65/0.9030σ=5025.24/0.794326.50/0.835826.38/0.823726.17/0.814626.64/0.840326.02/0.816026.28/0.828126.79/0.842826.19/0.824626.66/0.8361σ=7523.20/0.7143-24.04/0.739418.82/0.4308-23.75/0.735524.06/0.757724.54/0.778923.76/0.728124.33/0.7588训练数据比率-x4.23X1X1x4.23X1X1X1X1X1模 型 ， 以 及用 真 实 σ 微 调 的 盲 训练 模 型 。 对 于N-AIDE，我们还报告了S+FT方案，但微调是在没有任何正则化方法的情况下完成的。对于盲监督模型，DnCNN-B和FC-AIDEB都是用高斯噪声训练的，[0，55]。 我们所有FC-AIDE型号的停止时间(both监督和微调）以及（7）中的λ从一个单独的验证集中选择，该验证集由BSD的32个图像组成[23]。有关实验设置的所有详细信息见补充材料。5.2. 基准数据集上的去噪结果表1显示了所有比较模型的5个基准数据集、监督训练数据大小比率和每个图像的平均去噪时间的结果。对于RED和Memnet，我们只有σ=30，50的结果，因为其他σ的模型不可用。我们可以做几个观察。首先，我们注意到FC-AIDES+FT在PSNR/SSIM方面在大多数数据集上优于所有比较的此外，对于具有图像失配的数据集，FC-AIDES+FT相对于最强基线的增益显著更大，即，Set5、Urban100和Manga109。这主要是由于自适应微调步骤的有效性，该步骤显著改善了FC-AIDES。强调这种适应性的其他结果也在第5.3节和第5.4节中给出。其次，我们注意到FC-AIDES+FT在像素数量方面使用的监督训练数据比RED和Memnet少得多。同样，在第5.3节中给出了对FC-AIDES+FT的数据效率的更详细分析。第三，很明显，FC-AIDES+FT比N-AIDES+FT好得多，其具有全连接结构并且没有用于微调的正则化，证实了我们在4.1节和4.2节中给出的贡献。图2.Barbara、F.print和图像60在Urban100中。第四，我们注意到FC-AIDEB+FT也相当强，即，得到非常接近FC-AIDES+FT，并且对于监督模型，大多优于具有匹配噪声的其他基线这个结果是有趣的，因为它表明只要真实的σ可用于微调，仅维持单个盲训练的监督模型FC-AIDEB还应注意，对于σ=75，DnCNN-B显著失败，这在DnCNN-B被训练的噪声水平之外，但是FC-AIDEB+FT校正了大多数这样的噪声失配。最后，FC-AIDES+FT的去噪时间要比FC-AIDES大，这是需要付出的代价4168适应性。图2显示了σ=30的去噪结果，特别是具有许多自相似模式的图像。一个无表格的例子是Barbara，其中其他CNN基线比BM 3D差，但FC-AIDES+FT明显优于所有其他基线。总的来说，我们看到FC-AIDES+FT在具有自相似性的图像上表现得非常好，而没有任何显式的非局部操作，如[19，6]所示。5.3. 自适应微调的效果在这里，我们提供额外的结果的突出FC-AIDES+FT的自适应性特别有效的三种主要场景。数据稀缺性图3比较了具有不同训练数据大小的BSD68（σ=25）上FC-AIDES+FT与DnCNN-S的PSNR;即，水平轴代表-发送与[38]中用于训练DnCNN-S的训练数据相比的相对训练数据大小，以像素数表示为了比较的目的，还示出了N-AIDES和N-AIDES+FT 从图中，我们观察到FC-AIDES+FT 由 于 两 个 事 实 而 超 过 DnCNN-S（100%），仅使用30%的训练数据;基本监督模型FC-AIDES更有数据效率（即，FC-AIDES具有30%的数据，优于DnCNN-S（30%）），并且微调提供了另外0.1dB的PSNR提升。29.329.229.129.028.928.828.728.610% 30% 50% 70% 90% 100%训练数据比率图3. BSD 68的DnCNN[38]数据效率（σ= 25）。图像不匹配表2给出了医学/高斯的去噪结果，其由50幅医学图像组成，最后，得到了最佳的峰值信噪比，这表明了自适应修复图像失配的有效性。表2. PSNR（dB）/SSIM医学/高斯。颜色和以前一样。噪声红色蔓梅N-AIDE S+FTFC-AIDESFC-AIDES+FTFC-AIDES（M）FC-AIDES（M）+FTσ=30σ=5035.12/0.900532.78/0.866035.02/0.898632.87/0.869134.70/0.892032.23/0.849935.01/0.898032.74/0.864135.26/0.903032.99/0.870334.96/0.899332.56/0.862835.37/0.905033.06/0.8727从表1和图3中，人们可能认为增益对于BSD 68，FC-AIDES+FT相对于FC-AIDES的比值相对较小（例如，0的情况。σ=25时平均为1dB）。然而，我们强调，这是由于训练数据和BSD 68之间的相似性也就是说，图4示出了BSD 68（σ=25）中的前4个图像，其中FC-AIDES+FT相对于FC-AIDES具有最大的改善;每个图像的改善分别为0.53dB、0.49dB、0.38dB和0.29dB，re-coverage，这比平均值高得多。MSE改善最多的像素在第二行中显示为黄色像素。我们清楚地观察到这些图像具有许多自相似模式，并且看到FC-AIDES+FT主要在具有这些模式的像素处变得特别强具有特定自相似模式的图像可以被认为是另一种形式的图像不匹配，并且我们确认了我们的微调的有效性图4. 第一行：BSD 68中的前4个图像（σ=第二十五章）通过FC-AIDE S+FT比FC-AIDE S具有最多的PSNR改进行2：具有最多改进的像素。噪声失配表3显示了BSD 68/Laplacian上的去噪结果。 由于表中的所有监督模型都是用高斯噪声训练的，因此该设置对应于噪声不匹配的情况。作为理想上界，我们还报告了FC-AIDES（L）和FC-AIDES（L）+FT的性能，它们分别代表用拉普拉斯噪声破坏数据训练的监督模型及其微调模型。我们可以看到，在使用不匹配监督模型的模型与RED、Mem- net和FC-AIDES的监督训练集中的自然图像相比，具有根本不同的特征。从表中，我们再次看到FC-AIDES+FT的性能优于RED和Memnet，尽管FC-AIDES略差于它们，这要归功于微调的自适应性。此外，我们考虑了只有少量匹配的监督训练数据可用的情况;即，表2中的FC-AIDES（M）是仅用10个医学图像训练的监督模型。在这种情况下，我们观察到FC-AIDES（M）甚至比上述三个不匹配的监督模型更差，这是由于训练数据量小然而，通过微调，我们观察到FC-AIDES（M）+FT优于所有其他模型，FC-AIDES+FT再次实现最佳去噪性能，其次是FC-AIDEB+FT，除σ外没有任何关于噪声分布的信息。此外，我们观察到，在微 调之后，FC-AIDES和FC-AIDES（L）之间的PSNR间隙大大减小，并且与表1中的那些相比，FC-AIDES+FT和其他基线之间的间隙变宽。5.4. 消融研究和分析在这里，我们给出了更详细的分析，证明我们在4.1节和4.2节中给出的建模选择的合理性。图5示出了在不同的温度下对BSD68（σ= 25）进行的若干消融研究PSNRFC-AIDE S+ FTFC-AIDENAIDESS+FT（d=1，无注册号）NAIDESDnCNN（d=1）S（100%）DnCNN S（30%）41691e 31e 31.6FC-AIDES+ FTFC-AIDE S + FT（No2-SP Reg.）1.51.41.3FC-AIDES+ FTFC-AIDE S + FT（No2-SPReg.）m=0表3.BSD 68上的PSNR（dB）/SSIM，带有拉普拉斯噪声。最好的和第二好的分别用红色和蓝色表示噪声BM3d红色dncnn-Sdncnn-B蔓梅N-AIDES+FTFC-AIDESFC-AIDES+FTFC-AIDEBFC-AIDEB+FTFC-AIDES（L）FC-AIDES（L）+FTσ=30σ=5027.48/0.756425.52/0.666928.18/0.788726.10/0.703028.01/0.778325.90/0.687827.69/0.765025.68/0.676928.26/0.791626.13/0.709828.08/0.779725.91/0.685828.28/0.791726.17/0.706728.42/0.798326.31/0.712328.12/0.788625.92/0.695428.41/0.797926.27/0.707728.63/0.807626.64/0.729328.70/0.809026.70/0.7317模型架构 首先，图5（a）显示了PSNR与仅使用单个Z相比，PSNR的提升。其次，图6（b）显示MSE（橙色）和估计损失（蓝色）29.329.229.129
我的内容管理
收起
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助 
