基于自适应实例归一化的迁移学习方法应用于噪声去噪的研究

3482基于自适应实例归一化的合成噪声去噪到真实噪声去噪的迁移学习Yoonsik Kim Jae Woong Soh Gu Yong Park Nam Ik Cho韩国{terryoo，soh90815，benkay}@ ispl.snu.ac.kr，nicho@snu.ac.kr摘要真实噪声的统计特性不服从正态分布，并且在空间和时间上都是变化的，因此真实噪声的去噪是一项具有挑战性的任务。为了应对各种复杂的实际噪声，我们提出了一种通用的去噪结构和一种迁移学习方案。具体来说，我们采用自适应的实例归一化来构建去噪器，它可以规则化特征图并防止网络过拟合到训练集。我们还介绍了一种转移学习方案，将从合成噪声数据中学习到的知识转移到实际噪声去噪器中。通过所提出的迁移学习，合成噪声去噪器可以从各种合成噪声数据中学习一般特征，而真实噪声去噪器可以从真实数据中学习真实噪声从实验中，我们发现，所提出的去噪方法具有很大的泛化能力，使得我们的网络与合成噪声训练达姆施塔特噪声数据集（DND）的方法中，从已发表的论文达到最好的性能。我们还可以看到，通过使用非常少量的标记数据进行学习，所提出的迁移学习方案对真实噪声图像具有1. 介绍随着卷积神经网络（CNN）的发展，图像恢复任务[18，29，31，30，57，48，27，36]已经取得了显着的改进。虽然大多数图像恢复方法在综合退化图像上工作良好[24，58，9，25]，但它们在实际退化上表现出关于去噪方法，由于合成噪声（SN）和真实噪声（RN）分布的差异，用合成噪声（SN）训练的网络对于真实世界图像不能很好地具体来说，用高斯噪声训练的CNN [54，55，56]对于真实的情况并不好用世界图像，因为CNN过度拟合高斯分布。过拟合的问题也可以从图1中的玩具回归例子中看到。1.一、 如图 在 图 1 （ a ） 中 ， 严 重 过 拟 合 回 归 方 法 （ “w/oRegularizer”）在合成测试数据上显示出比正则化方法（“w/ Regularizer”）更差的此外，它可以在图中看到。1（b）当训练域和测试域不同时，推广能力要差得多。为了更好地解决由于训练集和测试集之间的不同数据分布而导致的问题，已经开发了两种方法：（1）获得RN图像和相应的近无噪声图像对[38，42，5，2，49]，以及（2）找到更真实的噪声模型[20，7]。RN数据集能够对真实图像的去噪性能进行定量比较，并为基于学习的方法提供训练集。用RN数据集训练的CNN在真实世界的图像上鲁棒地工作，因为训练集和测试集的域几乎一致。然而，获取RN图像对需要专业知识，并且提供的数据集的量不足以训练更深的CNN [52，50]。此外，基于学习的方法可以很容易地过拟合到特定的相机设备（数据集），这不能覆盖具有不同特性的所有设备，例如伽马校正，颜色校正和其他相机内管道。为了找到更真实的噪声模型，CBDNet [20]通过考虑真实的噪声模型并模拟相机内流水线来合成近RN图像。它生成了足够的数据集，模拟了200多个相机响应函数。CBDNet在RN图像上显示出出色的性能，即使CNN是用SN训练的。此外，他们还表明，使用RN数据集进行额外的训练可以提高性能。虽然真实的噪声建模确实减少了SN和RN之间的域差异，但仍然存在要处理的域此外，CNN可以过度拟合到一定的3483不含正则化器MSE：0.0153，不含正则化器MSE：0.0136不含正则化器MSE：0.1183，不含正则化器MSE：0.113921.521.521.51110.50.50.5000-0.5-1-1.5-0.5-1-1.5-0.5-1-1.5-200.10.20.30.40.50.60.70.80.91(a) 合成数据-200.10.20.30.40.50.60.70.80.91(b) 真实数据-200.10.20.30.40.50.60.70.80.91(c) 迁移学习图1：一个玩具回归示例，展示了正则化和迁移学习的效果（a）我们假设训练和测试数据是从五阶多项式中采样的，具有加性高斯白噪声（AWGN）。原始回归模型（没有正则化器）表示为w/o正则化器，这是一个10阶多项式模型。众所周知，高阶模型过度拟合数据。假设正则化方法成功地将模型退化为6阶模型（w/ Regularizer），则过拟合得到缓解。从模拟测试数据的均方误差（MSE）可以看出，当训练分布和测试分布相同时，正则化可以提高性能（b）我们假设另一个5阶多项式，它生成的真实数据与合成数据有一些域差异。从实际测试数据的均方误差可以看出，正则化对于处理其他分布是必不可少的（c）使用来自w/ Regularizer的少量真实数据样本对w/Regularizer + TF的迁移学习回归方法进行微调。从真实测试数据上的MSE可以看出，迁移学习可以用很少的真实训练样本进行有效的训练。噪声模型实际上不是根据这些观察结果，我们提出了一种新的去噪器，通过采用自适应实例归一化（AIN）[46，22，32，41]，该去噪器可以很好地推广到来自相机设备的各种RN。在最近基于CNN的方法中，恢复合成降级[33，58，25]，由于性能增益小（甚至降级性能），规则化方法尚未被利用。这表明，当训练集和测试集的域重合时，CNN对训练数据进行过拟合以获得最佳性能[16]。另一方面，用SN训练的去噪器需要正则化，以便将其应用于RN去噪。如图1的示例所1（a）和（b）与在这方面，我们提出了一个很好的正则化去噪器采用AIN作为正则化方法。具体地，用于特征的归一化的仿射变换参数然后，变换参数根据噪声特性自适应地缩放和移位特征图，这导致了CNN的泛化。此外，我们提出了一个转移学习计划从SN到RN去噪网络，以减少合成和真实的域之间的差异。如上所述，RN数据集将不足以训练CNN，CNN也可以容易地过拟合到某个RN数据集。因此，我们设计了一种迁移学习方案，该方案从SN域学习去噪的一般和不变信息，然后迁移学习域，从RN的信息中获取特定信息 如可见于图1（c）中，我们相信SN去噪器可以通过重新变换归一化特征来适应RN去噪器。具体地，使用RN数据集更新AIN的参数。该方案基于迁移学习，可以应用于任何具有少量标记数据的数据集。也就是说，利用SN训练的CNN容易地转移以用于RN移除，而不需要利用RN训练整个网络。这项工作的贡献可以总结如下：• 我们提出了一种基于AIN的新型通用降噪器，它使CNN能够处理来自许多相机设备的各种噪声。• 我们引入了一种转移学习的去噪方案，它从SN数据中学习域不变信息，并更新仿射变换参数。不同域数据的AIN设置。• 该方法在SN和RN图像上实现了最先进的性能。2. 相关作品标准RGB（sRGB）图像中RN的统计取决于相机传感器和相机内流水线的特性。具体地，从传感器生成散粒噪声和读出噪声，并且生成的噪声的统计根据相机内流水线而改变，例如不含正则化器MSE：0.1183带正则化器MSE：0.1139带正则化器+ TF MSE：0.0076真实数据实际列车数据实际测试数据w/o正则化器w/正则化器带正则化器+TF合成数据综合训练数据综合试验数据不含正则化器带正则化器合成数据真实数据真实测试数据不含正则化器带正则化器3484图2：所提出的去噪器的图示。噪声水平估计器和重构网络是基于U-Net的架构，因此特征图通过平均池/转置卷积进行下采样/上采样我们将特征图的每个尺度表示为1/s，其中s可以是1、2和4。重构网络中的卷积均为3×3核具有64秒的特征图，不包括最后的卷积。噪声水平估计器的特征表示也由3×3具有32个通道的卷积和噪声水平图是从具有3个通道输出的3×3卷积获得的。总参数为13.7 M。如去马赛克、伽马校正、相机内降噪、白平衡、色彩校正等[39]。已经有几项工作来近似RN模型，包括高斯-泊松[17，34]，异方差高斯[21]，高斯混合模型（GMM）[59]和基于深度学习的方法[11，1]。考虑到相机流水线，CBDNet [20]和Unprocessing [7]也考虑了真实噪声模型。具体而言，他们通过将异方差高斯噪声添加到伪原始图像并将其馈送到相机流水线来获得近RN图像。这些方法可以模拟200多个摄像机响应函数，从而产生具有不同特征的噪声图像此外，CBDNet使用RN和SN交替训练，以克服对噪声模型的过拟合。我们认为交替训练方案会由于不同的数据分布而导致训练的不稳定性，也不能有效地训练出完全不同的RN因此，我们引入了一个新的迁移学习方案，可以简单而有效地适应SN去噪其他RN的重新变换的归一化特征图。3. 提出我们的目标是训练一个强大的RN去噪器，它减少了训练集和测试集的分布之间的差异，提出了一种新的去噪器和迁移学习。准确地说，我们提出了使用AIN的去噪架构此外，我们引入了一个迁移学习方案，以减少剩余的数据差异，它包括两个阶段：（1）培训具有SN数据集S={Xs，Ys}的去噪器，以及（2）具有RN数据集T={Xr，Yr}的转移学习，其中X和Y分别是无噪声图像和有噪声图像，下标s表示SN，r表示RN。我们使用CBDNet的噪声模型从Xs生成Ys，σ（ys）的噪声水平，其中ys∈YS表示SN图像。在用S训练SN去噪器之后，用T（RN图像yr∈Yr和近无噪声图像xr∈Xr的对）训练RN去噪器。在迁移学习阶段，仅更新特定于领域的参数以有效地保留学习到的SN数据的知识。3.1. 自适应实例归一化去噪网络我们提出了一种新的AIN去噪网络（AINDNet），其中相同的架构被用于SN和RN去噪。我们将AINDNet与噪声水平估计器和重建网络组合在一起，如图所示二、 噪声水平估计器将噪声图像y作为输入，并且生成估计的噪声水平映射σest（y）=Fest（y;θ est），其中θ est表示估计的训练参数。重建网络以σ_s（y）和y为输入，生成去噪图像，其中θ_re_c表示重建网络的训练参数。重建网络是基于U-Net的架构，具有AIN残差块（AIN-ResBlocks）。噪声水平估计由于复杂的噪声模型和相机内流水线，估计噪声水平并非易事。在我们的实验中，我们发现由五个卷积组成的先前简单的噪声水平估计器[20]不能准确地估计噪声水平。主要原因是之前的估计器有一个3485Cp，q，c图3：所提出的AIN-ResBlock的图示，具有相应的内核大小（k），特征尺度（s）和特征数量（n）。注意，n根据s线性增加。Leaky ReLU用于激活函数。Norm（红色）块表示逐通道空间归一化块。一个vera ge-池将σ_i（y）的大小缩放为与h的大小相同。图4：拟议的迁移学习方案的说明。AIN模块、噪声水平估计器和最后卷积仅在学习RN数据时更新。为了更好的可视化，我们在此图中省略了噪声水平估计器被认为是小的感受野，使其不能完全捕获COM-新p，q，c∗p，q，c.Σhp，q，c− µcσc∗p，q，c（二）丛噪声信息。从这个观察，我们设计了一个新的噪声水平估计器，通过采用下/上采样和多尺度估计具有更大的感受野。具体来说，estimator产生缩减的估计值，其中，带上标 * 的变量由σ（y）生成，µc和σc分别表示通道c中h的均值和标准偏差。没错映射σ_4（y）∈RH/4×W/4×3与原始大小估计-H′W′映射σ_（？）1（y）∈R_H×W×3. 然后，这两个输出是1µc=H′W′ Σ Σhp，q，c（3）加权平均到馈电重构网络：p q′ ′σ（y）=λmsL（σ4（y））+（1−λms）σ1（y）（1）σ2=1ΣHH′W ′pΣW（hp，q，c−µc）2+（4）Q其中H、W、L（·）表示所述膜的高度和宽度年龄和线性插值。λms是empir-确定为0.8。从多重的平均值来看，其中，ω表示稳定性参数，其防止等式中的（2），我们在公式中设=10−5，规模估计，我们可以实现区域智能平滑我们的实施。 注意，∗p，q，c 可以σ_n（y），它遵循RN的一般特性自适应实例归一化所提出的AIN-ResBlock在所提出的去噪方案中起着两个关键作用。一种是正则化网络使其不过拟合SN图像，另一种是使SN去噪器适应RN去噪器。为此，我们构建了具有两个卷积和两个AIN模块的AIN-ResBlcok，如图所示。3.第三章。AIN模块仿射变换归一化fea-产生的像素明智的，因此所提出的方法可以处理空间变化的噪声图像自适应。从另一个角度来看，AIN模块充当具有显式约束信息（σ（y））的特征atten- tion[12，58，47，15，26]。3.2. 迁移学习我们提出了迁移学习方案，以利用S来用T加速RN去噪器的训练，′ ′取 一 个 条 件 输 入 σn （ y ） 的 卷 积 的 真 映 射h∈RH×W×C，其中H′×W′表示特征映射在每个尺度s上的空间大小，C是变化的次数nels。具体地，AIN模块产生仿射变换参数，诸如每个像素的尺度（γ）和移位（β）。因此，每个特征图都根据噪声水平被逐通道归一化和逐像素仿射变换。分析了AIN模式下特征图的更新过程有限数量的元件（RN对）。我们期望SN去噪器学习一般和不变的特征表示，RN去噪器学习不能从SN数据完全建模的噪声特征。所提出的迁移学习方案可以实现这两个优点，通过适应SN去噪RN去噪。为此，我们从其他风格转换和分类器中得到启发，=γH+β和β3486在位置（p∈RH，q∈RW，c∈RC）上的Ule形式表示为：任务[46，22，41，10]。在这些方法中，变换-34871批量规范化参数可以传递不同的风格域，通过批量规范化参数的切换可以处理不同的领域分类。根据这些观察，我们尝试通过转移学习归一化参数来适应不同的假设S和T之间的数据差异可以通过重新变换归一化特征图来适应。具体地，SN去噪器的AIN参数可以利用 条件σ_i（y_s）逐像素地适配。因此，AIN模块和噪声水平估计器是用RN数据传递学习的。虽然噪声水平的目标函数不能存在于T中，但可以用重建损失来训练噪声水平估计器。我们认为最后的卷积在将特征映射重建为RGB时起着至关重要的作用图像，因此最后的卷积也被更新。整体提出的迁移学习方案如图所示。4.第一章由于所提出的迁移学习方案只更新了良好的广义去噪器的部分，因此与从头开始训练相比，它可以以更快的速度收敛，并且用很少的T元素数获得更好的性能。此外，所提出的方案有效地应对了由于噪声静态特性的严重差异，不可避免地需要多个模型，通过切换特定参数节省大量内存。训练为了训练SN去噪器，我们利用多尺度非对称损失作为估计损失，其中从CBDNet [20]引入非对称损失以防止估计不足。形式上，多尺度非对称损失定义为，Σ其中θr表示从θs传递的RN去噪器训练参数。先前陈述的参数（诸如AIN模块、估计器和最后卷积）仅被更新，并且其他参数在训练RN去噪器时是固定的。我们使用亚当优化SN去噪和RN去噪。4. 实验通过训练高斯去噪器和RN去噪器，我们给出了AWGN和RN图像的结果。4.1. 实验装置训练设置对于高斯去噪器，从DIV2K [44]和BSD 400[37]获得训练图像，并通过AWGN模型生成噪声图像。对于RN去噪器，我们用两个步骤训练去噪器：训练SN去噪器和通过迁移学习训练RN去噪器。我们使用异方差高斯噪声模型和模拟相机内流水线从Waterloo数据集[35]中获得SN图像和无噪声图像对。对SN去噪器转化而来的RN去噪器进行了训练用SIDD训练集[2]。所有训练图像都被裁剪成大小为256 ×256的补丁。测试集在AWGN实验中，我们评估了广泛用于验证AWGN去噪器的Set12 [54]和BSD 68 [43]。此外，我们采用三个数据集用于真实世界的噪声图像：• RNI 15 [28]由15个真实世界的噪声图像组成。不幸的是，地面实况干净的图像Lms-asymm=i∈{1，4}wi|α−（σi（ys）−σi（ys）<0）|（五）因此，我们只提供定性分析，结果。·（σi（ys）−σi（ys））。2其中， 和。 2分别表示按元素的运算，例如超参数{w1，w4，α}根据经验确定为{0. 2，0。八比零。25}。σ4（ys）由4×4平均池化σ1（ys）获得。然后，用估计损失和L1重建损失联合训练所提出的SN去噪器，L=<$F（y;θs）−xs<$1+λms-asymmLms-asymm（6）• DND [42]提供了50个由无反光镜相机捕获的噪声图像。既然我们不能-与无噪声图像相比，通过将去噪后的图像提交给DND 站 点 ， 可 以 获 得 客 观 的 结 果（PSNR/SSIM）。• SIDD [2]是从智能手机摄像头获得的。它提供了320对嘈杂的图像和相应的-对于基于学习的方法，其中捕获的场景大多是静态的，使用接近无噪声的方法此外，它还提供了1280个补丁进行验证，S1与训练集相似的场景定量再-其中θs表示SN去噪器训练参数，包括噪声电平估计器和重构网络。λms-asymm表示噪声水平估计器的权重项，并根据经验确定为0.05。对于RN去噪器，它仅使用反射损失进行训练：通过将去噪后的图像上传到SIDD站点，可以获得最佳的PSNR/SSIM结果。4.2. 与最新技术水平的比较噪声水平估计我们评估噪声水平估计器对所利用的噪声模型图像的准确性。我们来-L=<$F（yr;θr）−xr<$1（七）使用广泛使用的全卷积网络（FCN）验证所提出的噪声水平估计器[20]。为了3488表1：Kodak24图像的平均MAE和误差STD，其中输入被异方差高斯破坏，包括相机内流水线。方法FCN我们（σs，σc）MaeSTDMaeSTD(0.080.02）0.0390.0130.0140.012(0.080.04）0.0590.0140.0120.011(0.08，0.06）0.0760.0130.0200.010(0.120.02）0.0520.0210.0150.014(0.120.04）0.0710.0200.0170.014(0.12，0.06）0.0870.0200.0300.014平均0.0640.0170.0180.013#参数29.5 K29.7 K表2：去噪图像的平均PSNR，其中输入被AWGN破坏，σ=15，25和50，对于来自Set12和BSD 68数据集的图像。（红色：最好的结果，蓝色：第二好）测试集Set12BSD68方法152550152550BM3D [14]32.3829.9526.7031.0728.5625.62TNRD [13]32.5030.0426.7831.4228.9125.96DnCNN [54]32.6830.3627.2131.6129.1626.23UNLNet [30]32.6730.2527.0431.4728.9826.04FFDNET [56]32.7530.4327.3231.6329.1926.29RIDNet [6]32.9130.6027.4331.8129.3426.40AINDNet32.9230.6127.5131.6929.2626.32为了评估估计器本身的准确性，每个估计器都用L1回归进 行 训 练 。 所 采 用 的 定 量 测 量 是 平 均 绝 对 误 差（MAE）和误差的标准差（STD）。我们在表1中报告了每个估计器的准确度，其中输入图像被信号相关噪声水平σs和信号无关噪声水平σc模拟破坏。我们可以发现，所提出的估计得到更准确的结果比以前的估计具有类似的参数数量。更多不同噪声级的结果将在补充文件中列出。此外，我们将介绍与重建网络相结合时的去噪性能。AWGN去噪我们比较了被AWGN破坏的噪声灰度图像上的去噪器。为此，我们在单个网络中训练高斯降噪器，该网络在[0，60]中学习噪声水平。所提出的方法和其他方法之间的比较如表2所示。我们可以看到，所提出的去噪器在Set12上实现了最佳性能，其中Set12的组成与训练集无关。另一方面，所提出的方法在由BSD 400（训练集）中的类似对象组成的BSD 68上获得第二好的性能我们认为这些结果展示了所提出的训练集去噪架构的鲁棒泛化能力。真实噪声去噪我们还研究了RN数据集上提出的去噪器和迁移学习方案。RN图像的处理被认为是非常实用的，但困难的，因为噪声是信号相关的，空间变化的，并且根据不同的相机内管道而可视化地变化。因此，我们认为RN去噪是一个合适的任务，用于显示所提出的去噪器的泛化能力和所提出的迁移学习的效果。为了进行精确的比较，我们根据训练集和学习方法训练了四种不同的去噪器：• AINDNet（S）：AINDNet是用S训练的，S是提出的SN去噪器。• AINDNet（R）：AINDNet是用T.• AINDNet+RT：来自AINDNet（S）的所有参数都使用T重新训练，这是一种常见的迁移学习方案。• AINDNet+TF：AIND-Net（S）的指定参数用T更新，这是建议的RN去噪器.此外，我们提出了几何自集成[45]结果，表示上标符号，以最大限度地提高所提出的方法的潜在性能。同时，在使用SIDD的真实图像去噪[3]方面存在挑战。我们的方法显示出比挑战赛中排名靠前的方法更低的性能，但需要注意的是，我们的网络的参数数量比挑战赛中的要少得多。例如，挑战中出现的DHDN[40]和DIDN [53]分别需要大约160 M和190 M的训练参数，比我们的大12 - 15倍。此外，挑战方法已经稍微过度拟合到SIDD，其中获胜的去噪器[23]在DND上的性能（38.78 dB）比我们的方法低得多。因此，我们不会直接比较所提出的方法与挑战方法。比较（包括内部比较）见表3和表4。我们可以发现，所提出的方法得到最好的性能DND和SIDD基准。具体而言，所提出的AINDNet（S）在DND基准上实现 此 外 ， AINDNet （ S ） 在 DND 和 SIDD 上 分 别 从CBDNet获得1.5 dB和2.4 dB增益，其中采用的噪声模型相同。这些结果表明，所提出的去噪器不会过拟合噪 声 模 型 ， 可 以 很 好 地 推 广 到 RN 图 像 。 然 而 ，AINDNet（S）在具有大裕度的SIDD上的性能不如AINDNet（R）。主要原因是AINDNet（R）仅使用SIDD训练图像进行训练，其中测试集由训练集中相似的场景和对象换句话说，3489表3：DND基准上的去噪图像的平均PSNR，我们表示训练的环境，即仅用SN数据训练、仅用RN数据训练、以及两者都用。表 示几何自集成[45]结果。（红色：最好的结果，蓝色：第二好）方法盲态/非盲态培训环境PSNRSSIMCDnCNN-B [54]盲合成32.430.7900TNRD [13]非盲合成33.650.8306MLP [8]非盲合成34.230.8331FFDNet [56]非盲合成34.400.8474BM3D [14]非盲-34.510.8507WNNM [19]非盲-34.670.8646GCBD [11]盲合成35.580.9217KSVD [4]非盲-36.490.8978TWSC [51]盲-37.940.9403CBDNet [20]盲合成37.570.9360CBDNet [20]盲房37.720.9408CBDNet [20]盲所有38.060.9421RIDNet [6]盲房39.230.9526AINDNet（S）盲合成39.530.9561AINDNet（R）盲房39.160.9515AIDNet + RT盲所有39.210.9505AINDNet + TF盲所有39.370.9505AINDNet（S）盲合成39.770.9590AINDNet（R）盲房39.340.9524AINDNet +RT盲所有39.340.9522AINDNet + TF网络盲所有39.520.9522AINDNet（R）对SIDD基准的拟合可能会略微过好，这一现象可以从DND性能不足中看出。相比之下，AINDNet+RT和AINDNet+TF在DND和SIDD 上 都 获 得 了 令 人 满 意 的 性 能 。 具 体 而 言 ，AINDNet+RT和AINDNet+TF的性能优于其他算法，包括SIDD上的AINDNet（R），这表明预训练SN图像的性能更好AINDNet+TF比AINDNet+RT更有可能保留先前从SN数据中学习的知识，因此AINDNet +TF在组合方法中实现了最佳的整体性能我们在图1和图2中呈现了SIDD和RNI 15的可视化比较图5和图6示出了所提出的方法在保持边缘的同时鲁棒地去除噪声因此，输出图像中的特征比其他方法的结果更明显此外，我们还提出了视觉增强图。7.当应用所提出的迁移学习方案时。由于RN去噪器传递学习RN的特性，AINDNet+TF成功地去除了AINDNet（S）无法去除的异常噪声此外，RN去噪器学习了SN去噪器中没有事先学习的JPEG压缩伪影的特性，因此它也可以成功地减少压缩伪影。我们还将在补充文件中提供其他可视化比较。表4：SIDD基准上的去噪图像的平均PSNR，我们表示训练的环境，即仅用SN数据训练、仅用RN数据训练、以及两者都用。表 示几何自集成[45]结果。（红色：最好的结果，蓝色：第二好）方法盲态/非盲态培训环境PSNRSSIMCDnCNN-B [54]盲合成23.660.583MLP [8]非盲合成24.710.641TNRD [13]非盲合成24.730.643BM3D [14]非盲-25.650.685WNNM [19]非盲-25.780.809KSVD [4]非盲-26.880.842CBDNet [20]盲所有33.280.868AINDNet（S）盲合成35.660.903AINDNet（R）盲房38.730.950AIDNet + RT盲所有39.040.955AINDNet + TF盲所有38.950.952AINDNet（S）盲合成35.870.905AINDNet（R）盲房38.840.951AINDNet +RT盲所有39.150.955AINDNet + TF网络盲所有39.080.9534.3. 讨论有限RN对的迁移学习效果我们研究了去噪性能与T中RN图像对数量之间的关系，因为我们认为T的准备相当困难，并且元素的数量为此，我们训练每个网络具有来自SIDD [2]的从一个到全部（320）的约束图像对。每个去噪器的平均PSNR如表5所示。可以看出，迁移学习方案可以用少量的真实训练图像推断出很好的 性 能 值 得 注 意 的 是 ， 用 32 对 真 实 数 据 训 练 的AINDNet+TF比利用所有数据的RIDNet实现了更好的性能。因此，我们可以得出结论，SN去噪器的迁移学习大大加快了对少量来自其他领域的标记数据的处理。去噪器的结构我们证明了重构网络的有效性，训练与S。为此，将AINDNet（S）与基线（IN + Concat）进行比较其用IN和噪声图像和噪声水平图的级联输入来代替AIN模块[55，56]。此外，我们比较了自适应高斯降噪器 [25] ， 其 可 以 通 过 馈 送 门 控 残 差 块 （ Gated-ResBlock）来处理空间变化的噪声图。由于它没有报告RN数据集上的性能，我们通过将AIN-ResBlock替换为Gated-ResBlock来训练SN去噪器，其中其他设置与AINDNet相同。表6示出了所提出的AIN-ResBlock在RN数据集上显示出最佳性能。因此，我们认为AIN-ResBlock是一个合适的泛化架构。我们将在补充文件中介绍迁移学习更新变量的消融研究。3490表5：根据RN数据集的量的去噪器RN去噪性能的调查定量结果（平均PSNR（dB））在SIDD验证数据集上报告。真实图像01248163264320（满）RIDNet--------38.71AINDNet（R）-30.3632.1936.9437.7038.1438.6638.7038.81AINDNet+RT35.2136.2337.1638.0238.4038.6338.8239.0039.01AINDNet+TF35.2136.1937.1437.9338.2738.5238.7538.8338.90(a) 噪声图像（b）DnCNN-C（c）CBDNet（a）噪声图像（b）AINDNet（S）（c）AINDNet+TF(d)RIDNet（e）AINDNet（S）（f）AINDNet+TF图5：SIDD的真实噪声图像，以及结果的一致性。（a）噪声图像（b）DnCNN-C（c）CBDNet（d）噪声图像（e）AINDNet（S）（f）AINDNet+TF图7：来自RNI 15的真实噪声图像，以及显示所提出的迁移学习方案的有效性的结果的组合。表6：当用SN数据训练去噪器时，对所提出的重建网络的调查。在DND测试数据集和SIDD验证数据集上报告了定量结果（平均PSNR（dB））。方法DNDSiddIN + Concat38.5334.74[25]第二十五话39.19 34.93我们的39.53三十五点十九分(d)RIDNet（e）AINDNet（S）（f）AINDNet+TF图6：来自RNI 15的真实噪声图像以及结果的比较。5. 结论本文提出了一种新的RN去噪算法和迁移学习算法。建议的去噪器采用AIN来正则化网络，并防止网络过度拟合SN。迁移学习主要使用RN数据更新AIN模块以调整数据分布。从实验结果中，我们可以发现，所提出的去噪方案可以很好地推广到RN，即使它是用SN训练的此外，委员会认为，迁移学习方案可以有效地使SN去噪器适应RN去噪器，而用实际噪声对进行非常少的额外训练。我们将在https://github.com/terryoo/AINDNet上公开我们的代码，以供进一步研究和比较。致谢这项工作得到了信息通信技术规划评估研究所（ IITP ） 的 部 分 支 持 ， 该 研 究 所 由 Ko-Reagovernment（MSIT）（No.NI190004，DevelopmentofAIbasedRobotTechnologiesforUnderstandingAssemblyInstructionandAutomaticAssembly Task Planning），部分由三星电子公司（Samsung Electronics Co.），公司3491引用[1] Abdelrahman Abdelhamed ， Marcus A Brubaker ， andMichael S Brown.噪声流：使用条件归一化流进行噪声建模。在IEEE国际计算机视觉会议集，第31653[2] Abdelrahman Abdelhamed，Stephen Lin，and Michael SBrown.智能手机摄像头的高质量去噪数据集。在IEEE计算机视觉和模式识别会议论文集，2018年。一、五、七[3] Abdelrahman Abdelhamed，Radu Schafte，and Michael SBrown. Ntire 2019挑战真实图像去噪：方法和结果。在IEEE计算机视觉和模式识别研讨会会议集，第0-0页6[4] Michal Aharon，Michael Elad，and Alfred Bruckstein. K-SVD：一种为稀疏表示设计过完备字典的算法。IEEE信号处理学报，54（11）：4311-4322，2006。7[5] Josue Anaya和Adrian Barbu雷诺阿-一个真实的低光图像降 噪 数 据 集 。 Journal of Visual Communication andImage Representation，51：144-154，2018。1[6] 赛义德·安瓦尔和尼克·巴恩斯。具有特征注意力的真实图像去噪。在IEEE计算机视觉国际会议（ICCV），2019年10月。六、七[7] Tim Brooks ， Ben Mildenhall ， Tianfan Xue ， JiawenChen，Dillon Sharlet，and Jonathan T Barron.不处理图像以进行学习的原始去噪。在IEEE计算机视觉和模式识别会议论文集，2019年。第1、3条[8] HaroldCBurger 、 ChristianJSchuler 和 StefanHarmeling。图像去噪：普通神经网络能与bm3d竞争吗？2012年7[9] Jianrui Cai，Hui Zeng，Hongwei Yong，Zisheng Cao，and Lei Zhang.迈向真实世界的单幅图像超分辨率：新标 杆 、 新 模 式 。 arXiv 预 印 本 arXiv ： 1904.00523 ，2019。1[10] Woong-Gi Chang、Tackgeun You、Seonguk Seo、SuhaKwak和Bohyung Han。用于无监督域自适应的特定于域的批量归一化在IEEE计算机视觉和模式识别会议论文集，第7354-7362页4[11] 陈静雯，陈嘉伟，赵宏阳，杨明。基于生成对抗网络噪声建模的图像盲去噪在IEEE计算机视觉和模式识别会议论文集，2018。三、七[12] Long Chen，Hanwang Zhang，Jun Xiao，Ligen Nie，Jian Shao，Wei Liu，and Tat-Seng Chua. Sca-cnn：图像字幕卷积网络中的空间和通道注意力。在IEEE计算机视觉和模式识别会议论文集，第5659-5667页，2017年。4[13] Yunjin Chen和Thomas Pock。可训练的非线性反应扩散：一个灵活的框架，用于快速有效的图像修复IEEE Transactions on Pattern Analysis and MachineIntelligence，39（6）：1256-1272，2016. 六、七[14] Kostadin Dabov，Alessandro，Vladimir Katkovnik，andKaren Egiazarian.基于亮度-色度空间分组约束的稀疏三维 协 同 滤 波 彩 色 图 像 去 噪 。 IEEEInternationalConference on Image Processing，2007。六、七[15] Tao Dai，Jianrui Cai，Yongbing Zhang，Shu-Tao Xia，and Lei Zhang.二阶注意力网络用于单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第110654[16] 冯瑞成，顾金金，乔玉，朝东。图像超分辨率网络的超压模型过拟合。在IEEE计算机视觉和模式识别研讨会会议论文集，2019年。2[17] Alessandro Foi、Mejdi Trimeche、Vladimir Katkovnik和Karen Egiazarian。单幅图像原始数据的实用泊松-高斯噪 声 建 模 与 拟 合 。 IEEE Transactions on ImageProcessing，17（10）：1737-1754，2008. 3[18] Mi cha eülGharbi ， Gaura vChaurasia ， Syl vainParis ，andFre´doDurand. 深 度 联 合 去 马 赛 克 和 去 噪 。 ACMTransactions on Graphics（TOG），35（6）：191，2016。1[19] 古书航、张磊、左王梦、向楚风。加权核范数最小化及其在图像去噪中的应用。在2014年IEEE计算机视觉和模式识别会议上。7[20] 史国，严子飞，张凯，左王梦，张磊。真实照片的卷积盲去噪。在IEEE计算机视觉和模式识别会议论文集，2019年。一、三、五、七[21] Samu e lWHasino f f，Fre'doDurand和WilliamTFreeman。噪音-高动态范围摄影的最佳捕捉。2010年IEEE计算机协会计算机视觉和模式识别会议，第553IEEE，2010。3[22] Xun Huang和Serge Belongie。实时任意样式传输，具有自适应实例规范化。在IEEE计算机视觉国际会议论文集，第1501-1510页，2017年。二、