深度学习网络用于图像去马赛克和去噪的原则性方式及性能优于其他方法的研究

使用级联卷积残差去噪网络的Filippos Kokkinos和Stamatios Lefkimmiatis{filippos.kokkinos，s.lefkimmiatis}@ skoltech.ru俄罗斯莫斯科斯科尔科沃科技学院（Skolkovo Institute of Science andTechnology，Skoltech）抽象。去马赛克和去噪是现代数码相机流水线中最关键的步骤之一，它们的联合处理是一个高度不适定的逆问题，其中至少三分之二的信息丢失，其余的被噪声破坏。这对获得有意义的重建提出了很大的挑战，并且需要特别注意有效治疗该问题。虽然最近已经引入了几种机器学习方法来处理联合图像去马赛克-去噪，但在这项工作中，我们提出了一种新的深度学习架构，其灵感来自强大的经典图像正则化方法和大规模凸优化技术。因此，与其他竞争性深度学习方法相比，我们的衍生网络更加透明，并且具有清晰的解释我们广泛的实验表明，我们的网络在有噪声和无噪声数据上的性能优于任何以前的方法重建质量的这种改善归因于我们设计网络架构的原则性方式，这也需要比当前最先进的深度网络解决方案更少的可训练参数最后，我们证明了我们的网络即使在小数据集上训练也有很好的泛化能力，同时保持可训练参数的总数较低。关键词：深度学习，去噪，去马赛克，邻近法，残差去噪1介绍现代数码相机执行一定数量的处理步骤，以便从原始传感器数据创建高质量图像。所需的处理步骤的序列被称为成像流水线，并且前两个且最关键的步骤涉及图像去噪和去马赛克。这两个问题都属于不适定问题的范畴，而它们的联合处理是非常具有挑战性的，因为三分之二的基础数据丢失，其余的被噪声干扰。显然，在相机流水线的该早期阶段期间的重建误差将最终导致不令人满意的最终结果。此外，由于相机处理流水线的模块化性质，去马赛克和去噪在过去传统上是以顺序处理的。2F. Kokkinos和S. 莱夫基米亚蒂方式详细地，去马赛克算法从引入非线性像素噪声的不可靠的空间移位的传感器数据重建图像，从而使去噪成为甚至更难的问题。由于去马赛克是摄像机流水线的重要步骤，因此已被广泛研究。对于最近的方法的完整调查，我们参考[1]。目前介绍的处理去马赛克问题的几种方法的主要缺点之一是它们假设特定的拜耳模式[1，2，3，4，5，6]。这是一个相当强的假设，并限制了它们的适用性，因为市场上有许多采用不同滤色器阵列（CFA）图案的相机。因此，能够推广到不同CFA模式的去马赛克方法是优选的。适用于任何CFA图案的一种简单方法是对每个通道的给定像素的相邻值进行双线性插值。这种方法的问题是产生的拉链伪影，其沿着高频信号变化发生，例如，边缘. 因此，许多方法涉及边缘自适应插值方案，其遵循强边缘的梯度方向[1]。然而，去马赛克的真正挑战在于利用通道内和通道间的依赖性。最常见的假设是颜色通道之间的色差是恒定的，因此最终结果会导致平滑的图像。其他方法利用自然图像的自相似性和冗余属性[4，2，3，6]。此外，在一些情况下，应用后处理步骤以去除某些类型的伪影[7]。另一个成功的类由作用于频率域的方法组成。任何拜耳CFA都可以表示为基带处的亮度分量和两个调制分量的组合[8]。基于这种解释，Dubois [9，10，11]使用能够推广到任意传感器模式的最小二乘法创建了一组成功的滤波器组从以学习为基础的方法的角度来看，参考书目很短。基于学习的去马赛克算法的设计的常见问题是缺乏地面实况图像。在许多方法中，例如[12，13]中的那些方法，作者使用已经处理的图像作为再次模拟镶嵌的参考，即它们在已经去马赛克的图像上应用马赛克掩模，因此获得用于调整可训练方法的非现实对。在a recent最近work工作Khasabi et.等人[14]提供了一种产生具有真实参考图像的数据集的方法，允许设计机器学习去马赛克算法。我们使用生成的MicrosoftDemosaicking数据集（MSR）[14]为了训练、评估和比较我们的系统。所包含的图像必须在线性RGB（linRGB）颜色空间中被去马赛克，然后经由颜色变换和伽马校正被变换到标准RGB（sRGB）空间中。此外，数据集中包含两种常见的CFA模式，即Bayer和Fuji X Trans，这使得能够开发和评估能够处理不同CFA模式的方法除了去马赛克问题之外，需要特别注意的另一个问题是消除由传感器产生的并且使所获取的原始数据失真的噪声首先，传感器读数被散粒噪声破坏[15]基于残差网络的3∈∈∈这是探测到的光子的随机变化的结果。第二，在读取和将电荷转换成数字计数期间的电子低效率表现出另一种类型的噪声，即读取噪声。在某些情况下，这两种噪声都可以通过遵循异方差高斯pdf的噪声来近似 [15]。Kalevo和Rantanen [16]的先前工作分析了去噪是否应该在去马赛克步骤之前或之后发生实验证实，去噪优选地在去马赛克之前完成然而，没有分析联合去噪和去马赛克的情况。在后来的工作中，许多研究人员[17，18，19]表明联合去噪和去马赛克会产生更好的结果。出于这些工作，我们还追求一个联合的方法去噪和去马赛克的原始传感器数据。在最近的工作Gharbi等。[20]利用深度学习领域的优势来创建卷积神经网络（CNN），该网络能够联合对图像进行去噪和去马赛克。除了上述网络的设计之外，作者还投入了大量精力来创建新的大型去马赛克数据集，即MIT去马赛克数据集，其由以下组成2.6数以百万计的图像。这些补丁是从一个大的数据收集特定的视觉失真度量挖掘。我们的主要贡献是一种新型的深度神经网络，用于解决联合图像去马赛克-去噪问题1。该网络架构的灵感来自经典的图像正则化方法和一个强大的优化策略，在过去已成功地用于处理一般的逆成像问题。我们证明，通过广泛的实验，我们的方法导致更高质量的重建比其他竞争的方法在线性RGB（linRGB）和标准RGB（sRGB）的颜色空间。此外，我们进一步表明，我们的衍生网络不仅优于当前基于CNN的最先进网络[20]，而且通过使用较少的可训练参数和仅在一小部分训练数据上进行训练来实现这一点2问题公式化为了解决联合去马赛克-去噪问题，文献中最常用的方法之一依赖于以下线性观测模型y = Mx + n，（1）其将观察到的传感器原始数据yRN与我们旨在恢复的底层图像xRNX和y两者对应于图像的矢量化形式，假设它们已经使用字典-图形顺序被光栅扫描在该符号下，MRN×N是对成像设备的空间响应（特别是CFA图案）进行建模的退化矩阵。据此，M对应于一个平方对角二进制矩阵1将从客户的网站上提供有关培训和招聘的代码。4F. Kokkinos和S. 莱夫基米亚蒂N|XXX2σ222σ22其中其对角线中的零元素指示图像中缺失颜色信息的空间和通道除了缺失的颜色值之外，图像测量还受到噪声的干扰，在下文中，我们将假设噪声是独立同分布高斯噪声n（0，σ2）。注意，这是一个关于噪声统计使测量失真的相当简化的假设。但是，此模型仅作为我们设计网络架构的起点。在续集中，我们的衍生网络将在被噪声扭曲的图像上进行训练和评估，这些图像遵循更好地近似真实噪声条件的统计数据。从测量值y恢复x属于广义的线性逆问题。对于所研究的问题，运营商M显然是奇异的。这一事实与干扰测量的噪声的存在相结合，导致不存在唯一解的不适定问题。一种流行的处理方法是采用贝叶斯方法并寻求最大后验概率（MAP）估计x = arg max log（p（x |y））= arg max log（p（y）|x））+log（p（x）），（2）其中log（p（y x））表示观测y的对数似然，log（p（x））表示x的对数先验。问题（2）可以等价地重新转换为最小化问题x= arg min1y−Mx2+φ（x）（3）其中第一项对应于负对数似然（假设方差σ2的i.i.d高斯噪声），并且第二项对应于负对数先验。根据上文，底层图像X1的恢复归结为计算等式（1）中的目标函数的最小值。（3）由两个术语组成。这个问题的制定也有直接的联系变分方法，其中第一项可以被解释为数据保真度，量化的解决方案的接近观察和第二项可以被看作是正则化，其作用是促进解决方案，满足某些有利的图像属性。一般来说，目标函数Q（x）=1y−Mx2+φ（x）（4）远不是一个简单的任务，特别是当函数φ（x）不是二次型时，这意味着不能简单地通过解一组线性方程组来获得解。综上所述，在我们能够为我们的问题找到令人满意的解决办法之前，显然需要应对两个重要挑战。第一个是提出一个算法，可以有效地最小化Q（x），而第二个是选择一个适当的形式φ（x），这将限制允许的解决方案，促进只有那些表现出所需的性质。基于残差网络的5··在第3节中，我们将关注第一个挑战，而在第4节中，我们将讨论如何通过机器学习方法避免对正则化器（或等效的负对数先验）做出任何显式决策这种方法将允许我们以间接的方式从训练数据中推断φ3优化-最小化框架一个主要的困难，在最小化的目标函数在方程。（4）是奇异退化算子M和潜像x之间存在的耦合。为了规避这一困难，我们可以依赖几种可用的优化策略，其中潜在的候选者是分裂变量技术，例如乘法器的交替方向方法[21]和分裂Bregman方法[22]。然而，通过使用这样的方法产生的一个不幸的是，没有一种简单直接的方法来选择这些参数。因此，在这项工作中，我们将转而追求优化最小化（MM）方法[23，24]，其不提出这样的要求。在该框架下，如我们将详细描述的，不是通过最小化（4）来获得解，而是通过代理函数的连续最小化来代理函数提供了初始目标函数的上限[23]，并且它们比原始目标函数更容易处理。具体而言，在优化-最小化（MM）框架中，用于求解最小化问题的x* = arg minQ（x）（5）F采取的形式x（t+1）=argminQ~（ x; x（t）），（6）X其中Q_（x;x（t））是函数Q（x）在x（t）的 固定 点处的函数，满足两个条件Q~（x;x（t））>Q（x），xi=x（t）且Q≠（x（t）;x（t））=Q（x（t））。（七）这里，基本思想是，不是最小化Q（x）上的实际目标函数，而是通过可优化的优化函数Q（x;x（t））来优化，然后最小化该优化函数以产生下一个优化函数x（t+1）。考虑到该算法的性能，将最小化Q~（x（t） ） 也 被 定 义 为目标函数Q（t）。实际上，甚至不要求每次迭代中的代理函数都最小化，但只要找到使其减小的x（t+1）6F. Kokkinos和S. 莱夫基米亚蒂2σ2σǁǁ−02σ220为了导出Q（x）的优化器，我们选择数据保真度项（负对数似然）的优化器。特别地，我们考虑以下优化器d~（x， x）=1y−Mx2+d（x， x），（8）其中d（x， x0）=12（x− x0）T[αI− MT M]（x− x0）是测量x和x0之间距离的函数。由于M是一个二进制对角矩阵，它是一个幂等矩阵，即MT M = M，因此d（x， x0）=12（x− x0）T[αI− M]（x− x0）。根据（7）中的条件，为了使d~（x，x 0）成为有效矩阵，我们需要在d（x，x0）≥0处求出，其中x=x0。 这表明I-M必须是正定矩阵，这仅在α >M2= 1时成立，即α大于M的最大特征值。基于上述，（4）的上限版本最终被写为˜12Q（x， x0）=2（σ/√a）2x−z2+φ（x）+c，（9）其中c是常数并且z = y +（IM）X0。注意，遵循这种方法，我们已经设法将退化算子M从X完全解耦，并且我们现在需要处理更简单的问题。事实上，在Eq.可以将等式（9）解释为去噪问题的目标函数，其中z是被方差等于σ2/α的噪声破坏的噪声测量。这是一个关键的观察结果，我们将严重依赖于它来设计我们的深度网络架构。特别地，现在可以代替选择以下形式：并且最小化代理函数，以采用将计算当前迭代的解的去噪神经网络。我们的想法在本质上类似于其他最近的图像恢复方法，这些方法采用去噪网络作为替代迭代优化策略的一部分，例如RED [25]和P3[26]。用于解决联合去噪-去马赛克问题的这个方向是非常有吸引力的，因为通过使用训练数据，我们可以隐式地学习函数φ（x），并且还使用前馈网络最小化对应的代理函数这样，我们可以完全避免对正则化器做出任何（九）、4残差去噪网络（ResDNet）基于上面的讨论，我们的方法的最重要的部分是去噪网络的设计，该去噪网络将扮演方程中的代理函数的求解器的角色（九）、所提出的网络的架构在图中描绘。1.一、这是一个类似于DnCNN [27]的残差网络，其中网络的输出从其输入中减去。因此，网络本身充当噪声估计器，其任务是估计使输入失真的噪声实现。这种网络架构已被证明比替代方法[27，28]导致更好的恢复结果。一个明显的区别是基于残差网络的7×∗×∗×图1：所提出的ResDNet去噪网络的架构，它是我们整个系统的骨干。我们的网络和DnCNN的区别在于，它接受两个输入，即失真的输入和噪声的方差，这也使得我们的网络适合用作MM方法的一部分。通过这种方式，正如我们将在续集中演示的那样，我们能够为我们的网络学习一组参数，并将其应用于网络。将相同的网络应用于因大范围噪声电平而失真的输入。虽然DnCNN的盲版本也可以适用于不同的噪声水平，但与我们的网络相反，它具有一种内部机制来估计噪声方差。然而，当噪声统计显著偏离训练条件时，这种机制可能会失败，因此DnCNN可能会导致较差的去噪结果[28]。事实上，由于[29]中的这个原因，研究了比去噪更一般的恢复问题，DnCNN的作者使用了他们网络的非盲变体作为他们提出的恢复方法的一部分。然而，这种方法的缺点是它需要为每个噪声水平训练深度网络。这可能是相当不切实际的，特别是在希望在具有有限存储容量的设备上采用这样的网络的情况下。在我们的情况下，受[28]中最近工作的启发，我们通过明确提供噪声方差作为网络的输入来规避这一限制，然后将其用于辅助网络，以便提供对使输入失真的噪声的准确估计。请注意，文献中有几种可用的技术可以提供噪声方差的估计，例如[30，31]中描述的那些，因此该要求不会对我们的方法构成任何重大挑战。深度为D的ResDNet由五个基本块组成第一块是具有64个滤波器的卷积层，其内核大小为5 5。第二个是一个非线性块，它由一个参数化的整流线性单位激活函数（PReLU），然后是一个卷积与64个过滤器的3 - 3内核。PReLU函数被定义为PReLU（x）= max（0，x）+κmin（0， x），其中κ是其大小等于输入通道的数量的向量在我们的网络中，我们使用D 2个不同的非线性块，我们通过与[ 32 ]类似的方式每隔一个块连接一个快捷连接，如图所示。1.一、接下来，非线性阶段的输出由转置卷积层处理，该转置卷积层将通道的数量从64减少到3，并且具有5 - 5的内核大小然后，它跟随接受作为附加输入的投影层[28]。8F. Kokkinos和S. 莱夫基米亚蒂∈−噪声方差，并且其作用是归一化噪声实现估计，使得在从输入中减去噪声实现估计之前，噪声实现估计将具有正确的方差的网络。最后，对结果进行裁剪，使得输出的强度位于范围[0， 255]内。这最后一层加强了我们关于有效像素强度的预期范围的先验知识。关于实现细节，在每个卷积层之前，填充输入以确保每个特征图具有与卷积层相同的空间大小。输入图像。然而，与大多数用于计算机视觉应用的深度学习系统所遵循的常见方法不同，我们使用自反填充而不是零填充。与其他用于图像恢复的网络的另一个重要区别是，在卷积之后，我们不使用任何其他算法。相反，我们使用[28]中提出的参数卷积表示，并且其由图像正则化相关参数激发。特别地，如果vRL表示卷积层中的滤波器的权重，则这些被参数化为v=s（u−u¯），（10）u−u¯当r是一个可比较的特征向量时，u∈RL，且不等于u的值。换句话说，我们学习的是2范数等于s的零均值滤波器。此外，投影层（其刚好在与网络输入的减法运算之前使用）对应于以下的投影yPC（y）=εmax（ε y）、（11），ε）其中ε=eγθ，θ=σ<$N 1，N是图像中的像素总数其中，σ是使输入失真的噪声的标准偏差，γ是标量可训练参数。如前所述，这一层的目标是对噪声实现估计进行归一化，以便在从网络输入中减去噪声实现估计之前具有所需的方差。5去马赛克网络架构我们的方法的整体架构是基于MM框架，在第3节中提出的，和建议的去噪网络。如所讨论的，MM是迭代算法Eq.其中等式（6）中的优化器的最小化（9）可以被解释为去噪问题。设计去马赛克网络的一种方式将是将MM算法展开为K个离散步骤，然后对于每个步骤使用不同的去噪网络来检索等式（1）的解。（九）、然而，这种方法可能具有两个明显的缺点，这将阻碍其性能。第一个是，如[29]中那样，针对每个步骤使用不同的去噪神经网络需要高的参数总数，其等于所采用的去噪器的参数的K倍2基于残差网络的9∈i+2算法1：所提出的去马赛克网络被描述为迭代过程。ResDnet参数在每次迭代中保持不变输入：M：CFA，y：输入，K：迭代，w∈ R，K：外推权重，σ∈RK：噪声向量x0 = 0，x1= y;对于i←1到K，则u = x（i）+wi（x（i）− x（i−1））;x（i+1）= ResDNet（（I-M）u + y，σi）;端使得去马赛克网络对于任何实际应用都不切实际为了克服这个缺点，我们选择使用我们的ResDNet去噪器，它可以应用于广泛的噪声水平，对于我们的demosaick网络的所有K步，使用相同的参数集。通过在所有K个步骤中共享我们的去噪器的参数，整体去马赛克方法保持了少量所需的参数。如第3节所述，MM框架的第二个缺点是它可能表现出的缓慢收敛[33]Beck和Teboulle [33]介绍了这种MM方法的加速版本，该方法将两个连续步骤的解与每个步骤不同的特定外推权重相结合。在这项工作中，我们采用了类似的策略，我们在算法1中描述。此外，在我们的方法中，我们更进一步，而不是使用[33]中最初建议的权重wRK的值，我们将它们视为可训练参数并直接从数据中学习它们。这些权重初始化为wi=i−1，1≤i≤K。我们的框架的收敛可以通过采用连续策略[34]来进一步加速，其中主要思想是解决方程中的问题。（9）具有大的σ值，然后逐渐减小它，直到达到目标值。我们的方法能够利用连续策略，因为我们的ResDNet去噪器的设计，它接受作为一个额外的参数噪声方差。详细地说，我们初始化可训练向量σ∈RK，其值在从σ max到σ min的对数尺度上均匀分布，然后在向量上均匀分布。通过反向传播训练对训练数据集进一步微调σ。总之，我们的整体去马赛克网络在算法1中描述，其中可训练参数θ的集合由Res-DNet去噪器的参数、外推权重w和噪声水平σ组成。所有上述参数如当前部分和第4部分中所述被初始化，并且在特定的去马赛克数据集上被训练。为加快在学习过程中，所采用的ResDNet去噪器被预先训练用于考虑多个噪声水平的去噪任务。最后，虽然我们的demosaick网络与RED [25]，P3[26]和IRCNN [29]等方法具有相似的理念，但它表现出一些重要而明显的差异。特别地，上述策略利用某些优化方案将其原始问题分解为子问题10F. Kokkinos和S. 莱夫基米亚蒂∈×·∈∈可以通过去噪器来解决例如，P3[26]的作者将原始问题Eq.（1）通过ADMM [21]优化算法，并代替求解线性方程组和去噪问题，其中RED[25]的作者更进一步，并利用与去噪器同等的拉格朗日。这两种方法都与我们的方法类似，但是它们的公式涉及可调变量λ，该可调变量λ对正则化器对整体优化过程的参与进行因此，为了在合理的时间内获得准确的重建，用户必须手动调整变量λ，这不是一项微不足道的任务。另一方面，我们的方法不涉及用户的任何可调变量。此外，方法P3，RED和IRCNN基于静态去噪器，如非局部均值[35]，BM3D [36]和DCNN [27]，同时我们选择使用通用去噪器，如ResDnet，可以在任何可用的训练数据上进一步训练。最后，我们的方法更进一步，我们使用一个可训练版本的迭代优化策略的任务的联合降噪去马赛克的形式的前馈神经网络。6网络训练6.1图像去噪我们使用的去噪网络ResDnet作为整个网络的一部分，是在伯克利分割数据集（BSDS）[37]上进行预训练的，该数据集由500张彩色图像组成。这些图像被分成两组，400个用于形成训练集，其余100个形成验证集。所有的图像被随机裁剪成大小为180 - 180像素的补丁。用噪声σ[0，15]扰动贴片，并优化网络以使均方误差最小化。我们设置网络深度D= 5，所有权重都像He等人那样初始化[38]并且使用ADAM [ 39 ]进行优化，ADAM [39]是一种随机梯度下降算法，其适应每个参数的学习率。训练过程以等于10- 2的初始学习率开始。6.2联合去噪和去马赛克使用预训练的去噪器6.1，我们的新框架以端到端的方式进一步训练，以最小化大小为d的minibatch上的平均L1损失，1ΣdL（θ）=N i=1yi−f（xi）其中yiRN和xiRN是光栅化的地面实况和输入图像，而f（）是我们的网络的输出。损失函数的最小化通过时间反向传播（BPTT）算法进行，因为网络的权重对于所有迭代都保持不变。在我们所有的实验中，我们使用小批量的d= 4个图像，网络的总步骤固定为K=10，并且我们设置为初始化基于残差网络的11柯达McM VDP云纹非ML方法：双线性32.932.5 25.2 27.6Adobe Camera Raw 933.932.2 27.8 29.8布阿德斯[4]37.335.5 29.7 31.7[2]第二届全国政协委员37.936.3 30.1 31.9格特鲁埃[41]38.136.1 30.8 32.5海德[5]40.038.6 27.1 34.9在MSR数据集上培训：[19]第十九话35.330.8 28.0 30.3我们39.234.1 29.2 29.7在MIT数据集上训练：加尔比[20]41.239.5 34.3 37.0我们的 *41.5 39.7 34.5 37.0表1：在仅去马赛克场景下，我们的系统与最先进技术在PSNR性能方面的比较。根据[1]中的评估方法，柯达数据集的大小调整为512x768*我们针对MIT数据集的系统是在260万张图像中的4万张图像的一个小子集上训练的。向量σ的值σmax= 15和σmin= 1。小批量大小在训练期间是强制性的，因为必须为BPTT存储所有中间结果，因此内存消耗随着迭代步骤和批量大小线性增加。此外，通过Adam优化器再次进行优化，训练从10-2的学习率开始，每30个epoch减少10倍。最后，对于所有可训练的参数，我们应用2的10−8的权重衰减。在现代NVIDIA GTX 1080Ti GPU上，完整的训练过程对于MSR Demosaicking Dataset需要3小时，对于MIT Demosaicking Dataset的一小部分需要5天。7实验最初，我们比较我们的系统与其他替代技术的demosaick只的情况。我们的网络在MSR Demosaick数据集[14]上进行训练，并在McMaster [2]，Kodak，Moire和VDP数据集[20]上进行评估，其中所有结果均在表1中报告。MSR Demosaick数据集包括的200个训练图像，其中包含线性化的16位马赛克输入图像和相应的linRGB地面实况，我们也增加了水平和垂直翻转。对于所有实验，为了量化重建的质量，我们报告峰值信噪比（PSNR）度量。除了MSR数据集之外，由于小批量的限制，我们还在MIT数据集的40，000张图像的一个小子集上训练我们的系统。很明显，我们的系统能够达到同样的，在许多情况下更好的性能12F. Kokkinos和S. 莱夫基米亚蒂比目前最先进的网络[20]，它是在完整的MIT数据集上训练的，即260万张图片我们相信，在完整的MIT数据集上训练我们的网络，它将为噪声产生更好的结果-自由的场景此外，上述数据集仅包含无噪声样本，在表2中没有记录或显示任何结果，并且通过使用N/A代替来标记相应的结果。我们还注意到，在[20]中，作者为了使用MIT数据集来训练他们的网络用于联合去马赛克去噪场景，通过i.i.d高斯噪声来扰动数据。结果，它们的系统性能和更多的电子器件的性能显著降低，这可以从表2中清楚地看出。其主要原因是他们的噪声假设没有考虑相机的散粒噪声，而只是考虑读取噪声。无噪声的linRGB sRGB linRGB sRGB非ML方法：双线性30.924.9--[2]第二届全国政协委员38.432.1--格特鲁埃[41]39.432.9--海德[5]在MSR数据集上培训：40.033.8--卡萨比[14]39.432.637.831.5[19]第十九话40.934.638.832.6[42]第四十二话--38.7-我们在MIT数据集上训练：41.034.639.233.3Gharbi（sRGB）[20]41.635.338.432.5Gharbi（linRGB）42.735.938.632.6我们的 *（linRGB）42.635.9N/AN/A表2：在线性和sRGB空间中通过不同方法的PSNR性能。对于噪声场景，不包括不能执行去噪的方法的结果。我们针对MIT数据集案例的系统是在260万张图像中的40，000张图像的一个小子集上训练的。括号中的颜色空间指示所采用的训练数据集的特定颜色空间。与无噪声情况类似，我们在来自MSR数据集的200个训练图像上训练我们的系统，这些图像被模拟传感器噪声污染[15]。该模型在linRGB空间中进行了优化，并在linRGB和sRGB空间上评估了性能，如[14]中所提出的。很明显，在无噪声场景中，对数百万个图像进行训练对应于改进的性能，但这并不意味着要像表2中所示的那样对噪声系统进行训练尽管我们的方法是基于深度学习技术的，但在200张图像的小数据集上训练具体而言，建议基于残差网络的13×系统具有总共380，356个可训练参数，这比具有559，776个可训练参数的当前技术状态[20]小得多我们的去马赛克网络也能够同样好地处理非拜耳模式，如表3所示。特别地，我们考虑使用Fuji X-Trans CFA图案进行去马赛克，该图案是6x6网格，其中绿色是主要采样颜色。我们在MSR Demosaick数据集的相同训练集上从头开始训练我们的网络，但现在我们应用了FujiX-Trans mosaick。与其他系统相比，即使与在数百万张图像上训练的系统相比，我们也能够在linRGB和sRGB空间上超越最先进的在现代GPU（Nvidia GTX 1080Ti）上，整个去马赛克网络对于大小为220 - 132的彩色图像需要0.05秒，并且它线性地缩放到不同大小的由于我们的模型只包括矩阵运算，它也可以很容易地转移到专用集成电路（ASIC），以实现大量的执行时间加速和集成到相机。无噪声线性sRGB在MSR数据集上培训：哈什比[14]36.930.6[19]第十九话39.633.1我们在MIT数据集上训练：39.9 33.7加尔比[20]39.733.2表3：用非Bayer镶嵌图案Fuji XTrans对无噪声线性数据的评价8结论在这项工作中，我们提出了一种新型的深度学习系统，可以为联合去噪和去马赛克问题生成高质量的图像我们的demosaick网络产生优异的结果相比，目前的国家的最先进的网络的定量和定性。同时，即使在小数据集上训练，我们的方法也能够很好地泛化，而与其他竞争解决方案相比，参数的数量保持较低。作为一个有趣的未来的研究方向，我们计划探索我们的方法在其他图像恢复问题，如图像去模糊，修复和超分辨率的退化算子是未知的或不同的图像。14F. Kokkinos和S. 莱夫基米亚蒂图2：沿着我们的demosaick网络的步骤进行。对应于步骤1的第一图像表示最终结果的粗略近似，而第二图像（步骤3）和第三图像（步骤10）更精细。该图描绘了我们的方法的延续方案。参考双线性张（NLM）Gharbi等人我们图3：我们的网络与其他竞争技术在噪声MSR数据集图像上的比较。从这些结果可以清楚地看出，我们的方法能够在去除噪声的同时保持细节，相反，其他方法要么不能去噪，要么过度平滑图像。基于残差网络的15引用1. 李欣，Bahadir Gunturk，L.Z.：图像去马赛克：系统调查（2008）2. 张，L.，Wu，X.，中国农业科学院，Buades，A.，李X：局部方向插值和非局部自适应阈值的颜色去马赛克。电子成像学报20（2）（2011）0230163. Duran，J.，Buades，A.：自相似和谱相关自适应彩色图像分割算法。IEEETransacti onsac t i onsonimageprocessing23（9）（2014）40314. Buades，A.，Coll，B.，Morel，J.M.，Sbert，C.：自相似性驱动的颜色去马赛克。IEEETransacti onsonImageProcessing18（6）（2009）11925. Heide，F.，Steinberger，M.，蔡耀东Rouf，M.，Pajak，D.雷迪，D.加洛岛刘杰，Heidrich，W.，Egiazarian，K.，等：Flexisp：一个灵活的相机图像处理框架。ACM Transactions on Graphics（TOG）33（6）（2014）2316. Chang，K. Ding，P.L.K.，李乙：基于通道间相关性和非局部自相似性的彩色图像去马赛克。信号处理：图像通信39（2015）264-2797. Hirakawa ， K. ， Parks ， T.W. ： 自 适 应 均 匀 性 定 向 去 马 赛 克 算 法 。IEEETransactionImgeProcessing14（3）（March2005）3608. Alleysson，D.Susstrunk，S.，Herault，J.：受人类视觉系统启发的线性去马赛克。IEEETransactio nImgeProcessi ng14（4）（A pril2005）4399. Dubois，E.：拜耳取样彩色图像去马赛克的频域方法。IEE ESignalProcessingLeters12（12）（Dec2005）84710. Dubois ， E. ： 自 适 应 频 域 拜 耳 去 马 赛 克 滤 波 器 设 计 。 In ：2006InternationalConferenceonImagePr ocessing. （Oct2006）270511. Dubois，E.：彩色图像的滤色器阵列采样：频域分析和辅助诊断有助于分析。（01200 9）18312. 孙，J.，Tappen，M.F.：可分离马尔可夫随机场模型及其在低层视觉中的IEEE Transactions on Image Processing 22（1）（2013年1月）40213. 他，F. L.，王玉芳，Hua，K.L.： 通过支持向量回归的颜色去马赛克的自学习方法。In：Image Processing（ICIP），2012年第19届IEEEInternationalC〇nference〇n，IEEE（2012）276514. Khashabi，D.，诺沃津，S.，扬克萨里，J.，Fitzgills，A.W.：通过学习的 非 参 数 随 机 场 进 行 联 合 去 马 赛 克 和 去 噪 IEEE Transactions onImageProcess ing23（12）（Dec2014）496815. Foi，A.，Trimeche，M.，Katkovnik，V.，Egiazarian，K.：单幅图像原始数据 的 实 用 泊 松 - 高 斯 噪 声 建 模 与 拟 合 。 IEEE Transactions onImageProcessing17（10）（Oct2008）173716. Ossi Kalevo，H.R.： Bayer-Matrix图像的降噪技术（2002）17. Menon，D. Calvagno，G.：用空间变化滤波器联合去马赛克和去噪。2009年第16届IEEE图像处理国际会议（ICIP）。（2009年未提交）47718. 张，L.，Lukac河Wu，X.，中国农业科学院，张德： 基于主元分析的空间 自 适 应 去 噪用 于 单 传 感 器 数 码 相 机 的 CFA 图 像 的 成 像 。 IEEETransactions on ImageProcessing18（4）（April2009）79719. Klatzer，T.，Hammernik，K.，Knobelreiter，P.，Pock，T.：基于序贯能量最 小 化 的 学 习 联 合 去 马 赛 克 去 噪 。 在 ： 2016 IEEE Interna-tionalConferenceonComuti onalPhoto ghy（ICCP）中。（2016年1月）116F. Kokkinos和S. 莱夫基米亚蒂20. Gharbi，M.，Chaurasia，G.，巴黎，S.，Durand，F.：深度联合去马赛克和去噪。 ACMTrans. Graph. 35（6）（2016年9月）191：121. 博伊德，S.，Parikh，N. Chu，E.，Peleato，B.，Eckstein，J.，等：通过交替方向乘法器的分布式优化和统计学习F〇undat 〇nsandTrendsRinMach ineLearn in g3（ 1）（ 2011） 122. Goldstein，T.，Osher，S.：l1正则化问题的分裂bregman方法SIAMJOURNA L ON IMA G INGIN CES2（ 2）（ 20 09） 32323. Hunter，D.R.，Lange，K.：毫米波算法教程美国统计学家第五十八条第一款（2004年）3024. Fi gueiredo，M. 一、 Bioucas-Dias，J. M.， 诺瓦克河。D. ：基于小波的图像恢复的改进算法。IEEE图像处理学报16（12）（20 0 7）2980-299125. Romano，Y. Elad，M.，Milanfar，P.：小引擎可以：正则化bydenoising（red）. SIAMJour nalonImag ingSciences10（4）（2017）180426. Venkatakrishnan，S.V.，Bouman，CA，沃尔伯格，B.：即插即用的先验模型为基础的重建。2013年IEEE全球信号和信息处理会议。（Dec2013）94527. 张，K.，左，W.，陈玉，Meng，D.，Zhang，L.：超越高斯降噪器：用于图像去噪的深度cnn残差学习。IEEE Transactions on ImageProcessing26（7）（2017年7月）314228. Lefkimmiatis，S.：通用去噪网络：一种用于图像去噪的新型cnn结构。在：IEEE计算机视觉和图像处理会议论文集中。（2018）320429. 张，K.，左，W.，Gu，S.，Zhang，L.：用于图像恢复的深度cnn去噪先验学习。ArXiv预印本（2017）30. Foi，A.：剪切的噪声图像：异方差建模与实用去噪。签名出版物89（12）（2009）260931. Liu，X.，中国科学院院士，Tanaka，M. Okutomi，M.：单图像噪声水平盲估计。IEETRANSACTIONIMAGEPROCE SSSING22（12）（2013）522632. 他，K.，张，X.，Ren，S.，孙杰：用于图像识别的深度残差学习。在：IEEE计算机视觉和模式识别会议论文集。（2016）77 033. Beck，A.，Teboulle，M.：线性问题的一种快速迭代收缩阈值算法SIAMJ〇urnalonImagingSciences2（1）（2009）18334. 林昆，Xiao，L.：稀疏优化的自适应加速邻近梯度法及其同伦延拓计算优化和程序设计60（3）（Apr2015）63335. Buades，A.，Coll，B.，Morel，J.M.