空间变化线性表示模型的联合滤波算法及其应用

1用于联合滤波的空间变化线性表示模型潘金山1董江新2任志英3林良4唐金辉1杨明轩5，61南京理工大学2大连理工3商汤科技4中山大学5加州大学默塞德分校6谷歌云(a)输入引导(b)Pan等人[37]（c）He et al.[18]（d）我们的（e）估计系数图1.联合滤波在图像去模糊中的应用。我们的算法是基于空间变化线性表示模型（SVLRM），其中目标图像（即，去模糊图像（D））可以由引导图像线性地表示（即，（a）中的短曝光图像）。我们开发了一种有效的算法来估计线性表示系数（即，(e))通过一个受SVLRM约束的深度卷积神经网络。我们的分析表明，SVLRM能够很好地捕获输入和引导图像的结构细节（参见（e））。因此，我们的方法产生比基于局部线性表示模型的那些更好的结果（例如，[18]）和对每个任务的最新技术方法的有利结果（例如，图像去模糊[37]）。摘要联合滤波主要是利用一幅附加的引导图像作为先验信息，在滤波过程中将其结构传递给目标图像。与现有的依赖局部线性模型或手工设计的目标函数从制导图像中提取结构信息的算法不同，本文提出了一种新的基于空间变线性表示模型（SVLR-M）的联合滤波器，其中目标图像由制导图像线性表示。然而，SVLRM导致了一个高度不适定的问题。为了估计线性表示系数，我们开发了一种基于深度卷积神经网络（CNN）的有效算法。所提出的深度C-NN（受SVLRM约束）能够估计空间变化的线性表示系数，这些系数能够对引导图像和输入图像的结构信息进行建模。我们表明，所提出的算法可以有效地应用于各种应用，包括深度/RGB图像上采样和恢复，闪光/无闪光图像去模糊，自然图像去噪，尺度感知滤波等。大量的实验结果表明，该算法执行有利的，ably对国家的最先进的方法，已专门为每个任务设计的。1. 介绍图像滤波器作为许多视觉和图形学问题中的基本工具，主要用于抑制精细尺度的细节，同时保持主要结构。线性偏振不变（LTI）滤波器通常使用空间内变异核，例如均值、高斯和拉普拉斯k-核。由于空间不变内核与图像内容无关，因此这些LTI滤波器通常平滑图像结构，细节和噪声均匀而无歧视，因此对于保留主要结构效果较差[53]。为了克服这一问题，提出了利用附加制导图像进行联合滤波的方法联合滤波的目的是将引导图像的重要结构细节转移到输出图像上，从而在滤波过程中保留输出图像的重要结构。由于引导图像可以是输入图像本身或来自不同域的图像[18，25，47]，因此联合滤波已广泛用于图像编辑[27]、光流[49，40，45]、立体匹配[40，43，31]。虽然实现了令人印象深刻的性能，但当引导图像和输入图像来自不同的域时，联合滤波通常会在目标图像中引入错误或无关的伪影，例如RGB/深度[56，39，12，25]，op。标准流量/RGB [49，40，45]，闪光/无闪光[54，18]。因此，在本发明中，研究制导图像和输入图像的特性，以便在滤波过程中传递正确的结构信息，具有重要意义。为了探索输入图像和引导图像之间的共同结构，现有的联合滤波方法[43，17，16，22]通常开发各种手工先验来对结构同现属性进行建模。然而，使用手工制作的先验通常会导致复杂的目标函数，这是难以解决的。受深度学习成功的启发，联合过滤器-17021703已经提出了基于深度卷积神经网络（CNN）的算法[41，28，15，19，48这些算法是有效的，通常比传统的方法有很大的优势。然而，它们不太有效，因为使用深度CNN来直接预测目标图像可能无法很好地从引导图像中探索有用的结构细节。与现有方法不同，我们提出了一种新的联合滤波算法的基础上的空间变化的线性表示模型（SVLRM）。我们不是使用深度CNN直接预测目标图像，而是学习深度CNN来估计空间变化的线性表示系数，这些系数对指导和输入图像的结构信息进行建模，然后用于生成目标图像。我们表明，所提出的算法能够将引导和输入图像的有意义的结构细节转移到目标图像，并且可以应用于各种应用，包括深度/RGB图像上采样和恢复、闪光/无闪光图像去模糊、自然图像去噪、尺度感知滤波等。图1显示了一个闪光/无闪光图像去模糊示例，其中所提出的方法生成更清晰的图像。本文的主要贡献如下：（1）提出了一种新的、新的、新的研究方法。对SVLRM进行联合滤波，其中目标图像可以由具有SVLRM的引导图像表示(2)我们开发了一种基于深度CNN（其受SVLRM约束）的有效优化方法来估计空间变化的线性表示系数。此外，我们分析了估计系数很好地模拟了输入图像和引导的结构细节，并且可以确定是否应该将结构转移到目标图像;（3）该算法在深度/RGB图像上采样和恢复、闪光/无闪光图像去模糊、自然图像去噪和尺度感知滤波等多种应用中均达到了最先进的性能。2. 相关工作在本节中，我们将在适当的上下文中讨论与此工作最相关的联合滤波方法。局部联合滤波方法。 代表性的局部联合滤波方法包括双边滤波器（BF）[47，3，10]、引导滤波器（GF）[18]、加权中值滤波器（WM-F）[31，59]、基于测地线距离的滤波器[5，13]、加权模式滤波器[33]、滚动引导滤波器[58]和基于互结构的联合滤波器[43]等。在这些方法中，目标图像通常通过输入图像中相邻像素的加权平均来计算。这些方法的主要成功是由于使用局部线性模型或相邻像素之间的不同类型的亲和力。例如，双边滤波器通过相邻像素的色差和空间距离来定义亲和度;引导滤波器假设目标图像可以由局部图像中的引导图像线性表示补丁.然而，这些算法通常引入错误的或无关的结构到目标图像中，因为只有引导图像的局部结构被探索。尽管[43]已经探索了解决该问题的通用结构，但由于使用局部线性模型[18]，该方法通常会引入晕圈伪影。全局联合滤波方法。 全局联合滤波算法通常通过求解全局目标函数来实现。这些方法设计不同的手工制作的先验以强制目标图像具有与引导图像相似的结构，例如，加权最小二乘（WLS）滤波器[11]、总广义变分（TGV）[12]、L0正则化先验（51）、相对总变分（RTV）[53]、比例映射方案[54]和改进的RTV [16]等。与局部滤波器不同，基于这些先验的算法能够利用制导图像中的全局结构。然而，使用手工制作的先验可能无法反映目标图像中的固有结构细节此外，具有这种先验的目标函数通常导致高度非凸的问题，不能有效地解决。基于深度学习的方法。由于深度CNN的使用，图像过滤已经得到了显着的进步。几种算法使用深度CNN来近似多个滤波器[52，29，35，55，4，21，14]。为了处理深度图像上采样，Hui et al.[19]开发基于多尺度指导策略的CNN。在[15]中，Gu et al.使用基于加权表示模型的CNN来从引导图像动态地学习结构细节以用于深度图像恢复。然而，这些算法仅限于特定的应用领域。受GF [ 18 ]成功的启发，Wu et al.[48]开发CNN来近似引导图像滤波器。Li等人[28]提出了一种基于端到端可训练网络的联合滤波器，其中来自引导图像和输入图像的结构信息基于独立的CNN进行扩展。然而，使用深度CNN以回归方式估计目标图像并不总是有助于结构细节的转移，因为一些结构细节在卷积过程中被平滑。与现有方法不同，本文提出了一种基于SVLRM的联合滤波算法.引导图像和输入图像的结构信息可以有效地转移到由空间变化的线性表示系数约束的目标图像，所述空间变化的线性表示系数由深度CNN估计。3. 重新审视引导图像滤波为了激励我们的工作，我们首先回顾了引导图像滤波器[18]，然后讨论了它在滤波过程中的作用设G、I和F分别表示引导图像、输入图像和目标图像。引导滤波器假设像素x处的滤波图像F的值由局部线性模型表示，F（x）=akG（x）+bk，x ∈ω k.（一）1704K2(a) 指导意见（b）a(c)b（d）He etal.[18]由于目标图像F主要由表示系数a和b决定，理想的表示系数应模拟两种制导以及输入图像，使得它们可以确定是否应该将引导图像G的结构转移到目标图像。为了解决这个问题，我们提出了一个SVLRM，并开发了一个深度CNN来估计线性表示系数。图2（f）和（g）显示了估计的空间变化线性表示系数模型的结构，(e) 噪声输入（f）α（G，I）（g）β（G，I） （h）我们的图2。局部线性表示模型（1）在联合滤波中的问题。如（b）和（c）所示，线性表示局部图像块的系数不能很好地模拟引导图像的结构信息。通过应用线性表示模型（3），目标图像（d）包含无关纹理，并且边缘没有被很好地保留。假设系数ak和bk在每个图像块ωk中是恒定的。通过引入k的约束（即，a2在[18]中），ak和bk可以通过求解引导和输入图像的自然信息，从而导致更好的目标图像。4. 该算法在本节中，我们首先介绍了SVLRM，然后提出了一种基于深度CNN的有效算法来解决它的联合滤波。4.1. 空间变线性表示模型与局部线性模型（1）不同，我们假设目标图像F可以表示为minΣ。2（ak G（x）+bk−I（x））2Σ+γak、（二）F=α（G，I）G+β（G，I），（5）ak，bkx∈ω其中γ是正权重参数。我们注意到，ak和bk可以很容易地得到，因为（2）是一个最小二乘问题。对于每个局部图像块中的ak和bk，均值滤波器为然后用于估计逐像素线性系数a和b。最后，通过以下步骤获得目标图像：F（x）=a<$（x）G（x）+<$b（x）。（3）虽然局部线性模型（1）的滤波算法在许多应用中已被证明是有效的，但在每个图像块中常数a k和b k的假设通常会在目标图像中引入无关纹理（参见图2（d）的红框和蓝框中的部分）。我们注意到目标图像的梯度每个图像块中的引导图像应满足<$F（x）=ak<$G（x），x∈ωk，（4）根据（1）。该约束确保目标图像具有与引导图像相似的结构，因为k是常数。因此，G的结构细节直接其中α（G，I）和β（G，I）是由G和I确定的空间变化线性表示系数。系数α（G，I）和β（G，I）可以决定G和I中的结构细节是否应该转移到F中（图2（f）和（g））。4.2. 优化在不假设局部常数表示系数的情况下，从（5）估计α（G，I）和β（G，I）是相当具有挑战性的，因为（5）是高度不适定的。一种常见的方法是使用正则化w.r.t.α（G，I）和β（G，I）最小化以下目标函数E（α，β）=<$αG+β−I<$+φ（α）+φ（β），（6）其中φ（α）和φ（β）是α（G，I）的约束，β（G，I）。如果φ（α）和φ（β）是可微的，则概率lem（6）可以通过梯度下降来求解：. E（α，βt−1）转移到目标图像F，这因此导致到具有来自G的无关结构的目标图像。此外，由于进一步应用均值滤波器以获得逐像素表示系数a和b，这将抑制通常αt=αt−1−λ .βt= βt−1− λ∂ααt−1，β∂βα=αt−1β=βt−1、（7a）、（7b）对应于引导图像中的重要结构细节。图2（b）和（c）中绿色框内的部分表明，a′和b′是过平滑的。因此，使用这种代表-因此，摩擦系数干扰了目标图像（例如，图2（d）中绿框内的边缘并不锋利）。K1705其中λ和t表示步长和迭代次数。然而，由于α（G，I）和β（G，I）的性质与自然界的统计性质有很大的不同，因此确定联合滤波的α（α）和φ（β）年龄[18，43]。我们提出了一个深度CNN来估计基于SVLRM（5）的α（G，I）和β（G，I），而不是对α（G，I）和β（G，I）使用手工制作的约束1706联系我们FnnFGTGTGTF（G;I）−FF×FGTn=1GTnn√表1.在RMSE方面对合成基准数据集[44]上的深度图像上采样问题进行定量评估方法双三管理成果框架[7][18]第十八话JBU [25]TGV [12]3D TOF [39]SDF [17]法国国家银行[1][19]第十九话DJF [28]我们×48.167.847.324.076.985.215.274.293.783.541.74×814.2213.9813.628.2911.239.5612.318.946.376.205.59×1622.3222.2022.0313.3528.1318.1019.2414.5911.1610.217.23学习 我们注意到，（7）在精神上类似于随机梯度下降，后者广泛用于解决深度C-NN。这促使我们开发一个深度CNN来估计α（G，I）和β（G，I）。令{Gn，In，Fn}N表示N个训练样本的集合F表示深度CNN 。 我们的目标是学习网络参数Θ=Θα，Θβ，使得Θα和Θβ能够近似空间变化线性系数α（G，I）和β（G，I）。为此，我们通过SVLR约束网络M（5），定义为5. 实验结果我们评估了所提出的算法的几个appli-阳离子，包括深度图像上采样，深度图像恢复，尺度感知滤波，自然图像去噪，和闪光图像去模糊。主要结果在本节中给出，更多的结果可以在补充材料中找到。该代码在作者的网站上公开提供5.1. 参数设置在学习过程中，我们引入动量n n nFΘ（G;I）= FΘ（G;I）G+ FΘ（Gn;In），（8）当更新（11）并使用ADAM优化器时，αn n其中FΘ（G;I）和FΘβ（Gn;In）是参数β1= 0。9，β2= 0。999，且= 10−4。该批次α β大小设置为20。步长λ（即，学习率）是网络w.r. t 参数Θα和Θβ。在训练过程中，我们使用L1范数作为损失函数来约束网络F，其定义为ΣN初始化为10−4，在每次minibatch更新时减半。参数ε设为10−3。5.2. 深度图像上采样L（FΘ（G;In）;Fgt）=n=1FΘ（G;I n）−F n<$1。（九）训练数据。对于深度图像上采样，我们从NYU深度中随机选择1000个RGB/D图像对由于L1-范数是不可分解的，我们使用Charbon-范数。nier罚函数ρ（x）=x2+ε2来逼近。在每次训练迭代中，损失函数的梯度-关于W.R.T. FΘα和FΘβ是数据集[44]作为训练数据集，并遵循[28]的原型来生成训练数据。为了评估所提出的方法，我们使用剩余的449个RGB/D图像对[28]作为测试数据集。L=Gn..（Gn;In）−Fn<$、（10a）我们定量和定性地评估建议FΘαn=1.Σ2FΘ（Gn;In）−Fn +ε2算法对国家的最先进的方法，包括MR-F [7]、GF [18]、JBU [25]、TGV [12]、3D-TOF [39]、SD-LFΘβΣN=..n=1Fn n nΘgtΣ2（Gn;In）−Fn+ε2.（10b）[17][18][19][ 1 数量-表1中的有效评估表明，与现有技术的方法相比表现良好基于（10），我们通过以下方式更新网络参数：Θt=Θt−1−λ<$FΘα<$L，（11a）我们在图3中展示了来自测试数据集的一个示例。由于GF算法[18]可能会将纹理α α∂ΘαFΘα从引导图像到深度图像，Θt= Θt−1−λ FΘβL.（11b）第3节中的分析，图3（e）中的生成结果包含无关的细节（例如，花的纹理ββ∂Θβ FΘβs）的情况。我们注意到DJF算法[28]使用深度CNN来在得到{Θα，Θβ}后，我们将空间变化线性系数α（G，I）和β（G，I）设为FΘα（G;I）和Θβ（G;I）。最后，可以通过（5）获得目标图像我们根据经验发现，使用深度CNN来估计α（G，I）和β（G，I）是有效的（第5节）。关于这一点的更详细分析见第6节。网络架构。基于以上考虑，我们可以使用现有的网络架构来定义网络.在这项工作中，我们使用具有12个卷积层的CNN。过滤器大小设置为33个像素，并且步幅值被设置为1。前11个卷积层的特征数被设置为64。每个卷积层后面都是ReLU，除了最后一个卷积层。ΘΘNF1707学习用于联合图像上采样的动态引导特征该算法首先连接引导图像和输入图像的特征，然后使用CNN [8]以回归的方式估计目标图像。然而，我们注意到，如[23]所证明的，[8]的方法对于结构细节恢复不太有效。因此，如图3（g）所示，DJF算法[28]的结果边缘没有得到很好的估计。与基于端到端可训练CNN的算法不同，所提出的算法- m探索了用于联合图像滤波的SVLRM，并开发了深度CNN来估计表示系数。在估计系数的指导下，SVL-RM能够传递正确的结构细节，1708(a) [25]第25话：我的世界(e)[18]（f）发展基金[17]（g）司法基金[28]（h）我们的基金图3.关于深度图像上采样应用（×8）。该方法生成的深度图像具有更清晰的边界。引导图像和输入图像到目标图像。因此，超分辨深度图像的尖锐边缘被很好地保留（图3（h）），并且所生成的结果具有较低的RMSE值（表1）。所有这些都表明了该算法的有效性。5.3. 深度图像恢复该算法可应用于深度图像的恢复。训练数据。为了生成用于深度图像恢复的训练数据，我们使用与第5.2节中使用的相同的训练数据集。对于每个真实深度图像，我们添加高斯噪声，其中噪声水平范围从0到10%。我们使用[30]的测试数据集来评估所提出的方法，其中训练数据集和测试数据集不重叠。对于每个测试图像，我们添加了噪声水平为8%的高斯噪声。表2显示了针对最新算法的定量评价。总的来说，所提出的方法与最先进的方法相比表现良好。图4显示了评估方法的深度图像去噪结果。GF算法[18]不能有效地保留图4（d）所示的结构。我们注意到，沈等人的MUJF算法[43]使用输入图像和引导图像的互结构来避免深度图像中的无关细节。然而，该方法仍然基于局部线性假设[18]，并使用均值滤波器来计算逐像素线性表示系数。由于线性表示系数不太准确，因此恢复结果中的锐边没有很好地保留（图4（e））。与[43]相比，MUGIF算法[16]开发了用于联合滤波的相关结构，并生成了更好的深度图像然而，这种方法不能很好地保留图4（f）中红色框所示的锐利边缘。DJF算法[28]能够保留锐利边缘。然而，恢复的结果包含显著的伪影（图4（g））。该算法不是使用深度CNN直接估计目标图像，而是通过SVLRM预测目标图像，其中表示系数由深度CNN估计。生成的图像包含如图4（h）所示的锐边。5.4. 尺度感知过滤通过训练的深度图像去噪模型，我们证明了该算法可以直接应用于尺度感知滤波。类似于DJF算法[28]，我们使用输入图像本身作为引导图像，并采用滚动引导策略[58]来去除小尺度结构和细节。图5显示了[53]中的一个示例。 尺度感知滤波的目标是从纹理表面提取有意义的结构。然而，DJF算法[28]和RGF算法[58]不会从输入图像中去除小纹理。这两种算法得到的目标图像背景中仍含有小尺度结构。相比之下，与[53]相比，所提出的算法从输入图像中去除了小尺度结构，并生成了具有竞争力的结果。5.5. 自然图像去噪由于引导图像可以是输入图像本身，因此我们对所提出的算法进行了单幅自然图像去噪的评价。训练数据。为了生成训练数据，我们使用来自BSDS500数据集的训练数据集[32]。对于每个清晰的图像，我们随机添加高斯噪声，其中噪声水平范围从0到10%。得到的噪声图像作为网络的输入。我们使用[32]的200张干净图像的测试数据集来评估所提出的方法。将具有0至10%的随机噪声水平的高斯噪声添加到每个测试图像。我们定量和定性地评估所提出的算法对国家的最先进的方法，包括1709表2.在PSNR、SSIM和RMSE方面对基准数据集[30]上的深度图像恢复问题进行定量评估。方法输入GFJBU [25]MUJF [43]穆吉夫[16]DJF [28]我们Avg. PSNR22.0330.7926.0830.6734.0732.5836.44Avg. SSIM0.18720.92140.78200.92820.96570.90160.9762Avg. RMSE20.187.7512.967.765.266.144.02(a) 制导（b）GT（c）噪声输入（d）GF [18](e)（f）争取民族和解阵线[16]（g）争取民族和解阵线[28]（h）我们的图4.关于深度图像复原的应用。（f）中红色框内的零件过度平滑。该方法生成的深度图像具有更清晰的边界。(a)输入图像（b）DJF [28]（c）RTV [53]（d）RGF [58]（e）我们的图5.在规模感知过滤应用程序上。（b-d）中的比较是从报告的结果中获得的该算法能够去除小尺度结构，同时保留主要的尖锐边缘。[2019-03 - 16][2019 - 03][2019- 01] 19 - 03 - 20 01N [57]。表3中所示的定量评估表明，所提出的算法能够生成高质量的图像。图6显示了来自测试数据集的一个示例。通过最先进的方法恢复的结果的结构相比之下，所提出的算法设计了一个深度CNN来估计空间变化的线性表示系数，该系数可以确定输入图像的结构细节是否被转移到目标图像。因此，去噪图像中的一些主要结构被很好地保留，如图6（f）所示。5.6. Flash图像去模糊在[60]中，Zhuo等人，建议在其闪光图像的指导我们表明，所提出的为了生成用于去模糊的训练数据，我们使用[20]的图像增强数据集作为闪光和无闪光图像对。我们使用[9，36]的算法来生成模糊核，并将其应用于无闪光图像以生成模糊图像。最后，我们使用10万张图像来训练所提出的模型。我们使用图7中的[60]中的真实示例来评估所提出的方法。由于模糊图像包含显著模糊，因此单个图像去模糊方法[50，26，34，38]无法恢复清晰图像。生成的结果仍然包含显着的模糊和文物。我们注意到，使用引导图像能够帮助解模糊问题，如图7（g）所示。然而，由于在图像恢复中仅利用了梯度先验的稀疏性，因此对图像的一些结构细节估计得不好相比之下，所提出的算法能够去除模糊，并生成具有精细细节的更清晰图像（图7（h））。6. 分析与探讨我们已经证明，具有由深度CNN学习的系数的SVLRM用于联合滤波的性能优于状态-1710表3.在PSNR、SSIM和RMSE方面对BSDS数据集[32]上的图像去噪问题进行定量评估方法输入BM3D [6][18]第十八话EPLL [61]CSF [42]MLP [2]伊朗有线电视新闻网[57]我们Avg. PSNR27.2331.6020.3529.3430.1028.9131.8633.04Avg. SSIM0.63500.87650.61730.80000.81640.78540.88110.8957Avg. RMSE13.196.9024.858.968.439.396.646.32(a) 噪声输入（b）EPLL [61]（c）CSF [42]（d）MLP [2]（e）IRCNN [57]（f）我们的图6.关于图像去噪的应用.所提出的方法生成的图像具有更清晰的结构。(a) 模糊图像（b）闪光图像（c）Xu和Jia [50]（d）Krishnan等人。[26日](e)Pan等人[34]（f）Pan et al.[37]（g）Zhuo et al.[60]（h）我们的图7.关于图像去模糊的应用。该算法能够产生有效的表示系数。因此，去模糊图像包含更清晰的结构和纹理。最先进的方法在各种应用。在本节中，我们进一步分析了该算法的效果，并将其与大多数相关方法进行了比较。与局部线性模型方法的关系。严重-几种值得注意的方法（例如，[43]第43话原来的GF-租m [18]基于局部线性模型（4）。在[43]中，Shen etal.使用引导图像和输入图像的相互结构来估计线性表示系数a k和b k。估计的线性表示系数包含比GF [18]更清晰的结构，并且不会引入额外的纹理。因此，从图4（d）和（e）中的比较中避免了文本复制效应然而，由于线性表示系数估计中使用的均值滤波器可能会平滑重要的边缘信息（图8（b）和（e）），因此平滑结构可能会影响锐利边缘恢复（图4（e））。相比之下，该算法是基于SVL-RM的.表示系数由深度CNN估计我们在图8（c）和（f）中估计的线性表示系数能够更好地对引导图像和输入图像的结构细节进行建模，从而促进深度图像恢复（图4（h））。空间变化线性表示模型的效果El. 我们提出了一种新的算法，学习SVLRM。SVLRM能够捕获制导图像的结构信息，帮助联合滤波。为了证明所提出的线性表示模型的效果我们禁用了系数学习步骤，并在我们的实现中直接估计所需的输出，以确保公平的比较。作为1711（a）a<$by[18]（b）a<$by[43]（c）建议的α（G，I）（d）<$b乘[18]（e）<$b乘[43]（f）拟议的β（G，I）图8。拟议的SVLRM的效果引导图像和噪声图像如图4（a）和（c）所示。拟议深度CNN能够学习包含联合滤波的重要结构信息的线性表示系数（在放大的高分辨率显示器上最佳）。表4.所提出的SVLRM对图像去噪的效果深度HC图像去噪E2ETNOurs天然HC图像denoE2ETN使我们的Avg. PSNR 21.8435.3135.9824.8732.4433.04Avg. SSIM 0.20440.96330.96520.64520.89200.8957表5.运行时间（秒）性能。所有的算法在同一台机器上使用深度图像上采样测试数据集进行测试。方法JBU [25][19]第十九话DJF [28]我们Avg. 运行时4.8 0.78 1.04零点零八实验结果具体证明了所提出的线性表示模型学习算法的有效性。我们进一步注意到，估计α（G，I）和β（G，I）的另一种方法是使用（6）中的手工先验。与[18，46]类似，我们将φ（α）和φ（β）作为μα2和ηβ2，其中μ和η是正权重参数。因此，（6）的解是η GIα=ηG2+µ+µη，β=I − αG.（十二）1+η(a)制导（b）噪声输入（c）α（G，I）（12）(d)β（G，I）by（12）（e）Proposedα（G，I）（f）Proposedβ（G，I）(g)HC（h）E2ETN（i）Our图9.所提出的SVLRM对深度图像去噪的效果（在具有放大的高分辨率显示器上最佳观看）。如图9（h）和（i）所示，所提出的线性表示模型学习算法产生具有更尖锐边缘的结果。此外，表4中的定量评估表明，所提出的线性表示模型始终提高了性能1。所有这些1表4中的深度图像去噪在[19]的数据集上进行了测试，其中我们在每个深度图像中添加了噪声水平为8%的高斯噪声包括（12）式的推导和（13）式的算法细节在补充材料中。我们根据经验将μ和η设为0。1.对深度图像去噪和自然图像去噪问题进行公正的比较。与使用深度CNN的方法相比，所提出的具有手工先验的算法（表4中简称HC）没有产生更好的结果此外，图9（c）和（d）中的估计系数包含显著的噪声，这相应地导致噪声结果（图9（g））。相比之下，所提出的算法去噪图像很好。运行时性能。我们在一台配备英特尔酷睿i7-7700 CPU的机器上对所有方法的运行时进行了基准测试，NVIDIA GTX 1080Ti GPU表5显示，所提出的算法比其他基于深度学习的方法更有效。7. 总结发言在本文中，我们提出了一种新的联合滤波器的基础上SVLRM和开发了一种有效的算法的基础上，深CNN估计线性表示系数。所提出的受SVLRM约束的CNN能够估计空间变化的线性表示系数。我们表明，空间变化的线性表示系数模型的结构信息的指导图像和输入图像很好。因此，具有空间变化表示系数的线性表示模型能够将有意义的结构转移到目标图像。我们表明，该算法可以有效地应用于各种应用程序，并表现出良好的对国家的最先进的方法，已经专门为每个任务设计的。鸣谢。这项工作得到了部分国家自然科学基金（编号：61872421，61732007），江苏省国家自然科学基金省（不。BK20180471）和NSF CAREER（No. 1149783）。1712引用[1] 乔纳森·T.巴伦和本·普尔。快速双边求解器。在ECCV，第617-632页，2016年。4[2] 哈罗德·克里斯托弗·伯格，克里斯蒂安·J。作者声明：Stephen，and Stefan Harmeling图像去噪：普通神经网络能与bm3d竞争吗？ 在CVPR，第2392-2399页，2012中。 六、七[3] 陈纪文，西尔瓦因·帕里斯，杜兰德神父。双边网格实时边缘感知图像处理。ACM TOG，26（3）：103，2007.2[4] Qifeng Chen，Jia Xu，and Vladlen Koltun.使用全卷积网络进行快速图像处理。在ICCV，第2516-2525页，2017年。2[5] 安东尼奥·克里米尼西，托比·夏普，卡斯滕·罗瑟，帕特里克·佩雷斯。测地线图像和视频编辑。ACMT0G，29（5）：134：12[6] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen O. 埃吉亚扎利安人稀疏3-d变换域协同过滤。IEEE TIP，16（8）：2080-2095，2007年。六、七[7] James Diebel和Sebastian Thrun。马尔可夫随机场在距离传感中的应用。NIPS，第291- 298页，2005年4[8] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang.学习用于图像超分辨率的深度卷积网络。在ECCV，第184-199页，2014中。4[9] Jiangxin Dong，Jinshan Pan，Deqing Sun，Zhixun Su，Ming-Hsuan Yang.学习非盲去模糊的数据项。在ECCV中，第777-792页，2018年。6[10] 杜兰神父和茱莉·多尔斯。用于高动态范围图像显示的快速双边滤波SIGGRAPH，第257-266页，2002年。2[11] Zeev Farbman ， Raanan Fattal ， Dani Lischinski ， andRichard Szeliski.边缘保留分解，用于多尺度色调和细节处理。ACM TOG，27（3）：67：1-67：10，2008年。2[12] David Ferstl 、 Christian Reinbacher 、 Rene Ranftl 、Matthias Ruüther和HorstBischof。使用各向异性总广义变分的图像引导深度上采样在ICCV，第993-1000页一、二、四[13] Eduardo Simoes Lopes Gastal和Manuel M.奥利维拉用于边缘感知图像和视频处理的主变换。ACM TOG，30（4）：69：1-69：12，2011. 2[14] Mic hae¨ lGharbi，纪文臣，乔纳森·T. 塞缪尔·巴伦 哈辛诺和杜兰德。用于实时图像增强的深度双精度算法ACM TOG，36（4）：118：1-118：12，2017。2[15] 古书航、左王梦、石果、陈云锦、陈崇宇、张磊。用于深度图像增强的学习动态引导。在CVPR中，第712-721页，2017年。2[16] 郭晓洁，李宇，马佳怡。相互引导的图像过滤。在ACM MM中，第1283-1290页，2017年。一、二、五、六[17] Bumsub Ham，Minsu Cho，and Jean Ponce.使用非凸势的鲁棒引导图像滤波。IEEE TPAMI，40（1）：192-207，2018。一、四、五[18] 何 开 明 ， 孙 建 ， 唐 晓 鸥 。 引 导 图 像 滤 波 。 IEEETPAMI，35（6）：1397-1409，2013年。一二三四五六七八[19] Tak-Wai Hui，Chen Change Loy，and Xiaoou Tang.通过深度多尺度引导实现深度图超分辨率。在欧共体-CV，第353-369页，2016年。二四八[20] Andrey Ignatov ， Radu Rifte ， Thang Van Vu ， TungMinh Luu，et al.智能手机感知图像增强的Pirm挑战：次报告.在ECCV研讨会，2018年。6[21] Varun Jampani、Martin Kiefel和Peter V.盖勒学习稀疏高维滤波器：图像滤波、稠密crfs与双边神经网络。在CVPR中，第4452-4461页，2016年。2[22] 罗伊·约瑟夫·杰夫尼塞克和沙伊·阿维丹。共现过滤器。在CVPR，第3816-3824页，2017年。1[23] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.使用非常深的卷积网络实现精确的图像超分辨率。CVPR，第1646-1654页，2016年。4[24] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。CoRR，abs/1412.6980，2014。4[25] 放大图片作者：Michael F.科恩，丹尼·利辛斯基和马修 · 乌 滕 代 尔 。 联 合 双 边 上 采 样 。 ACM TOG ， 26（3）：96，2007. 一、四、五、六、八[26] Dilip Krishnan、Terence Tay和Rob Fergus。使用归一化稀疏性度量的盲去卷积。在CVPR中，第2657-2664页，2011年。六、七[27] Anat Levin，Dani Lischinski和Yair Weiss。一个封闭形式的解决方案，以自然图像抠图。IEEE TPAMI，30（2）：2281[28] Yijun Li，Jia-Bin Huang，Narendra Ahuja，and Ming-Hsuan Yang. 深度联合图像滤波。ECCV，第154-169页，2016年。二四五六八[29] Sifei Liu，Jinshan Pan，and Ming-Hsuan Yang.通过混合神经网络学习用于低级视觉的递归滤波器。在ECCV，第560-576页，2016年。2[30] 司禄、任晓峰、凤琉。通过低秩矩阵完成的深度增强在CVPR，第3390-3397页，2014年。五、六[31] 马紫阳，何开明，魏一晨，孙健，吴恩华.用于立体匹配及其他的恒定时间加权中值滤波。在ICCV，第49-56页，2013年。一、二[32] David R.查尔斯·马丁福克斯，多伦·塔尔，和吉滕德拉·马利克。人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用ICCV，第416-425页，2001年。五、七[33] Dongbo Min，Jiangbo Lu，and Minh N.做基于加权模式滤波的深度视频增强。IEEE TIP，21（3）：1176-1190，2012年。2[34] Jinshan Pan，Zhe Hu，Zhixun Su，Ming-Hsuan Yang.正则化的强度和梯度优先去模糊文本图像和超越。IEEETPAMI，39（2）：342-355，2017年。六、七[35] Jinshan Pan， Sifei Liu ，Deqing Sun， Jiawei Zhang，Yang Li-u ， Jimmy Ren ， Zechao Li ， Jinhui Tang ，Huchuan Lu，Yu- Wing Tai，and Ming-Hsuan Yang.学习低层次视觉的双卷积神经网络。在CVPR中，第3070-17133079页，2018年。21714[36] 潘金山，任文琪，胡哲，杨明轩。学习使用样例去模糊图像。IEEE TPAMI，2018。6[37] 潘金山，孙德清，汉斯佩特·菲斯特，杨明轩.基于暗通道先验的图像盲去模糊在CVPR，第1628-1636页，2016年。1、7[38] 潘金山，孙德清，汉斯佩特·菲斯特，杨明轩.通过暗通道先验去模糊图像 IEEE TPAMI，40（10）：2315-2328，2018。6[39] 放 大 图 片作 者 ： Jaesik Park ， Hyeongwoo Kim ，Yu-Wing Tai，Michael S.布朗和仁素权用于3d-tof相机的高质量深度图上采样。在ICCV，第1623-1630页，2011年。1、4[40] Christoph Rhemann ， Asmaa Hosni ， Michael Bleyer ，Carst