基于变分EM的盲图像去模糊方法

3626⊗基于变分EM的深度学习噪声盲图像去模糊粤松楠1号、育慧拳2号、慧姬1号1新加坡国立大学数学系，119076，新加坡2华南理工大学计算机科学与工程学院，广州510006&nanyuesong@u.nus.edu、csyhquan@scut.edu.cn和matjh@nus.edu.sg摘要非盲去模糊是许多图像恢复任务中遇到的重要问题。非盲去模糊的焦点是如何抑制去模糊过程中噪声的放大.在实际应用中，经常会遇到输入图像的噪声水平是未知的，并且在不同的图像之间是不同的。本文旨在开发一种深度学习框架，用于对具有未知噪声水平的图像进行去模糊。基于变分期望最大化（EM）框架，提出了一种结合噪声水平估计和图像先验不确定性量化的迭代噪声盲去模糊算法。然后，该方案展开到一个神经网络（NN）的图像先验模型与不确定性量化。大量的实验表明，所提出的方法不仅优于现有的噪声盲去模糊方法的大幅度，但也优于那些国家的最先进的图像去模糊方法设计/训练已知的噪声水平。1. 介绍图像去模糊是从模糊图像中恢复出具有清晰细节的清晰图像，是许多应用中的一个重要问题。模糊过程通常被建模为其中y表示模糊图像，x表示潜在图像，k表示模糊核，并且n表示度量。噪音算子表示离散卷积。当内核k未知时，从y估计x被称为盲去模糊。否则，称为非盲去模糊.换句话说，盲去模糊需要估计核和潜像，而非盲去模糊只需要估计潜像。有了模糊核，如何去模糊噪声图像是一个具有挑战性的病态线性逆问题。莱姆模糊处理会显著地衰减或擦除图像的高频信息，即：小尺度的图像细节。恢复这种衰减/丢失的高频信息对测量噪声非常敏感。因此，非盲图像去模糊的研究主要集中在抑制噪声放大的同时恢复图像的全部细节。1.1. 动机在图像去模糊中对噪声的处理通常是通过在恢复过程中对清晰图像x施加一定的先验来完成的。噪声水平起着重要的作用，因为需要平衡潜像上的正则化的强度和对模糊图像的近似误差，即，回归中所谓的偏差-方差权衡。对于不同噪声水平的图像，大多数非学习正则化方法根据噪声水平调整正则化参数因此，当使用这样的正则化方法时，需要预先调用一些单独的噪声水平估计器。近年来，基于学习的图像去模糊方法，特别是那些基于深度学习的方法，是具有令人印象深刻的性能的更优选的解决方案。然而，由于正则化/先验是使用许多对潜像及其退化的对应物来训练的，因此必须针对特定的噪声水平来训练模型以实现最佳性能。换句话说，需要针对不同的噪声水平训练许多NN，并存储多个这样的训练NN以供使用。当调用这样的深度学习方法来去除噪声模糊图像时，需要首先确定其噪声水平，然后调用相应的NN。这样的程序在实践中当然没有开发基于深度学习的去模糊方法具有实际需求，这些方法对噪声水平是盲目的。换句话说，训练的模型应该是一个通用的模型，可以用不同的未知噪声水平去模糊图像。到目前为止，这条线上的工程在现有的升-3627自然Kruse等人[17]使用具有不同噪声水平的噪声样本训练通用CNN。Jin等人提出的GradNet.[14]结合了噪声水平的贝叶斯MAP估计器和用于去模糊的基于CNN的梯度下降Bigdeli等人[4]提出了一种去噪自动编码器，学习基于图像先验梯度的均值漂移。然而，与已知噪声水平下设计和训练的算法相比，在噪声盲去模糊方面仍有很大的性能改进空间。1.2. 主要贡献本文旨在开发一种深度学习方法，可以处理具有未知噪声水平的图像，并提供最先进的图像去模糊性能。本文在变分期望最大化（VEM）的框架下，提出了一种基于变分期望最大化的噪声盲图像去模糊方法。与传统的贝叶斯方法不同的是，该方法不仅将噪声水平作为一个分布参数引入到代价函数的数据保真度项中，而且引入了一组参数来量化学习图像先验的不确定性。每个单独的图像。据我们所知，我们的方法是第一个最大化似然（ML）估计，量化图像恢复图像先验不确定性。换句话说，我们的图像去模糊公式是一个噪声自适应框架，它集成了噪声水平的估计和学习图像先验的量化。基于所提出的用于噪声盲图像去模糊的VEM算法，我们开发了一种基于深度学习的计算方案，该方案使用卷积神经网络（CNN）来学习图像先验，并使用多层感知网络（MLP）来量化先验不确定性。与用于估计噪声水平的集成公式一起，所提出的图像去模糊NN为噪声盲图像去模糊问题提供了有力的解决方案，具有以下贡献：提出了一种基于向量EM的迭代算法，该算法综合了噪声水平和图像先验不确定性的估计。通过展开基于VEM的迭代，开发了一种深度学习方法，该方法使用一个NN来学习图像先验，另一个NN来量化先验不确定性。人们只需要训练一个通用模型来去除具有未知噪声水平的图像。大量的实验表明，该方法不仅比现有的最先进的噪声盲去模糊方法性能好得多，而且还明显优于针对特定已知噪声水平设计和训练的深度学习方法2. 相关工作2.1. 已知噪声水平不同方法之间的主要区别在于用于正则化的图像先验对于去模糊环正则化的先验图像已经有了Wiener滤波器或Tikhonov方法假设图像或图像梯度是平滑的。基于图像梯度的稀疏性先验，提出了一种新的正则化图像去模糊方法。全变差（TV）方法（例如，[23]）、小波方法（例如，[5，13，12]）和Hyper-Laplacian方法[16]。另一种方法是非局部方法，它假设相似的局部斑块（例如，[6，9]）。最具代表性的非局部方法IDD-BM 3D [6]将非局部先验公式化为正则化问题。这些方法需要事先知道噪声水平，然后可以相应地调整正则化参数以获得良好的性能。而不是使用预定义的先验，学习图像先验是一个更有前途的方法。Roth和Black [25]建议学习专家领域来描述图像梯度。Zoran和Weiss [35]开发了所谓的预期块对数似然（EPLL）算法，该算法使用高斯混合模型（GMM）在干净图像块上事先学习。Schmidt和Roth[27]使用收缩场来建模图像滤波器和收缩函数。深度学习的流行也在最近的图像去模糊的进展中观察到。沿着这条线的早期作品使用NN作为后处理，以从现有方法中去除估计，例如。Schlemen等人[28]，Xuetal.[30]和Renet al.[24]第10段。使用深度学习的一种更好的方法是展开某些现有方法的迭代方案，并将预定义的先验替换为基于NN的可学习先验。Meinhardt等人[22]展开了原-对偶混合梯度法。Zhang等人[31]使用基于CNN的去噪器和可学习的正则化参数展开了这些去模糊NN需要在固定的噪声水平上进行训练，以获得良好的性能。2.2. 噪声水平未知的图像去模糊方法对具有未知噪声水平的模糊图像进行去模糊的标准方法是采用两阶段方法：首先估计噪声水平，然后调用第2节中讨论的一些非噪声盲方法。2.1.有几种噪声水平估计器可用，例如。基于小波的估计器[10]、基于平滑度的估计器[20]和基于PCA的估计器[21]。这些噪声水平估计器是为有噪声但不模糊的图像而设计的，而不是为模糊图像而设计的。在[34]中提出的基于峰度值的估计器适用于噪声和模糊图像，在[35]中将EPLL方法扩展到噪声盲去模糊。近年来，有一些基于深度学习的方法被提出来解决噪声盲图像去模糊问题。····3628像素数|∇∇|∈∇q（z）x伊戒指Kruse等人[17]提出了FDN方法，该方法展开迭代方案，其每一级包含基于FFT的反卷积过程和基于CNN的去噪器。对于噪声盲去模糊，FDN方法使用噪声水平在一定范围内变化的样本训练NN，然后对图像进行去模糊。Dong等人[8]遵循相同的训练程序，但具有成本函数的可学习保真度项。针对噪声盲去模糊问题，Jin等提出了一种新的去模糊算法。[14]提出了一种贝叶斯MAP估计器，同时估计噪声水平和去模糊图像。然后调用梯度下降方法，并通过称为GradNet的网络架构进行建模Bigdeli等人[4]提出了一种用于图像恢复的贝叶斯估计器，具有所谓的深度均值漂移先验，其使用去噪自动编码器来学习自然图像的密度。尽管目前已经在努力利用深度学习在噪声盲图像去模糊中的潜力，但性能仍有很大的改进空间，特别是在噪声水平不高的情况下。考虑到深度学习在许多应用中表现出的辨别能力，肯定有更好的方法来实现深度学习在噪声盲图像去模糊中的能力。3. 基于VEM的噪声盲图像去模糊回想一下，非盲图像去模糊是关于求解以下线性系统（1），其可以被解释为在给定观察图像y和核k的情况下估计后验分布p（x y，k）。通过贝叶斯p（x|y，k）p（y|x，k）p（x）.（2）考虑具有标准差σ的高斯白噪声n。则（2）中的似然项为p（y|x，k）= N（y|x，σ2I）。（2）中的项p（x）是关键的，它指的是清晰图像x的先验分布。代替直接定义p（x），大多数现有的方法考虑上的先验分布。105104103102101100-1-0.5 0 0.5 1梯度值(a)（b）第（1）款图1：不同图像之间的图像梯度分布变化。(a)四个不同内容的图像;（b）四幅图像水平梯度对数幅值直方图。不同图像的梯度分布之间的显著变化。图示见图1。显然，需要考虑每个单独图像的先验p（x）它可以通过引入一个潜在变量z来完成，使得p（x）= p（x）|z）p（z）， （4）其中p（z）是拟合大多数自然图像梯度的通用分布函数项p（x z）测量xw.r.t.的先验不确定性。p（z）。假设它服从正态分布，我们有p（x|z）<$N（z，n）.总之，所提出的估计器估计两个变量：图像x和潜在变量z，以及两个参数：噪声水平σ和不确定性方差矩阵Σ。基于VEM的配方。所提出的用于去模糊的贝叶斯估计器通过VEM算法来公式化[3]。考虑一个包含观测变量y和潜在变量z的模型，由θ Θ参数化。而不是最大化参数的边际对数似然：max logp（y;θ）=max log（logp（y，z;θ）dz），图像梯度p（λx）= p（λx，λx）。例如基于θ∈Θθ∈Θ基于自然图像梯度的统计特性，EM算法最大化logp（y;θ）的下限：相关正则化方法[16]假设x遵循a超拉普拉斯分布：maxF（q;θ）=maxθq（z）对数p（y，z;θ）法律公报Y−（x[k]）pq，θq，θq（z）p（x）eKλ， 0

0，λi>0，i=1，···，L}，θt+1 = argminEqt+1（x，z）σ，λ2y−kx2+Nlog（2πσ2）2其中，σ表示噪声水平，并且向量λ=L[λi]L表示先验+[1]f我<$x − z <$+ log（2πλ）]+ log（p（λ））。i=1其遵循联合先验分布p（λ）。i=1 2λ2i i2i备注1（滤波器组{f}）。滤波器组的线性-取qt+1（x，z）上的期望，我们有在我们的方法中使用了脊小波变换[7]，t+112γ22N2共包含8个高通滤波器：θ=argmin2σ2y−kx2+2σ2k+2log（2πσ）⊤ ⊤{fi}：={hkh}0≤k，k≤2\{h0h}，L2由如下所列的三个1D滤波器产生√ √i=1 2λ2ii22λ2i2i1h0=[4，1 1 12，4]，h1=[−4，12，−14]，h2=[2 24，0，-4]。我们终于有σt+1=. 1（y−k<$x<$2+γ2<$k<$2）<$1（10a）动机来自于更精确的频率子带和更好的性能，在图像恢复比电话+12NΣ。12[1][2][3][4][5][6][7][8][9][10][11][12][13][14][15][16][17][18][19[7、13、12]。λ=argminλ 2i=12λ2<$fi<$x−zi<$2我（10b）接下来，我们只对E步和M步进行了简单的介绍。更多细节可以在补充材料中找到。E步假设估计θ：=θt∈Θ，则E步估计+γ<$f<$2+Nlog（λ）<$+logp（λ）我通过（5）对q（x，z）∈Q进行配对。使用贝叶斯规则，我们有p（x，z|y，θ）p（y|x，θ）p（x|z，θ）p（z）总之，VEM算法是由交替执行的，在（9）和（10）之间进行迭代。完整的基于VEM的迭代方案的概述见下文：2L2N（y|k <$x，σ I）<$i=1 N（f i<$x|z i，λiI）p（z）.为了计算的可行性，集合Q被限制为正常分布和狄拉克δ分布2Nt+1 2σ2x2tii2i=1iLQ={qxqz|qx（x）=N（x|ν，γI），ν∈R;1{2σ}σ，λ+36302我λ2λ2我22λ2我Xzi=1我我i=1我z我我我我N（八）zt+1= argmin<$1<$f<$x−z<$+logp（z），q（z）=μLδ（z−μ），μ∈R}。z（λt）2i i2变分分布σt+1=. 1（γy−k<$xt+1<$2+γ2<$k<$2）<$1，qt+1（x，z）=qt+1（x）qt+1（z）NL2xzλ t+1= argminλ。1名妇女fi=1t+1t+1 2γ2x-z我qt+1（x）= N（x|x t+1，γ2I），qt+1（z）=Lδ（zi−zt+1），+N log（λ）<$+ log p（λ）。可获得我3631电话+1LP我···→关于我们电话+1--不I=2电话+1→→D×我××我t=1z0=0，β0=0. 005/如果i≤1，则i≤1。设T=4我Pi=1D电话+1电话+1L：=x−x+µix−x，（12）不--我4. VEM诱导的噪声盲去模糊神经网络从基于VEM的迭代格式可以看出，使用MLP从这样的向量预测λ。用于预测{λ t+1}的映射定义为：第二节3、关键部分在于第二、第四部分电话+1 （·|ψ电话+1 ）：{fixt+1 −zi+γi=1→λt+1，步骤的计划，其中涉及两个先验分布：p（z）用于自然图像梯度的通用先验，p（λ）用于预测通用图像先验w.r.t.个人形象。我们建议通过深度学习来学习这两个先验知识，并使用NN来建模其中t+1表示t+1的参数。我们的MLP实现了三个Linear和LeakyReLU层，具有64个中间通道。因为在E步中更新x时仅使用比率σt+1/λt+1我们的地图然后直接输出这样的比率，用β t+1表示：={β}={σt+1}。看到λ这两个步骤。4.1. 在E步骤中使用可学习先验更新{zt+1}i图3为示意图。it+1我我在E步骤中有两个步骤 第一种是通过最小二乘估计来更新x，这可以通过FFT有效地解决。更新{ z }的第二步可以4.3. 整体架构和其他细节所提出的神经网络总共有T+1个阶段，用{St}表示，对应于VEM算法T+1个步骤。可以看作是去噪过程，即，消除噪音使用先验p（z）对真值xt+1的当前估计。我们提出了一个基于去噪CNN [31，32]的网络，并进行了一些修改以满足我们的需要。首先，我们训练CNN来去除xt+1中的噪声，然后正确见图第二，提出了拟任国家元首的建议。的提出的NN生成一系列去卷积图像{x1，x2，···，xT+1}：对于1≤t≤T，Si：（y，k，[x1，，xi−1]，zi−1，βi−1）xi，zi，βi;（十一）将其输出到L个高通通道：换句话说，该模块将x的当前估计值作为输入，并且ST+1 ：（y，k，z T，β T）→ x T+1。输出去伪像估计，用x表示。 然后是S100电话+1在阶段中，参数z、β 通过以下步骤初始化zt+1 ：={zi }i：={fix}i.在我们的实现中，第四阶段。 这一现象符合1991-norm-其动机是，图像的L通道来自滤波器组f1不是独立的。我们的方法在模块的输出中保持这种依赖性第二、 而不是只取xt+1作为输入，CNN连接了所有以前对真相图像的估计{x1，x2，...，xt+1}作为输入。原因是双重的。一有关正规化。例如，ADMM方法中的6次迭代通常足以获得令人满意的结果。损失函数定义为T+1 2i22 2I=2是为了减轻可能的消失梯度，与密集连接[11]。另一个是，这些先前的估计包含不同方面的真相和不同的人工制品。因此，将它们融合可能为精炼提供更多的信息。简而言之，用于更新{zt+1}的映射被定义为：其中（x，y）表示真实图像对和它们的噪声模糊对应物，并且xi表示Si的输出。权重集µi 在所有实验中均设置为4/5- 条款。成本函数鼓励最终结果和中间结果接近真实。这是为了便于神经网络的训练。参数γ =10−2。电话+1 （·|φ电话+1 ）：[x1，···，x电话+1 ]→x→{zi：=fix}，其中φt+1表示t+1的参数。我们使用17块残差CNN[32]，结构为Conv BN ReLU，除了第一块和最后一块。第一块省略了BN层，最后一块仅包含一个Conv层。对于CNN中的所有Conv层，内核大小设置为3×3。通道大小设置为64。4.2. 用M步可学习先验知识更新λt+1在M步中，需要预测噪声水平σ和先验不确定性参数向量λ。噪声水平σ由显式定义更新，由内核的残差和幅度确定。对于λ，从（10b）可以看出，向量λ由向量5. 实验5.1. 实验设置训练数据。遵循与[33，17]相同的准备训练数据的过程，我们生成一组通过将BSDS 500数据集[1]中的图像随机裁剪为大小为256 256的图像，获得1500个潜像。使用[26]中的过程合成了一组192个运动模糊内核，然后将其调整为不同的大小，1616至30三十然后，生成模糊图像通过在圆形边界扩展下用从192个核中随机选择的运动模糊核卷积潜像。不同噪声水平{fixt+1−zt+1<$+γ2<$fi<$2}L.因此，我们建议被添加到模糊的图像中变量z被定义为23632×××××∇∇{}×e步骤X&（m步一.e步骤X2（m步一.e步骤）0X6（e步骤模糊图像+）/x，）*2个，⋯2015年5第一阶段*x，第一阶段0x，x2，$2第一阶段7两块第一阶段34*内核k图2：用于噪声盲图像去模糊的拟议NN的示意图，它在E步和M步之间交替，T+1期。命名为“x“、“z“、”σ“、“λ“的块对应的变量。努力调整参数，以获得测试数据的最佳性能。如果没有，我们将其留空。5.2. 消融研究和讨论大多数图像去模糊网络都有基于CNN的去噪模块来去除伪影。因此，消融研究的重点是研究图3：针对St+1更新λ和σ的M步图。测试数据。我们在三个经常用于图像去模糊的数据集上进行测试：Levin等人，的数据集[18]，Sun等人。[29] Levin等人的数据集有4个图像，大小为255 255。Sun等人的数据集有80个清晰的图像，大小约为900700。 Set12数据集有7256256张图像和5512张图像，512图片广泛在文献中使用。 八个真实的运动模糊内核，[18]用于测试数据。清晰图像首先被这8个运动模糊核模糊，然后添加具有不同σs的高斯白噪声。在[31]之后，我们采用MATLAB图像处理工具箱中提供的流行的噪声模糊图像的数量为：32来自Levin等，640来自Sun等人，第12集96训练数据中的图像和模糊核与测试数据中的图像和模糊核没有培训详情。初始化时，网络的卷积权值由正交矩阵[？]，并且偏置被设置为零。该模型使用Adam方法进行训练[15]。该模型被训练了500个epoch。学习率下降1 10−3，在350个epoch后下降0.2。NN是从头开始联合训练详见补充资料。比较方法。我们的方法相比，最近的国家的最先进的反卷积方法，只要他们有预先训练的模型或代码可在线。用于比较的方法包括EPLL [35]、CSF [27]、IDD-BM 3D [6]，FCNN [31]，国防军[17]，IRCNN[33]，EPLL+NA [14]、GradNet [14]、DMSP [4]。关于这些方法的实验结果，只要可能，我们直接引用文献中报道的结果。另外，我们使用作者预先训练的模型来生成结果。 如果只有代码可用，我们将通过引入M-步长和小波滤波器组代替一阶差分算子。使用从范围[1，14]均匀采样的噪声水平σ的图像训练NN。然后，我们在Set12中具有不同噪声的所有图像上测试这样的NN程度.结果示于表1中。在M步中使用与不使用参数预测。将所提出的VEM-Net的结果与相同的VEM-Net的结果进行比较，但将VEM中的M步替换为固定向量β。 从表1可以看出，对于低噪声水平，λ的预测NN的执行增益在0左右。4-0的情况。7dB，约为0。2dB为高噪声级。这样的执行增益证明了引入的必要性参数预测的M步。有vs无基于CNN的λ预测。从建议的NN的结果进行比较，同一个，但使用一个固定的矢量调整了最佳性能。从表1可以看出，对于低噪声水平，λ的预测NN的执行增益在0左右。三比零5dB，约为0。2dB为高噪声级。这样的执行增益证明了解决单个图像w.r.t.的先前不确定性的必要性。学习的分布用于拟合许多训练图像。小波滤波器组f iivs差分算子。我们神经网络用小波滤波器组代替了大多数去噪CNN中使用的差分算子。采用小波滤波器组的神经网络的结果略好于采用小波滤波器组的神经网络。表1表明，使用小波滤波器组的整体性能增益约为0。2分贝。中间结果的可视化。参见图4，当应用训练模型去模糊被大小为1.5的运动模糊核模糊的图像时，19 19，噪声水平σ=7。六十五可以看出，每个阶段都明显改善了结果，直到第三阶段，. -是||��� ⊗ ������ − ���||���+的 ���||���||������||������+������的������||���+������||������||���线性LeakyReLU线性LeakyReLU线性3633y：14.54x（0）：16.02x（1）：26.29x（2）：27.14 x（3）：27.71x（4）：27.84 TRuth图像图4：所提出的NN的不同阶段的中间结果的可视化，以及PSNR值。表1：申报NN的消融研究。表2：来自所提出的方法的最后阶段的M步的噪声水平的平均预测真σ百分之一百分之二百分之三百分之四百分之五预测的σ1 .一、百分之三二、0%的百分比二、百分之八3 .第三章。占7%4.第一章占6%在第四阶段仅获得较小的增益，这是由于使用非常深的去噪CNN来更新Z1。噪音水平预测。M阶预测的噪声级见表2我们的方法的预测相当准确，偏差约为10%。5.3. 噪声盲图像去模糊的评价建议的神经网络是专为噪声盲图像去模糊，即，去模糊具有变化的未知噪声水平的图像。在实验中，使用来自训练集的图像来训练所提出的NN，其噪声水平σ从[1，14]中均匀采样。然后通过对具有5个不同噪声水平的测试图像进行去模糊来测试这样的训练的通用模 型 将 该 方 法 与 IDD-BM 3D 、 FDN 、 EPLL-NA 、GradNet 7S和DMSP进行了比较。回想一下，EPLL-NA、GradNet 7S和DMSP都是专门为噪声盲图像反卷积设计的。FDN的可用模型使用[0. 一十二75]。拟定方法和其他方法的结果比较见表3。可以看出，我们的方法的结果是显着优于所有其他方法在所有的噪声水平。我们的方法相对于第二好的方法的性能增益是：从0. 三比零。第12集的7 dB，从0。四比零。5dB（Sun等人）s数据集，从0。五比零。Levin等人的8 dB的数据集。同样的结论也适用于我们的方法在SSIM方面的性能增益。实验结果表明，该方法具有一定的优越性。结合自适应模型不确定性建模和小波滤波器组的采用，该方法在噪声盲去模糊方面显示出了优于现有方法的优势输入EPLL[18] CSF[27] IDDBM3D[6][17]第四届全国政协副主席图5：使用不同方法对来自Sun等人的一个示例进行去模糊的结果的视觉比较。s数据集，其噪声水平为σ=12。75，内核大小为27 ×27。该方法在视觉质量方面也显示了其优于其他方法的优势。实验中一些结果的直观说明见图5。更多的例子可以在补充材料中找到。5.4. 其他方面评价与已知噪声水平设计的方法进行比较。直觉上，设计用于对具有已知噪声水平的图像进行去模糊的方法应该优于噪声盲方法，因为它们可以针对特定的噪声水平进行优化。有趣的是，我们的噪声盲方法与非噪声盲方法相比有多好。在这个实验中，比较的方法要么使用具有相同噪声水平的数据作为测试数据进行训练，要么根据噪声水平调整相反，我们的方法的结果直接引自5.3节比较见表4。它表明，即使我们的方法训练了一个通用模型来对具有未知变化噪声水平的图像进行去模糊，我们的通用模型仍然明显优于那些非噪声盲方法。这样的比较证明了我们的VEM为基础的去模糊神经网络的优点。泊松噪声下的图像去模糊。实际测量噪声的统计特性可能是复杂的。例如，在低光照条件下捕获的图像主要被泊松噪声破坏σ2.555.107.6510.2012.75使用固定β31.1429.3828.1527.2926.52使用固定λ31.3629.4728.2427.3326.57使用31.7529.5928.2927.3126.55我们31.9329.7828.4727.5226.773634表3：使用不同方法的具有未知变化噪声水平的去模糊结果的平均PSNR（dB）/SSIM数据集σIDD-BM3D[6]国防军[17]EPLL-NA[14][14]第十四话DMSP[4]我们2.5531.43/0.8831.43/0.89- /-- /-31.06/0.8731.93/0.905.1028.97/0.8329.18/0.84- /-- /-28.97/0.8129.78/0.86Set127.6527.56/0.8027.89/0.81- /-- /-27.87/0.7928.47/0.8310.2026.66/0.7726.98/0.78- /-- /-27.07/0.7827.52/0.8012.7525.95/0.7526.28/0.76- /-- /-26.39/0.7626.77/0.782.5532.24/0.8832.30/0.8832.18/0.8831.75/0.8731.76/0.8632.73/0.905.1029.95/0.8230.12/0.8230.08/0.8329.31/0.8029.62/0.8030.57/0.84Sun等人S7.6528.74/0.7828.97/0.7828.77/0.7628.04/0.7528.68/0.7729.41/0.8110.2027.93/0.7528.21/0.7527.81/0.7427.81/0.7328.06/0.7528.65/0.7812.7527.30/0.7327.62/0.73- /-- /-27.53/0.7428.04/0.762.5533.75/0.9233.65/0.9332.16/0.9231.43/0.9132.61/0.9134.31/0.945.1030.96/0.8831.18/0.8930.25/0.8928.88/0.8430.40/0.8632.02/0.91Levin等人S7.6529.26/0.8529.79/0.8628.96/0.8627.55/0.8029.31/0.8430.50/0.8810.2028.17/0.8128.84/0.8427.85/0.8226.96/0.7828.52/0.8329.42/0.8612.7527.33/0.7928.02/0.82- /-- /-27.79/0.8228.52/0.83表4：使用已知噪声水平的方法和我们的噪声盲方法的去模糊结果的平均PSNR（dB）/SSIM数据集σEPLL[18]CSF[27]IDD-BM3D[6]FCNN[31]IRCNN[33]我们2.5527.61/0.8529.37/0.8531.43/0.8930.68/0.8830.53/0.8231.93/0.90Set127.6525.24/0.7726.41/0.7427.56/0.8027.40/0.8027.09/0.7528.47/0.8312.7523.87/0.7225.10/0.6825.95/0.7525.84/0.75- /-26.77/0.782.5530.53/0.8731.04/0.8632.24/0.8832.19/0.8830.91/0.8232.73/0.90Sun等人S7.6527.46/0.7527.84/0.7328.74/0.7828.93/0.7827.93/0.7429.41/0.8112.7526.08/0.6926.53/0.6627.30/0.7327.55/0.73- /-28.04/0.782.5532.03/0.9229.85/0.8833.75/0.9233.10/0.9332.66/0.8734.31/0.94Levin等人S7.6528.31/0.8327.28/0.7829.26/0.8529.50/0.8629.15/0.8230.50/0.8812.7527.15/0.7526.25/0.7227.33/0.7927.81/0.82- /-28.52/0.83虽然我们的方法没有明确优化泊松噪声，内置的处理模型的不确定性，通过神经网络学习可以帮助不同的噪声类型的鲁棒性。因此，我们不是使用被泊松噪声破坏的图像来训练我们的模型，而是直接应用我们使用高斯白噪声训练的模型来对来自被泊松噪声破坏的Set12的图像进行去模糊。与专门设计用于消除泊松噪声图像模糊的方法的比较见表5：VST-BM 3D [2]，RWL 2 [19]和深度学习方法FCNN [31]。我们的模型仍然优于这些方法。这清楚地表明了我们的方法中模型不确定性的处理所带来的对噪声类型的鲁棒性。6. 结论提出了一种基于深度学习的噪声盲图像去模糊方法。基于一种集成了噪声水平估计和先验不确定性量化的基于VEM的方法，通过使用CNN滚动迭代VEM算法来构造去模糊网络。表5：去模糊结果的平均PSNR（dB）/SSIMw.r.t. 不同峰值的泊松噪声峰VST-BM3D[2] RWL2[19] FCNN[31]我们12824.39/0.6924.72/0.70 25.09/0.7225.69/0.7225624.98/0.7225.52/0.74 26.09/0.7626.69/0.7551225.50/0.7425.81/0.75 27.27/0.7927.93/0.791024- /-26.30/0.76 27.95/0.81 29.15/0.83基于可学习的图像先验和基于MLP的图像先验不确定性预测。实验表明，该方法的性能明显优于现有方法.确认Yuesong Nan和Hui Ji感谢新加坡MoE学术研究基金（AcRF）Tier 2研究项目（MOE 2017-T2-2- 156）的支持 。 全 宇 晖 感 谢 国 家 自 然 科 学 基 金 委 员 会（61872151，U1611461）的支持。3635引用[1] 巴勃罗·阿贝莱斯，迈克尔·梅尔，查利斯·福克斯，还有吉坦德拉·马利克.轮廓检测与分层图像分割。IEEE传输模式分析马赫内特尔，33（5）：898[2] 卢西奥·阿扎里和亚历山德罗·福伊。迭代泊松去噪中噪声+估计组合的方差稳定。IEEE信号处理快报，23（8）：1086[3] JMBernardo，MJ Bayarri，JO Berger，AP Dawid ，DHecker-man，AFM Smith，M West，et al.不完全数据的变分 贝叶 斯算 法： 其应 用于搜 索图 形模 型结 构。Bayesian statistics，7：453[4] Siavash Arjomand Bigdeli ， Matthias Zwicker ， PaoloFavaro，and Meiguang Jin.图像增强的深度均值漂移先验在Proc. NIPS，第763-772页[5] Jian-Feng Cai，Hui Ji，Chaoqiang Liu，and Zuowei Shen.基于稀疏逼 近的单幅图像盲运 动去模糊。 在procCVPR，第104-111页。IEEE，2009年。[6] 阿拉姆·丹尼尔扬，弗拉基米尔·卡特科夫尼克，凯伦·埃吉亚扎里安. BM3D帧和变分图像去模糊。IEEE传输图像处理。，21（4）：1715[7] 董斌和沈作伟基于MRA的小波框架及其应用，IAS系列讲座第19卷。帕克城数学研究所，2010年。[8] Jiangxin Dong，Jinshan Pan，Deqing Sun，Zhixun Su，Ming-Hsuan Yang.学习非盲去模糊的数据项。在Proc.ECCV，第748-763页。Springer，2018.[9] Weisheng Dong，Lei Zhang，Guangming Shi，and XinLi.图像恢复的非局部集中稀疏表示。IEEE传输图像处理。，22（4）：1620-1630，2013.[10] D. L. Donoho和J. M.约翰斯通通过小波收缩实现理想的空间适应性。biometrika，81（3）：425[11] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，andKilian Q Weinberger. 密 集连 接 的卷 积网 络 。在 Proc.CVPR，第4700-4708页[12] 惠姬、贾犁、沈作威、康王。利用小波域中清晰图像的一种特征进行图像反卷积.应用计算Harmonic肛门，32（2）：295-304，2012.[13] 惠姬、康王。鲁棒的图像去模糊，一个不准确的模糊内核IEEE传输图像处理。，21（4）：1624[14] Meiguang Jin，Stefan Roth和Paolo Favaro。噪声盲图像去模糊。在Proc. CVPR，第3510-3518页[15] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[16] Dilip Krishnan和Rob Fergus使用超拉普拉斯先验的快速图像去卷积。在Proc. NIPS，第1033- 1041页[17] Jakob K