噪声盲图像去模糊的贝叶斯方法及其在处理高维积分中的应用

3510噪声盲图像去模糊瑞士伯尔尼大学Stefan RothTU达姆施塔特德国瑞士伯尔尼大学摘要我们提出了一种新的方法去模糊噪声盲，去模糊的问题与已知的模糊，但未知的噪声水平的图像。我们引入了一个有效的和强大的解决方案的基础上，贝叶斯框架使用平滑的泛化0-1损失。一个新的边界允许计算非常高维的积分在封闭的形式。它避免了最大后验概率（MAP）估计的退化，并导致一个有效的噪声自适应方案。此外，我们大大加快我们的算法，使用Majorization Minimization（MM），而不引入任何近似或边界文物。我们进一步加快收敛，把我们的算法变成一个神经网络称为GradNet，这是高度并行化，可以有效地训练。 我们证明了我们的噪声盲公式可以与不同的先验知识相结合，并显着地改善了现有的去模糊算法在噪声盲和已知噪声的情况下。此外，GradNet在不同的噪声水平下具有最先进的性能，同时保持高计算效率。1. 介绍非盲图像去模糊在文献中得到了广泛的研究它的主要假设是影响图像的模糊核是提前知道的。虽然这似乎是限制性的，但模糊可以从成像系统的设计中知道[14]，或者可以通过其他模态来估计，惯性传感器[12]。此外，绝大多数盲去模糊算法具有非盲子分量[15]，在内核估计和非盲去模糊之间交替。即使已知模糊核，由于高频信息的丢失和传感器噪声的影响，图像去模糊仍然很此外，即使使用最好的图像传感器也无法避免噪声。虽然我们可以在理论上校准每个相机和每个ISO级别的噪音水平，但这在实践中很快变得不可行。解决该问题的一种方法是使用单独的噪声估计器来调谐去模糊算法，该去模糊算法假设已知噪音例如[13，24，25，37]关注噪声水平已知或用户指定的场景。判别方法[24，25]甚至是针对特定噪声水平进行定制训练的;我们需要为每个噪声水平训练和存储去模糊方法，这并不实用。单独的噪声估计步骤的关键挑战是大多数噪声估计算法[6，8，17，19，35]是针对非模糊输入设计的。一个例外是[36]，它能够从模糊图像中估计噪声水平。正如我们在实验中所示，噪声估计与后续去模糊的组合在精度和执行时间上都是次优的。因此，我们的目标是估计噪声水平和清晰的图像从一个单一的噪声和模糊的图像，我们称之为噪声盲图像去模糊的问题。到目前为止，关于噪声盲去模糊的工作很少。Schmidt等人[26]提出了一个贝叶斯框架来处理噪声盲的情况。然而，他们的基于采样的技术在计算上非常密集，因此对于高分辨率图像是不实用的。事实上，即使在已知噪声的情况下，计算效率也是一个挑战;只有很少的快速有效的方法存在[13，25，30]。在本文中，我们提出了一种方法，噪声盲去模糊的基础上的噪声自适应配方来自贝叶斯原则。更具体地说，而不是使用常见的0-1损失，这会产生众所周知的最大后验概率（MAP）估计，我们使用一个平滑的高斯效用函数。我们把噪声作为一个参数，可以集成到能量函数的数据项。因此，我们的配方是噪声自适应的，并调整不同的噪声水平不再需要。此外，我们优化了能量函数，使得可以应用基于FFT的预处理，这显著加快了执行过程，但也避免了来自圆形边界假设的伪影[25，30]。我们结合上述公式并推导出一个卷积神经网络，我们称之为GradNet，它可以以非常高的计算效率解决噪声盲图像去模糊问题。GradNet中的每个层块都实现了梯度下降步骤。因此，这种网络的训练是梯度下降算法的优化[2，7]。我们也可以3511将GradNet解释为[4]的扩散网络对噪声盲去模糊问题的推广，其中我们集成了噪声自适应性和基于FFT的预处理。因此，我们的网络也是高度并行化的，非常适合在GPU上计算，这使得推理非常快，但实现了非常高的图像质量。我们的工作做出了一些贡献：（1）所提出的噪声自适应公式在概念上简单且易于计算，具有很小的计算成本;（2）它易于集成到现有的图像恢复框架中，并且即使使用简单的总变差先验，它也已经可以实现高水平的图像质量;（3）即使在已知噪声的情况下，数据项和先验之间的自动加权也可以产生显著的益处（0的情况。三比零平均7 dB）;（4）我们的噪声自适应公式也能够处理有色（空间相关）噪声（参见补充材料）;（5）基于FFT的预处理使解决非盲去模糊问题更快;（6）我们的可训练网络GradNet使推理更快，但优于现有技术，特别是对于大模糊核。2. 相关工作非盲去模糊不仅在内核已知时使用[14]，而且在盲去模糊[5，9，15，16，20，22，28，29，32，34]以恢复最终的清晰图像。大多数非盲去模糊方法可以分为两类，基于迭代能量最小化[13，14，30，37]或判别学习[24，25，27，33]。Wang等人[30]依靠全变差和使用半二次技术来加速优化。Krishnan和Fergus [13]同样将高质量的结果与快速执行相结合。Levin等人[14]使用二阶导数滤波器制定更高级的先验佐兰和韦斯[37]使用高斯混合先验，它是从一组自然图像中学习的。这种方法（EPLL）已被广泛用于盲去模糊估计最终清晰的图像，由于其高质量的恢复结果。然而，所有这些方法都需要根据测试时的噪声水平进行调整另一方面，Schmidtet al. [27]提出一个两步走的方法，首先使用在傅立叶域中对模糊进行正则化反演，然后在第二步中去除噪声。Schmidt和Roth [25]提出了收缩域，这是一种区分训练的网络架构，非常有效。然而，由于其圆形边界假设，它遭受边界伪影，并且不是噪声自适应的。Schmidt等人[24]提出了一个高斯条件随机场框架，其中使用学习回归树预测参数[11]。Xu等[33]设计一个CNN来处理模型的饱和和非线性。然而，这些学习方法是针对特定噪声设计/训练的盲去模糊和噪声估计与贝叶斯最小均方误差估计。然而，这种方法在计算上是低效的;将其缩放到更大的图像是非常慢的。处理噪声盲去模糊的直观方法是首先估计噪声[6，8，17，19，35]，然后应用现有的非盲去模糊算法。Donoho等人[8]提出了一个平均绝对偏差（MAD）框架，以从最高分辨率的小波系数中推断噪声水平Zlokolica等人[35]将MAD框架扩展到视频噪声估计。Liu等[17]基于分段平滑图像先验估计来自单个图像的噪声水平的上界。De Stefano等人[6]探索基于小波的方法中峰度值和图像噪声之间的关系。Liu等[19]将主成分分析应用于选定的补丁以估计噪声水平。然而，这些方法中没有一个明确地处理图像也模糊的情况。Zoran和Weiss [37]的工作是一个例外，它利用了峰度值和图像噪声水平之间的联系。他们的工作还可以估计图像模糊下的噪声水平。3. 贝叶斯噪声盲图像去模糊令x'表示未知的清晰图像，并且k是具有积分为1的非负值的模糊核。我们假设观察到的模糊图像y形成为1，y=k<$x<$+n，n<$N（0，σ<$n），（1）其中，n是具有未知标准d e σ n的高斯零均值噪声。或者，我们可以将通过模糊核k的Toeplitz矩阵K的图像形成重新写为y=Kx¯+n，其中我们将清晰和模糊的图像以及噪声n重新排列到列向量中。我们考虑σn为参数r，这等于假设它服从一个未知的狄拉克δ分布。我们的目标是在y和k的基础上重新定义x和σ。为此，我们首先定义真实（ x<$ ， σ<$n ） 和估计（x，σn）之间的损失函数L，giv观测值y和核k。从形式上讲，损失函数将（y，k，x<$，σ <$n，x，σn）映射到[0，∞）。 对于记数法，我们去掉y，k，因为y是固定的。此外，由于σn和σ′n是参数，也就是说，σ n和σ′ n是参数。由狄拉克δ分布模型，它们是（2）合理的损失函数（reasonable loss function）。因此，我们可以直接用σ n代替σ<$n，并在损失函数的定义中省略参数σn和σ<$n。在我们的公式中，我们考虑贝叶斯∫Ex<$，y;σn[L（x<$，x）]=L（x<$，x）p（x<$，y;σn）dx<$dy，（2）定义估计量（x，σn），（x<$，σ<$n）=argminEx<$，y;σn[L（x<$，x）].（三）水平，并且对其他噪声水平不鲁棒。 贝叶斯去模糊-x，σn环[26]是一个例外，它能够积分非1的卷积是一个“有效”卷积，即，输出y小于输入x。3512nZenZ一个常见的选择是0-1的损失L（x<$，x）=1−δ（x<$−x），（4）和贝叶斯风险最小化argminEx<$，y;σn[L（x<$，x）]=argmaxEx<$，y;σn[G（x<$，x）]这导致了最大后验概率（MAP）问题x，σnx，σn（十二）（x，σn）=a rgmax p（y|x;σn）p（x）.x，σn这里，联合概率p（x，y;σn）=p（y|x; σn）p（x）表示为概率和先验的乘积。 现在让我们最大化贝叶斯更令人兴奋的是，我们有argmaxEx<$，y;σn[G（x<$，x）]=argm axlogEx<$，y;σn[G（x<$，x）]考虑去噪情况（k= 1）。对数似然性给出为logp（y|x; σn）= − 12 |y − x|2− M log σn+const，（6）x，σn∫= arg max logx，σnx，σnG（x′，x）p（x′，y;σn）dx′.（十三）2σn其中M是x中的像素数，常数为由于Jensen不等式和log是凹的BU的对数有下限（右侧）由于配分函数。MAP解决方案成为arg min12|y−x|2+Mlogσn−log p（x）。（七）∫∫logG（x≥G（xx，σn2σn通过设置一阶导数w.r.t.σn到0，我们有σ2=1|y − x|2、（8）并且因此∫（十四）nMmaxlogG（x<$，x）p（x<$，y;σn）dx<$≥这是众所周知的方差样本估计量。我们把这个封闭形式的解代入方程。（7）获得x，σn∫Maxx，σnG（x. （十五）xg =argminMlog|y−x|2−logp（x）.（九）上述BU下限的优点是，它可以X2以封闭形式计算-Eq.的解（9）是x=y，因为第一项趋于−∞，而第二项通常在x=y. 然而，这种解决方案是不期望的，因为它不执行任何功能。去噪为了解决这个问题，我们引入了一个不同的损失函数和一个新的下限。整数-当e v er l og p（x <$，y ; σ n）= l og p（y|x<$;σn）+logp（x<$）表示简单形式（例如， 线性或二次）。数据保真度术语。现在让我们考虑去模糊问题。我们首先考虑对数似然|2|24. 超越最大后验概率logp（y|x<$;σn）=−2σ2-Nlogσn+const，（16）为了避免方程的退化解（9）我们引入了一个损失函数族，它不会对估计量的小误差进行严重的让我们将损失函数定义为L（x<$，x）=1−G（x<$，x），其中我们称l−G为效用函数。其中N是模糊图像y的像素数。通过插入Eq.（16）在等式的右边。（14）对数似然对边界的贡献变为∫，2，并强制G（x<$，x）≥0和G（x<$，x）dx<$=1。G（x<$，x）logp（y|x<$;σn）dx<$（十七）例如，我们可以选择一个高斯密度与parti-函数Z和方差σ2：∫|2|y− k x|2|2ΣG（x<$，x）=1exp|2|22σ2Σ.（十）=−1−|2|22σ22σ2σ22dx<$−Nlogσn+const（五）−3513这个光滑损失函数族推广了0-1=−2σ2n-M 2σ2 |K|n-N log σn+ const.损失，这是它的极限情况σ→0。然后我们得到有前科。 我们考虑一类Gumbel乘积Ex<$，y;σn[L（x<$，x）]=1−Ex<$，y;σn[G（x<$，x）]，（11）图像滤波器平方范数的密度函数[21]作为图像先验的响应。一个广义的高斯包络[2]请注意，G上的两个约束是不相关的（绝大多数情况下，保证分布是正确的。这个先验的形式是在贝叶斯风险最小化理论中积极情绪能够可以通过向损失函数添加常数来实现，并且归一化可以logp（x<$）=−|x|22个以上Σ wijexpΣ− |FikΣx<$−µj|22+const，通过将整个成本按正常数缩放来实现这两对贝叶斯风险的修改2σ0ijk2σj（十八）35140|y−Kxτ|2+Mσ2|K|2Jn-22ik22∇ij ij ijjj其中，Fi是表示滤波器的Toeplitz矩阵，Fik产生输出的第k项，因此是具有M个像素的行向量;μj和σj是参数。σ2被选择为大常数。稍后我们将看到，这个先验与基于高斯混合乘积的常见先验有联系[2 6，3 7]。权重wij必须为零，其中xτ表示梯度下降迭代τ的解，λτ=N。讨论Schmidtet al. [26]相反，直接最小化贝叶斯最小均方误差（MMSE）∫但在这里不必总和为1。其他优先事项，如总变化，在补充材料中讨论。x=argminX|2p（x<$，σ<$n|y）d x <$d σ<$n。|y)dx¯dσ¯n.（二十六）通过将过滤器约束为|Fik|2= 1，我们得到的贡献的对数先验的界限在方程。（十四）∫G（x<$，x）logp（x<$）dx<$=（19）这个非常高维的积分然后通过吉布斯采样来解决，但它是计算密集型的。相反，在我们的情况下，效用函数的形式和建议的下限允许一个简单的分析解决方案。|X|2-2Σ wijexpΣ− |Fik2Σx − µj|+const，注意，当我们关注高斯效用函数时，2σ0ijk2（σ2+σ2）（概率密度函数的）其他选择导致SIM-封闭形式的解。效用函数G有一个正则表达式，为了便于记法，我们定义Σ Σ对通过λτ和图像先验滤波器的噪声估计的极化效应。当σ≠1时，则λτ偏置到-w =−wexp−µ2σ.（二十）ijijjσ2（σ2+σ2）更大的噪声估计和图像先验往往J J在固定系数的同时使滤波器响应更加平坦注意，当σ→0时，边界坍缩为等式。（十八）、图像去模糊最后，我们可以把所有的条款放在一起，并解决最大化的下限w至−wexp[−µ2/σ2]（参见等式第20段）。还请注意，xU[xτ]类似于具有某些先验p（x）的标准最小二乘估计的梯度：∫。λ2最大参数x，σG（x<$，x）logp（x<$，y;σn）dx<$（二十一）UL2 [x]= 2 |y-k x|-logp（x）p′（xτ）（二十七）nxUL [xτ]=λK（Kxτ−y）−p（xτ）。对BU来说，这是一个问题：|y-k x|2+Mσ2|K|2最大的区别是在Eq。（25）参数λτ在每次迭代τ期间改变，从而自适应地确定（x，σn）=argminx，σn|X|2+2σ2+2σ2ΣΣwijexp+NlogσnΣ|F x−µj |22（σ +σ）。（二十二）挖掘正则化的量。相反，λ在UL2的最小化中是常数。如后所示，我们的适应性0ijkjλτ产生比任何固定λ的选择更好的解。我们现在可以显式求解σn，并获得σ2=1|y-kx|2+ Mσ2|K|2Σ。（二十三）5. 精确预处理我们现在描述梯度的替代方法nN这个封闭的形式可以被并入Eq.（22）产量（二十四）我们指出，这种配方不会导致退化的解决方案的情况下，去噪或去模糊。实际上，对于去噪（k= 1），等式（24）在x=y处不最小化。在更一般的噪声盲去模糊公式中，我们可以显式地获得梯度下降迭代xx=argminU[x]=argmin2log|y-kx|.ΣN2X轴+ Mσ2|K|2 +的|X|2XΣΣexp− |Fikx−µj|2 Σ2σ20+wIJ2（σ2+σ2.J−23515σJJJΣEq.的下降迭代（25）最小化问题由方程式（24）更有效，同时不引入任何近似。我们使 用 Majorization Minimization （ MM ） 技 术 [10] 。MM定义的迭代很像梯度下降，但每一步都很容易实现。Pute并且仍然可证明地最小化原始成本，这里Eq.（24）。我们首先定义一个代理函数f（x|xτ），其中xτ是迭代τ时的解，使得我们有|xτ）≥ U [x]，且|xτ）= U [xτ]。 我们将构造的函数分解为两个代理函数，即，ψ（x|xτ）= 1（x|xτ）+ π2（x|xτ），其中的 每 一 个 将 是 等 式 中 的 项 之 一 的 替 代 函 数 。（24），即，xxτ+1=xτ−αxU[xτ]（25）1（x）|xτ）≥NlogΣ|y-k x|2Σ+Mσ2|K|2U[xτ] =λτKΣ Fφ（Fxτ）2002年（x）|xτ）≥|2 Σ|2 Σ2+wexp Σ− |Fik2Σx−µj|.（二十八）X20Σ|z−µj|2伊伊伊Σikz−µj2σ0IJijk2（σ2+σ2）φi（z）=wijexpJ−2（σ2+σ2）σ2+σ2，数据项。在Eq中的第一项中的对数。（24）是凹的，因此我们可以使用一阶泰勒展开35161x）=λ K（Kx2σJ00ik0我我2我ΣΣ0+−ik作为上限。此外，我们增加了一个二次项与Toeplitz矩阵H对应的周期循环卷积与核k。通过对模糊k和λτ使用矩阵符号K，我们有ψ（x|τΣτ⊤τ−y）（x−xτ）（29）+（x − xτ）<$λτH<$H（x − xτ）+const（xτ）。图像先验。在第二项中，我们使用二次上限：图1.带和不带预处理的成本U电视。提出的预处理（Eq.#32423;，加快了收敛速度。ψ（x|xτ）= const（xτ）+. xτΣ⊤τΣ⊤−xτ）22−+γ（x−xτ）<$。δ+FFikFikφi（Fikx）（xΣ（x−xτ），（30）图1显示了平均成本UTV（±标准偏差），），其中我们使用的电视前在方程。（33）反对2ikΣ伊伊迭代时间超过32图像从数据集的莱文等其中γ=max 2|新经济学|δ=1。al. [16]有无预处理（省略噪声-σ2+σ2γσ2适应性和噪声）。 注意预处理如何加速-预处理。现在我们可以最小化x（x|xτ）相对于x，通过将其梯度设置为0：x|xτ）=λτK<$（Kxτ− y）+λτH <$H（x − xτ）在6和6之间收敛。五次。讨论。我们现在指出一些基本的区别和相似之处，两个以前的方法[4，25]xτσ2ik.ΣFφi（FikΣ xτ）（31）和等式（三十三）。首先，我们转向Schmidt和Roth [25]的收缩场级联（CSF）。即使未+ γ δ+ikFFik（x − xτ）= 0。最初是以这种方式派生的，基于SEC。3我们可以改写方程式(10)在[25]中，作为梯度下降步骤，由于这是一个线性系统，我们得到迭代条件（σ2→∞）xτ+1=xτ−Λ−1<$xUSF[xτ]（34）（三十二）简体中文[xτ]=λH<$（Hxτ−y）−<$B<$φSF（Bxτ）xSFik 伊伊伊Σ这是对之前的梯度下降的修改，φSF（z）=z−jπijexp−γS F|z−µj|二、当量（25）通过预处理。由于半正定矩阵预处理保持了梯度下降法的收敛性，我们也可以用相应的周期循环卷积Toeplitz矩阵Bi代替预处理器中的滤波器Fi，得到我们的算法我们的方法的主要区别是（1）缺失噪声自适应项λτ，（2）在梯度的定义中使用Toeplitz矩阵H和Bik，由于圆形边界条件导致收缩场中的伪影，以及（3）在φSF的定义中，我们把它解释为图像先验的负对数梯度的近似基于我们的推导，上述迭代可以被看作是以下图像先验的最小值（c.f.当量十八）（三十三）logp（x）=−ΣijkΣ|F x|2ik+πije−γSF |Fikx −µj|2Σ、（三十五）对于某个π∈i，j，我们使用d∈ω的差，sians近似项exp−γS F|z−µj|2（z−µj）in这个预处理器可以通过快速傅里叶变换（FFT）非常有效地计算[25]。注意，我们的推导确保收敛到原始成本的局部最小值径向基函数（RBF）在φSF中的展开。在Chen和Pock [4]的具有RBF影响函数的可训练非线性反应扩散（TNRD）的情况下，我们也可以重写他们的方程。(3)在我们的形式主义中xτ+1=xτ−ΛxU[xτ].ΣΛ−1 =λτH<$H+γ δI+F<$Fik，Σik ikxτ+1=xτ−ΛxU[xτ]ik ikxU[xτ] =λτKΛ−1 =λτH<$H+γ<$B<$Bikσ2+1I0+x τΣσ2 -Fφ（F xτ）0ik 伊伊伊Σφi（z）= wijexp−Σ|z − µ|z−µ2 ΣJJ2（σ2+σ2）σ2+σ2J.JJ3517我U[x]，因此与[25]不同，它不会由于H和Bik的周期性边界假设而受到伪影的影响。xτ+1=xτ−τxETN[xτ]（36） Σ换句话说，循环卷积仅用于xETN[xτ] =λKFφTN（Fikxτ）预条件，但不是在成本和它的梯度，其中应用有效的卷积。φTN（z）=−N希吉克我|z−µj|2jwijexp−γj.3518我QIJσQQ我我2（σ2+σ）Σ。图像先验图像先验图2. GradNet架构。图3.从GradNet的我们的方法的主要区别是（1）缺乏噪声自适应性，（2）缺乏预处理，（3）在φTN的定义。通过使用类似的近似在前面的比较，方程。式（36）可以看作是下一个图像先验图4.[23][24][25][26][27][28][29]logp（x）=−Σijk wijexpΣ− |Fik2Σx − µj|γj.（三十七）7. 实验训练 我们选择S= 7阶段并训练网络请注意，上述方法是基于混合导出的Gaussians Prior的缩写我们上面的推导显示了该先验和1型Gumbel先验之间的联系（等式2）。第18段）。6. GradNet架构我们从Eq.（33）作为神经网络架构，使得滤波器和所有未知参数可以直接从数据中学习。 我们称之为GradNet的网络图示如图所示。二、我们的GradNet是以监督的方式训练的，即，我们将训练样本贪婪+联合训练方案。首先，我们一个接一个地对7个阶段中的每一个进行严格训练。之后，网络被共同微调在前4个阶段中，我们简单地使用4个预定义的成对滤波器，因为它们在图像去模糊精度和计算成本之间给出了良好的权衡。因此，仅训练正则化参数和非线性函数。从第5级到第7级，我们使用48个滤波器，每个滤波器的大小为7×7。在每一个阶段，我们使用400个来自Berkeley分割数据集的训练图像[1]没有裁剪。由于真实的模糊数据是有限的，我们合成了大小为27 ×27{yq，kq，xGT}Q其中yq是噪声模糊图像，kq是使用[3]。 我们加入不同数量的白高斯q q=1对应的模糊核，xGT是潜在清晰图像。我们使用57个RBF函数，并固定σj=10，µj∈[−280：10：280]和σ0= 105。具有S阶段的GradNet学习模型参数Θ={γτ，σ，fτ，wτ}τ=1，.，S、噪声，σ∈ {2. 55，3。八七五，五。一六375，7。六十五，八。925，10。2}，到模糊的图像 对于每个阶段，以避免过度拟合。我们使用有限内存BFGS的150次迭代进行优化 [18]。贪婪训练需要1.5伊伊季其中包括噪声自适应性λτ中的正则化折衷γτ，σ，线性滤波器fτ（Fi的2D核），以及协联合训练需要半天时间，GPU。代码，训练模型，数据集和其他软-Qeficientswτ我通过最小化以下损失函数心理材料将在作者的网页上提供图3显示了第五级的48个滤波器大多数过滤器重新-Q1SSGT。2minΘL（Θ）=minΘ.xτ+1=xτ−Λq=12。Cq（xq −xq）。第二章，（三十八）U[xτ]， τ ∈ [0，. . . ，S − 1]双向导数滤波器，类似于那些学习扩散网络[4]。图2显示了三个代表，S.T.QqxqGradNet架构中的假设非线性函数，Λ−1 =λτHH+I+γτBτBτ，q q20ik 伊伊再次类似于在扩散网络中学习的那些。其中CS是仅选择潜像的有效部分的算子，并且我们通过yq的3倍边缘锥形化来初始化x0。回想一下，Bτ是使用滤波器fτ进行循环卷积的Toeplitz矩阵。此外，除了学习噪声盲去模糊。为了深入研究我们的噪声自适应方法以及GradNet，我们用三个不同的数据集进行了实验。首先，我们使用Levin等人的流行数据集。[16]和Sunetal.[29]《易经》中的“道”，iΣατ t任意滤波器，我们将每个核定义为fτD编号d|2|2不同的图像尺度。这两个数据集包含-我其中，{t1，. . .，t48}是离散余弦变换（DCT）获取32张测试图像（255×255）和640张测试图像（大约700×900），其中来自[16]的8个不同的模糊内核是基础，因此，|fτ|2= 1，它们是零均值。在美国，我我们考虑函数φi（z）=ΣjwijexpΣ2Σ- -一种|z−µj|2、J采用由于来自这些内核的模糊量在某种程度上是有限的，我们进一步测试了一个更具挑战性的设置。我们因为我们在实验中发现，它们产生相同的性能，作为方程中定义的函数φi（33），但更快的训练。更多细节，包括反向传播，在补充材料中报告。从Berkeley数据集中随机选择10张图像[1][23]第23话：五个大的。模糊有不同的- ent大小从29至37像素，见图。4.第一章请注意，训练集和测试集不x0的FnmFTnm+Λ+XtFnmFT+Λ+nm数据项−KT（Kx 0 −y）X数据项− KT（Kxt − y）X噪声es离子λ蒂马特噪声λes离子蒂马特12FTF1211FTF1112FTF1211FTF11、Q=3519重叠，无论是在图像中还是在内核中。3520EPLL [37]（非盲）32.03 29.79 28.31 27.20EPLL [37] + NE [36] 25.36 23.53 22.55 21.90[36]第三十六话：31.8629.7728.2827.16EPLL [37] + NA25.5723.9022.9122.27EPLL [37] + NA32.1630.2528.9627.85TV-L2 + NA24.6123.6522.9022.34TV-L2 + NA31.0529.1428.0327.16GradNet 7S25.5724.2323.4622.94BD [26]30.4228.7727.9127.29GradNet 7S31.4328.8827.5526.96表1.来自[16]的32个测试图像的平均PSNR（dB）方法σ→2.55 5.10 7.65 10.20FD [13]（非盲）30.79 28.90 27.86 27.14EPLL [37]（非盲）32.05 29.60 28.25 27.34CSF [25]（非盲）30.88 28.60 27.65 26.97TNRD [4]（非盲）30.03 28.79表3.Berkeley分割数据集[1]中50幅测试图像的平均PSNR（dB），4）.EPLL [37] + NEEPLL [37] + NA32.0232.1829.6030.0828.2528.7727.3427.81[36]第十三届全国政协委员[36]第25话：我的世界0.35s0.36s0.50s0.53s0.99s1.14s3.74s4.56s15.8s19.8sTV-L2 + NA30.0728.5927.6026.89GradNet 7S0.07s0.24s0.78s3.62s14.8sGradNet 7S 31.75 29.31 28.04 27.54表2.来自[29]的640张测试图像的平均PSNR（dB）我们对测试图像进行模糊处理，并添加1%、2%、3%和4%的噪声（即，σ= 2。55，5。十七65，10。第20段）。此外，我们将噪声模糊观测的强度量化为8位，使其更加逼真。所有结果均使用PSNR测量（参见SSIM的补充材料[31]）。表1显示了Levin等人的数据集上的性能。[16 ]第10段。算法分为三类：噪声非盲（顶部）、噪声估计+非盲（中间）和噪声盲（底部）。非盲实验包括6种方法：快速反卷积[13]（FD）和TV-L2针对每个噪声水平进行良好调谐，EPLL [37]使用已知的地面真实噪声水平进行测试对于CSF [25]，我们使用官方代码为每个噪声水平训练不同的模型。我们严格遵循贪婪+联合训练机制，以获得每个噪声水平的最佳性能模型由于TNRD [4]没有可用的去模糊代码，我们通过删除预处理和噪声自适应来修改我们的代码，然后针对两个示例性噪声水平进行训练，从而确保每个噪声水平的最佳性能。对于回归树字段（RTF）[24]，我们使用唯一可用的预训练模型（σ= 2。55）。我们观察到，RTF只在训练时的噪声水平上表现良好。对于其他噪声水平，性能会显著下降。请注意，我们的噪声盲方法GradNet 7S的性能优于CSF和我们的TNRD实现，后者是非盲的，并且针对每个噪声水平进行了定制训练。表4.不同算法的执行时间。所有方法都基于Matlab实现，并在同一平台上进行了测试（Intel Core i7，2.4GHz四核）。为了评估预先估计噪声水平（NE）的效果，我们使用[36]的方法并使用估计的噪声水平来适应EPLL。最后，噪声盲实验依赖于5种不同的设置：首先，我们扩展两个广泛使用的非盲技术，EPLL和TV-L 2，噪声盲的情况下，使用我们的噪声自适应（NA）制定（见补充材料的细节）。我们发现，我们的噪声自适应配方不仅使现有的技术，niques处理噪声盲的情况下。重要的是，结果也比较有利的已知噪声的情况下。对于EPLL，尽管我们解决了一个更具挑战性的问题，但我们的噪声自适应形式主义在非盲设置上显著提高了0.3-这是因为最佳λ不仅仅取决于图像噪声，而是更一般地取决于图像噪声和由图像先验进行的近似的组合。换句话说，先验捕获整个图像集的统计数据，这不一定是特定图像的最佳选择。我们的自适应λτ基于正则化图像残差（等式2）。23）解决了这个问题，并优于任何固定的λ。对于TV-L2，改进同样显著，改进范围相同。此外，我们还展示了贝叶斯去模糊（BD）[26]和我们的梯度网络的结果。虽然GradNet没有完全达到EPLL + NA的性能水平，但它快了2个数量级。方法σ→2.555.107.6510.20方法σ→2.555.107.6510.20FD [13]（非盲）30.0328.4027.3226.52FD [13]（非盲）24.4423.2422.6422.07RTF[24]（σ = 2.55）32.3626.3421.4317.33EPLL [37]（非盲）25.3823.5322.5421.91CSF [25]（非盲）29.8528.1327.2826.70RTF[24]（σ = 2.55）25.7023.4519.8316.94TNRD [4]（非盲）28.8828.10––CSF [25]（非盲）24.7323.6122.8822.44方法尺寸→ 1282256251221024220482[第13话]0.05s0.08s0.13s0.53s2.3sCSF [25]0.06s0.11s0.28s1.35s5.44sEPLL [37]13s54s185年代860s>1小时TV-L20.26s0.86s2.8s17.2s63s3521(a) 模糊输入（b）TV-L2（c）FD [13]（d）EPLL [37](e)地面实况（f）GradNet 1阶段（g）GradNet 4阶段（h）GradNet 7阶段图5. 1%噪声情况下的结果。PSNR结果也显示在估计图像的左上角。最好在屏幕上观看。表2显示了Sun数据集上的性能等人[29]第10段。我们在这里省略了贝叶斯去模糊[26]，因为它不能很好地扩展到大图像。结果表明，我们的噪声自适应方法相比，有利的国家的最先进的先验（EPLL）与单独的噪声估计。表3中的结果表明，我们的GradNet对大模糊更鲁棒[23]，并且在所有噪声水平下均优于EPLL，平均为0.75dB。我们认为，区分训练可以使GradNet更好地应对这种具有挑战性的设置。我们还将EPLL与我们的噪声自适应公式相结合，这再次提高了性能。在所有三个实验设置中，我们的噪声自适应ap-proach始终提高现有先验的性能，即使与非盲情况相比，这意味着我们的噪声自适应对图像尺度，噪声水平和模糊内核具有鲁棒性图图5示出了在1%噪声下的定性和定量结果与竞争方法相比，GradNet更好地处理边界，也更忠实地恢复图像的地面部分。行刑时间。表4显示了执行时间的比较。我们看到GradNet可以很好地扩展到大型图像。虽然FD和CSF是快速的，但噪声估计相当慢，这是进一步提高效率的瓶颈。然而，我们没有这个问题，因为我们的方法会自动适应噪音水平。我们的模型的另一个潜在的好处是，它是高度并行化的，非常适合在GPU上计算。[4]有通过从CPU到GPU，他们的方法可以加速约100倍。由于我们使用类似的架构，我们相信我们的网络也可以享受显着的GPU加速。我们把它作为未来的工作。8. 结论噪声是一种不可避免的图像退化，在图像恢复中，特别是在图像去模糊中必须考虑噪声。我们专注于实际情况下，噪声的完整特性是不可用的，必须估计。我们表明，直接应用MAP会导致退化的解决方案，并建议用更一般的光滑损失函数族代替0-1损失虽然使用一般的损失函数可能会导致infasible高维积分或计算密集的方法，我们推导出简单的界限，可以计算分析在封闭的形式。这导致了一种新的方法，噪声自适应去模糊，它可以有效地实现为神经网络。噪声自适应导致显着的性能提升，在噪声盲和已知噪声的情况下。高效的GradNet即使在大模糊的情况下也能产生最先进的性能。鸣谢。MJ和PF感谢瑞士国家科学基金会对项目 200021153324的支持。SR得到了欧洲研究理事会在欧盟第七框架计划（FP 7/2007- 2013）/ ERC赠款协议号下的支持。307942.3522引用[1] P. Arbelaez，M.迈尔角C. Fowlkes和J.马利克轮廓检测与分层图像分割。IEEE TPAMI，33（5）：898-916，2011年。六、七[2] A.巴布训练用于实时图像去噪的主动随机场。IEEETIP，18（11）：2451-2462，Nov. 2009. 1[3] G. Boracchi和A.Foi. 运动模糊图像复原的性能建模IEEETIP，21（8）：3502 6[4] Y. Chen和T.Pock 可训练的非线性反应扩散：快速有效图像恢复的灵活框架arXiv：1508.02848，2015年。二五六七八[5] S. Cho和S.李你快速运动去模糊。 ACM Trans.Graph. ，28（5）：145：1-145：8，2009. 2[6] A. De Stefano，P.R. White和W.B. 柯利斯基于小波分量的图像噪声水平估计训练方法EURASIP J. Adv. Sig.Proc. ，2004（16）：2400-2407，2004. 一、二[7] J· 多 姆 克 基 于 优 化 建 模 的 一 般 方 法 。 2012 年 ， 在AISTATS。1[8] D. L.多诺霍和我。M.约翰斯通通过小波收缩实现理想的空间适应性。Biometrika，81：425-455，1994. 一、二[9] R. 费格斯湾辛格A.Hertzmann，S.T. Roweis和W.T.弗里曼。从单张照片中消除相机抖动ACM事务处理图表，25（3）：787-794，2006. 2[10] D. R. 亨特和K.兰格MM算法教程美国统计学家，第30-37页，2004年。4[11] J. Jancsary，S. Nowozin和C.罗瑟非参数图像恢复模型的损失特定训练：最新技术水平。在ECCV，2012年。2[12] N.乔希，S。B.康角，澳-地L. Zitnick和R.塞利斯基使用惯性测量传感器的图像去模糊。ACM Trans.Graph. ，29（4）：30：1-30：9，2010. 1[13] D. Krishnan和R.费格斯。使用超拉普拉斯先验的快速图像去卷积。NIPS，2009年。一、二、七、八[14] A.莱文河Fergus，F. Durand和W. T.弗里曼。图像和深度从一个传统的相机与编码光圈。ACM事务处理图表，26（3）：70，2007. 一、二[15] A. Lev