归一化盲反卷积的新方法及其在图像恢复中的应用

| |归一化盲反卷积金美光1[0000−0003−3796−2310]、斯特凡·罗斯2[0000−0001−9002−9832]、保罗·法瓦罗1[0000−0003−3546−8247]1瑞士伯尔尼大学2TU达姆施塔特，德国{jin，paolo.favaro}@inf.unibe.chStefan. visinf.tu-darmstadt.de抽象。我们介绍了一个家庭的新方法，单图像盲反卷积，即。从单个模糊输入恢复清晰图像和模糊核的问题这个问题是高度不适定的，因为无限个（图像，模糊）对产生相同的模糊图像。大多数研究工作都致力于自然图像和模糊核的先验设计，这可以大大修剪可能的解决方案集不幸的是，这些先验通常不足以支持尖锐的解决方案。在本文中，我们通过研究一个研究较少的方面来解决这个问题：清晰图像和模糊之间的相对比例模糊。大多数先前的工作通过固定模糊核的L1范数来消除这种模糊性然而，原则上，这种选择是任意的。我们表明，一个精心设计的模糊归一化产生一个盲反卷积公式具有显着的精度和鲁棒性噪声。具体来说，我们表明，使用Frobenius范数来固定的规模模糊性，使凸图像先验，如总变差，以实现最先进的合成和真实数据集的结果。1介绍去除图像中的模糊在过去的几十年中已经取得了实质性的进展，今天有大量的有效算法[7，24，36]。通过探索不同的能量公式[5，24，44]以及贝叶斯[2，9，23，47]和确定性的图像先验[28，39，43，45，52]，已经取得了框架[7，30，31]。先进的图像形成模型[14，40，48]允许超越静态模糊，并且最近已经提出了各种深度学习方法[4，15，16，25，26，35，38，41]。在其最简单的形式中，盲去卷积将模糊图像y描述为潜在模糊k与潜在清晰图像x之间的卷积。由于卷积图像形成模型，在这两个未知数之间存在固有的尺度模糊性也就是说，可以将模糊k乘以比例因子s >0并且将图像x乘以倒数因子1/s以获得相同的模糊图像y。为了消除这种不确定性，通常强加k 1= 1。然而，由于尺度是任意的，所以这种归一化的选择也是任意的3事实上，3.盲反卷积是一个数学问题，有一个相应的物理问题（图像去模糊）。从数学的角度来看，有一个模棱两可的2Meiguang Jin、Stefan Roth和Paolo Favaro| ||·|| |原则上我们可以使用任何其他范数，例如L2或Frobenius范数，并要求k2= 1。 更一般地，我们可以应用任意p-范数并约束kp=1，其中p表示Lp范数。据我们所知，很少有人注意到模糊和图像之间的尺度模糊我们表明，这种选择的重要性远远超过已经明显，因为它可以显着影响盲反卷积算法的性能正如我们稍后所证明的，更适当的归一化可以使简单的凸图像先验（诸如总变差）达到最先进的（SotA）图像质量，这在以前仅在更复杂的非凸先验的情况下是可能的[29，46]。此外，我们的计划可证明允许避免许多困难，阻碍了SotA方法的实际实施。这包括手动调整的时间表，用于在迭代、近似运算符[29]或梯度步骤中改变正则化的量贡献：我们要强调的是，我们既没有提出一个新的图像先验，也没有提出一个新的模糊先验。相反，我们（1）引入了一种具有新的一般约束的盲反卷积公式来固定尺度模糊性;（2）提供了一个数学证明，首次显示了即使在经典凸图像先验的情况下，清晰图像也优于模糊输入图像的条件;4（3）显示了所提出的尺度约束自动改变了迭代过程中图像正则化的量，避免了通常用于大多数算法中的定制设计的调谐;（4）引入两种新算法，其在准确性和鲁棒性方面实现SotA。2先前工作虽然盲反卷积已经研究了二十多年，但由于其不适定性，它因此，解决这个问题的大多数方法在正则化技术方面有所不同。常见的做法是对清晰图像x采用正则化项，其鼓励其梯度的稀疏性。这是自然图像统计研究的结果[37]。作为凸稀疏诱导先验，由Rudin，Osher和Fatemi [32]引入的用于去噪的总变差（TV）也已成为盲反卷积[5]中的有效选择尽管TV先验在实践中取得了成功，但Levin等人[22]表明它更倾向于模糊解决方案。Perrone模糊核和清晰图像之间的尺度，并且L1归一化，与任何其他任意范数一样，是固定模糊核的尺度的一种可能的选择。然而，作为物理系统的模型，模糊核对应于相机镜头的点扩散函数（PSF），并且在这种情况下，物理学指示归一化是通过L1范数[3]。因此，我们首先用任意范数解决数学问题，然后通过将其在L1方面归一化，将最终解映射到物理上有效的PSF。这样，我们从数学自由中受益，同时最终确保物理有效性。4请注意，以前的工作表明如何凸图像先验与一个L1对内核的约束不支持清晰图像作为解决方案[22，30]。归一化盲反卷积32和Favaro [30]发现交替最小化算法中的后归一化是经验成功的原因。Cho和Lee [8]表明，在某些条件下，MAP能量函数可以支持正确的解。在凸图像先验之外，已经提出了各种有效的非凸方法[7，36，44]。Wipf和Zhang [42]重新审视了正则化项应该鼓励自然图像统计的共同信念。相反，他们认为图像先验应该简单地集中在区分清晰和模糊的图像。理想情况下，这将通过L0正则化子来实现，但所得到的目标是NP难的。作为替代，他们提出了对数先验，Babacan等人 [2]成功采用了该先验。不同的L0范数近似也被提出[20，28，45]。基于补丁的方法[24，39]避开了经典的正则化器，并表现出令人印象深刻的性能。然而，由于在尺度上搜索类似的补丁[24]或在外部字典中找到尖锐的补丁[39]，它们通常需要计算。最近，由于深度学习的惊人成功，已经提出了基于神经网络的运动去模糊方法[4，35]。[4]估计要应用于输入面片的去卷积滤波器的傅立叶系数并且显示出显著的重建质量和速度。当前基于学习的方法的主要限制是它们不能很好地推广到大的模糊。传统方法在这方面仍然是优越的。在本文中，我们还提供了一个理论结果，因此集中在最简单的公式的盲去模糊，模糊的图像是卷积的结果。虽然已经允许实际应用，但真实模糊可能要复杂得多。在处理真实模糊方面取得了很大进展，例如相机抖动[9，13，38，40]，动态场景[16到目前为止，大多数方法都集中在图像先验的设计不过，各种方法还考虑了基于L1或L2惩罚的模糊先验[4，6，7，20，24，39，44，45]，以鼓励估计的模糊核是稀疏的或阻止平凡解（即，估计的清晰图像等于模糊输入）。Zhang等人 [49]最近的工作与我们的关系最为密切。它们还对模糊核施加单位Frobenius范数约束。他们的分析需要一个显式的解决方案的潜像给定的模糊内核，这是具有挑战性的获得，并需要近似（例如，模糊稀疏性）。相比之下，我们的分析不需要显式解;我们提出了一个新的证明电视前，考虑家庭的规范化，我们包括一个积极的约束模糊。最后，我们证明了尺度模糊性可以被固定，使得即使是简单有效的凸图像先验也能产生优于[49]的SotA结果，同时可证明避免了平凡的解决方案。3盲解卷积投盲反卷积的经典方法[5]是优化mink，x|y-kx|2+λ|x|2su bjectto|K|1=1，k≥0，（1）当λ>0时，k ≥ 0时，则在ionparametr，k≥0时-negativity，andd|x|2，i，j|xij|2-D不包括离散化的TV[32]。这是为了-4Meiguang Jin、Stefan Roth和Paolo Favaro≥2| |2| |||| || ||·|≥||||| | |∇|模拟出现了不同的修改在几个作品[5，30，44]。它的一个有利的性质是，该问题是凸的，在模糊k时，sharpimagexisfixedandd，viceversa，itisco nvexinxwhen enenfixingΣk. Tosee这是，而不是这是在这个问题上|K|1=1且k≥0等于ki=1k0。因此，收敛性分析和几种计算效率高的算法，如交替最小化，可用于这类问题[12]。不幸的是，已知全局求解上述公式不起作用[22，30]，即，它无法恢复清晰的图像。具体地，简并解（k=δ，x=y）产生比真实解更小的能量我们现在示出，引入不同的尺度归一化约束允许将这样的公式变换成成功地恢复尖锐潜像的公式然后，我们介绍了两种算法：一种是用来研究不同的尺度归一化，而另一种是计算效率。都实现了标准合成和真实数据集上的SotA结果3.1尺度归一化约束如上所述，由于盲去模糊问题的固有尺度模糊性，经由k1= 1固定尺度约束是任意选择。因此，让我们考虑更一般的尺度归一化kp=1，其中p表示Lp范数。然后，我们的具有Lp约束的公式变为minw，z|y-w*z|2+λ|塞兹|2su bjectto|W|p=1，w≥0，（2）其中，为了与问题（1）的符号区别，我们已经分别使用w和z来表示模糊核和潜像。该公式照原样是不期望的，因为当求解模糊核w时，由于Lp约束，它不是凸的然而，我们现在展示如何转换这个公式，使所有的交替最小化步骤涉及凸优化。首先，让我们将pair（k，x）转换 为 o （ w ， z ） viak ， wi 。 |W|1 和 dx ， |W|1z.Thus ，w*z=k*xanddkp=|W|p/|W|1 . 一、在问 题（2）中对w的约束下 ，我们有kp=1/|W|1 .一、然后，上述定义加上问题（2）中对w的约束等价于新的约束k 0，k1=1，w=k/1。|K|p，z=kpx.由于k和w之间以及x和z之间的关系是1对1，我们得到mink，x|y-kx|2+λ|K|p|x|2su bjectto|K|1=1，k≥0，（3）现在对p≥ 1和一个固定的x在k中是凸的.注1. 问题（3）与问题（1）的经典公式几乎相同，除了修改的正则化项λ kpx2。权重λ现在由模糊k的Lp范数缩放。当模糊k接近狄拉克δ时，正则化将是最高的，并且当模糊k接近均匀时，正则化将是最低的因此，清楚的是，当p>1时，所提出的归一化不等同于经典的L1情况备注2. 我们用映射变换了问题（2）|K|P= |W|p/|W|1和x，w1z的关系转化为问题（3）。因此，问题（3）中的潜在模糊k总是被估计为如问题（1）中的有效PSF归一化盲反卷积52|−∗|u +v=||−|≥ −|≥ −22Σ-||=. Σi，ji、jp22p2IJIJX然后，第一个问题是p>1的选择是否对上述盲去卷积公式中的解的集合带来任何在下面的命题中，我们证明了p≥2时确实如此。1.提案 假设真实清晰图像X的梯度为i.i.d. 零均值高斯和真实模糊核k具有有限支持。 给定具有真实模糊k的模糊图像y=k*x，问题（3）使得对于p ≥ 2，真实模糊/图像对（k，x）相对于平凡无模糊对（δ，y）具有更高的概率。证据两种解都使数据项ykx2=0并满足约束条件。因此，目标函数中剩下的唯一项是联合先验|p|x|2（在规则参数λ>0时不可能）。|2(notethattheregularizationparameterλ>0canbeignored). 我 们 需要看到 |δ|p|伊|2≥|K|p|x|二、 Blurterm|K|p：Thisterm可以保持原样。模糊项|δ|p：我们。有这个|δ|p=1，p∈Z.清晰的图像|x|2：Letusdefinnexij=[uijvij]。如果使用图上的所有点，则在uij，vijN（0，σ2）处。我们奥布特艾恩|xij|2=22X2，其中X2de不等于√heChi-sqardist tribu-有两个自由度。其均值为µX=π/ 2σ，方差为2=（2 − π/2）σ2。注意，因为只有两个自由度和Gauss是一个可变的具有随机性的函数，它将ΣoequiΣvalent传递到Rayleh这是一个很好的例子。 一旦我们需要评估|x|二、Ni=1Mj=1 |2，w e t h en|2,wethen需要计算MN个独立卡方（或瑞利）范围的和Domvariables. 通过使用Chebyshev的不等式，我们可以对任意ξ > 0进行编码1σ22P（/MNx2µX<ξ）1近似X/MN因此，对于足够大的MN. π|2 MN|2≃MN会有很高的概率成立。2σ（4）√Blrryimageprior|伊|2：Letusdef ine|yij|二、（k*u）2+（k*v）2so泰合|伊|2=i，j|yij|二、在each（ku）i处，j=m，nkm，nui−m，j−n这是一个带有变量σ2的零部件|K|二、 但是，我们都知道，|yij|2这是一个Chi-squareddist t ridri d i s t r i d i d i s t r ididistidis t i e d i sti e d i s t i s t i ie e i i s t i st|K|2和dvarianceσ2=（2π/2）σ2k2。 因此，无需额外注意像素（i，j），因为相邻项可能不是独立的。我们用它作为一个finiteW×H的sump i，up p或k的t。我们不知道|yij|2我是从我的办公室来的|yi+|Ω|，j|二、这意味着我们将应用这些内容Σi、j|yij|2=ΣWp=1 ΣHq=1 Σi、j|p+Wi，q+Hj|二、通过应用程序-Σ模拟Eq.（4）我们有|∇yMN√π|≃σ|K|最后Σ WΣHMN√πi、jp+Wi，q+Hj2√π武汉22|2≃ |2≃p=1q=1WH2σ|K|2=MN2σ|K|二、通过将所有内容放入其中，我们有这个|δ||伊|√πMNσ|K|√π≥MNσ|K|≃ |K||x|这是沸腾的dowto|K|2≥|K|p，其中，当p ≥2时，该值为真。我们可以为您收集数据|2≥|K|2|x|2≥|K|p|x|如果n y p ≥ 2，且具有较高的概率，则M N为|2fora nyp≥2withhighprobabilitywhenMNisσ22p6Meiguang Jin、Stefan Roth和Paolo Favaro足够大了。⊔⊓归一化盲反卷积7≥222这个结果表明，通过改变尺度归一化约束，我们已经将具有平凡全局解的问题（1）转换为问题（3），其中平凡解不再优于真实解。注意，最优解将作为数据项和图像先验之间的折衷给出为了充分评估我们的规模归一化约束的影响，我们提出了两种算法来最小化问题（3），并在标准数据集上进行测试3.2Frank-Wolfe（FW）算法由于命题1，我们现在可以尝试全局地解决问题（3）。我们建议使用交替最小化方法，并运行每个交替步骤，直到收敛。通过将迭代索引表示为t0，我们首先通过xt=argminx|y−ktx|2+λ|Kt|p|x|2（5）与L-BFGS-B算法[50]具有框约束（施加x ≥ 0和在每个像素处X彡1然后，我们解决kt+1=argmink|y−k*xt|2+λ|K|p|xt|2su bjectto|K|1=1，k≥0（6）Frank-Wolfe算法（FW）[10]算法初始化为k0=δ。我们不知道解决上述交替最小化问题的每个步骤的任何现有盲去卷积方法(6)没有近似。注意，在FW算法中，我们不使正则化权重λ与迭代索引t适配。我们还没有发现当潜在模糊用Diracδ初始化并且正则化参数固定时能够收敛到正确核的如果目标的全局最小值是退化解（k=δ，x=y），则这确实是不注意，在迭代期间以启发式方式改变正则化意味着改变意图最小化的原始成本函数3.3后归一化（PN）算法正如我们将在实验中看到的，FW算法往往收敛缓慢（尽管仍然比许多其他SotA方法快）。作为更有效的实现，我们考虑Chan和Wong [5，30]的方法因此，我们得到一个交替梯度下降法。我们尽量减少E[x，k]，|y-kx|2+λ|K|p|x|2（7）关于x和k，通过在xt=xt−1−xxE[xt−1，kt−1]（8）和kt=kt−1−kkE[xt，kt−1]，k〜t=max{0，kt}anddkt=kt/|k~t|第一章 （九）8Meiguang Jin、Stefan Roth和Paolo Favaro| || | |∇|| |x |2| 2≥步长为x，k>0。该方法称为PN，是一种近似求解器，因为模糊的顺序更新不对应于交替最小化[30]。尽管如此，当应用于问题（1）时，它已被证明表现良好（尽管不是SotA结果）。在我们的实验中，我们表明，新的L2模糊归一化问题（3）可以大大提高其性能。与FW算法一样，我们用k0=δ初始化模糊。第三条问题（3）中的先验λ k px 2在清晰图像估计期间具有非常重要的作用。由于模糊在x的估计期间是固定的，因此我们可以将λ kp视为正则化权重。该权重随着k的更新而改变，进而影响清晰图像的正则化量因为我们用Diracδ初始化模糊，所以初始正则化是最高可能的。然后，随着模糊逐渐远离Dirac δ，正则化的量减少。正则化权重的这种退火类似于在其他方法[2，23，30，31]中使用的启发式调度然而，请注意，在我们的情况下，我们以严格的方式从目标（并通过定义模糊初始化）获得这种理想的效果。还要注意的是，我们的比例约束是不同的，从增加一个L2罚款的模糊使用在以前的工作[6、7、24、39、44]。在我们的情况下，模糊更新受TV正则化器的影响，从而在迭代中调整模糊正则化的量备注4. FW与PN。 FW和PN都是盲反卷积算法。FW是一个精确的优化，在这个意义上，它优化了原来的目标。相反，PN使用近似算法来最小化原始目标。因此，在下面的部分中，我们使用FW来证明理论和准确性。在实验部分，我们主要使用PN，因为它的收敛速度比FW快3倍，而不会损失太多的精度。4尺度归一化分析我们的第一个实验是验证命题1经验时，梯度统计，tics是非高斯。我们使用整个BSDS数据集[1]（500个图像）并随机生成100个不同的模糊，如[4]中所示，以产生三元组（模糊图像y，清晰图像x，模糊核k）。我们不添加任何噪声，使得每个三元组满足卷积模型。然后我们计算先验比|δ|p|伊|2至p分析先验多频繁地有利于真实清晰图像（即，，比值大于1）。图图1a示出了先验比率的平均值和标准偏差以及其最小值（即，，最差情况）。我们观察到对于p2先验总是有利于估计如高斯图像统计的命题1所指示的清晰图像的（在所有样本上，并且特别地，也在最坏情况下）。接下来，我们探索不同的选择p（1和4之间）的FW和PN算法。我们从BSDS数据集[1]中随机选取12张图像，并将它们与[33]中的6张模糊图像组合，以生成合成模糊图像。如[23]所提出的，我们在估计的潜在清晰图像上计算平方差和（SSD）比率 我们设置x= 0。005且k= 0。001. λ被调谐为归一化盲反卷积9平均误差最小值比= 1固态硬盘误码率52017.5415312.51027.5512.50.90.80.70.60.50.40.300.81.21.622.42.83.23.64p范数00.81.21.622.42.83.23.64p范数0.21.21.622.42.83.23.64p范数（一）（b）第（1）款（c）第（1）款图1：（a）图像先验比的评估|δ|p|伊|2/|K|p|x|2在BSDS数据集上的三元组（模糊图像y，清晰图像x，模糊内核k）上[1]。该图显示了不同p值的先验比的平均值、标准差和最小值。当计算的先验比大于1时，图像先验有利于清晰图像。这总是p≥2的情况。（b）针对6个模糊[33]，对12个BSDS图像[1]进行不同尺度归一化的评估。我们绘制了不同p值的FW和PN方法的SSD误差比的平均值和标准差。通过p=2实现最小的SSD错误率。（c）由于p范数引起的模糊偏差的评估。 对于不同的p值，我们绘制权重α∈ [0，1]（即，凸组合kα=αk*+（1−α）kunif的系数，其中kα具有最小MSE。当p增加超过2时，α减小，并且估计的模糊朝向均匀移动。这示出了倾向于平滑模糊核的明显偏置，并且因此导致过度锐化的图像重建。每个p-范数以获得最佳性能;模糊被初始化为Dirac δ。我们省略了p= 1的FW方法的结果，因为它卡在平凡解上。请注意，FW方法的收敛速度比PN慢。两种算法的结果示于图1中。1b. 我们观察到p= 2在不同的Lp范数中表现最好。我们最后的评估是要表明，大的p值往往会引入均匀模糊的偏差。为此，我们将来自BSDS数据集的图像与模糊k*相结合，然后解决盲解卷积问题以估计不同p值的模糊核k在获得不同p值的结果之后，我们首先将估计的模糊在空间上与真实值k*对齐，然后在一组示例内核中找到最佳匹配。为了测量偏差，我们从真实模糊k*和均匀模糊kunif的凸组合生成示例集，即，kα=αk∈[0，1]+（1−α）kunif.然后，我们搜索每个p的 最 佳 α ， 使 得 kα 与 相 应 的 估 计 模 糊 相 比 具 有 最 小 均 方 误 差（MSE）。我们在56个不同的图像/模糊对上重复这个实验，并在图中绘制不同p值的不同α权重的平均值和标准差1c. 我们观察到，随着p增加超过2，估计的模糊逐渐朝向均匀模糊移动，因此示出了不期望的偏差。观察所得到的图像，该偏置最初导致过度锐化的潜像，然后当p足够大时导致伪影。对于p2，我们还观察到更多的偏差，源于这种p-范数的算法的不稳定性，因为它们并不总是有利于真正的解决方案而不是平凡的解决方案（图2）。1a）。PN：平均PN：最大FW：平均FW：最大|p|伊|2 /（|K |p|x|（二）|2)α10Meiguang Jin、Stefan Roth和Paolo Favaro×（a）输入（b）[24]（c）PN（d）输入（e）[31]（f）PN(g)输入（h）[39]（i）PN（j）(m)输入（n）[4]（o）PN（p）输入（q）[29]（r）PN图2：从测试中的最佳表现者获得的结果的视觉比较。SUN数据集[39]。我们为每个表现最好的人挑选最坏的结果，并显示我们的PN方法的相应输出。我们的最坏情况结果如（f）所示(a)投入（b）[44]（c）[4]（d）[39]（e）[24]（f）[29]（g）[31]（h）图图3：来自BSDS数据集[1]的一个示例图像，使用不同的方法进行测试。考虑到较大的p产生更大的偏差（图1）。1c）和p = 2是最小的值，为前一贯有利于真正的解决方案（图。1a）可以解释为什么在实践中表现最好的选择是p = 2（见图1b）。（见第1b段）。5实验我们在标准SUN去模糊数据集[39]上测试了我们的算法，该数据集包含80个平均大小为1024 768像素的图像，这些图像已经用[22]中的8个模糊进行了合成评估使用[23]的平方差和（SSD）比率。我们用各种方法估计内核，包括我们的方法，并使用EPLL [51]来获得最终的潜在清晰图像。Michaeli Irani [24]指出，错误率低于5的结果可以被认为是视觉上令人愉快的。我们遵循这一原则，将错误率高于5视为失败案例，并计算每种方法的失败案例数以量化其鲁棒性。在我们所有的评估中归一化盲反卷积1110099989796959493929190SunPerroneChakrabartiMichaeliPanPN12345678910SSD错误率10099989796959493929190353025201510512345678910SSD错误率0IM1im2im3IM4平均值图4：左：整个SUN数据集上SSD错误率的累积分布中间：小型BSDS数据集上SSD错误率的累积分布[1]。 Right：Q u antatvere r e t a ltso n t h eK¨o hleretal. [19]I'msorry.表1：整个SUN数据集的定量比较[39]（640张模糊图像）。方法平均误差比最大错误率失败案例[7]第七话9.198113.491224Krishnan等人[20个]12.015142.668475Levin等[23日]6.69544.171357Sun等人[39]第三十九届2.58135.76544[44]第四十四话3.81775.03698[31]第三十一话2.1148.5177查克拉巴蒂[4]3.06211.57664迈克尔·伊朗尼[24]2.6179.18530Pan等人[29日]1.91423.27911PN2.2996.7648FW2.1956.2138SotA性能的准确性，最坏情况下的错误，和鲁棒性噪声，除了一种情况下，我们实现了第二位。这突出了盲去卷积中归一化的重要性。图2显示了我们提出的PN方法与SUN数据集上其他性能最佳的算法之间的一些视觉比较[39]。 其他方法的结果来自于对所有数据页的处理。 我们pick的w或st输入图像的每一个算法，并显示相应的结果与我们的PN算法获得。可以看出，该算法在大多数情况下是成功的。我们的算法的最差输入图像与[31]相同（图1）。2f）。虽然在这种情况下SSD比率高于5，但我们的结果在视觉上仍然令人愉快。鲁棒性为了更好地理解我们算法的鲁棒性，我们在图中显示了整个SUN数据集[39]中SSD错误率的累积分布。4（左）。我们观察到，我们的算法是与其他SotA方法。更重要的是，我们看到，我们的算法饱和到100%f，因为与其他方法相比，我们的算法的SS D或R操作比其他方法小。此外，大多数我们的故障具有低于6的SSDer或比率。只有一个失效案例高于6，如图所示。2楼此外，在表1中，我们显示了SUN数据集上所有方法的平均错误率，最大错误率我们提出的孙旭PerronePanChakrabartiMichaeliFWBlurryFergusKrishnanShanHirshWhyteChoXu等人潘燕PN累积分布累积分布平均PSNR10Meiguang Jin、Stefan Roth和Paolo Favaro××××表2：小型BSDS数据集[1]（72张模糊图像）的定量比较。方法平均误差比最大错误率失败案例Sun等人 [39]2.64815.15212[44]第四十四话3.64522.27213[31]第三十一话2.0937.4934查克拉巴蒂[4]3.76811.8099迈克尔·伊朗尼[24]3.45823.00114Pan等人 [29]2.05813.5163Yan等人 [46]2.02212.2373母语归一化2.2117.8213权重衰减（启发式）2.5918.7622二级模糊先验（经典）2.4877.9534PN2.0114.6760FW1.9834.3870完整BSDS数据集[1]的定量比较（3000张模糊图像）Pan等人 [29]2.95668.976325PN2.06724.09194方法在平均错误率和失败案例数方面排名第二和第三，但在最大错误率方面排名第一和第二，这突出了它们的鲁棒性。此外，我们的方法需要非常少的调整参数（并且在迭代过程中不需要调整正则化权重λ）。挑战模糊。虽然[22]中的8个模糊看起来很逼真，但模糊大小的范围仅从13 13到27 27，这是有限的。因此，为了额外评估所有算法的鲁棒性，我们创建了一个由从BSDS数据集随机挑选的12个图像组成的小数据集[1]。我们从[33]中收集了6个模糊，这些模糊也是真实记录的。模糊大小范围从21 21到4141.因此，我们的数据集包含72个模糊的图像，我们已经添加1%零均值高斯白噪声，如SUN数据集[39]。我们通过运行每个算法来估计模糊核，然后使用EPLL [51]来获得最终的潜在清晰图像。图3示出了所有方法之间的一个视觉比较。我们观察到，由于缺乏强边缘，许多方法无法估计正确的模糊。尽管如此，PN算法是足够鲁棒的，以提供良好的模糊估计，然后恢复一个愉快的潜在清晰图像。 定量结果在表2中给出，并且表明我们的方法在所有三个度量（平均错误率、最大错误率和失败案例的数量）中始终优于我们的FW和PN算法成功的所有72个图像。图4（中间）显示了所有竞争对手的SSD错误率的累积分布。我们观察到FW和PN算法执行很好.在90%的所有情况下，我们的FW和PN算法获得低于3的错误率。我们还仅评估了PN方法和SotA方法[29]，完整的BSDS数据集（来自500个清晰图像的3000个模糊图像，具有6个模糊内核）。表2显示了我们的方法在完整BSDS上的好处是均匀的12Meiguang Jin、Stefan Roth和Paolo Favaro表3：在具有加性噪声（原始意味着没有添加噪声）的Levin的数据集[22]（32个模糊图像）上的Sort A的（非模糊L2图像）的Qutitivicap r is〇n（n〇rmi zedL2errr）。方法原始百分之一百分之二百分之三百分之四百分之五[44]第四十四话3.9594.1324.9205.2325.6235.785Pan等人[29日]3.7954.0084.6584.9585.3255.368Yan等[46个]3.7903.9014.5624.9465.2785.342PN3.7883.8153.9114.0984.1884.202表4：K？h？l er数据集上存储器的Quatitivecon（PSNR）[19] (48模糊图像）下的附加噪声（原始意味着没有添加噪声）。方法原始 百分之一百分之二百分之三百分之四百分之五[44]第四十四话29.47526.60225.20221.52318.78517.239Pan等人[29日]29.55127.88326.81222.11619.15218.021Yan等[46个]29.59527.92126.85522.14319.16618.100PN29.613 29.113 27.890 25.156 22.892 21.544比在较小的子集上更明显 对于两个数据集，我们始终使用相同的参数λ = 0。016并应用多尺度金字塔方案[24，29，31，39，46]来加速我们的PN和FW算法的收敛我们运行500和80次迭代，在每个规模的PN和FW算法，分别。L2与L1模糊归一化。为了观察L2规范化的有效性，我们在BSDS测试集上比较了提出的问题（3）和经典问题（1）对于问题（1），我们采用与先前工作[29，31，46]中使用的相同的正则化权重方案通过从强正则化开始，这些方法避免了平凡解（k=δ）。尽管如此，我们观察到问题（1）的SSD比率为2。21（0. 2比我们的PN更差）和三个失败示例，其在表2的第二块中示出因此，我们的L2模糊归一化方案优于标准的L1归一化。原则性与启发式权重衰减。作为附加测试，我们修改L1模型以更接近地模仿问题（2）的正则化。具体地，我们用模糊核的L2范数人为地缩放正则化权重λ然而，在该修改中，模糊估计与问题（1）（具有后归一化）一样被执行 该改进算法在BSDS数据集上的SSD比率为2。59，几乎是0。6比问题（2）更差此外，如表2的第二块所示，它有2个失效案例这从经验上证明了我们在问题（2）中的精确公式比启发式权重衰减规则更好。与加性L2范数模糊先验的比较我们将显式L2模糊正则化项添加到问题⑴中的目标函数，如SotA方法[24，29，39，44，46]中那样。 此修改的SSD错误率为2。48和4个失效示例，我们在表2的第二块中报告K？ohler' s d at as et t（r e al d at a）.我们评估了我们对Ko¨hleretal的full d at的评价。 [19]第10段。Quntittivereults和每个执行的检查归一化盲反卷积13|−|| |(a) 模糊输入（b）Xu& Jia [44]（c）Pan et al. [29]（d）通知书图5：在[19]和[21]的两个真实图像上，与PN方法相比，[44，29]的结果的视觉比较。前两行分别显示了来自[19]的原始图像及其添加2%噪声的版本的去模糊结果。示于图4（右）和图。6.虽然该数据集包含来自相机抖动的模糊，但FW和PN算法产生视觉上令人愉快的估计。注意，这两种算法都不是针对这种非均匀模糊明确设计的。噪声灵敏度。我们在SEC的数值分析。4是基于如[29]中的无噪声图像。值得注意的是，所有的实验都显示在SEC。5在数据集（SUN和BSDS）上进行，其中添加了1%零均值高斯噪声（表1和2）。为了定量评估我们的方法的噪声敏感性，我们对Levin[ 22]和Ko？hle r [ 19]的方法进行了改进，分别采用定量比较是如 表 3 和 表 4 所 示 模 糊 核 估 计 误 差 被 测 量 为 正 态 化 的 L2err 或 kk2/k2，其中k是估计值，k是地面实况。请注意，原始数据集（无添加噪声）的定量比较也显示在图中。4（右）。另外，两个视觉比较在图5的第1行和第2行中示出了原始图像和1%噪声水平图像上的噪声水平。图3的第三行示出了对真实噪声图像的一个视觉比较。5.我们观察到我们的方法比SotA方法[29，44，46]表现更好，并且总体上对噪声也不太敏感。比较[49]。最后，我们比较最近的L2模糊归一化方法张等人。[49]。具体来说，我们比较莱文等人的数据集。[22]，包含32个真实的模糊图像，[49]的作者提供了结果。我们发现我们的核估计的归一化L2误差的平均值明显优于[49]（3. 七百八十八对五。452）。事实上，我们的结果在32个估计值中的每一个上都始终优于[49]。14Meiguang Jin、Stefan Roth和Paolo Favaro××××图6：我们的PN方法在[19]中相机抖动的真实图像上的最坏情况失败示例。上图：模糊的输入。中：来自[29]的结果底部：PN的结果。局限性。所提出的方法的一个当前限制是速度。为了处理内核大小为41 41的400 400模糊图像，我们在PN和FW算法的设置（Intel Core i7-3635 QM，16 G RAM）上的未优化Matlab代码分别在大约2分钟和6分钟内估计模糊内核，而C++实现的方法[44]仅需要不到10秒。尽管如此，我们的方法比其他最近的竞争方法快约3和10 [29，31]。此外，由于每个交替迭代的凸性，我们相信计算性能可以进一步提高。在图6中，我们在真实图像上显示了一些最坏的故障情况，并将我们的结果与[29]的SotA方法的结果进行了前两行显示了大模糊和饱和度情况下的结果在这些情况下，我们的结果不如[29]的结果尽管如此，我们的PN算法的重建伪影仍然是可以接受的，这表明其对噪声和饱和的鲁棒性。6结论我们已经介绍了一种新的规模归一化技术的基础上Lp规范盲去模糊，并显示分析和数值的选择p= 2避免平凡的解决方案，挑战了以前的工作。我们证明了我们的尺度归一化可以被解释为一个重新缩放的经典目标，其中正则化自适应加权的模糊核的范数所得到的方法在概念上是简单的，避免了常见的启发式调整的正则化，不同的数据集上的实验显示SotA图像重建的准确性和非常高的鲁棒性。鸣谢。MJ和PF感谢瑞士国家科学基金会对项目200021 153324的支持归一化盲反卷积15引用1. Arbelaez，P.，Maire，M.，C.C.福克斯Malik，J.：轮廓检测和分层图像段。IWARNETPAMI33（5），8982. Babacan，S.D.，莫利纳河做吧，M.N. Katsaggelos，A.K.：贝叶斯盲反卷积与一般稀疏图像先验。In：ECCV（2012）3. Born，M.：光学原理-光的传播、干涉和衍射的电磁理论（7。编辑）。剑桥大学出版社（1999）4. Chakrabarti，A.：一种盲运动去模糊的神经方法In：ECCV（2016）5. Chan，T.F.，Wong，C.：全变分盲反卷积。02 The Dog（1998）6. Chaudhuri，S.，Velmurugan河Rameshan，R.M.：盲图像去卷积Spuringer（2014）7. Cho，S.Lee，S.：快速运动去模糊。ACM Trans.Graph. （二零零九年）8. Cho，S. Lee，S.：基于映射的模糊核估计的收敛性分析。In：ICCV（2017）9. 费格斯河辛格湾Hertzmann，A.，Roweis S.T.弗里曼，W.T.：从单张照片中删除照相机阴影。 ACMTrans. Graph. 25（3），78710. Frank，M. W