没有合适的资源?快使用搜索试试~ 我知道了~
基于超高斯场的图像去模糊方法
基于超高斯场的Yuhang Liu1(https://orcid.org/0000-0002-8195-9349)、Wenyong Dong1、DongGong2、Lei Zhang2和Qinfeng Shi21湖北武汉大学计算机学院{liuyuhang,dwy}@ whu.edu.cn2澳大利亚阿德莱德大学计算机科学学院{dong.gong,lei.zhang,javen.shi}@ adelaide.edu.au抽象。图像盲去模糊是一个具有挑战性的问题,由于其不适定性的性质,其成功与否与适当的图像先验密切相关。虽然大量的基于稀疏性的先验,如稀疏梯度先验,已被成功地应用于盲图像去模糊,他们固有的几个缺点,限制了他们的应用。现有的基于稀疏性的先验通常植根于对图像对一些特定滤波器(例如,图像梯度),这不足以捕获复杂的图像结构。此外,传统的稀疏先验或正则化对滤波器响应(例如,图像梯度)独立,因此不能描述它们之间的长程相关性。为了解决上述问题,我们提出了一种新的图像先验图像去模糊的基础上的超高斯场模型与自适应结构。代替对固定短期滤波器的响应进行建模,所提出的超高斯场通过对所有集团上的电势进行积分来捕获自然图像中的复杂结构(例如,以每个像素为中心)为联合概率分布。考虑到在不同尺度上的固定滤波器对于图像去模糊的由粗到细的框架是不切实际的,我们将每个势函数定义为超高斯分布。通过这种定义,配分函数,传统的MRF的诅咒,理论上可以忽略,并且所提出的超高斯场的所有模型参数可以从具有变分框架的模糊观测中进行数据自适应学习和推断。盲去模糊和非盲去模糊的实验结果表明了该方法的有效性。1介绍图像去模糊涉及在给定模糊观测时对清晰图像的估计一般来说,这个问题可以形式化如下:y=kx+n,(1)其中,模糊图像y是通过将潜像x与模糊核k进行卷积而生成的,表示卷积算子,并且n表示噪声破坏。当核函数k未知时,该问题称为盲图像去模糊(BID),反之,称为非盲图像去模糊(NBID)。 结果表明,这两个问题都是高度不适定的。因此,为了获得有意义的解决方案,潜像x上的适当先验是必要的。2Y. Liu,W.Dong,D.贡湖,澳-地Zhang和Q.石(a)(b)(c)(d)(e)图1:来自[1]的挑战性示例的去模糊结果(和PSNR值)。从左到右:模糊图像(22.386),Cho和Lee [2](22.611),Xu和Jia [3](22.782),Pan et al. [4](26.259),Ours(27.5427).已经发现,对特定滤波器的图像响应的统计可以很好地将底层结构描述为先验。最具代表性的例子之一是自然梯度域中的稀疏特征,它传达了图像对一些基本滤波器的响应[-1,1],并且表示自然图像的局部空间相干性。受此启发,广泛流行的方法[5-13]已经开发了各种稀疏先验或正则化,以强调梯度域中潜像的稀疏性以用于去模糊。第2节将介绍简要回顾。虽然这些方法已经取得了显著的进步,但它们的性能仍然需要改进,以满足实际应用的要求,特别是在处理一些具有挑战性的情况下。这是由这些现有模型中的固有限制的两个方面引起的。1)图像梯度仅记录图像对几个基本滤波器的响应通常,那些复杂的结构通常有利于在去模糊结果中恢复更多细节2)大多数现有稀疏先验(例如,拉普拉斯先验)或正则化(例如,p范数,0≤p≤1)独立地对每个像素上的梯度进行建模,因此无法描述像素之间的长程相关性,例如非局部相似性或甚至更复杂的相关性。不考虑这种相关性通常会导致去模糊结果中的一些不自然的伪影,如图1B所示。1.一、为了同时解决这两个问题,我们建议建立一个适当的图像前高阶马尔可夫随机场(MRFs)模型。这是由MRF的两个优势所推动的。首先,MRF可以学习滤波器的集合以确定图像的统计分布,这足以捕获复杂的图像结构。第二,MRF整合在每个集团上定义的势(即,以每个像素为中心)为概率联合分布,其能够潜在地捕获像素之间的长程相关性。然而,传统的MRF模型(例如,专家领域(FoE)[14])不能直接嵌入到常用的BID框架中,BID框架以粗到细的方案估计模糊核由于难以处理的分区函数,这些模型通常从外部图像数据库学习参数,这导致潜像对这些学习的滤波器的响应在各种尺度上不同地分布,因此无法由相同的MRF模型很好地描述例如,学习的滤波器导致细尺度上的重尾稀疏分布,而高斯分布导致细尺度上的重尾稀疏分布。基于超高斯场的3在粗糙的尺度上的分布。这就是为什么MRF模型很少用于BID的内在原因之一。为了克服这个困难,我们提出了一种新的MRFs的图像先验,称为超高斯场(SGF),其中每个潜在的被定义为一个超高斯分布。通过这样做,配分函数,传统的MRF的诅咒,可以在参数学习过程中理论上被忽略。利用该优点,所提出的M-RF模型可以无缝地集成到粗到细框架中,并且所有模型参数以及潜像可以通过变分框架从模糊观察中进行数据自适应学习和推断实验结果表明,该方法在BID和NBID两种情况下均显示出明显2相关工作2.1图像盲去模糊由于Fergus等人的开创性工作[5]在梯度空间中,稀疏先验对图像施加了稀疏性,引起了人们的关注[5-13]。例如,高斯模型的混合物由于其出色的近似能力而早期用于追逐稀疏性[5,6]。采用全变分模型,因为它可以鼓励梯度稀疏[7,8]。学生t先验被用来施加稀疏性[9]。引入超高斯模型来表示一般稀疏先验[10]。那些先验受限于它们与l1范数相关的事实。为了放宽限制,引入许多基于lp范数(其中p<1例如,Krishnan et al.[11]提出了归一化稀疏先验(l1/l2)。Xu等人[12]提出了一种新的稀疏l0近似。Ge等人[13]引入了对应于10范数的尖峰和平板先验。然而,所有这些先验都受到这样一个事实的限制,即它们假设梯度空间中的系数是相互独立的。除了上述稀疏先验之外,一系列盲去模糊方法明确地利用边缘的结构来估计模糊核[2,3,15Joshi等人[16]和Cho et al.[15]依赖于从模糊图像恢复边缘然而,他们未能估计大尺寸的模糊核为了弥补这一点,Cho和Lee [2]以从粗到细的方式交替恢复尖锐边缘和模糊内核Xu和Jia [3]进一步发展了这项工作。然而,这些方法严重依赖于经验图像滤波器。为了避免这种情况,Sun et al.[17]使用学习的补丁先验探索自然图像的边缘Lai等人[18]通过学习先验知识来预测边缘。Zhou和Komodakis [19]使用高级场景特定先验检测所有这些先验知识只探索潜像中的局部块,而忽略了全局特征。除了利用边缘,还有许多其他先验。科莫达基斯和帕拉吉奥斯[20]通过离散MRF先验来探索清晰图像的量化版本。他们的MRF先验与所提出的SG-FoE先验不同,SG-FoE先验是连续的MRF先验。Michaeli和Irani [21]通过小图像块的递归来寻求清晰的图像。Gong等人。[22,23]雇用图像梯度的子集用于核估计。Pan等人[4] Yan et al.[24]分别探索BID的暗像素和亮此外,最近已经采用了基于深度学习的方法[25,26]。4Y. Liu,W.Dong,D.贡湖,澳-地Zhang和Q.石2.2用于图像建模的高阶MRF由于梯度滤波器仅对图像结构中的一阶导数的统计进行建模,因此高阶MRF概括了传统的基于梯度的成对MRF模型,例如,聚类稀疏场[27],通过在大的最大团上定义线性过滤器基于Hammersley-Clifford定理[28],高阶MRF可以给出如下模型图像的一般形式:1p(x;Θ)=Z(Θ)YYJc∈Cj=1φ(Jjxc),(2)其中,C是最大团,X,c是团c的像素,J,j是线性滤波器,并且j = 1,…是具有取决于φ的参数Θ的配分函数,并且是势。与先前的手动定义模型参数的高阶MRF相比,FoE [14],一类高阶MRF,可以从外部数据库学习模型参数,因此在图像去噪[29,30],NBID [31]和图像超分辨率[32]中引起了高度关注3超高斯场在本节中,我们首先找出传统高阶MRF模型不能直接嵌入到粗到细去模糊框架中的原因。为此,我们全面研究了一种典型的高阶MRF模型,高斯尺度混合FoE模型(GSM-FoE)[29],并最终发现其固有的局限性。然后,我们提出了一种基于超高斯场的图像先验模型,并分析了其性质。3.1基于GSM-FoE的图像盲去模糊根据[29],GSM-FoE遵循(2)中的一般MRF形式,并且如下定义GSM的每个电势:φ(Jjxc;αj,k)=ΣKk=1 αj,kN(Jjxc;0,ηj/sk),(3)其中N(Jjxc;0,ηj/sk)表示具有零均值和方差ηj/sk的 高斯 概 率密 度函 数。sk和αj,k分别表示尺度和权重参数已经表明,GSM-FoE可以很好地描述稀疏和宽重尾分布[29]。与大多数先前的MRF模型类似,GSM-FoE的分区函数Z(Θ)通常是难以处理的,因为它需要在所有可能的图像上积分。然而,需要评估Z(Θ)以学习所有模型参数,例如, {Jj}和{αj,k}(ηj和sk通常是常数)。为了避开这个困难,包括GSM-FoE的大多数MRF模型转而通过在外部图像数据库[14,29,30]上最大化(2)中的可能性来学习模型参数,并且然后在以下应用中应用学习的图像去噪、超分辨率等然而,预先学习的GSM-FoE不能直接用于BID。这是因为BID通常采用由粗到细的框架,而响应基于超高斯场的50-5-10-150-5-100-2-4 重 尾-6-8-10-12-20-0.4-0.200.20.40.6原始尺度-15-0.4-0.200.20.40.60.7171标度-14-0.4-0.200.20.40.60.5标度0-2-4-6-8-10-12-14-0.4-0.200.20.40.60.3535比例尺0-2-4-6-8-10-12-0.4-0.200.20.40.60.25规模清晰图像(a)(b)(c)(d)图2:(a)通过将[29]中的8个学习滤波器应用于不同尺度下的清晰图像((a)中的右下角),获得具有不同颜色输出的8个分布0.7171、0.5、0.3536和0.25表示不同的下采样率。(b)-(d)顶部:不同核大小的模糊图像(依次为13×13、19×19、27×27)。底部:使用GSM-FoE的相应去模糊图像。预学习的GSM-FoE中的这些学习的滤波器的潜在图像的分布通常表示跨各种尺度的不同分布,并且因此不能通过相同的GSM-FoE先验很好地拟合。为了清楚地说明这一点,我们将GSM-FoE中的学习滤波器应用于示例图像,并在图1中示出了图像在各种尺度上的响应。2a. 我们可以发现在精细尺度(例如,原始尺度)表现出明显的稀疏性以及重尾,而在更粗尺度(例如,0.3536和0.25,下采样率)表现出类高斯分布。因此,GSM-FoE不能很好地拟合粗尺度的类高斯响应,GSM-FoE更喜欢拟合稀疏和重尾分布。在[29]中也报道了类似的观察。为了进一步证明这种分布不匹配对BID的负面影响,我们将预先学习的GSM-FoE先验嵌入到下面第4.1节中介绍的贝叶斯MMSE框架中,以处理使用不同内核大小模糊的示例图像。去模糊结果如图所示。图2b-2d。通常,具有较大核尺寸的模糊图像需要在较粗尺度下去模糊例如,具有13×13核的去模糊图像需要在0.5尺度下去模糊并获得良好的结果,因为滤波器响应在0.5尺度下表现出稀疏性和重尾,如图2a所示。然而,具有19×19核的去模糊图像获得不令人满意的结果,因为它需要在0.3536尺度下去模糊,其中滤波器响应与由GSM-FoE描绘的稀疏和重尾分布不匹配,如2a所示此外,当核大小为27×27时,由于需要在0.25尺度下进行去模糊处理,会产生更严重的分布失配,因此去模糊结果中会产生更多的伪影3.2超高斯场为了克服预先学习的MRF模型的分布失配问题并将其嵌入到粗到细去模糊框架中,我们提出了一种新的MRF先验模型,称为超高斯场(SGF),其将(2)中的每个势定义为超高斯分布[10,33],如下所示:φ(Jjxc)=maxN(Jjxc;0,γj,c),(4)γj,c≥0重尾重尾没有尾 巴没有尾 巴log2概率密度log2概率密度log2概率密度log2概率密度log2概率密度6Y. Liu,W.Dong,D.贡湖,澳-地Zhang和Q.石JJJJ其中γj,c表示方差。 与GSM类似,SG也可以描述稀疏和重尾分布[33]。 与GSM-FoE和大多数MRF模型不同,在参数学习期间可以忽略超高斯场中的配分函数。更重要的是,利用这样的优点,可以直接从每个尺度中的模糊观察中学习其模型参数,并且因此所提出的超高斯场可以无缝地嵌入到粗到细去毛刺框架中在下文中,我们详细地给出了忽略配分函数的理论结果物业1. SGF的势φ与Jj和xc有关,而与γj,c无关。因此,SGF的配分函数Z(Θ)仅取决于线性滤波器Jj。证据 如(4)所示,γj,c可以由Jj和xc确定。因此,在(4)只与J有关Q和x.此外,因为Z(Θ)=QJφ(J x)dxjcc∈C j=1jc,配分函数Z(Θ)仅取决于线性滤波器Jj,一旦积分为完了即,Θ ={J}|j = 1,…J}。操作2. Giv enj个正交向量{VJj},{VJ′j},VJj的集合 表示线性滤波器Jj的向量化的向量(Vj是通过Jj的向量的连接形成的向量), 对于SGF的配分函数:Z({VJj})=Z({VJ′j})。为了证明性质2,我们首先引入以下理论,定理1([30])设E(VTTx)是 VTTx的任意函数,定义Z(V)=∫−ΣJjJjE(VTTx)ejJj其中Tx表示Toeplitz(卷积)矩阵(例如, Jj⊗x=VTTx.) 与X。则对任意J个标准正交向量集,Z(V)=Z(V′){V J},{V′}.jJj证明(属性2)。 由于SGF的配分函数Z(Θ)仅取决于性质1中提到的线性滤波器{JJj},并且(4)中的势φ也完全满足定理1中的E(VTTx)的形式,因此容易证明性质2。基于性质1,我们不需要评估SGF的配分函数Z(Θ)以直接更新γj,c,因为Z(Θ)不依赖于γj,c。此外,基于性质2,如果我们限制在正交空间中更新Jj,则我们也可以不需要评估SGF的Z(Θ)来更新Jj4基于SGF的图像去模糊算法在本节中,我们首先提出了一种使用SGF的迭代方法,以在粗略到精细的方案中处理BID然后,我们展示了如何扩展所提出的非盲图像去模糊和非均匀盲图像去模糊。4.1基于SGF的图像盲去模糊基于所提出的SGF,即(2)和(4),我们在本节中提出了一种用于BID的新方法。与现有的一些只能估计模糊核的方法相比,我们的方法可以同时恢复潜像和模糊核。我们将在4.2节中进一步讨论。基于超高斯场的7j,c在给定模糊核的情况下,恢复潜像的常规方法是最大后验概率(MAP)估计。然而,由于图像大小的影响,MAP支持无模糊解决方案[34]。为了克服这个问题,我们引入贝叶斯MMSE恢复潜像。MMSE可以消除积分对图像的影响,如下[35]:∫x=argminx~x~−x|y,k,J,j,γj,c)dx=E(x|y,k,Jj,γj,c),(5)其等于后验分布p(x)的平均值|y,k,Jj,γj,c)。计算后验分布一般是棘手的。 传统的方法,重新排序的和-积信念传播或采样算法往往面临着高的计算成本。 为了减少计算负担,我们使用变分后验分布q(x)来近似真实的后验分布p(x|y,k,Jj,γj,c)。 可以通过最小化Kullback-Leibler散度KL(q(x))来找到变分后验q(x)。|p(x|y,k,Jj,γj,c))。这种优化相当于自由能下限的最大化:Maxq(x),k,Jj,γj,c∫F= maxq(x),k,Jj,γj,c∫q(x)log p(x,y |k,Jj,γj,c)dx −q(x)logq(x)dx。( 六)Normall y,p(x,y|(6)中的k,Jj ,γj,c)应等于p(y|x,k,Jj ,γj,c)p(x). 我们经验性地引入了一个权重参数λ来正则化先验和相似性的影响,类似于[14,29]。 在这种情况下,p(x,y|k,j,γj,c)=p(y|x,k,Jj,γj,c)p(x)λ。不失一般性,我们假设(1)中的噪声服从i.i.d. 具有零均值和δ2方差的高斯分布。推断q(x):将(6)关于q(x)的偏微分设置为零并且省略推导的细节,我们获得:-logq(x)=1xTAx−bTx,(7)2其中A=δ−2TTT+ΣλTTWT,b=δ−2TTy,其中图像x是矢量化的kkjjk这里,Wj表示对角矩阵,其中Wj(i,i)= γ−1,其中i是图像像素上的索引,对应于团c的中心,T k和T Jj分别表示具有滤波器k和Jj的Toeplitz(卷积)矩阵。类似于[10,6],为了减少计算负担,q(x)的平均值可以通过线性系统A= b来找到,其中<**>指的是* 的期望值,并且将在(9)中使用的q(x)的协方差A−1通过仅反转A的对角线来近似。学习Jj:尽管Jj与难处理的配分函数Z(Θ)相关,但是基于性质2,我们可以将学习Jj限制在其中Z({Jj})是常数的正交空间中为此,我们可以很容易地定义一个集合{Bj},然后考虑滤波器Bj的单个基集合的所有可能的旋转。 也就是说,如果我们使用B来表示其第j列是Bj的矩阵并且R表示任何正交矩阵,则Z(B)= Z(RB)。 因此,我们可以通过在条件下最大化(6)来给出更新Jj的解8Y. Liu,W.Dong,D.贡湖,澳-地Zhang和Q.石XR是如下的任意正交矩阵Rj=eigmin(BTTxWjTTB),VJ =BRj,(8)其中eigmin(*)表示*的具有最小特征值的特征向量,Tx表示与x的Toeplitz(卷积)矩阵。我们要求Rj与前面的列R1,R2,… Rj−1。学习γj,c:与更新γ j,c相比,更新γj,c更直接,因为Z(Θ)与γj,c不相关,如性质1中所提到的通过将(6)关于γj,c的偏微分设为零,我们可以容易地给出更新γ j,c的解,如下所示:γj,c= φ(Jjxc)2φ。(九)学习δ2:通过将(6)相对于δ2的偏微分设置为零来容易地执行学习δ 2。 然而,这种方式是有问题的,因为BID是未确定的问题,其中清晰图像X的尺寸大于模糊图像y的尺寸。我们引入超参数d来纠正它,类似于[36],如下所示:(y−k其中n是图像的大小。δ2=+d,(10)n恢复模糊核与现有方法类似[6,12,17],给定,我们通过求解minxk−y2+βk2,(11)k2 2其中x和y分别表示梯度空间中的潜像和模糊图像y。为了加速计算,使用如在[2]中导出的FFT在获得k之后,我们将k的负元素设置为0,并将k归一化。所提出的方法是在一个由粗到细的方式类似于国家的最先进的方法。算法1示出了所提出的方法的伪代码4.2对其他去模糊问题的扩展在本节中,我们将上述方法扩展到处理另外两个去模糊问题,即非均匀盲去模糊和非盲去模糊。非均匀盲去模糊所提出的方法可以扩展到处理非均匀盲去模糊,其中模糊核在空间域上变化[37,38]。通常,非均匀盲去模糊问题可以公式化为[37]:Vy=DVx+Vn,或 Vy=EVk+Vn,(12)J基于超高斯场的9XJJJJ算法1所提出方法的伪代码输入:模糊图像y输出:模糊核k1:初始化:k、x、Jj、B、δ2、γj、c、λ、β和d第二章: 当不满足停止标准时3: 通过(7)-(9)推断潜像X,学习滤波器Jj和方差γj,c4: 通过(11)更新模糊内核k5:通过(10)学习噪声δ26:结束while其中,Vy、Vx和Vn表示(1)中y、x和n的向量形式D是大型稀疏矩阵,其中每行包含作用于Vx以生成模糊像素的局部模糊滤波器,并且E的每列包含当Vx已知时的SΣharp图像Vk是满足Vkt≥0和tVkt=1。基于(12),所提出的方法可以处理非均匀盲通过交替地解决以下问题来解决去模糊问题∫Maxq(Vx),D,Jj,γj,c∫q(Vx)logq(V x)dV x−q(Vx)logp(Vx,Vy |D,J,j,γj,c)dV x,(13)minEVk−Vy2+βVk。(十四)Vk2 1在这里,(14)采用ys11-范数来鼓励稀疏内核,如[37]。最优q(Vx)可以通过使用类似于(7)-(9)的公式来计算,其中k被替换为D.此外,采用有效的过滤器流[39]来加速所提出的方法的实施。与大多数先前的非盲图像去模糊类似,所提出的方法可以利用预先给定的核k通过(7)-(9)处理非盲图像去模糊。5分析在这一部分中,我们证明了所提出的SGF在图像去模糊中的两个性质1)SGF中的学习过滤器是稀疏提升的。如(8)中所述,S-GF中的滤波器被估计为具有最小特征值的特征向量,即,的1滤波器是具有最小奇异值的奇异向量。这意味T1所提出的方法寻求导致VJTx(Wj)2稀疏的滤波器Jj1越好.V,j表示向量化的J,j。 因为(Wj)2是对角矩阵,T1仅缩放Tx的每一列,VJTx(Wj)2的稀疏性主要由下式确定:VTTx. 因此,所提出的方法寻找导致潜像的相应响应VJj,Tx尽可能稀疏的滤波器J,j。这可以通过图1中的视觉结果进一步说明3(a)其中图像的分布10Y. Liu,W.Dong,D.贡湖,澳-地Zhang和Q.石-一零一-0.2 00.2-0.2 0 0.2-20-0.2 00.2-20-0.1 0 0.1(a)产出(b)成果图图3:梯度空间和自适应滤波器空间在不同尺度下的输出比较(a)清晰图像的滤波器输出((b)中的右上角)在梯度空间和我们的自适应空间(通过使用(a)中右下角对应的滤波器从上到下,从左到右:原始,0.7171(采样率),0.5,0.3536,0.25尺度.右下角是我们最终获得的对应于不同尺度的滤波器。(b)从上到下,从左到右:模糊图像、清晰图像、用基本滤波器和我们的自适应滤波器估计的潜像。绘制了对这些学习的滤波器的响应。2)在每个尺度上学习的这些滤波器比在以前的方法中广泛采用的用于图像梯度的基本滤波器更强大。为了说明这一点,我们将潜像对这些学习的滤波器的响应与图中的图像梯度进行比较。第3(a)段。可以看出,那些学习的滤波器导致比梯度上的响应更稀疏的响应有了这两组滤波器,我们恢复潜像与所提出的方法。相应的去模糊结果如图所示。3(b)款。我们可以发现,这些学习过的过滤器会带来更清晰、更锐利的结果。这些结果表明,这些学习的过滤器是更强大的比基本的图像梯度过滤器。6实验在本节中,我们说明了所提出的方法的能力,盲,非盲和非均匀图像去模糊。我们首先评估其性能的盲图像去模糊三个数据集和一些真实的图像。然后,我们评估其性能的非盲图像去模糊。最后,我们报告的结果进行非均匀模糊核的模糊图像实验设置:在所有实验中,除非特别提及,否则我们设置δ2=0。002,β=20,γj,c=1e−3,d=1e−4。 为了初始化滤波器Jj,我们首先从数据集[40]中对所有图像(灰度)进行下采样以降低噪声,然后使用[29]中提出的方法在下采样图像上训练8个3 × 3滤波器Jj作为初始化。λ设定为1/8。 为了初始化基集B,我们使用白化滤波器的移位版本,其功率谱等于[30]中建议的J j的平均功率谱。除非另有说明,否则我们使用第4.2节中提出的非盲方法来给出最终的清晰图像我们在Mat中实现了所提出的方法log2概率密度log2概率密度000-5-5-5-10-10-10-15-15-15-20-20-200-5-10-150-5-10-15自适应滤波器空间梯度空间对应的滤波器基于超高斯场的11我们Babacan等人Levin等Krishnan等人Xu等人Xu和JiaCho和LeeFergus等人 Sun等人GSM-FoEOurs w/o updating filtersYanet al.110.80.60.40.80.60.40.20.21.5 2 2.5 3 3.54误差比(一)01 2 3 4 5误差比(b)第(1)款图4:对数据集[41](a)和数据集[17](b)的定量评价实验并评估具有8GB RAM的Intel Core i7 CPU的性能。我们的实现在大约27秒内处理255×2556.1图像盲去模糊实验数据集来自Levin et al.[41]:所提出的方法首先应用于广泛使用的数据集[41],其由32个模糊图像组成,对应于4个地面真实图像和8个运动模糊内核。我们将其与最先进的方法进行比较[5为了进一步验证GSM-FoE的性能,我们通过将预先学习的GSM-FoE先验集成到以下第4.1节中介绍的贝叶斯MMSE框架中来实现用于BID的GSM-FoE。我们还验证了所提出的方法的性能,而无需更新过滤器来说明更新过滤器的必要性。为了公平比较,在使用不同方法估计模糊核之后,我们使用具有[6]中相同参数的非盲去卷积算法[42]来重建最终潜像。反褶积误差比,其测量平方距离和(SSD)反褶积误差与估计的和正确的核之间的比率,用于评估上述不同方法的性能图图4a示出了误差率的累积曲线结果表明,该方法获得了最好的性能,在错误率为2的情况下,成功率为100%更详细的结果见补充材料。数据集来自Sun et al.[17]:在第二组实验中,我们使用[17]中的数据集,其中包含640张图像,这些图像是通过使用从[41]借来的8个运动模糊内核模糊80张自然图像合成的。为了公平比较,我们使用Zoran和Weiss [43]的非盲解卷积算法来获得[17]中建议的最终潜像。我们将所提出的方法与[6,2,3,11,17,21]进行比较。图图4b示出了误差比的累积曲线。我们的结果在视觉上与其他人竞争。来自K¨hler等人的数据集[1]:我们进一步实现了所提出的方法对dateset,这是模糊的空间变化模糊,借用[1]。虽然真实图像往往表现出空间变化的模糊核,许多方法,假设平移不变的模糊核可以执行得很好。我们将所提出的方法与[5,2,3,11,44,45,46]进行比较。我们Pan等人Yan等Levin等Krishnan等人徐和贾赵和李Michaeli和IraniSun等人成功率成功率12Y. Liu,W.Dong,D.贡湖,澳-地Zhang和Q.石35302520151050图像1图像2图像3图像4平均值图5:数据集的定量评估[1]。我们的结果具有竞争力。(a)模糊(b)[4]的结果(c)[24]的结果(d)我们的结果图图6:一个具有挑战性的天空补丁示例38,4]。峰值信噪比(PSNR)是用来评估他们的性能。图5示出了上述不同方法的PSNR。我们可以看到,我们的结果优于最先进的方法。比较所提出的方法,潘等人。[4] Yan et al.【二十四】:最近,基于暗通道先验的[4]中的方法示出了现有技术的结果。如图4a和5,所提出的方法与[4]中的方法在数据集L e vinetal. [41]和K¨hleretal. [1]的文件。另一方面,[4]中的方法不能处理不满足暗通道先验条件的模糊图像,例如,[46]第46话在一定程度上,Yan et al.[24]减轻了在亮像素之前的暗通道的限制然而,Yan等人的方法六、真实图像:我们进一步测试所提出的方法,使用两个真正的自然图像。在图7中,我们示出了具有未知相机抖动的真实照片的两个比较。对于模糊的图像(a),Xu et al.[12]并且所提出的方法产生高质量的图像。此外,对于模糊图像(e),所提出的方法产生比Xu和Jia [3]和Sun等人更清晰的文本周围边缘[17]第10段。6.2非盲图像去模糊的实验研究我们还使用[41]的数据集来验证所提出的方法在非盲图像去模糊上的性能,其中模糊核是参考[41]给出的在这里,我们设置δ2=1e−4,其余的参数如上文e所述进行初始化。我们比较所提出的方法对莱文等人。[42]与[6],Krishnan和Fergus [47],Zoran和Weiss [43]和Schmidt等人中的相同参数[31]第30段。Schmidt et模糊Cho和Lee Xu和Jia Shan等人。Fergus等人Krishnan等人Whyte等人Hirsch等人Pan等人Yan等人OursPSNR基于超高斯场的13(a) 模糊(e)模糊(b) Fergus等人[五]《中国日报》(f)Xu和Jia [3](c)Xu等人[12个](g)Sun等人[17个](d)我国(h)我们图7:来自[5]和[3]的具有未知相机抖动的两个示例图像10.80.60.40.20020406080SSD(a)(b)(c)(d)(e)(f)(g)图8:数据集的定量和定性评价[41]。(a)SSD的累积病史。(b)-(h)展示一个具有挑战性的例子。从左至右:Blurred SS-D:574.38,Levin等人[42] SSD:73.51,Krishnan和Fergus [47] SSD:182.41,Zoran和Weiss [43] SSD:64.03,Schmidt等人。[31] SSD:64.35,我们的SSD:44.61。al. [31]和所提出的方法基于高阶MRF。不同之处在于Schmidt et al.[31]使用GSM-FoE模型,但我们使用所提出的SGF。SSD还用于评估不同方法的性能。图8示出了在挑战性示例上我们可以看到,Zoran和Weiss [43]和所提出的产生竞争性的结果。此外,如表1所示,与Zoran和Weiss [43]相比,所提出的方法获得了更低的平均SSD和更少的运行时间。此外,与基于GSM-FoE的 Schmidt等人相比[31],我们的SG-FoE获得了更好的结果,并且需要更少的运行时间。6.3非均匀图像去模糊实验在最后的实验中,我们评估所提出的方法的性能与非均匀模糊核的模糊图像。对于非均匀去模糊环,(14)中的β设定为0.01。 A gain,初始化γj,c=1e−3,Jj,λ和B与盲删除相同。我们比较所提出的方法与Whyte等人。[37]和Xu etal.[12]第10段。图9我们Levin 等Krishnan 和Fergus Schmidt等人佐 兰 和韦 斯成功率14Y. Liu,W.Dong,D.贡湖,澳-地Zhang和Q.石Levin等平均SSD 30.20[42]卓然与魏24.60ss [43] Schmidt等人25.43[31]克里希南和费尔82.35美国[47]21.77时间1093093>100006485表1:数据集上的平均SSD和运行时间[41]。(a) 模糊(e)模糊(b) Whyte等人[37]第三十七届(f)Whyte等人[37]第三十七届(c)Xu等人[12个](g)Xu等人[12个](d)我国(h)我们图9:非均匀盲去模糊结果。示出了具有非均匀模糊核的两个真实自然图像和去模糊结果。该方法生成的图像具有更少的伪影和更多的细节。7结论为了捕捉复杂的图像结构进行图像去模糊,我们分析了传统高阶MRFs模型无法处理BID的原因。为了克服这个问题,我们提出了一种新的超高斯场模型。该模型包含两个令人兴奋的属性,属性1和属性2在第3.1节中介绍,因此在参数学习期间理论上可以忽略配分函数利用这一优势,提出的MRF模型已被集成到盲,非盲和非均匀盲图像去模糊框架。大量的实验证明了该方法的有效性。与以前的基于固定梯度的方法相比,所提出的方法在自适应稀疏促进滤波器空间中探索稀疏性,使得其显著地表现良好。有趣的是,利用自适应稀疏促进过滤器空间的其他方法,在未来的BID。鸣谢本论文部分得到了国家自然科学基金(No. 61672024、61170305和60873114)和澳大利亚研究理事会资助(D-P140102270和DP 160100703)。余杭获得了国家留学基金管理委员会的奖学金。基于超高斯场的15引用1. Kohler,R.,Hirsch,M., Mohle r,B., Scho ¨ l k opf,B.,Harmeling,S.:相机抖动的记录和回放:用真实世界的数据库对盲反卷积进行基准测试。欧洲计算机视觉会议。Springer(2012)272. Cho,S. Lee,S.:快速运动去模糊。收录于:ACM SIGGRAPH Asia 2009论文。(2009)145:1-145:83. 徐,L.,Jia,J.:用于鲁棒运动去模糊的两阶段核估计。欧洲计算机视觉会议。(2010)1574. Pan,J.,孙,D.,Pfister,H.,Yang,M.H.:使用暗通道先验的盲图像去模糊。IEEE计算机视觉与模式识别会议(2016)16285. 费格斯河辛格湾Hertzmann,A.,Roweis S.T.弗里曼,W.T.:从单张照片中消除相机ACM Transactions on Graphics25(25)(2006)7876. Levin,A.,Weiss,Y.,Durand,F.,弗里曼,W.T.:有效边际似然优化盲解卷积在:IEEE计算机视觉和模式识别会议(2011)26577. Babacan,S.D.,莫利纳河Katsaggelos,A.K.:基于全变分先验的变分贝叶斯盲反卷积。IEEE Transactions on Image Processing18(1)(2009)128. Perrone,D. Favaro,P.: 全变差盲解卷积:细节决定成败。于:IEEE计算机视觉与模式识别会议(2014)29099. Tzikas,D.,Likas,A.,Galatsanos,N.:t先验的变分贝叶斯盲图像反卷积。IEEE图像处理国际会议。(2007年)10910. Babacan,S.D.,莫利纳河做吧,M.N.Katsaggelos,A.K.:一般稀疏图像先验的贝叶斯盲反卷积欧洲计算机视觉会议(2012)34111. Krishnan,D.,泰,泰Fergus,R.:使用归一化稀疏性测量的盲反卷积在:IEEE计算机视觉和模式识别会议,IEEE(2011)233- 24012. 徐,L.,Zheng,S.,中国科学院,Jia,J.:自然图像去模糊的非自然l0稀疏表示。IEEE计算机视觉与模式识别会议(2013)110713. Ge,D.,Idier,J.,Carpentier,E.L.:基于mcmc的盲贝努利高斯反卷积的增强采样方案。信号处理91(4)(2009)75914. Roth,S.,布莱克,M.J.:专家领域。国际计算机视觉杂志82(2)(2009)20515. 小周T. S巴黎,S.,Horn,B.K.P.,弗里曼,W.T.:使用Radon变换的模糊核估计。IEEE计算机视觉与模式识别会议。(2011年)第241-248页16. Joshi,N.,塞利斯基河克里格曼,D.J.:使用锐边缘预测的Psf估计。IEEE计算机视觉与模式识别会议。(2008年)117. 孙湖,加-地Cho,S.王杰,Hays,J.:基于边缘的模糊核估计使用补丁先验。IEEEInternational Conference on Computational Photography(IEEE计算摄影国际会议)(2013)118. Lai W.S.丁JJ林宇宇Chuang Y.Y.:使用归一化颜色线先验的模糊核估计IEEE计算机视觉与模式识别会议。(2015)64-7219. Zhou,Y.,(1996年),中国科学院,Komodakis,N.:一种使用高级边缘先验的盲去模糊的地图估计框架欧洲计算机视觉会议。(2014)14220. Komodakis,N.,Paragios,N.:基于mrf的图像盲解卷积。亚洲计算机视觉会议。(2013)36121. Michaeli,T.,Irani,M.:使用内部补片递归盲去模糊。欧洲计算机视觉会议。(2014)78316Y. Liu,W.Dong,D.贡湖,澳-地Zhang和Q.石22. Gong,D.谭,M.,张玉,亨格尔动静脉畸形Shi,Q.:自动梯度激活的图像盲解卷积在:IEEE计算机视觉和模式识别会议(2016)182723. Gong,D.谭,M.,张玉,van den Hengel,A.,Shi,Q.:稳健盲图像去模糊的自定步核估计。国际计算机视觉会议(Int
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 计算机二级Python真题解析与练习资料
- 无需安装即可运行的Windows版XMind 8
- 利用gif4j工具包实现GIF图片的高效裁剪与压缩
- VFH描述子在点云聚类识别中的应用案例
- SQL解释器项目资源,助力计算机专业毕业设计与课程作业
- Java实现Windows本机IP定时上报到服务器
- Windows Research Kernel源码构建指南及工具下载
- 自定义Python插件增强Sublime文本编辑器功能
- 自定义Android屏幕尺寸显示及Ydpi计算工具
- Scratch游戏编程源码合集:雷电战机与猫鼠大战
- ***网上教材管理系统设计与实现详解
- Windows环境下VSCode及Python安装与配置教程
- MinGW-64bit编译opencv库适配Qt5.14
- JavaScript API 中文离线版手册(CHM格式)
- *** 8 MVC应用多语言资源管理技巧
- 互联网+培训资料深度解析与案例分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功