没有合适的资源?快使用搜索试试~ 我知道了~
3047∥∗ −∥Wiener导引DIP无监督盲图像反卷积Gustav Bredell1Ertunc Erdil1Bruno Weber2EnderKonukoglu11计算机视觉设计师y,ETHZürich 2苏黎世大学{gustav.bredell,ertunc.erdil,ender.konukoglu} @ vision.ee.ethz.ch摘要盲解卷积是从显微镜到天文学的各个领域它的不适定性质要求有充分的先验知识和初始化,以得到理想的解.最近,已经表明深度网络可以在无监督盲解卷积优化期间用作图像生成先验(DIP),然而,DIP为了更好地利用DIP的盲图像去卷积能力,我们建议在优化过程中使用维纳反卷积锐化图像,同时引入高频伪影,与低频特征和锐边缘相比,高频伪影由DIP以延迟再现,类似于针对噪声所观察到的。我们将计算过程嵌入到一个约束优化问题中,并结合一个自动核初始化方法,表明该方法在多个数据集上具有更高的性能和稳定性。1. 介绍模糊的图像可能会出现由于许多因素,从相机运动的光学设置。在许多情况下,生成模糊图像IB可以被建模为清晰图像IS与核k的卷积,如等式(1)所示。(一)ISk+η=IB,(1)模糊图像地面实况Michaeli等人[20] Perroneet al. [25日]Ren等人[27]第二十七话图1:激励示例显示,虽然现有方法产生伪影和模糊结果,特别是在背景中的树木周围,但W-DIP产生与地面真实图像最相似的结果。这是Eq。(二)、2其中η是噪声,* 是卷积算子。如果k已知最小IS k IBIS,k+R(IS)+R(k)(2)则可以执行去卷积以恢复原始清晰图像,并且这被称为非盲去卷积。然而,在实践中k通常是未知的,并且需要与IS一起估计。该盲反卷积问题的不适定性质需要关于清晰图像和/或核的强先验,以避免具有估计,满足Eq.(1),但不是给定模糊图像的清晰版本一种可能的最优化公式-其中R(k)和R(k)分别是图像和核的先验各种各样的前科被认为在Eq中正则化问题(1)以这样一种方式,即在感兴趣的空间中找到一个解[11,5,15,36,40,22]。常见的先验知识包括图像梯度的稀疏性约束和k的L2范数,以避免平凡的解决方案。在这些常见先验之上或替代这些常见先验,最近的研究提出了更高级的术语,如暗通道先验[23]。3048输入至DIP DIP输出iter 100iter 300iter 500图2:(左)视觉动机,放大时最明显,其中模糊图像(顶行)和使用标准高斯(而不是地面真值内核)去卷积的图像(底行)都是通过DIP重建的可以看出,模糊图像的重建保持模糊,而对于去卷积图像,高频伪影被去除,从而导致更清晰的图像。(右)使用DIP的盲去模糊的优化被示出,没有Ren等人。[27],引导。用作指导的去卷积图像显示在最右列中。可以看出,随着迭代次数的增加,引导防止了次优解。此外,引导图像或基于边缘的补丁先验[30]。虽然这些精心构造的先验是强大的,但它们在完全封装清晰图像的属性方面仍然有限。近年来流行的另一种方法是学习从模糊图像到清晰图像的映射。如果在一个域中有一个具有匹配的清晰图像及其相应模糊版本的大型数据集,则可以训练网络来学习域内的成功映射[12,39,31]。还有一些方法将学习的映射与经典先验结合起来作为额外的损失[38],或者学习先验并将其纳入经典盲反卷积框架[17,1]。然而,这些方法的成功往往局限于训练图像的域。Ulyanov等人最近的一个有趣的见解。[32]显示神经网络架构具有固有的图像生成先验,称为结果表明,某些卷积神经网络可以再现噪声,图像的高频部分,与图像的低频部分相比具有迭代滞后。在以前的工作中,DIP抑制高频伪影已被用于提高逆问题的恢复性能[19,2]。然而,当前DIP对盲解卷积的适应性Ren等将DIP用于 盲 图 像 反 褶 积 。 [27] 通 过 具 有 卷 积 神 经 网 络(CNN)来生成对清晰图像的估计,即,DIP和一个估计内核的全连接网络(FCN)。通过联合优化两个网络,得到了令人满意的盲反卷积结果。虽然作者注意到可以在文章中添加基本的正则化项,但仅使用等式中的数据拟合项可能会获得最佳结果(2)由于此版本是在已发布的代码中发布的。仅通过数据拟合项或仅通过添加不适当的正则化项来使用DIP的主要缺点是,单独使用DIP不能从作为输入的模糊图像中产生清晰的图像,正如我们用图1左侧的示例所证明的那样。2.相反,与清晰图像相比,DIP更快地适应模糊图像,如[9]所示因此,没有合适先验的基于DIP的盲去卷积遭受两个主要问题:(i)在多次运行和初始化中的性能波动,(ii)对难以预先确定的关键超参数的敏感性,特别是要估计的内核的大小,如我们在表1中进一步阐述的。2. Kotera等人[9]提出要完善[27]第二十七话DIP w/guidence,Guiding image,W-DIP去卷积的图像模糊图像3049Uθ,×∥∗−∥θ,θ,kθΣΣ我在[27]上通过用高斯和使用多尺度处理初始化内核生成器,而Li等人。[16]提出了一种体系结构变化以及采样方法。然而,这两种方法都没有明确地利用DIP的强度来去除盲图像去卷积的高频伪影在这项工作中,我们希望利用DIP的关键能力,利用高频伪影抑制的能力在图的左边。2我们在底行中显示,维纳反卷积[34]引入的高频伪影最初被DIP抑制。因此,去卷积图像可以用作图像生成器的有用指导。与其他图像锐化方法(如反锐化掩蔽[26])相比,使用维纳反卷积获得模糊图像的锐化版本的优点在于锐化与生成模糊图像的内核相关联贡献:基于这一见解 , 我 们 提 出 了 维 纳 引 导 的 深 度 图 像 先 验 ( W-DIP),这是一种盲去卷积方法,其利用模糊图像的维纳去卷积来引导图像生成器(DIP)通过约束优化模型。在此指导下,我们明确地利用DIP的高频抑制能力来提高盲图像反卷积的稳定性和性能。为了实现这一点,我们定义了一个辅助内核来将维纳反卷积应用于给定的模糊图像,并强制反卷积图像与网络生成的清晰图像相似。该约束允许图像生成器网络在优化期间早期具有逼真的锐利目标图像此外,辅助核被约束为类似于一般核。Lai [13],合成显微镜[28]以及包含没有已知内核的真实模糊图像的数据集[13]。此外,我们还进行了消融研究,以研究我们框架中每个元素的贡献。2. 方法2.1. 背景Ren等人首次提出利用DIP进行盲图像反卷积。[27]达到了最先进的性能它由用于生成清晰图像估计的CNNfθ和用于生成内核估计的FCNgθ组成。网络参数θ和θ的优化问题定义为:min<$fθ(zI)<$g<$(zk)−IB<$2+T V(fθ(zI))(3)在[27]中,zI和zk是从(0,1)采样的随机向量。然而,在已发布的代码中,建议删除TV项,并在以下情况下从MSE损失切换到结构相似性指数度量(SSIM)1k次迭代,这也被Kotera等人证实。[9]的文件。2.2. 该方法所提出的方法的可视化可以在图中看到。3a.在SEC的激励下。1中,我们用维纳反卷积后得到的反卷积图像来约束fθ产生的清晰图像估计。约束条件在Eq.(四)min<$fθ(zI)<$g<$(zk)−IB<$2所生成的核以强制所生成的核对模糊图像进行去卷积,使得其清晰。我们使用半二次分裂来解决约束优化问题θ,服从<$fθ(zI)−W(IB,g<$(zk))<$2=02(四)丁(HQS)方法,优化网络参数其中W(I ,k)= F−1{|F{k}|F {IB}},F是傅立叶B| F{k}|2 + C F和辅助核交替使用。图1,我们提出了一个鼓舞人心的视觉例子,以显示改进的去模糊性能相比,现有的方法在文献中和图的右边实现的W-DIP。2.视觉上显示出该方法增加的稳定性。transform,C是常数。为了允许灵活的内核初始化,我们重写Eq。(4) 通过引入大小为n n的辅助核k并使用如下的HQS方法:minfθ(zI)g<$(zk)IB2θ,θ,k因此,我们的贡献是双重的:在满足条件f(z)−W(I,k)2=0(五)• 我们表明,通过在优化过程中使用维纳反卷积,可以利用DIP的高频抑制能力,以获得一个高度稳定和准确的盲图像去模糊。• 我们表明,辅助内核的初始化是至关重要的,并提出了一个初始化策略,可以自动适应任何数据集。k=g(zk)利用拉格朗日乘子法将约束优化问题转化为min<$fθ (zI)<$g<$ (zk)−IB<$2+α<$fθ (zI)−W(IB,k)<$2n n我们通过将我们的性能与五个不同数据集上最先进的盲反卷积算法的性能进行比较来研究我们的贡献:[30]第十四章:一个人的世界+β(g <$(z k)i,j-k i,j)2+ λ<$k<$2.i=B30501j =1(六)3051W-DIPSelfDeflurθ,ΣΣQQ2NΣΣminα<$fθ(zI)−W(IB,k)<$KNk大小K指导没有指导(a)方法概述(b)稳健性比较图3:a.)所提出的方法W-DIP的概要。生成网络fθ生成清晰图像的估计,而gθ生成核估计。另外,辅助核k和模糊图像通过维纳反卷积以强制核生成清晰图像。红色变量被优化以最小化Eq.(六)、(b) 对于Levin等人的三次运行,示出了具有(W-DIP)和不具有维纳反卷积引导的DIP盲反卷积的性能。[14]数据集。可以看出,维纳反卷积制导稳定了性能。其中α和β是惩罚权重。注意,除了等式中的约束之外,(5),我们在k上添加具有权重λ的正则化。此外,请注意,我们使用平方误差的总和(5)等式(6)由于内核成本是大小相关的,即,对于较大的核大小,它趋于较低,而对于较小的核大小,它趋于较高,因为核的总和为1。最后,我们以HQS建议的交替方式优化网络参数(θ,θ)和辅助变量k,以最小化等式中的损失函数。(6),同时保持α、β和λ不变。通过保持k固定来更新参数(θ,θ),反之亦然:min<$fθ(zI)<$g<$(zk)−IB<$2+α<$fθ(zI)−W(IB,k)<$22.3. 内核初始化核k的初始化是一个重要的参数,因为不适定优化任务的起点在k的先验知识不可用的情况下,从给定模糊图像IB获得估计可能是有用的。我们建议通过查看IB的功率谱密度(PSD)来实现这一点。根据卷积定理,PSD越集中,模糊核可能如果没有关于k的形状的先验信息,我们用高斯初始化它,并通过查看图像的PSD来确定高斯的方差,(九)、n n+β(g)i=1i =1(zk)i,j-ki,j)ΣΣ|F(y)|i、j=T,Gy=F−1[N(0,Q2)](9)(七)i=1j=12σ=1<$σ(Gi),kKi=1我=N(0,σ×k)(10)n n (8)+β(g<$(zk)i,j−ki,j)2+λ<$k<$2i=1i =1注意,由于内核大小估计通常大于实际内核以避免将内核限制为不足够的大小,因此k和g_k(z_k)可以表示相同的内核,但是彼此是移位的版本。虽然这两个内核估计是可取的,并满足第一和第二项在方程。(6)而β加权的核匹配项由于核之间的平移而产生较大的损失为了避免这一点,我们在计算内核匹配项之前对齐内核。该过程在补充文件中有更详细的描述。对于每个图像,我们计算PSD并计算到中心的距离Q,其中包含PSD质量的特定阈值T。然后,我们在傅立叶域中以计算出的距离作为方差构造高斯,并对构造的高斯应用逆傅立叶变换。这导致图像特定的Gy,其是图像y的大小 为了便于优化,通过降低内核的维度,将G y裁剪为内核大小的估计值,然而,Gy的大小在傅立叶域中将保持不变。为了减少图像特定特征的影响,计算由N个图像组成的数据集上的平均方差σk,此外,通过核大小估计值ksizei对方差进行归一化y2大小y3052×××对于相应的图像,如在Eq.(十)、然后,通过用核大小估计值缩放σk 来构造初始ky ,如等式(1)所示。(十)、3. 实验结果数据集:我们在四个广泛使用的自然图像数据集和我们创建的合成显微图像数据集上评估W-DIPLevin等人[14]引入了具有4个清晰图像的数据集,每个清晰图像与8个不同的内核卷积,从而产生32个模糊图像。Sun等人[30]使用相同的模糊内核,但将清晰图像从4扩展到80,从而产生总共640个图像。图像也是灰度的,如Levin等人所述。[14]但它们明显更大。Lai等人[13]由五个不同的图像类别组成,即:人为、饱和、文本、人与自然。每个类别包含五个大的清晰的彩色图像,对应于类别名称,并与大小从31 31到75 75的大内核模糊。 这导致总共100个模糊图像。此外,我们定性评价对现实世界的模糊图像提供赖等。[13]其中模糊过程是未知的。最后,我们介绍了一个数据集的合成显微镜图像,模糊与合成内核。四个清晰的合成图 像 取 自 Schneider 等 人 的 模 拟 。 [28] 并 裁 剪 为 255255。 它们被Levin等人的一个核模糊化。[14]和其他三个内核,可以在补充资料中找到。核的大小和形状与双光子显微镜中预期的点扩散函数相似[3]。这总共导致16个模糊图像。实施详情:所提出的方法是不-在PyTorch中实现[24]。我们使用Adam [7]进行交替优化中的两个优化步骤,每个优化步骤具有不同的学习率和学习器。对于第一个优化步骤,在方程。(7),我们将初始学习率设置为1e-4,并在Ren等人的实现之后,在迭代2K,3 K和4K时将其乘以0.5。[27]第10段。在Eq. (8),我们使用了稍低的学习率和依赖于内核大小n的调度器。其原因是,由于网络是随机初始化的,且输入是噪声,因此由fθ产生的清晰图像的初始估计值比由Wiener反卷积得到的清晰图像的初始估计值更差,因此θ和ω应与k和W(IB,k)相适应。随着第一次优化的估计变得更加可靠,k的自适应速度通过增加其学习速率而增加。估计的核大小n越大,从而图像的模糊度越大,(7)因此,为了得到可靠的解决方案,我们包括n作为用于学习速率自适应的参数。 我们开始第二个优化步骤,初始学习率1e−6,在第70×(n/10)次迭代后将其增加10倍,并在接下来的两次50×(n/10)次迭代后再增加两次培训是在在内部GPU集群上,主要由GeForce GTX TITAN X和12GB内存组成。对于所有评估,我们运行了5k次迭代的优化,除了显微镜图像,其中2k次迭代足以达到峰值性能。此外,我们将权重参数设置为:α=1e−3,β= 1e−4,λ=1e−3。这些参数在所有时间段内保持不变。实验,除非另有说明,并确定通过优化Levin等人的四个性能,[14]图像。在所有实验中,我们将维纳反卷积中的C设置为0.025的固定值。此外,对于Renet al.[27]除此之外,还有一种说法,就是太阳。[30]由于数据集的大小很大,实验运行了三次以考虑随机性。报告了三次运行的平均值。我们不对Ren等人执行非盲去卷积。[27]和W-DIP,因为已经表明卷积神经网络生成的图像与非盲解卷积版本的图像相当我们没有与Kotera等人进行任何比较。[9]因为代码不是公开的,并且论文中使用的评估指标与文献中常用的评估指标不同。评价指标:为了评价去卷积算法的性能对于Levinetal. [14]数据集,我们还包括错误率(E-Ratio)度量[15]。此外,对于显微镜图像,从生物学角度来看,血管结构是在去除极端像素值的预处理步骤后,可以通过Otsu阈值分割[21]获得这些血管的结构。然后,使用Dice系数[29]量化地面实况和估计清晰图像的分割重叠。3.1. 框架调查3.1.1消融研究为了确保所提出的框架的每个组件都是必要的,我们进行了消融研究,其中α、β和λ的权重分别设置为零。此外,我们将k的初始化设置为uniform,以评估其初始化的重要性我们对自然图像数据集[14]以及构建的显微镜数据集[28]进行了消融研究,如表1所示1.一、可以看出,当控制图像匹配项的贡献的权重α设置为零时,两个数据集中的性能损失最大。该下降经验性地证明了在所提出的方法中维纳去卷积的指导的重要性。当控制内核匹配项的贡献的β被设置为零时,性能损失不太明显。即使它是微妙的,下降是观察到的所有3053Michaeliet al. [20] Perroneet al. [25] Pan-DCPet al. [23日]Ground Truth Xuet al.[36] Renet al. [27]第二十七话图4:Lai等人的目视结果。[13]将W-DIP与五个基线进行比较。与其他方法相比,W-DIP的结果更清晰,尤其是在岩石周围。度量,表明该术语在该方法中也起对于显微镜和自然图像,我们看到在第二优化步骤中L2范数对k的影响是最小的,然而我们包括正则化以确保避免平凡的delta函数作为内核。最后,我们还比较了k(k0=Uni)的均匀初始化与所提出的初始化,并观察到所提出的初始化在所有指标上都提高了性能。3.1.2耐用性研究为了研究维纳制导是否能提高DIP盲解卷积的稳定性,我们进行了两个实验。在第一个实验中,我们运行了Ren等人。[27]我们的方法在Levin等人的模型上运行了三次。[14]数据集,每次运行使用不同的随机种子这两种方法的性能波动可以在图中看到。3b.可以看出,性能波动是相当少的,我们的方法相比,不使用维纳指导,如在任等人。[27]第10段。这也反映在三次运行 的 PSNR 的 平 均 方 差而 Renet al. [27]PSNR 方 差 为7.18,我们的方法方差为2.71。在第二个实验中,我们模拟了一个现实的场景,其中优化中使用的估计内核大小方法PSNR SSIM DICE%W-DIP33.58±2.70.9288± 3.9e−4-α= 032.74±8.7 0.9086±4.1e−3-β= 033.44±4.4 0.9265±1.6e−3-λ=033.55±2.60.9298±3.6e−4-k0=Uni32.99±9.3 0.9137±4.9e−3-W-DIP20.80±7.9 0.3977±2.8e−276.1±7.7α= 018.97±18 0.3502±3.6e−265.9±12β= 020.5±9.7 0.3833±2.9e−274.97±9.2λ=020.71±9.0 0.3972±2.8e−275.86±8.2k0=Uni20.39±9.6 0.3867±3.2e−272.16±9.4表1:Levin等人[14]顶部部分和显微镜数据集底部部分。为了评估我们框架中每个组件的贡献,我们通过将相应的权重设置为零来研究当组件被忽略时性能的变化。方差报告在均值的右侧。比实际的内核要大得多。围绕显微镜数据集的四个核的紧拟合框将是13×13、35×35、21×21和27×27。在这里,我们用零填充将这些内核扩展到15×15,分别为41×41、31×31和37×37。 在选项卡中。2 the3054×××Ren等人[27]示出了在显微镜数据集上微调的W-DIP和W-DIP。微调是通过在两个模糊的显微镜图像上优化我们方法的权重(α,β,λ)来完成的,我们得到了权重α=1e−2,β=1e−1,λ=1e−2。 可以看出,当内核大小估计是对于我们的方法,在不准确的内核大小估计的情况下,性能下降明显较少。此外,微调两个模糊图像上的权重(α,β,λ)可以进一步改善结果。方法大小估计值PSNR SSIM DICE%Ren等人[27]坏k大小y19.190.35467.5良好k尺寸y21.21 0.4143 83.27差异-2.02-0.0603-15.77W-DIP坏k尺寸y20.8 0.3977 76.1好k尺寸y21.69 0.4141 82.9方法PSNRSSIMe比率时间k已知35.420.95761.000-[5]第五章30.290.89731.8601.395Levin等人[15]*30.900.91731.75978.26Krishnan等人[11]*29.870.86802.5498.940Xu等[36]*31.270.91481.6081.184Zuo等人[40]*32.420.93531.33411.00Pan等人[23]*32.880.93861.232295.2Sun等人[30]*33.100.93851.363191.0Chen等人[4]*31.730.92361.40765.20杨继[37]*32.040.912-354.0Ren等人[27日]33.010.91341.207220.0W-DIP33.500.92701.087280.6表3:Levin等人[14]数据集,同时与其他现有技术的盲去卷积方法进行比较。方法旁边的星号表示使用找到的内核执行非盲反卷积[15]。在SSIM方面也优于所有基线-差异-0.278-0.0124-1.65表2:在没有维纳-去卷积指导的情况下DIP去模糊的性能,Ren等人。[27],我们的方法和我们的方法微调(W-DIPFT)的显微镜数据集上显示了不同的内核大小估计。3.2. 定量和定性结果3.2.1Levin等人[14]数据集我们评估我们的算法上的莱文等人。[14]数据集,并将其与其他最先进的无监督盲解卷积方法进行比较[11,5,15,36,30,40,23,37,4,27]。结果见Tab。3. Yang和Ji [37]没有报告他们的平均E比,因此该指标缺失。与其他盲反卷积方法相比,W-DIP方法在峰值信噪比和误码率方面都优于基线方法由于第二优化步骤仅需要在小的参数空间上进行优化,因此计算成本仅略大于Ren等人的计算成本。[27]而且仍然低于其他方法[23,37]。与其他基线(如Pan等人)相比,SSIM评分较低。[23]可以通过SSIM度量来解释,该SSIM度量有利于过平滑图像,如可以在柔顺性中看到的。虽然强平滑可能对小图像有益,但我们在Laiet al.[13]数据集,它是没有好处的更具挑战性的数据集,我们而Levinet al. [14]数据集限于32幅图像和相对较小的内核,13至2727以及小灰度图像,255255号Lai等人[13]数据集包含大内核和大颜色图像. 为了处理彩色图像,我们利用与Ren等人相同的方法。[27]通过将图像分别分割到YCbCr通道中,并且仅针对Y通道进行优化。此外,数据集被划分为不同的图像类别,我们也可以单独检查,如选项卡中所示。4.我们与其他最先进的盲去卷积基线[5,35,36,20,25,22,23,37,6、27]。尽管其他基线(如Yang和Ji [37])对于特定类别(如本例中的“自然”)表现得非常好一个示例图像可以在图中看到。4.该图显示,我们的方法为给定图像创建了最少的伪影。3.2.3Sun等人[30个]我们还进行了一个大型数据集上的实验,由Sun等人。[30]包含640幅大型图像。结果表明,W-DIP更稳定,在所有图像中产生更低的方差5.定性比较可以差异-0.886-0.0164-6.8Ric.W-DIP FT错误的k大小y21.840.40782.9好k尺寸y22.120.419484.553.2.2Lai等人[13]数据集3055[20]第二十三届中国国际纺织品博览会[27]图5:来自Lai等人的真实世界模糊示例。[13]数据集比较我们的方法与三个基线。方法人造饱和文本人自然平均[5]第五章16.35/0.389014.05/0.492714.87/0.442919.90/0.556020.14/0.519817.06/0.4801[35]第三十五话19.23/0.654014.79/0.563218.56/0.717125.32/0.851723.03/0.754220.18/0.7080Xu等[36]*17.99/0.598614.53/0.538317.64/0.667714.40/0.813321.58/0.678819.23/0.6593Michaeli等人[36]*17.43/0.418914.14/0.491416.23/0.468623.35/0.699920.70/0.511618.37/0.5181Perrone等人[25]*17.41/0.55014.24/0.510716.94/0.59222.77/0.734721.04/0.67618.48/0.6130Pan-DCPet al. [23]*18.59/0.594216.52/0.632217.42/0.619324.03/0.771922.60/0.698419.89/0.6656Pan-L0等. [22]*16.92/0.531614.62/0.545116.87/0.603023.36/0.782220.92/0.662218.54/0.6248杨继[37]*19.99/0.59917.04/0.60520.35/0.76227.22/0.86124.33/0.69221.79/0.704考夫曼·法塔勒[6]18.94/0.51715.18/0.59917.85/0.71727.05/0.83322.05/0.58620.22/0.650Ren等人[27日]19.39/0.666018.55/0.706623.21/0.775427.49/0.817221.81/0.658522.09/0.7247W-DIP19.51/0.665318.66/0.721722.48/0.783228.35/0.858623.47/0.756222.49/0.7570表4:对Lai等人[13]数据集。算法的性能按图像类别显示,斜线左侧的PSNR值和右侧的SSIM值分别显示。方法旁边的星号表示使用找到的内核执行非盲反卷积[10,33]。粗体和带下划线的指标分别是最佳和次佳结果。在补充中找到。Liu等[18]没有报告其方差或SSIM,因此这些指标缺失。方法PSNR SSIMLiu等[18] 28.5-Ren等人[27] 28.8± 7.4 0.7383± 8.6e−3W-DIP29.07±6.7 0.7465±6.3e−3表5:平均PSNR和SSIM值及其在Sun等上的相应变化。[30]数据集。3.2.4具有未知模糊的对于真实世界的应用,模糊操作通常是未知的。可能会出现更复杂的模糊操作,例如为了研究W-DIP在这些具有挑战性的图像上的性能,我们将性能与图中的基线[20,23,27]进行了五、可以看出,我们的结果与Ren等人的结果很接近。[27],而在这张图片上表现优于其他基线。更多的定性比较见补充资料。此外,我们调查了在何种程度上,特别是非均匀模糊可以解决与我们的方法。初始实验表明,我们的方法也可以潜在地处理小的空间变化的模糊,并显示在软文中。4. 结论和限制本文提出了一种无监督的盲图像反卷积方法,通过维纳反卷积指导DIP的优化,以获得更稳定和增强的去模糊性能。我们在五个不同的数据集上进行了实验,消融研究已用于验证我们框架的拟议组件。结果表明,W-DIP在图像质量和训练稳定性方面改进了现有方法。尽管我们在稳定性方面实现了显著的改进,但计算时间很长,并且可能通过硬件改进以及未来对网络复杂训练范例的研究来解决。此外,在这项工作中,我们没有定量地研究非均匀模糊图像的性能。这可能是当前方法的一个挑战,因为在数据拟合项和反卷积中使用了均匀模糊操作未来的工作可以尝试将该方法扩展到不同的模糊操作。3056引用[1] 穆罕默德·阿西姆,法赫德·沙姆沙德,阿里·艾哈迈德。使用深度生成先验的盲图像反卷积。IEEE Transactionson Computational Imaging,6:1493[2] Pasquale Cascarano , Andrea Pastiani , Maria ColombaComes,Giorgia Franchini,and Federica Porta.结合加权全变分和深度图像先验,通过admm进行自然和医学图像恢复。arXiv预印本arXiv:2009.11380,2020。[3] Emmanuelle Chaigneau , Amanda J Wright , Simon PPoland,John M Girkin和R Angus Silver。波前畸变和散射 对 哺 乳 动 物 脑 组 织 双 光 子 显 微 术 的 影 响 Opticsexpress,19(23):22755[4] Liang Chen,Faming Fang,Tingting Wang,and GuixuZhang.基于局部最大梯度先验的图像盲去模糊。在IEEE/CVF计算机视觉和模式识别会议论文集,第1742-1750页[5] 赵成贤和李承京。快速运动去模糊。ACM SIGGRAPHAsia 2009论文,第1-8页,2009年[6] 亚当·考夫曼和拉南·法塔勒分析-综合网络对去模糊。在IEEE/CVF计算机视觉和模式识别会议论文集,第5811-5820页[7] Diederik P Kingma和Jimmy Ba。Adam:随机最佳化的方法。arXiv预印本arXiv:1412.6980,2014。[8] 罗尔夫·科勒,迈克尔·赫希,贝蒂·莫勒,伯恩哈德·肖尔·科普夫和斯特·弗·安·哈梅林。相机抖动的记录和回放:用真实世界的数据库对盲反卷积进行基准测试。欧洲计算机视觉会议,第27-40页。Springer,2012.[9] JanKotera,FilipSroubek ,andV a'cla vSm'idl. 改进的神经盲反卷积。2021年IEEE图像处理国际会议(ICIP),第1954-1958页。IEEE,2021。[10] Dilip Krishnan和Rob Fergus使用超拉普拉斯先验的快速图像去卷积。神经信息处理系统的进展,22:1033[11] Dilip Krishnan、Terence Tay和Rob Fergus。使用归一化稀疏性度量的盲去卷积。见CVPR 2011,第233-240页。IEEE,2011年。[12] OrestKupyn、VolodymyrBudzan、MykolaMykhailych 、 DmytroMishkin 和 Jiˇr´ıMatas 。Deflurgan:使用条件对抗网络进行盲运动去模糊。在IEEE计算机视觉和模式识别会议论文集,第8183-8192页[13] Wei-Sheng Lai , Jia-Bin Huang , Zhe Hu , NarendraAhuja,Ming-Hsuan Yang.单幅图像盲去模糊的比较研究。在IEEE计算机视觉和模式识别会议论文集,第1701- 1709页[14] 李文,李文。理解和评估盲反卷积算法。2009年IEEE计算机视觉和模式识别会议,第1964-1971页IEEE,2009年。[15] Anat Levin , Yair Weiss , Fredo Durand 和 William TFree-man。盲去卷积中的有效边际似然优化。参见CVPR 2011,第2657-2664页。IEEE,2011年。[16] 纪璃、南月松、慧姬。基于蒙特卡洛采样的无监督学习盲图像反卷积。反问题,38(3):035012,2022.[17] 李仁汉,潘金山,赖伟胜,高长新,桑农,杨明轩。基于深度判别先验的图像盲去模糊。国际计算机视觉杂志,127(8):1025[18] 刘军,明炎,曾铁勇。表面感知盲图像去模糊。IEEEtransactionsonpatternanalysisandmachineintelligence,43(3):1041[19] GaryMataev , PeymanMilanfar , andMichaelElad.Deepred:由红色供电的深度图像。在IEEE/CVF计算机视觉研讨会国际会议论文集,第0-0页[20] Tomer Michaeli和Michal Irani使用内部补片递归盲去模糊 。 在 欧 洲 计 算 机 视 觉 会 议 上 , 第 783-798 页 。Springer,2014.[21] 大津信之一种基于灰度直方图的阈值选取方法。IEEEtransactions on systems , man , and cybernetics , 9(1):62[22] Jinshan Pan , Zhe Hu , Zhixun Su , Ming-HsuanYang.10-正则化的强度和梯度先验,用于对文本图像和其他图像进行去模糊 。IEEE Transactions on PatternAnalysis and Machine Intelligence,39(2):342[23] 潘金山,孙德清,汉斯佩特·菲斯特,杨明轩.使用暗通道先验的盲图像去模糊。在IEEE计算机视觉和模式识别会议论文集,第1628-1636页[24] Adam Paszke 、 Sam Gross 、 Francisco Massa 、 AdamLerer 、 James Bradbury 、 Gregory Chanan 、 TrevorKilleen 、 Zeming Lin 、 Natalia Gimelshein 、 LucaAntiga 、 Alban Desmaison 、 Andreas Kopf 、 EdwardYang 、 Zachary DeVito 、 Martin Rai son 、 AlykhanTejani 、 Sasank Chilamkurthy 、 Benoit Steiner 、 LuFang、Junjie Bai和Soumith Chintala。Pytorch:一个操作 风 格 的 高 性 能 深 度 学 习 库 。 In H.Wallach , H.Larochelle、A. B e ygelzime r、F. d'Alch e´-Buc、黑腹拟杆 菌 E. Fox 和 R. Garnett , 编 辑 , Advances in NeuralInformation Processing Systems 32,第8024Curran Asso-ciates,Inc.,2019年。[25] Daniele Perrone和Paolo Favaro。全变分盲去卷积:魔鬼在 细 节 中 在 Proceedings of the IEEE Conference onComputer Vision and Pattern Appraisition,第2909-2916页[26] 安德烈·波隆、乔瓦尼·兰波尼和V·约翰·马修斯。通过自适应反锐化掩模的图像增强。IEEE图像处理学报,9(3):505[27] Dongwei Ren , Kai Zhang , Qilong Wang , QinghuaHu,and Wangmeng Zuo.使用深度先验的神经盲反卷积在IEEE/CVF计算机视觉和模式识别会议论文集,第3341-3350页,2020年。[28] 他是施奈德、赫希、布鲁诺、加博尔、塞凯尔和门泽。基于斜Hough森林的三维血管分割和中心线提取3057可操纵的过滤器。医学图像分析,19(1):220[29] 索伦森。植物社会学中基于物种含量相似性建立等幅群的方法及其在丹麦公地植被分析中的应用。斯卡生物学,5:1[30] Libin Sun,Sunghyun Cho,Jue Wang,and James Hays.基于边缘的模糊核估计使用补丁先验。在IEEE计算摄影国际会议(ICCP)中,第1-8页。IEEE,2013。[31] 陶新,高红云,沈晓勇,王珏,贾继亚.用于深度图像去模糊的尺度递归网络。在IEEE计算机视觉和模式识别会议论文集,第8174-8182页[32] 德米特里·乌里扬诺夫,安德烈·维达尔迪,维克多·伦皮茨基。深度图像先验。在IEEE计算机视觉和模式识别会议论文集,第9446-9454页[33] 奥利弗·怀特约瑟夫·西维克安德鲁·齐瑟曼去模糊-环抖动和部分饱和的图像。国际计算机视觉杂志,110(2):185[34] Norbert Wiener等人平稳时间序列的外推、内插和平滑:与工程应用,第8卷。麻省理工学院出版社,马萨诸塞州剑桥,1964年。[35] 李旭和贾佳雅。用于鲁棒运动去
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功