没有合适的资源?快使用搜索试试~ 我知道了~
priors are heavily based on the empirical statistics of nat-ural images, and they typically lead to highly non-convexoptimization problems. Meanwhile, most of the aforemen-tioned methods have high computational costs.Recently, deep neural networks have been applied to im-age restoration [28, 35]. However, these methods need tore-train the network for different blur kernels, which is notpractical in real-world scenarios.Different from existing methods, we propose an iterativeFCNN for non-blind deconvolution, which is able to auto-matically learn effective image priors and does not need tore-train the network for different blur kernels. The proposedmethod decomposes the non-blind deconvolution into twosteps: image denoising and image deconvolution. In theimage denoising step, we train a FCNN to remove noiseand outliers in the gradient domain. The learned image gra-dients are treated as image priors to guide image deconvo-lution. In the image deconvolution step, we concatenate adeconvolution module at the end of the FCNN to removethe blur from the input image. We cascade the FCNN intoa multi-stage architecture to deconvolve blurred images inan iterative manner. The proposed FCNN adaptively learnseffective image priors to preserve image details and struc-tures. In order to effectively suppress ringing artifacts andnoise in the smooth regions, we propose to optimize theFCNN with a robust L1 loss function instead of a com-monly used L2 loss function. In addition, we optimize thehyper-parameters in the deconvolution modules. Extensiveevaluations on the benchmark datasets demonstrate that theproposed method performs favorably against state-of-the-art algorithms in terms of quality and speed.138170学习全卷积网络进行迭代非盲去卷积0Jiawei Zhang 13 � Jinshan Pan 2 Wei-Sheng Lai 3 Rynson W.H. Lau 1 Ming-Hsuan Yang 30香港城市大学计算机科学系0大连理工大学数学科学学院0加利福尼亚大学默塞德分校电气工程与计算机科学系0摘要0在本文中,我们提出了一种用于迭代非盲去卷积的全卷积网络。我们将非盲去卷积问题分解为图像去噪和图像去卷积两个步骤。我们训练一个全卷积神经网络(FCNN)来在梯度域中去除噪声,并使用学习到的梯度来指导图像去卷积步骤。与现有的基于深度神经网络的方法相比,我们在多阶段框架中迭代地去卷积模糊图像。所提出的方法能够学习自适应的图像先验,同时保留局部(细节)和全局(结构)信息。基准数据集上的定量和定性评估结果表明,所提出的方法在质量和速度方面优于现有的算法。01. 引言0单幅图像非盲去卷积旨在从模糊图像和模糊核中恢复出清晰的潜在图像。在过去的十年里,学术界对这个经典问题进行了积极的研究。假设相机运动是空间不变的,模糊图像y可以被建模为使用模糊核k和潜在图像x的卷积:y = k � x +n,(1)0其中n是加性噪声,�是卷积运算符。在非盲去卷积中,我们从y和k中求解x。这是一个病态问题,因为噪声是未知的。传统方法,如Richardson-Lucy去卷积[20]和Wiener滤波器[33],存在严重的环绕伪影问题,因此对于大运动和异常值处理效果较差。一些方法致力于开发有效的图像先验进行图像恢复,包括超拉普拉斯先验[14,15],非局部均值[2],专家领域[23,24,26,27],基于块的先验[30,39]和收缩场[25]。然而,这些图像先验严重依赖于自然图像的经验统计,并且通常导致高度非凸优化问题。同时,大多数上述方法计算成本较高。最近,深度神经网络已被应用于图像恢复[28,35]。然而,这些方法需要为不同的模糊核重新训练网络,这在实际场景中是不可行的。与现有方法不同,我们提出了一种用于非盲去卷积的迭代全卷积神经网络(FCNN),它能够自动学习有效的图像先验,并且不需要为不同的模糊核重新训练网络。所提出的方法将非盲去卷积分解为两个步骤:图像去噪和图像去卷积。在图像去噪步骤中,我们训练一个FCNN来在梯度域中去除噪声和异常值。学习到的图像梯度被视为图像先验,用于指导图像去卷积。在图像去卷积步骤中,我们在FCNN末尾连接一个去卷积模块,以去除输入图像的模糊。我们将FCNN级联成多阶段架构,以迭代方式去卷积模糊图像。所提出的FCNN能够自适应地学习有效的图像先验,以保留图像的细节和结构。为了有效抑制平滑区域中的环绕伪影和噪声,我们提出使用鲁棒的L1损失函数来优化FCNN,而不是常用的L2损失函数。此外,我们还优化了去卷积模块中的超参数。在基准数据集上进行的大量评估结果表明,所提出的方法在质量和速度方面优于现有的算法。0� 电子邮件:zhjw1988@gmail.com02. 相关工作0非盲目去卷积已经得到广泛研究,并提出了许多算法。在本节中,我们讨论最相关的算法,并将本工作放入适当的背景中。由于非盲目去模糊是一个病态问题,它需要一些假设或先验知识来约束解空间。早期的方法,例如维纳去卷积[33],假设每个像素的值minxλ2 ∥y − x ∗ k∥22 +38180去卷积模块0模糊图像初始去卷积0噪声水平梯度0噪声垂直梯度0去噪水平梯度0去噪垂直梯度0共享FCNN权重去卷积0核0图1.网络结构。我们的网络首先通过去卷积模块对模糊输入图像进行去卷积,然后对垂直和水平梯度进行卷积,生成噪声较少的结果。然后,去卷积模块应用于去噪梯度,生成清晰的图像。清晰图像的梯度将成为下一次迭代中卷积的输入。我们迭代地执行上述步骤三次,并估计最终的去模糊图像。更多细节请参见正文。0应该遵循高斯分布。然而,这个假设在自然图像中并不成立,因为真实世界图像的梯度分布是重尾的。为了开发一个适应自然图像重尾分布的图像先验,提出了超拉普拉斯先验[15]。由于使用超拉普拉斯先验求解图像恢复是耗时的,Krishnan和Fergus[14]基于半二次分裂方法提出了一种高效的算法。为了学习图像恢复的良好先验,Roth和Black[23]学习了一组专家领域(FOEs)来适应自然图像的重尾分布。FOE框架由[25,26]进一步扩展。然而,使用专家领域的方法通常会导致复杂的优化问题。解决这些问题通常需要耗费大量时间。高斯混合模型(GMM)也被开发用于适应自然图像梯度的重尾分布。Fergus等人[9]使用高斯混合模型通过变分贝叶斯推断学习图像梯度先验。Zoran和Weiss[39]分析了图像恢复中的图像先验,并提出了基于GMM的基于补丁的先验。这项工作由Sun等人[30]进一步扩展。虽然取得了良好的结果,但解决这些方法需要大量的计算负载。最近,深度学习已经被用于低层次图像处理,如去噪[3,8,10,34],超分辨率[6,11,12,21,22,32,37],去雾[19]和边缘保持滤波[16,17,36]。对于非盲目去模糊,Schuler等人[28]开发了一种多层感知器(MLP)方法来去除由去卷积过程产生的噪声和伪影。Xu等人[35]使用深度卷积神经网络(CNN)恢复图像。0CNN用于恢复带有异常值的图像。该方法使用奇异值分解(SVD)来减少网络中的参数数量。然而,它需要为每个核心微调网络,因为它使用伪逆核的SVD作为网络初始化。与现有的基于CNN的方法不同,我们开发了一种有效的迭代FCNN用于非盲目去卷积。我们将FCNN级联到多阶段架构中,以迭代方式去卷积模糊图像,以保留恢复图像的细节。此外,我们的方法不保留每个模糊核的模型。03. 提出的算法0在本节中,我们提出了一种学习非盲目图像去卷积有效先验的算法。我们首先回顾图像恢复中的半二次优化,然后介绍我们的方法。03.1. 动机0半二次分裂框架已广泛应用于非盲去模糊方法[14, 25, 26,39]。我们首先回顾一下这种方法在图像恢复中的应用,然后阐述我们的方法的动机。图像恢复的传统模型定义为:0l = h,w ρ(p l �x),(2)0其中p h,pw是水平和垂直梯度算子。ρ(∙)是x的图像梯度的正则化。通过半二次分裂方法,模型(2)conv15 × 51264conv23 × 31164conv33 × 31164conv43 × 31164conv53 × 31164conv63 × 3111minx,zλ2 ∥y − x ∗ k∥22 + βminxλ2 ∥y − x ∗ k∥22 + β�l=h,w∥zl − pl ∗ x∥22.(5)x = F−1�γF(k)F(y) + �γF(k)F(k) +�,(6)38190表1. FCNN在一次迭代中的架构。0名称 卷积核尺寸 步长 填充 卷积核数量0可以重新表述为:0l = h,w ∥ z l − p l � x ∥ 2 2 +ρ(z l),(3)0其中zl是辅助变量,β是权重。关于(3)的半二次优化是交替求解的:min z β �0l = h,w ∥ z l − p l � x ∥ 2 2 + ρ(zl),(4)0和0我们注意到(4)实际上是一个去噪声问题,而(5)是关于x的去卷积。如果得到了z l的解,清晰图像可以通过快速傅里叶变换(FFT)高效计算得到:0l = h,w F(p l)F(z l)0l = h,w F(p l)F(p l)0其中F(∙)和F-1(∙)分别表示傅里叶变换和其逆变换。F(∙)是傅里叶变换的复共轭,γ = λ 2β是去卷积的超参数。我们注意到主要问题是如何为(4)定义一个良好的图像先验。接下来,我们提出了一种基于FCNN的有效算法,用于学习(4)的有效图像先验。03.2. 网络架构0非盲去卷积的提出网络架构如图1所示。我们网络的输入包括一个模糊图像和相应的模糊核。所提出的网络首先通过去卷积模块对模糊图像进行去卷积操作,然后对垂直和水平梯度进行卷积,生成更少噪声的结果。去噪图像梯度被视为图像先验,用于指导下一次迭代中的图像去卷积。0通过FCNN去噪声。我们注意到,尽管从(6)中的去卷积输出x很锐利,但通常会包含噪声和明显的振铃伪影(见图2(k))。为了解决这个问题,我们开发了一个FCNN,并将其应用于垂直和水平梯度以去除噪声和振铃伪影。将FCNN应用于垂直梯度和水平梯度通常会导致不同的网络权重参数。与[36]类似,我们转置垂直梯度,以便垂直和水平梯度可以在训练过程中共享权重。表1显示了一次迭代中所提出的网络的详细信息。我们在每个卷积层之后添加了修正线性单元(ReLU)作为激活函数,除了最后一个卷积层。尽管我们在不同的迭代中使用相同的网络架构,但不同迭代的权重是不同的。0去卷积模块。去卷积模块用于恢复锐利图像。它由(5)定义。在所提出的网络中,它被应用于FCNN的梯度去噪声输出,以指导图像恢复。03.3. FCNN训练的损失函数0由于以端到端的方式训练网络非常困难,我们采用迭代式训练FCNN的权重。也就是说,我们首先训练网络权重,然后在执行去卷积时固定这些权重。在去卷积模块之后,我们在下一次迭代中训练网络权重。这个训练过程通过最小化损失函数L来实现:0L ( ▽ h x, ▽ w x, x 0 ; θ ) = 10N0i =1 ( ∥ f ( ▽ h x ( i ) ; θ ) - ▽ h x ( i ) 0 ∥ 10+ ∥ f ( ▽ w x ( i ) ; θ ) - ▽ w x ( i )0 ∥ 1 ),(7)0其中f(∙)是FCNN学习到的去噪映射,θ是FCNN的权重,▽ hx = p h * x,▽ w x = p w *x,N是每个批次中的训练样本数量,∥ ∙ ∥ 1是L1范数,x0是真实图像。03.4. 超参数训练0为了得到去卷积模块(5)的最优超参数γ,我们在固定的FCNN权重下以端到端的方式训练它们。超参数训练过程通过最小化损失函数来实现:0L h = 10N0i ∥ x ( i ) - x ( i ) 0 ∥ 1,(8)0其中x是最终去卷积模块的输出。由于去卷积模块的前向传播由(6)定义,我们可以得到反向传播中的梯度。,(9)where ∆x =38200(a) 清晰图像 (b) 模糊图像 (c) 强度域输出 (d) 梯度域输出0(e) (a)的局部区域 (f) 强度:初始结果 (g) 强度:第一次迭代 (h) 强度:第二次迭代 (i) 强度:第三次迭代0(j) (b)的局部区域 (k) 梯度:初始结果 (l) 梯度:第一次迭代 (m) 梯度:第二次迭代 (n) 梯度:第三次迭代0图2.在不同域中每次迭代后产生的视觉结果。(a)显示清晰图像。(b)显示模糊图像。(c)和(d)分别是从强度和梯度域产生的结果。(e)和(f)分别是(a)和(b)的提取的局部区域。(f)显示网络应用于强度域时的初始去卷积结果。(g)-(i)显示通过不同次数的迭代得到的相应的改进结果。(k)显示网络应用于梯度域时的初始去卷积结果。(l)-(n)显示通过不同次数的迭代得到的相应的改进结果。这证明了我们的网络在梯度域中通过多次迭代更有效地减少噪声。0通过传播0∆ z l = F0�0F ( p l ) F − 1 (∆ x )0γ F ( k ) F ( k ) + 0l = h,w F ( p l ) F ( p l )0�0| x ( i ) - x ( i0用于训练超参数γ的梯度可以写成:0∆ γ = � DH - EG0( γ G + H ) 20� � L h x ,(10)0其中D、H、E、G和L h x分别表示D、H、E、G和L hx的向量形式,其中D =0l = h,w F ( p l ) F ( z l ),G = F ( k ) F ( k ),H = �0l = h,w F ( p l ) F ( p l ) ,而 L h x = F − 1 (∆ x)。(9)和(10)的详细推导包含在补充材料中。04. 分析与讨论0在本节中,我们分析了迭代式FCNN的效果,展示了为什么我们使用梯度域,并验证了所提出网络中使用的损失函数。04.1. 迭代式FCNN的效果0在所提出的方法中,我们迭代地解决去卷积和去噪部分。也就是说,FCNN的网络参数在每次迭代中进行训练。通过这种方式,可以获得高质量的结果。图3显示了一个示例,展示了迭代式FCNN的有效性。如图3(a)所示,仅进行一次迭代的网络生成的结果包含一些伪影,并且具有较低的PSNR值。相比之下,迭代式FCNN减少了这些伪影,从而得到了更清晰的图像,具有更高的PSNR值(图3(b))。需要注意的是,一次迭代的网络与所提出的三次迭代网络的第一次迭代阶段(如图2(l)所示)是不同的。我们优化了38210(a)一次迭代网络(b)三次迭代网络 PSNR:29.26 dBPSNR:29.75 dB0图3.迭代式FCNN的有效性。仅使用一次迭代无法去除噪声。详见第4.1节。0图4.1次迭代FCNN去噪梯度训练损失,噪声为1%。收敛的L2范数训练损失高于L1范数。0FCNN权重和去卷积超参数用于仅进行一次迭代的网络。更多定量结果将在第5.3节中给出,其中包括不同的噪声水平。04.2. 梯度域与强度域0去噪部分主要用于去除噪声和伪影,同时保留纹理。我们注意到图像梯度能够对图像的细节和结构进行建模。因此,我们在图像梯度域而不是强度域中训练网络。我们训练了两个三次迭代的网络,分别基于强度域和梯度域生成恢复结果。如图2所示,从强度域重建的结果(第二行)相对于从梯度域重建的结果(第三行)包含一些噪声和伪影。04.3. 损失函数的影响0大多数现有的基于CNN的低级视觉方法使用基于L2范数的重建误差作为损失函数,例如[6]。然而,L2范数对异常值不具有鲁棒性,通常会导致结果包含噪声和伪影[38]。为了克服L2范数重建误差的局限性,我们使用基于L1范数的重建误差。0L2损失0L1损失0真实值0垂直梯度 水平梯度0图5.在不同损失函数下的梯度生成的视觉比较。输入模糊图像带有1%的噪声。使用L2损失和L1损失训练的垂直和水平梯度分别显示在第一行和第二行。真实值梯度显示在最后一行。使用L1损失可以有效地减少梯度噪声。0将重建误差的L1范数作为损失函数,即(7)。为了验证L1范数损失函数的效果,我们使用相同的设置分别使用基于L2范数和基于L1范数的重建误差训练所提出的网络的第一次迭代。如图4所示,基于L1范数的重建误差的方法收敛速度比基于L2范数的重建误差的方法更好。图5显示,使用基于L1范数的重建误差能够相对于基于L2范数的重建误差去除噪声和伪影。05. 实验结果0我们使用非盲去卷积的基准数据集对所提出的算法进行评估,并与现有的最先进方法进行比较。MATLAB代码可在https://sites.google.com/site/zhjw1988/上获得。05.1. 训练0参数设置。为了训练网络,我们迭代地优化超参数和FCNN的权重。具体来说,FCNN的权重是在固定的超参数下迭代训练的,然后超参数在固定的情况下进行端到端的训练。1%0.03230.03130.03123%0.04360.04220.04195%0.04770.04630.0459HL [14]31.57/0.8729.94/0.84EPLL [39]33.00/0.8930.61/0.87MLP [28]31.82/0.8628.76/0.80CSF [25]31.93/0.8730.22/0.86HL [14]27.42/0.7326.91/0.72EPLL [39]28.71/0.7827.75/0.77MLP [28]26.26/0.6025.04/0.57CSF [25]28.43/0.7827.11/0.7438220图6. 随机生成的训练核的示例。0FCNN的权重。我们使用MatConvNet [ 31]工具箱实现了所提出的算法。我们对每一层的FCNN权重使用Xavier初始化。超参数训练阶段的初始值是随机初始化的(但后面的迭代比前面的迭代具有较小的超参数)。我们使用随机梯度下降(SGD)来训练网络。FCNN的训练学习率为0.01。对于超参数训练阶段的学习率,我们将其设置为最后一个反卷积模块为10,其他模块为10,000。FCNN和超参数训练的动量值都设置为0.95。由于超参数很容易陷入局部最小值,我们使用几个超参数初始化来训练网络,并选择最佳的一个。0训练数据集。为了生成足够的训练模糊图像,我们使用BSD500数据集[ 1]。并随机裁剪大小为256×256像素的图像块作为清晰图像。根据[ 4]生成模糊核,其大小范围从11到31像素。我们根据[ 4]生成模糊核,其中模糊核的大小范围从11到31像素。图6显示了我们随机生成的模糊核的一些示例。在获得这些生成的模糊核后,我们将清晰图像块与模糊核和高斯噪声卷积,以获得模糊图像块。我们还使用1%,3%和5%的噪声训练了三个网络。0测试数据集。对于测试数据集,我们使用Sun等人的数据集中的80个真实清晰图像[ 29]和Levin等人的数据集中的8个模糊核[ 15]。因此,我们总共有640个模糊图像。我们评估所有方法在不同高斯噪声水平(包括1%,3%和5%)的模糊图像上的性能。除了使用Levin等人的数据集中的真实核[ 15],我们还使用最先进的盲目去模糊方法[ 18]估计的模糊核来检验所提出方法的有效性。05.2. 收敛性质0我们对我们的方法的收敛性进行定量评估,并经验性地发现我们的方法在三次迭代后收敛良好,如表2所示。更多的迭代不会产生更好的恢复结果。05.3. 与现有技术的比较0我们将提出的迭代FCNN与其他非盲目去模糊算法进行比较,包括HL [ 14 ],0表2.不同迭代次数的FCNN输出的平均平方差(SSD)误差与不同噪声水平。在两次迭代后,输出误差没有显著变化。0第一次 迭代 第二次 第三次0表3. 1%噪声的平均PSNR和SSIM。0模糊核真实值 Pan [ 18 ]01次迭代 32.50/0.89 30.38/0.8603次迭代 32.82/0.90 30.39/0.870表4. 3%噪声的平均PSNR和SSIM。0模糊核真实值 Pan [ 18 ]01次迭代 28.71/0.77 27.34/0.7503次迭代 29.05/0.79 27.74/0.770表5. 5%噪声的平均PSNR和SSIM。0模糊核真实值 Pan [ 18 ]0HL [14] 25.85/0.67 25.48/0.660EPLL [39] 27.00/0.71 26.24/0.710MLP [28] 24.62/0.51 22.32/0.450CSF [25] 26.92/0.67 24.86/0.6501次迭代 27.25/0.72 25.49/0.6903次迭代 27.46/0.74 26.33/0.720表6. 使用真实核和不同噪声水平的平均PSNR和SSIM。0噪声水平 1% 3% 5%0IDDBM3D [5] 32.88/0.89 29.00/0.79 27.43/0.730NCSR [7] 32.78/0.89 27.69/0.66 24.79/0.4903次迭代 32.82/0.90 29.05/0.79 27.46/0.740EPLL [39],MLP [28]和CSF[25]。对于我们的方法,我们还使用了一次迭代和三次迭代网络的提出算法进行比较。为了公平起见,我们使用这些方法的在线可用实现,并调整参数以生成最佳结果。我们首先使用PSNR和SSIM在1%高斯噪声的数据集上对提出的方法进行定量评估。[14][39][28][25]382301%噪声0PSNR / SSIM 30.45 / 0.84 32.05 / 0.88 31.20 / 0.85 30.89 / 0.85 32.06 / 0.8803%噪声0PSNR / SSIM 27.58 / 0.79 29.34 / 0.84 25.57 / 0.51 28.66 / 0.75 29.75 / 0.8505%噪声0PSNR / SSIM 24.16 / 0.71 26.04 / 0.77 23.91 / 0.48 26.09 / 0.67 27.26 / 0.80(a)Ground Truth(b)HL [14](c)EPLL [39](d)MLP[28](e)CSF [25](f)3次迭代网络0图7. 在不同输入噪声水平下的视觉评估。与现有的非盲去模糊方法相比,我们的方法表现出色。0表7.不同图像尺寸下三次迭代网络的平均时间成本(秒)。HL和EPLL在IntelCore i7 CPU上运行,MLP、CSF和我们的方法在Nvidia K40 GPU上运行。0图像尺寸 HL EPLL MLP CSF 我们的方法0512 × 400 0.31 209.58 0.80 0.08 0.0201024 × 800 0.71 953.52 2.98 0.09 0.0301536 × 1200 2.11 N/A a 6.73 0.33 0.060a 我们的计算机内存不足以通过EPLL对1536 × 1200的图像进行去卷积。0根据表3中的指标,我们的方法在PSNR和SSIM指标上优于HL [14],MLP [28]和CSF[25]。虽然EPLL方法的性能略好于我们的方法,但是该方法不够高效,因为它需要解决复杂的优化问题。此外,该方法通常会平滑细节,如图7(c)所示,而我们的方法生成的结果具有更清晰的纹理(图7(f))。我们进一步注意到,我们提出的迭代FCNN的PSNR和SSIM值高于我们的方法的值。0仅使用一次迭代,这证明了迭代FCNN方法的有效性。此外,我们使用Pan等人[18]估计的模糊核来评估提出的方法。表3中的PSNR和SSIM值表明,提出的方法仍然表现良好,并可应用于改进Pan等人[18]的恢复结果的性能。我们还使用3%和5%高斯噪声的图像对我们的方法进行进一步评估。表4和表5显示了不同方法的结果。当噪声水平较高时,我们的方法比HL [14],MLP [28]和CSF[25]具有更好的性能。除了PSNR和SSIM之外,我们的方法还生成具有细腻纹理的更清晰图像,如图7所示。我们还将提出的方法与IDDBM3D [5]和NCSR[7]在不同噪声水平下进行比较。由于IDDBM3D和NCSR分别需要约20分钟和35分钟来对800 ×1024的图像进行去卷积,我们只与它们在真实核的情况下进行比较。结果显示,提出的算法与IDDBM3D和NCSR的结果相当。0运行时间。所提出的方法在运行时间方面表现出色。38240(a)模糊图像(b)HL [14](c)EPLL [39]0(d)MLP [28](e)CSF [25](f)3次迭代网络0图8. 对来自[13]的图像进行视觉评估。我们添加了3%的高斯噪声。与现有的非盲去模糊方法相比,所提出的方法表现出色。0在运行时间方面,与其他最先进的方法相比,所提出的方法表现出色。表7总结了具有不同图像分辨率的代表性方法的平均运行时间。HL和EPLL在Intel Core i7CPU上运行,而MLP,CSF和所提出的方法在Nvidia K40GPU上运行。05.4. 对真实模糊图像的结果0我们还对来自[13]的一个真实模糊图像进行了我们的三次迭代网络测试。我们在原始模糊图像上添加了3%的高斯噪声,并使用训练有此噪声水平的网络进行此实验。我们使用[18]来估计模糊图像的核。图8显示,CSF不能完全去除所有噪声,特别是在平坦区域,而HL的结果仍然包含模糊残留。相比之下,我们的三次迭代网络在性能上与EPLL相当。06. 结论0我们提出了一种基于完全卷积神经网络(FCNN)的高效非盲去卷积算法。所提出的方法包括去卷积部分和去噪部分,其中去噪部分通过FCNN实现。从FCNN学到的特征能够帮助去卷积。为了去除噪声和环绕伪影,我们开发了一种迭代式FCNN,能够保留图像细节。此外,我们提出了一种超参数学习算法,以提高图像恢复的性能。所提出的方法在合成和真实世界图像上的质量和速度方面都表现出色,优于最先进的方法。0致谢。本工作部分得到了香港城市大学SRG基金(编号7004416),中国国家自然科学基金(编号61572099和61320106008),NSFCareer基金1149783以及Adobe和Nvidia的赞助。38250参考文献0[1] P. Arbelaez,M. Maire,C. Fowlkes和J.Malik。轮廓检测和分层图像分割。TPAMI,33(5):898-916,2011年。60[2] A. Buades,B. Coll和J.Morel。用于图像去噪的非局部算法。在CVPR,2005年,第60-65页。10[3] H. C. Burger,C. J. Schuler和S.Harmeling。图像去噪:普通神经网络能否与bm3d竞争?在CVPR,2012年。20[4] A.Chakrabarti。盲运动去模糊的神经方法。在ECCV,2016年。60[5] A. Danielyan,V. Katkovnik和K.Egiazarian。Bm3d帧和变分图像去模糊。TIP,21(4):1715-1728,2012年。6,70[6] C. Dong,C. C. Loy,K. He和X.Tang。学习用于图像超分辨率的深度卷积网络。在ECCV,2014年。2,50[7] W. Dong,L. Zhang,G. Shi和X.Li。用于图像恢复的非局部集中稀疏表示。TIP,22(4):1620-1630,2013年。6,70[8] D. Eigen,D. Krishnan和R.Fergus。恢复通过覆盖有污垢或雨水的窗户拍摄的图像。在ICCV,2013年。20[9] R. Fergus,B. Singh,A. Hertzmann,S. T. Roweis和W. T.Freeman。从单张照片中消除相机抖动。ACMTOG(SIGGRAPH会议记录),25(3):787-794,2006年。20[10] V. Jain和S.Seung。使用卷积网络进行自然图像去噪。在NIPS,2009年。20[11] J. Kim,J. Lee和K.Lee。使用非常深的卷积网络进行准确的图像超分辨率。在CVPR,2016年。20[12] J. Kim, J. Lee, and K. Lee.深度递归卷积网络用于图像超分辨率。在CVPR,2016年。20[13] R. K¨ohler, M. Hirsch, B. Mohler, B. Sch¨olkopf, and S.Harmeling. 摄像机抖动的记录和回放: 用真实数据库评估盲去卷积.In ECCV , 2012. 80[14] D. Krishnan and R. Fergus. 使用超拉普拉斯先验进行快速图像去卷积.In NIPS , 2009. 1 , 2 , 6 , 7 , 80[15] A. Levin, Y. Weiss, F. Durand, and W. T. Freeman.理解和评估盲去卷积算法. In CVPR , 2009. 1 , 2 , 60[16] Y. Li, J.-B. Huang, N. Ahuja, and M.-H. Yang.深度联合图像滤波. In ECCV , 2016. 20[17] S. Liu, J. Pan, and M.-H. Yang.通过混合神经网络学习低级视觉的递归滤波器. In ECCV , 2016. 20[18] J. Pan, Z. Lin, Z. Su, and M.-H. Yang.鲁棒核估计与处理图像去模糊的异常值. In CVPR , 2016. 6 , 7 ,80[19] W. Ren, S. Liu, H. Zhang, J. Pan, X. Cao, and M.-H. Yang.通过多尺度卷积神经网络进行单幅图像去雾. In ECCV , 2016. 20[20] W. Richardson. 基于贝叶斯的迭代图像恢复方法. JOSA ,62(1):55–59, 1972. 10[21] G. Riegler, D. Ferstl, M. R¨uther, and H. Bischof.用于引导深度超分辨率的深度原始-对偶网络. In BMVC , 2016. 20[22] G. Riegler, M. R¨uther, and H. Bischof. 精确的深度超分辨率.In ECCV , 2016. 20[23] S. Roth and M. Black. 专家领域: 学习图像先验的框架. InCVPR , pages 860–867, 2005. 1 , 20[24] U. Schmidt, J. Jancsary, S. Nowozin, S. Roth, and C.Rother. 图像恢复的回归树级联. TPAMI , 38(4):677–689, 2016. 10[25] U. Schmidt and S. Roth. 用于有效图像恢复的收缩场. InCVPR , 2014. 1 , 2 , 6 , 7 , 80[26] U. Schmidt, C. Rother, S. Nowozin, J. Jancsary, and S.Roth. 判别式非盲去模糊. In CVPR , 2013. 1 , 20[27] U. Schmidt, K. Schelten, and S. Roth.带有集成噪声估计的贝叶斯去模糊. In CVPR , pages 2625– 2632,2011. 10[28] C. J. Schuler, H. Christopher Burger, S. Harmeling, and B.Scholkopf. 一种非盲图像去卷积的机器学习方法. In CVPR , 2013. 1 , 2 , 6 , 7 , 80[29] L. Sun, S. Cho, J. Wang, and J. Hays.基于边缘的模糊核估计与补丁先验. In ICCP , 2013. 60[30] L. Sun, S. Cho, J. Wang, and J. Hays.非盲变焦图像去卷积的良好图像先验-通用与特定. In ECCV ,pages 231–246, 2014. 1 , 20[31] A. Vedaldi and K. Lenc. Matconvnet –用于Matlab的卷积神经网络. In ACM MM , 2015. 60[32] Z. Wang, D. Liu, J. Yang, W. Han, and T. Huang.使用稀疏先验的深度网络进行图像超分辨率. In ICCV , 2015. 20[33] N. Wiener. 稳定时间序列的外推、插值和平滑 , volume 2.MIT Press, 1949. 10[34] J. Xie, L. Xu, and E. Chen.使用深度神经网络进行图像去噪和修复. In NIPS , 2012. 20[35] L. Xu, J. S. Ren, C. Liu, and J. Jia.深度卷积神经网络进行图像去卷积. In NIPS , 2014. 1 , 20[36] L. Xu, J. S. Ren, Q. Yan, R. Liao, and J. Jia.深度边缘感知滤波器. In ICML , 2015. 2 , 30[37] X. Yu and F. Porikli.通过判别性生成网络进行超分辨率人脸图像. In ECCV , 2016. 20[38] H. Zhao, O. Gallo, I. Frosio, and J.
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)