参数选择共享和嵌套跳跃连接的动态场景去模糊研究

1基于参数选择共享和嵌套跳跃连接的高红云1、2陶昕2沈晓勇2贾佳雅1、21香港中文大学2腾讯优图实验室{hygao，leojia}@ cse.cuhk.edu.hk{xintao，dylanshen}@ tencent.com摘要动态场景去模糊是具有挑战性的低级视觉任务，其中空间变化模糊由许多因素引起，例如，相机抖动和物体运动。近年来的研究取得了重大进展.与参数独立方案[19]和参数共享方案[33]相比，我们通过提出通用有效的选择共享方案，发展了约束去模糊网络结构在每个尺度的子网络内部，我们提出了一种嵌套的跳跃连接结构，用于非线性变换模块来代替堆叠的卷积层或残差块。此外，我们建立了一个新的大型数据集的模糊/清晰的图像对更好的恢复质量。综合实验结果表明，我们的参数选择性共享方案，嵌套跳过连接结构，和新的数据集都是有意义的，以建立一个新的国家的动态场景去模糊的最先进的。1. 介绍由相机抖动、物体运动或失焦引起的图像模糊是拍摄照片时最常见的视觉伪影之一。图像去模糊，即，从模糊图像中恢复清晰图像，几十年来一直是一个重要的研究领域。由于不适定的性质，需要特定的假设来对不同类型的均匀、非均匀和深度感知模糊进行建模。许多自然图像先验[1，27，2，35，36，21，22]被提出来正则化解空间并推进去模糊研究。与单纯的摄像机平移或旋转引起的模糊相比，动态模糊更具有真实感，但由于空间变化模糊是多种因素综合作用的结果，因此动态模糊具有很大的挑战性。先前的动态场景去模糊方法[12，13，20]通常依赖于准确的图像分割掩模来估计对应图像区域的不同模糊核，并且采用复杂的运算。最小化方法来恢复潜像。最近，有人提出了基于学习的方法，通过替换transmitting框架[31，26，5]中的一些步骤或学习端到端的从模糊映射到潜像[19，33，37]。参数选择共享Nah等人 [19]首先提出了“粗到细”去模糊神经网络，通过以粗到细的方式逐步恢复清晰图像。这种方法构建了一个深度神经网络，每个尺度都有独立的参数。它不考虑尺度间的参数关系。Tao等人。[33]提出了一种尺度递归网络，通过共享参数在不同尺度上执行去模糊。该参数共享方案简洁紧凑，但忽略了特征的尺度变化特性，而这些特征对于每个尺度下的各自恢复至关重要我们认为，标度递归结构属于一个更广泛的参数选择共享策略。其背后的基本原理是图像模糊高度依赖于尺度特定模块执行尺度变化操作，因此不能共享，而其他模块执行类似的尺度不变变换，从共享参数中受益。我们深入研究了这种选择性共享策略，并详细说明了为什么特定的模块可以或不能共享。我们还讨论了跨尺度和尺度内的各种共享策略。这些发现导致选择性参数共享的一般原则，可以在未来的去模糊系统设计中受益。嵌套跳跃连接跳跃连接在最近的CNN中被广泛使用。在ResNet [7]和ResBlocks [19，17]中，在两个或更多个卷积层之后将输入添加到输出的短期跳过连接利用这种短期跳跃连接，可以在很大程度上克服梯度消失问题;因此可以容易地建立和优化非常深的网络。在编码器-解码器网络中常见的长期跳过连接将底层的特征映射链接到38483849B我我我132 32 32 64 64 64 128 128128128 12864 6464 32 32 32 1输入编码阶段#1 Enc. 阶段#2 Enc. 第3阶段12月第三阶段12月第二阶段12月阶段#1输出特征 提取非线性转型特征重建跳过连接上采样到更精细的尺度图1.我们的编码器-解码器子网络包括3个编码器级和3个解码器级。 它有三种模块，即， 特征提取、非线性变换和特征重构。顶级的该方案允许信息更灵活地反向传播，并将图像细节从底层传递到顶层，以实现更好的细节重建。然而，我们注意到，短期和长期跳过连接都没有交叉路径，因为根据我们在以下小节中的分析，它们只考虑一阶残差学习。相反，我们提出了一个嵌套的跳过连接结构，对应于我们去模糊网络中的变换模块的高阶残差学习。数据集为了训练深度去模糊网络，成对的模糊/清晰图像是必不可少的。虽然GoPro数据集[19]提供了3，214对，但部分图像存在缺陷，可能会对网络训练产生不利影响。因此，我们建立了一个更大，更高质量的数据集，通过克服这些缺陷来训练更好的去模糊网络。它有5，290个模糊/清晰图像对，遵循[19]的程序。我们比较了仅使用GoPro数据集训练的同一网络，以及使用GoPro和我们的数据集一起训练的网络实验结果表明，我们的数据集是有利的定量和定性的帮助。我们工作的主要贡献如下。• 我们分析了去模糊网络的参数策略，并提出了一个通用的原则性参数选择共享方案，在每个尺度上的子网络的独立和共享模块。• 我们提出了一种嵌套的跳过连接结构的网络中的特征转换模块，这对应于高阶残差学习在个别的转换模块。• 我们建立了一个更大，更高质量的数据集，包含5，290个模糊/清晰图像对，以帮助网络训练。它是公开的，以推进一般的图像去模糊研究。2. 相关工作在本节中，我们简要回顾动态场景去模糊方法，CNN参数共享方案和网络结构中使用的跳过连接。动态场景去模糊在Kim等人的工作之后。[12]，动态场景模糊成为非静态场景的一个易于处理的主题，模糊是由相机抖动和复杂的物体运动引起的。然而，该方法的性能高度依赖于运动分割的准确性。后来，Kim和Lee [13]假设运动是局部线性变化的，因此提出了一种无分割的方法来处理这个问题。在[20]中，使用分割置信度图来减少不同运动区域之间的分割模糊性。最近，几种方法[31，5，19，33，37]使用深度学习来更好地解决恢复质量和适应不同情况的任务Sun等人。 [31]采用分类CNN来预测局部补丁的模糊方向通过马尔可夫随机场（MRF）从稀疏模糊核获得密集运动场。通过非盲去模糊方法生成最终潜像[39]。 Gong等人 [5]利用全卷积网络从模糊图像中估计出密集的非均匀运动流，并仍使用[ 39 ]的方法恢复潜像。受传统的“从粗到精”优化框架的启发， N a h e t al.[19]提出了一种多尺度去模糊CNN，以端到端的方式逐步恢复多尺度的清晰图像。Tao等人。 [33]改进了流水线，以使用共享参数对尺度递归结构进行建模。Zhang等人 [37]提出了一种RNN来模拟空间变化的模糊，其中RNN的像素权重是从CNN学习的。CNN参数共享尽管在时间和顺序数据处理中被广泛采用，但参数共享3850是图像算法的一种新尝试事实上，CNN参数共享包含大量上下文信息，但同时保持模型大小。它在以下任务中是有效的：对象分类[28]、场景解析[23]、对象识别[16]、图像超分辨率[11]和动态场景去模糊[33]。具体来说，Socher等人。 [28]使用CNN首先学习平移不变性特征，并递归地应用相同的网络来学习树结构中的分层特征表示。Pinheiro和Collobert [23]提出了一种递归结构，由两个或三个具有共享参数的相同CNN组成。Liang和Hu [16]将递归连接纳入每个卷积层，以整合不同级别的上下文信息。Kim等人。 [11]利用图像超分辨率网络中的深层递归层来增加感受野。 Tao等人 [33]使用尺度递归网络从粗尺度到细尺度渐进地恢复潜像。随着神经网络变得越来越深，梯度消失问题严重阻碍了有效的训练。提出了许多架构来解决这个问题。高速公路网络[29]是第一个使用旁路路径训练非常深的网络ResNet [7]使用身份映射跳过一个或多个层，并实现了更深层次的网络训练。DenseNet[8]进一步将密集模块中的每一层连接起来，以传播所有先前的信息，用于后续处理。尽管在高级视觉任务中取得了成功，但跳跃连接也广泛用于图像处理。在图像/视频恢复[10，30，32，9]中，输入图像通常被添加到重建图像中，因为通过CNN学习残差图像比重建体面的输出要容易得多。此外，在内部层[34、6、38]之间也使用跳过连接以充分利用不同级别的特征。在U-net [25]的开创性工作之后，相应的编码器和解码器级之间的跳过连接被广泛用作光流估计[3]、图像恢复[18]和雨滴去除[24]中逐像素回归的有效架构。3. 该方法如示于图1，我们的网络由几个堆叠的编码器-解码器子网络组成，从这些子网络中产生不同尺度的清晰图像，并将其作为下一尺度的子网络的输入。与[ 33 ]中的堆叠ResBlocks不同，我们的网络由3种模块组成，以执行不同的功能，即，特征提取、非线性变换和特征恢复。与文献[33]相比，我们更好地利用了参数，为非线性变换模块设计了一种新的嵌套跳跃连接结构。图像金字塔模糊补丁锐斑图2.尺度可变和尺度不变特征的示例3.1. 参数选择共享虽然[19，33]的两种方法都是以从粗到精的方式逐步恢复清晰图像，但它们利用不同的参数策略来实现目标。[19]中的然而，它缺乏处理不同尺度的约束。中的参数共享方案[33] 使用不同尺度的共享参数约束解空间。我们考虑两个方面的参数问题。第一个问题是什么样的参数可以在不同规模之间共享。第二个问题是同一个尺度内不同模块的参数是否可以共享。参数独立性图2示出了动态场景中的典型模糊图像。背景建筑物大致清晰，但前景人物模糊。当我们采用“粗到细”的在这里，我们分析了图像金字塔中的两个典型区域，在同一位置裁剪11 × 11块一个是背景建筑物中的清晰区域，另一个是前景人物中的模糊尖锐区域中的特征是类似的，因为下采样的尖锐边缘仍然是尖锐的。然而，模糊区域中的特征是不同的，因为模糊边缘在按比例缩小之后变得尖锐。如果特征提取模块跨尺度共享，则不能同时提取清晰和模糊的特征。当从粗尺度中的尖锐特征学习时，共享特征提取模块不能提取细尺度中的模糊特征。有了这个观察结果，我们放松了参数共享方案[33]，并为子网络的每个阶段中的特征提取模块分配独立的参数如图3、具有独立的特征提取模块，我们的参数3851FnFnFn-1Fe 1 1 1 T1 T2Fe 1 1 1T TXn-1Xn(a) 一阶Xn-2Xn-1Xn(b) 二阶（一）（b）第（1）款(c)图3. 在我们的子网络的编码器阶段的参数共享策略。三行中的块表示从粗到细尺度的“粗到细”策略。“FE”是特征提取模块。“T”是非线性变换模块。相同颜色的模块共享相同的参数。(a)尺度-在不同尺度上具有相同参数的递归结构。(b)具有独立特征提取模块的改进尺度递归结构。(c)（b）的修改版本，在一个阶段内以及跨尺度具有共享的非线性变换参数。术语方案（b）不同于（a）中的标度递归模块。在编码器部分中提取并变换特征之后，特征重建模块逐渐将特征重建回清晰图像。由于尺度变化特征是使用独立的参数提取的，因此相应的特征重构模块也具有独立的参数来处理尺度变化特征。参数共享在提取尺度变化特征之后，我们将它们转换为相应的尖锐特征。跨不同尺度的非线性变换模块执行相同的模糊到清晰变换。因此，参数可以跨尺度共享，这在尺度递归结构中得到证实[33]。这种尺度间参数共享方案如图1所示。3（b）款。受传统的迭代图像去模糊的启发，其迭代地使用相同的求解器，我们假设在子网络的每个阶段中的非线性模块之间也存在尺度内在此策略下，每个阶段中的转换模块共享相同的参数，如对模糊特征迭代地应用固定求解器。如图在图3（c）中，子网络的一个编码器级内的结构从(b) 到（c），其中相同的模块迭代地用于非线性变换。形式上，每个子网中的函数定义为Ii=Neti（Bi，Ii−1↑;θi，η），（1）其中Neti是第i个尺度中的子网络，具有尺度独立参数θi和尺度共享参数η。在第i个尺度中，当前模糊图像Bi和在第（i-1）个尺度Ii-1↑上采样的恢复清晰图像被作为输入.在这个比例下的清晰图像Ii是亲-n(c) 三阶图4.高阶残差函数导致嵌套跳跃连接。duced。它被馈送到第（i+ 1）个标度，作为下一个标度的渐进恢复的输入。3.2. 嵌套跳过连接Heet al. [7]验证了拟合残差映射而不是期望映射更容易优化。Nah等人。 [19]和Tao等人。 [33]都选择ResBlocks作为模糊到清晰特征转换的内部构建块。具体来说，ResBlock [19]定义为：xn=xn−1+Fn（xn−1），（2）其中xn−1，xn和Fn是第n个残差单元的输入、输出和残差函数 我们称之为一阶残差，如图所示。第4（a）段。 如果我们假设输入x n−1也是由另一个一阶剩余函数产生的，我们可以将其放入等式中。（二）、经验上，拟合残差的残差比原始残差映射更容易。二阶残差函数被公式化为xn=xn −2 + Fn −1（xn −2）+ Fn（xn −2 + Fn −1（xn−2））。（三）如图如图4（b）所示，存在具有一个交叉的3个跳过路径，这与在s-tacked 2 ResBlock中的2个短期跳过连接形成对比。我们进一步将二阶残差函数扩展为三阶残差函数，xn=xn−3+Fn −2（xn −3）+Fn −1（xn −3+Fn −2（xn−3））+ Fn（xn −3 + Fn −2（xn −3）+ Fn −1（xn −3 + Fn −2（xn −3））。（四）图图4（c）示出了三阶残差函数。递归可以进行推导出更高阶的残差函数。如图4，这些函数变成了一个嵌套的连接结构，在视觉上类似于DenseNet [8]。然而，不同之处在于两个方面。首先，这里的跳过连接表示Fe 2 2 2 T1 T2Fe 2 2 2 T1 T2Fe 3 3 3 T1 T2Fe 2 2 2T TFe 3 3 3 T1 T2Fe 3 3 3T TXn-3Xn-2Xn-1XFnFn-1Fn-23852特征求和，而不是38532我我信道级联其次，这里的直接连接数是（L+1）（L+2），与DenseNet相比，在最后一个卷积层的末尾有（L+ 1）高阶残差函数可以被分组到一个嵌套模块中，以改善信息流并更好地解决整个网络中的梯度消失问题虽然[19，33]中堆叠的ResBlocks有许多短期跳过连接，但它只是堆叠一阶残差函数。相应地，我们的嵌套模块模型高阶残差函数，这是能够复杂的表示能力和更容易优化。我们使用这个嵌套模块来替换堆叠的ResBlocks，以在编码器的不同阶段进行非线性变换解码器子网3.3. 网络架构在[19]和[33]之后，我们使用3个尺度来追求“由粗到精”的策略。因此，三个编码器-解码器子网络堆叠有独立的特征提取和重构，以及共享的非线性变换模块。与使用核大小5 × 5[19，33]不同，我们使用核大小3 × 3来控制模型大小，因为具有3 × 3核的2层可以覆盖与具有5 × 5核的一层相同的接收场，并且节省了大约25%的参数。默认情况下，每个非线性变换模块由4个处理单元组成，每个处理单元由2个卷积层组成特征提取和重构模块分别被实现为一个卷积或转置卷积层此默认设置旨在覆盖与[33]相似的感受野。在编码器-解码器子网络的每个阶段，我们的模型有17个卷积层，内核大小为3 × 3。给定N个训练对的模糊和清晰图像，S尺度{Bk，Lk}，我们最小化均方误差(a) 噪声（b）平滑（c）模糊图5. GoPro训练数据集中的地面真实锐利图像存在几个缺陷。GoPro训练集中的真实清晰图像，包括严重的噪声，大的平滑区域和显著的图像模糊。为了提高训练性能，我们按照[19]的程序使用GoPro Hero6和iPhone 7以240fps建立了一个新的数据集。我们在收集视频时坚持3条准则来克服这些缺陷。首先，相机是稳定的，我们避免记录高速车辆或物体，以确保没有相机运动或物体运动存在于清晰的帧。其次，我们在白天拍摄户外视频，以保证低噪音水平。第三，我们只采样具有足够细节的场景，并避免大的平滑区域，如天空或恒定的背景。在这些指导下，我们收集了5，290个模糊/清晰图像对。这个新的数据集补充了GoPro数据集[19]，以帮助动态场景去模糊重新搜索。除非另有说明，否则以下定量结果基于GoPro训练数据集[19]进行公平比较。实现我们实现了我们的算法张量流在PC上与英特尔至强E5 CPU和NVIDIAi iP40 GPU。在训练过程中，一个256 × 256的区域(MSE)恢复的图像和地面实况之间的关系，在整个训练集上的每个尺度为在相同位置处的模糊图像和地面实况图像被随机裁剪作为训练输入。批量大小为L（θ，η）=1ΣN ΣS1<$Fi（Bk;θi，η）−Lk<$2，（5）在训练中设置为16所有权重都使用Xavier方法[4];偏差初始化为0。 网络我我2Nk=1i =1Ti其中Bk和Lk分别是第i个尺度中的模糊图像和地面实况图像。θi表示尺度无关参数，η是尺度共享参数。每个尺度下的损失由像素的数量Ti归一化。4. 实验与通过卷积模糊核与清晰图像来生成模糊图像不同，Nah等人 [19]通过对高速视频中的连续帧进行平均来合成逼真的模糊图像发布的GoPro数据集包含2，103对用于训练和1，111对用于评估。如图5、部分地面存在缺陷使用Adam方法[ 14 ]进行优化，默认设置β1= 0。9，β2= 0。999，且π= 10−8。 学习率初始设置为0。0001，使用幂0指数衰减到0。3 .第三章。根据我们的实验，4,000个epoch足以让所有网络收敛。4.1. 参数选择共享为了证明所提出的参数选择共享方案的有效性，我们将所提出的模型（模型SE共享）与参数独立方案和参数共享方案进行了比较。参数共享方案（模型共享 ） 的 实 现 如 下 [33] 。 参 数 独 立 性 方 案 （ ModelIndep. ）的网络结构与ModelShare相同23854ing，但在每个尺度上具有独立的参数。对于选择性共享方案，我们使用独立的特征提取和重建模块，并在不同尺度上共享非线性变换模块。模型SE共享采用尺度内参数共享，在编码器-解码器子网络的每一级中具有共享的非线性变换模块。我们还测试了没有尺度内参数共享的策略（模型SE共享w/o IS），其中2个非线性变换模块具有不同的参数。模型龚Nah陶张我们我们的+PSNR26.0629.0830.2629.1930.9231.58SSIM0.86320.91350.93420.93060.94210.9478时间20min3.1s1.3s1.4s1.6s1.6s表3.GoPro评估数据集上的定量结果4.3. 与其他去模糊方法的比较我们还在GoPro评估数据集上将我们的方法与最近最先进的动态场景去模糊和非均匀去模糊方法进行了定量比较，表1.不同参数策略的定量结果定量结果如表1所示，从中我们得到了重要的观察结果。首先，参数共享方案（模型共享）确实优于参数独立方案（模型独立）。）具有更高的性能和更少的参数。第二，与参数共享方案相比，独立的特征提取和重构模块有助于进一步增强系统。第三，尺度内参数共享（模型SE共享）产生与不具有尺度内参数共享（模型SE共享w/o IS）的性能相当的性能。请注意，它只有大约一半的参数。4.2.嵌套跳过连接为了证明嵌套跳跃连接的有效性，我们将此结构与几个基线结构进行了比较。为了公平比较，所有模型在编码器-解码器子网络的每个阶段中都ModelPlain简单地堆叠了8个卷积层。模型ResBlock在每个模块中使用4个ResBlock。ModelDense- Block在DenseNet之后堆叠2个DenseBlocks [8]。Mod- elNested表示建议的嵌套跳过连接结构。模型平原ResBlockDenseBlock嵌套PSNR29.8430.7628.8530.92SSIM0.92480.93830.91090.9421表2.不同模块结构的定量结果如表2所示，ResBlock模型的性能优于Plain模型。它们都比模型DenseBlock工作得更好，因为增长率被设置为一个小值，使DenseBlock的输出通道与其他结构相同。该表表明，所提出的嵌套跳过连接结构实现了更好的性能比其他。如在定性上更模糊的图像上。Sun等人 [31]和Gong等人 [5]都估计了模糊场，并使用非盲反卷积方法恢复了清晰图像。由于[5]的方法可以处理一般运动而不是局部线性运动[31]，我们只将我们的解与[5]的解进行Nah等人 [19]和陶等人。[33]分别采用参数独立和参数Zhang等人。 [37]提出了一种用于动态场景去模糊的空间变RNN。Go-Pro评价数据集的定量结果列于表3中。如表3的最后一列所示，我们还列出了在混合GoPro和我们的数据集上训练的结果。统计数据证明了添加我们的数据集进行训练的优势。GoPro评估数据集的视觉比较如图所示。六、这些结果由仅在默认GoPro训练数据集上训练的模型生成。为了测试我们的模型的泛化能力，我们将性能最好的模型应用于更多的图像。我们从[15]中收集合成模糊图像，从互联网上下载模糊图像，并对真实模糊图像进行采样。如图7，我们的模型一般比[19]和[33]的结果更好。与其他模型相比，我们的模型可以很好地处理不均匀和高度动态的场景，如图1中第一和第二张图像7 .第一次会议。 在图中的第三和第四个图像。7、我们的方法成功地恢复了更多的可识别的文本细节比别人。5. 结论在这项工作中，我们分析了在去模糊CNN中明智地使用参数的一般原则，并提出了一个参数选择性共享方案，与参数独立和共享方案相比我们还提出了一种新的嵌套跳跃连接结构的非线性变换模块的网络。此外，我们还建立了一个大型的模糊/清晰配对数据集，以训练更好的模型。通过采用参数选择性共享方案、嵌套跳跃连接结构和我们的新训练数据集，我们提出了一种新的动态场景去模糊技术。模型独立共享SE 不含IS的SE分享Param14.72M4.91M5.42M2.84MPSNR30.6530.7930.9730.92SSIM0.93690.93890.94260.94213855图6.GoPro评估数据集上的视觉比较 从上到下，我们展示了Gong等人的输入和结果。 [5]，Nah et al.[19] ，陶等人[33]和我们（屏幕上的最佳视图）。3856图7.在更模糊的图像上进行视觉比较。第一个图像来自合成数据集[15]。第二张图片来自互联网。第三张和第四张照片是由我们的iPhone 7拍摄的。第一列是输入图像。第二列由[19]生成。第三列由[33]产生。第四列是我们在混合数据集上训练的结果。最好在屏幕上观看。3857引用[1] T. F. Chan 和 C.- K. 黄 。 全 变 差 盲 反 卷 积 。 IEEETransactions on Image Processing，7（3）：370- 375，1998. 1[2] S. Cho和S.李你快速运动去模糊。ACM Transactions onGraphics，28（5），2009年。1[3] A. 多索维茨基山口Fischer、E.Ilg，P.豪塞尔角哈齐尔巴斯Golkov，P. Van Der Smagt，D. Cremers和T.布洛克斯Flownet：使用卷积网络学习光流在ICCV，第2758-2766页，2015中。3[4] X. Glorot和Y.本吉奥。了解训练深度前馈神经网络的困难。AISTAT，第249-256页5[5] D. Gong，J. Yang，L. Liu，Y.张岛D.里德角沈先生，A. Van Den Hengel和Q.石 从运动模糊到运动流：用于去除异构运动模糊的深度学习解决方案。在CVPR中，第2319-2328页，2017年。一、二、六、七[6] M. Haris，G. Shakhnarovich和N.浮田用于超分辨率的深度反投影网络在CVPR中，第16643[7] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。CVPR，第770-778页，2016年。一、三、四[8] G. Huang，Z.柳湖，加-地Van Der Maaten和K.Q. 温伯格密集连接的卷积网络。在CVPR中，第4700-4708页三、四、六[9] Z. Hui，X. Wang和X.高.通过信息蒸馏网络实现快速准确的单幅图像超分辨率。在CVPR，第723-731页，2018年。3[10] J. Kim，J. K. Lee和K. M.李你使用非常深的卷积网络实现精确的图像超分辨率CVPR，第1646-1654页，2016年3[11] J. 金，J.K. Lee和K.M. 李你用于图像超分辨率的深度递归在CVPR，第1637-1645页，2016年。3[12] T. H.金湾，澳-地Ahn和K. M.李你动态场景去模糊。在ICCV，第3160-3167页，2013中。一、二[13] T. H. Kim和K.M. 李你免分割动态场景去模糊。在CVPR，第2766-2773页，2014年。一、二[14] D. P. Kingma和J. BA.随机优化的一种方法。2015年，国际会议。5[15] W.- S.赖，J. - B. Huang，Z. Hu，N. Ahuja和M. H.杨单幅图像盲去模糊的比较研究。在CVPR，第1701-1709页，2016年。六、八[16] M. 梁和X。胡用于物体识别的递归卷积神经在CVPR，第3367-3375页，2015年。3[17] B.林，S。儿子，H。Kim，S.不还有K M.李你用于单图像超分辨率的增强深度残差网络。在CVPRW，2017年。1[18] X.- J. Mao，C.沈，和Y。B.杨使用具有对称跳跃连接的非常深的卷积编码器-解码器网络的图像恢复。在NIPS，第2802-2810页，2016中。3[19] S.不T H. Kim和K. M.李你用于动态场景去模糊的深度多尺度卷积神经网络。在CVPR，第3883-3891页，2017年。一二三四五六七八3858[20] J. Pan，Z. Hu，Z.苏，H.- Y.李和M H.杨软分割引导的目标运动去模糊。在CVPR，第459-468页，2016年。一、二[21] J. Pan，Z. Hu，Z.苏和M H.杨通过l0-正则化强度和梯度先验去模糊文本图像在CVPR，第2901-2908页1[22] J. Pan，D.孙，H.菲斯特和M H.杨使用暗通道先验的盲图像去模糊。在CVPR，第1628- 1636页，2016年。1[23] P. H. Pinheiro和R.科洛伯特用于场景标记的递归卷积神经网络。InICML，2014. 3[24] R.钱河，巴西-地T.谭，W。Yang，J. Su，and J.刘某用于从单个图像中去除雨滴的注意生成对抗网络。在CVPR中，第2482-2491页，2018年。3[25] O.龙内贝格山口Fischer和T.布洛克斯U-net：用于生物医学图像分割的卷积网络在MIC-CAI，第234-241页，2015年。3[26] C. J. Schule r，M. Hirsch，S. Harmeling和B. Schoülk opf. 学习解模糊。IEEE Transactions on PatternAnalysis and Machine Intelligence，38（7）：1439-1451，2016。1[27] Q. Shan，J. Jia，and A.阿加瓦拉高品质的运动去模糊从一个单一的图像。ACM Transactions on Graph-ics，27（3），2008. 1[28] R. 索彻湾胡瓦尔湾巴斯角D. Manning和A.Y. Ng.用于3d对象分类的卷积递归深度学习NIPS，第656-664页，2012年。3[29] R. K. Srivastava，K. Greff和J.施密特胡博训练深度网络。NIPS，第2377-2385页，2015年。3[30] S. 苏，M。Delbracio，J.Wang，G.Sapiro，W.海德里希，以及O.王.深度视频去模糊。在CVPR，第1279- 1288页，2017年。3[31] J. 太阳，W。曹，Z.Xu和J.庞塞学习卷积神经网络去除非均匀运动模糊。在CVPR，第769-777页，2015年。一、二、六[32] Y. Tai，J.Yang和X.刘某通过深度递归残差网络实现图像超分辨率在CVPR中，第3147-3155页，2017年。3[33] X. Tao，H.Gao、X.Shen，J.Wang和J.贾用于深度图像去模糊的尺度递归网络。在CVPR中，第8174-8182页，2018年。一二三四五六七八[34] T.通，G. Li，X. Liu和Q.高.使用密集跳跃连接的图像超分辨率。在ICCV，第4809-4817页，2017年。3[35] L. Xu和J. Jia.用于鲁棒运动去模糊的两阶段核估计。ECCV，第157-170页，2010年。1[36] L. Xu，S. Zheng和J.贾自然图像去模糊的非自然l0稀疏表示。在CVPR，第1107- 1114页，2013年。1[37] 张杰，J. Pan，J. Ren，Y.松湖，澳-地鲍河W. Lau和M.- H.杨动态场景去模糊的空间变化递归神经网络。在CVPR中，第2521-2529页，2018年。一、二、六[38] Y. Zhang， Y.田氏Y.孔湾，澳-地Zhong和Y. Fu.用于图像超分辨率的残差稠密网络。在CVPR中，第2472-2481页，2018年。3[39] D. Zoran和Y.韦斯从自然图像块的学习模型到整体图像恢复。在ICCV，第479-486页，2011年。2