动态场景多尺度深度卷积神经网络去模糊方法及数据集

1用于动态场景去模糊的深度多尺度卷积神经网络Seungjun Nah Tae Hyun Kim Kyoung Mu Lee Department ofECE，ASRI，Seoul National University，151-742，Seoul，Korea{seungjun.nah，ligher9}@ gmail.com，kyoungmu@snu.ac.kr摘要一般动态场景的非均匀盲去模糊是一个具有挑战性的计算机视觉问题，因为模糊不仅来自多个物体的运动，而且来自相机抖动，场景深度变化。为了去除这些复杂的运动模糊，传统的基于能量优化的方法依赖于简单的假设，使得模糊核是部分均匀的或局部线性的。此外，最近的基于机器学习的方法还依赖于在这些假设下生成的合成模糊数据集。这使得传统的去模糊方法无法去除模糊核难以近似或参数化的模糊（例如，对象运动边界）。在这项工作中，我们提出了一个多尺度卷积神经网络，它可以以端到端的方式恢复清晰的图像，其中模糊是由各种来源引起的。同时，我们提出了多尺度损失函数，模仿传统的粗到细的方法。此外，我们提出了一个新的大规模的数据集，提供对现实的模糊图像和相应的地面真实锐利的图像，由高速相机获得。通过在该数据集上训练所提出的模型，我们实证地证明了我们的方法不仅在定性上而且在定量上实现了动态场景去模糊的最新性能。1. 介绍运动模糊是拍摄照片时最常见的伪影类型之一。相机的抖动和快速对象运动使图像质量降级为不期望的模糊图像。此外，诸如深度变化、运动边界中的遮挡等各种原因使得模糊更加复杂。单幅图像去模糊问题是在给定一幅模糊图像的情况下，估计出未知的清晰图像。早期的研究集中在去除由简单的平移或旋转相机运动引起的模糊最近的工作试图处理由动态环境中的深度变化、相机抖动和对象运动引起的一般非均匀模糊。这些方法中的大多数基于以下内容模糊模型[28，10，13，11]。B=KS+n，（1）其中B、S和n分别是矢量化模糊图像、潜在清晰图像和噪声。K是大的稀疏矩阵，其行各自包含作用于S以生成模糊像素的局部模糊核。在实践中，模糊核是未知的。因此，盲去模糊方法试图同时估计潜在清晰图像S和模糊核K。为每个像素寻找模糊核是一个严重不适定的问题。因此，一些方法试图通过对模糊源的简单假设来参数化模糊模型。在[28，10]中，他们假设模糊仅由3D相机运动引起。然而，在动态场景中，由于存在多个移动对象以及相机运动，核估计更具挑战性。因此，Kim et al.[14]提出了一种动态场景去模糊方法，该方法联合分割和去模糊非均匀模糊图像，允许估计分段内的复杂（非线性）核。此外，Kim和Lee [15]将模糊核近似为局部线性，并提出了一种联合估计潜像和局部线性运动的方法然而，这些模糊核近似仍然是不准确的，特别是在突然的运动不连续性和遮挡的情况下。注意，这种错误的核估计直接影响潜像的质量，导致不期望的振铃伪影。最近，CNN（卷积神经网络）已被应用于许多计算机视觉问题，包括去模糊问题，并显示出有希望的结果[29，25，26，1]。由于没有一对真实模糊图像和真实清晰图像可用于监督学习，因此通常使用卷积合成模糊核生成的模糊图像。在[29，25，1]中，使用具有均匀模糊核的合成模糊图像进行训练。而且，在[26]中，训练分类CNN来估计局部线性模糊内核。因此，基于CNN的模型仍然只适用于某些特定类型的模糊，并且对更常见的空间变化模糊有限制。38833884(a)(b)（c）第（1）款图1. (a)输入模糊图像。(b)Sun et al.[26]第10段。(c)去模糊结果。我们的研究结果显示了清晰的对象边界，没有文物。因此，现有的各种方法在推广应用之前，还存在许多这主要是由于使用简单和不真实的-tic模糊核模型。因此，为了解决这些问题，在这项工作中，我们提出了一种用于动态场景去模糊的新型端到端深度学习首先，我们提出了一种多尺度CNN，它直接恢复潜像，而不需要假设任何受限的模糊核模型。特别是，多尺度架构旨在模仿传统的粗到细优化方法。与其他方法不同，我们的方法不估计显式模糊内核。因此，我们的方法是免费的，从核估计误差产生的文物。其次，我们用多尺度损失训练所提出的模型，这适合于大大增强收敛的此外，我们通过采用对抗损失进一步改进了结果[9]。第三，我们提出了一个新的现实模糊图像数据集与地面真实清晰的图像。为了获得用于训练的核无模型数据集，我们采用[17]中介绍的数据集获取方法。由于模糊过程可以通过在快门时间内对清晰图像进行积分来建模[17，21，16]，因此我们使用高速相机捕获动态场景的一系列清晰帧，并通过考虑伽马校正对其进行平均以生成模糊图像。通过使用建议的数据集进行训练并添加适当的增强，我们的模型可以隐式地处理一般的局部模糊核。由于损失项优化结果以类似于地面实况，它甚至恢复模糊核极其复杂的遮挡区域，如图所示。1.一、我们使用数百万对图像补丁训练模型，并在动态场景去模糊方面取得了大量的实验结果表明，所提出的方法的性能远在定性和定量评价方面优于现有技术的动态场景去模糊方法1.1. 相关作品有几种方法采用CNN去模糊[29，26，25，1]。Xu等人。[29]提出了一种图像去卷积CNN，用于在非盲设置中对模糊图像进行去模糊。他们建立了一个基于可分离核属性的网络，即（逆）模糊核可以分解为少量的显著滤波器。此外，他们还结合了去噪网络[7]，通过在他们提出的网络末端连接模块来减少视觉伪影，如噪声和色彩饱和度另一方面，Schmidt et al.[25]提出了一种使用CNN的盲去模糊方法。他们提出的网络模仿传统的基于优化的去模糊方法，并以粗到细的方式迭代特征提取，核估计和潜像估计步骤。为了获得用于网络训练的清晰和模糊图像对，他们使用高斯过程生成均匀的模糊内核，并通过将它们卷积到从ImageNet数据集收集的清晰图像来合成大量模糊图像[3]。然而，他们报告了由于其次优架构而导致的大模糊的性能限制。类似于Couzinie-Devy等人的工作。[2]，Sun et al.[26]提出了一种顺序去模糊方法。首先，他们用73个候选模糊内核生成了模糊和清晰的补丁对。接下来，他们训练分类CNN来测量局部补丁的特定模糊核的可能性。然后通过优化由CNN似然度和平滑度先验组成的能量模型来获得平滑变化的模糊核最终潜在3885用传统的优化方法[30]执行图像估计。注意，所有这些方法都需要精确的核估计步骤来恢复潜在清晰图像。与此相反，我们提出的模型是学习产生的潜像直接估计模糊内核。在其他计算机视觉任务中，应用了几种形式的粗到细架构或多尺度架构[8，6，4，23，5]。然而，并非所有多尺度CNN都被设计为产生最佳结果，类似于[25]。在深度估计、光学光流估计等中，网络通常产生具有较小分辨率COM的输出。2. 模糊数据集而不是建模的内核卷积上的一个尖锐的图像，年龄，我们选择记录的尖锐的信息，随着时间的推移进行整合模糊图像生成。由于相机传感器在曝光期间接收光线，因此每次的清晰图像刺激都会累积，从而产生模糊图像[13]。然后，通过非线性CRF（相机响应函数）将积分信号转换为像素值因此，该过程可以通过累积来自高速视频帧的信号来近似。模糊累积过程可以建模如下。设置为输入图像分辨率[8，6，5]。即使使用多尺度架构，这些方法也难以处理长程相关性因此，我们做了一个多尺度架构，.1B=g不t=0Σ。1S（t）dtMMΣ−1i=0时ΣS[i]、（二）提供细粒度的详细信息，从粗糙尺度的依赖性。此外，我们通过训练具有多尺度损失的网络，确保中间级网络以明确的方式帮助最终阶段。1.2. 无核学习的动态场景去模糊传统上，在估计潜像之前必须找到模糊核基于CNN的方法没有例外[25，26]。然而，核估计涉及到几个问题。首先，假设简单的核卷积不能模拟几个具有挑战性的情况，如闭塞区域或深度变化。其次，核估计过程是微妙的，对噪声和饱和度敏感，除非模糊模型是精心设计的。此外，不正确地估计的内核引起潜像中的伪影。第三，为动态场景中的每个像素找到空间变化的内核需要大量的内存和计算。因此，我们在模糊数据集生成和潜像估计中都采用了无核方法。在模糊图像生成中，我们遵循近似相机成像过程，而不是假设特定运动，而不是寻找或设计复杂的模糊核。我们捕捉连续的清晰帧，并整合以模拟模糊过程。详细程序见第2节。请注意，我们的数据集仅由模糊和清晰的图像对组成，并且本地内核信息隐含地嵌入其中。图2、将我们的无核模糊图像与具有统一模糊核的常规合成图像进行比较。值得注意的是，我们的方法产生的模糊图像表现出逼真的和空间变化的模糊所造成的运动的人和静态的背景，而传统的方法合成的模糊图像没有。对于潜像估计，我们不假设模糊源，只在模糊和清晰的图像对上训练模型。因此，我们提出的方法不会遭受去模糊中与内核相关的问题其中T和S（t）分别表示曝光时间和在时间t处清晰图像的传感器信号。类似地，M、S[i]分别是采样帧的数量和在曝光时间期间捕获的第i个清晰帧信号。g是映射尖锐潜在信号的CRF将S（t）变换到观测图像S（t）中，使得S（t）=g（S（t）），或S[i]=g（S[i]）。在实践中，我们只有一个观察视频帧，而原始信号和CRF是未知的。众所周知，当涉及非线性CRF时，非均匀去模糊变得然而，目前，没有CRF估计技术可用于具有空间变化模糊的图像[27]。当未给出基础真值CRF时，一种常用的实用方法是将CRF近似为γ = 2的伽马曲线。2如下，因为它被称为已知CRF的近似平均值[27]。g（x）= x1/γ。（三）因 此 ， 通 过 校 正 伽 马 函 数 ， 我 们 通 过 S[i]=g-1（S[i]）从观测图像S[i]获得潜在帧信号S[i]，然后通过使用（2）合成相应的模糊图像B我们使用GOPRO4 Hero Black相机来生成我们的数据集。我们用GOPRO相机拍摄了240 fps的视频，然后对不同数量（7 - 13）的连续潜在帧进行平均，以产生不同强度的模糊例如，平均15帧模拟以1/16快门速度拍摄的照片，而对应的清晰图像快门速度为1/240。值得注意的是，对应于每个模糊图像的清晰潜像被定义为用于制作模糊图像的清晰帧中的中间帧最后，我们的数据集是由3214对模糊和清晰的图像在1280x720分辨率。拟议的GOPRO数据集可在我们的网站上公开获取1。1https://github.com/SeungjunNah/DeepDeblur_释放3886(a)(b)（c）第（1）款图2. (a)地面实况清晰图像。(b)通过卷积均匀模糊核生成的模糊图像。(c)通过平均清晰帧模糊图像。在这种情况下，模糊主要是由人的运动引起的，使背景保持原样。模糊核是不均匀的、形状复杂的。然而，当模糊图像通过与均匀核的卷积合成时，背景也变得模糊，好像模糊是由相机抖动引起的。为了对动态场景模糊建模，需要我们的无核方法。3. 该方法在我们的模型中，精细尺度图像去模糊是由粗尺度特征辅助的。为了在保留精细信息的同时利用粗、中级信息，网络的输入和输出采用高斯金字塔的形式请注意，大多数其他粗到精网络都将单个图像作为输入和输出。3.1. 模型架构除了多尺度架构之外，我们还采用了稍微修改过的残差网络结构[12]作为我们模型的构建块。与普通CNN相比，使用残差网络结构可以实现更深的架构。此外，由于模糊和清晰图像对的值相似，因此让参数只学习差异是有效的。我们发现，在原始剩余构建块的快捷连接之后删除已校正的线性单元可以提高训练时 的 收 敛 速 度 我 们 将 修 改 后 的 构 建 块 定 义 为ResBlock。原始的3 .第三章。通过使用ResBlocks堆叠足够数量的卷积层，每个尺度的接收场都被扩展。详情载于以下各段。为了保持一致性，我们按照分辨率递减的顺序定义尺度级别（即，第1级为最小规模）。除非ReLU输出（一）输出(b)否则，我们使用总K= 3尺度。在训练时，我们将输入和输出高斯金字塔补丁的分辨率设置为{256×256，128×128，64×64}。连续刻度之间的刻度比为0.5。对于所有卷积层，我们将滤波器大小设置为5×5。由于我们的模型是完全卷积的，因此在测试时，补丁大小可能根据GPU内存允许的情况而变化。总体架构如图所示。4.第一章图3. (a)原始剩余网络构建块。 (b)模-我们网络的一个重要组成部分。我们没有使用批量归一化层，因为我们使用大小为2的minibatch训练模型，这比批量归一化的通常情况下要小。我们发现，在块输出之前删除校正的线性单元在性能方面是有益的。输入CONVReLUCONV输入CONVBNReLUCONVBN3887. . .L1S1起来Conv反向传播. . .L2S2起来Conv反向传播. . .CONVResBlockResBlockCONVCONVResBlockResBlockCONVCONVResBlockResBlockCONV反向传播B1B2B3L3 S3图4.多尺度网络架构。 Bk、Lk、Sk分别表示模糊图像、潜在图像和真实清晰图像。 下标k表示高斯金字塔中的第k个尺度级别，其被下采样到1/2k尺度。我们的模型以模糊图像金字塔作为输入，并输出估计的潜像金字塔。每个中间尺度输出都被训练成尖锐的。在测试时，选择原始比例尺图像作为最终结果。密集级网络在网络的前端是粗网络.第一个卷积层将1/4分辨率，64×64大小的图像转换为64个特征图。然后，堆叠19个ResBlocks，然后是最后一个卷积层，将特征映射转换为输入维度。每卷积层保留零填充的分辨率总共有40个卷积层。在每个尺度级别上的卷积层的数量被确定为使得总模型应该具有120个卷积层。因此，最粗层网络的感受野大到足以覆盖整个斑块.在该阶段结束时，生成粗略级潜在清晰图像。此外，来自粗级输出的信息被传递到下一级，其中更精细的网络。为了转换粗略的输出以适应下一个精细尺度的输入大小，输出补丁通过上卷积[22]层，而其他多尺度方法使用整形[8]或上采样[4，6，23]。由于清晰和模糊的补丁共享低频信息，因此使用上卷积学习合适的特征有助于消除冗余。在我们的实验中，使用上卷积比上采样表现出更好的性能然后，将上卷积特征与作为输入的较细尺度模糊补丁连接。较细级网络较精细级别的网络基本上具有与最粗糙级别的网络相同的结构然而，第一个卷积层以级联的形式从前一阶段以及其自己的模糊输入图像中获取清晰的特征每卷积滤波器的大小为5×5，具有与粗调级别相同数量的特征图除了最后一最精细的尺度，在下一阶段之前有一个上卷积层。在最精细的尺度上，原始分辨率清晰的图像被恢复。3.2. 培训我们的模型是在建议的GOPRO数据集上训练的。在3214对中，2103对用于训练，并用于测试。为了防止我们的网络过度拟合，涉及几种数据增强技术。在几何变换方面，补丁在水平和垂直方向上随机移动，旋转90度。对于颜色，RGB通道是随机的。为了考虑图像退化，HSV颜色空间中的饱和度乘以[0]内的随机数。五一5]。此外，高斯随机噪声被添加到模糊图像。为了使我们的网络对不同强度的噪声具有鲁棒性，3888噪声也从高斯分布N（0，（2/255）2）中随机采样。然后，裁剪[0，1]之外的值。最后，减去0.5以设置输入和输出值范围为零中心，具有范围[-0.5，0.5]。在优化网络参数时，我们结合了两种损失，多尺度内容损失和对抗性损失来训练模型。多尺度内容损失基本上，由粗到精的方法希望每个中间输出都成为相应尺度的清晰图像。因此，我们训练我们的网络，以便中间输出应该形成清晰图像的高斯金字塔。MSE准则应用于金字塔的每一层因此，损失函数定义如下：Lcont=1 2000万美元 k=11ck wkhkLk −Sk表1.模型参数。每个卷积层都是用LeakyReLU层激活的。其中，Lk、Sk分别表示尺度级别k处的模型输出和地面实况图像每个尺度下的损耗通过通道数ck、宽度wk和高度hk（即元件总数）进行归一化。对抗性损失最近，据报道，对抗网络可以生成清晰逼真的图像[9，4，24]。按照[24]中介绍的架构，我们在表1中构建了一个数据库。鉴别器将最精细尺度的输出或地面真实清晰图像作为输入，并分类它是去模糊图像还是清晰图像。对抗性损失的定义如下。学习速率降低到以前学习速率的1/10总的训练需要9×105次迭代才能收敛。4. 实验结果我们用torch7库实现了我们的模型。所有以下实验都 在 具 有 i7- 6700 K CPU 和 NVIDIA GTX Titan X（Maxwell）GPU的台式机中进行4.1. GOPRO数据集我们评估我们的模型在拟议的GOPRO数据集的性能。我们的测试数据集由1111对组成，约占总数据集的1/3。我们以定性和定量的方式将结果与最先进的方法[15，26]的结果进行比较。我们Ladv=E沙湾尖（S）[logD（S）]+结果显示图像质量有了显著改善。一些去模糊结果如图所示 五、我们不-EB模糊（B） [log（1−D（G（B）]，（5）根据Sun et al. [26]，去模糊在模糊为非线性形状或位于运动边界的区域上是不准确的。[15]第十五话：其中G和D表示生成器，这是我们在图中的多尺度去模糊网络。4、分别为：在训练时，G试图最小化对抗损失，而D试图最大化它。最后，结合多尺度内容损失和对抗性损失，对生成器网络和训练器网络进行联合训练。我们的最终损失是Ltotal=L+λ×Ladv，（6）其中权重常数λ= 1×10−4。我们使用了ADAM [18]优化器和小批量2 训练学习率自适应地从5×10−5开始调整。 经过3×105次迭代，在没有发现强边缘的情况下，结果也失败。相比之下，我们的结果是免费的，从那些内核估计相关的问题。表2显示了竞争方法和我们的方法在不同尺度水平k下对测试数据的PSNR、SSIM的定量评价结果。此外，还比较了运行时。我们观察到，我们的系统与K=2产生最好的结果，在这两个PSNR和SSIM，而K= 3是最快的4.2. 科勒数据集科勒数据集[19]由4个潜像和12个不同的模糊图像组成模糊是由重放记录的6D摄像机运动引起的，假设线性CRF。我们报告了这方面的定量结果#层权维步幅1conv32× 3× 5× 522conv64× 32× 5× 513conv64× 64× 5× 524conv128× 64× 5× 515conv128× 128× 5× 546conv256× 128× 5× 517conv256× 256× 5× 548conv512× 256× 5× 519conv512× 512× 4× 4410FC512× 1× 1× 1-11乙状--3889图5. GOPRO数据集上的测试结果。从上到下：模糊图像，Sun等人的结果。[26]，Kim和Lee的结果[15]，以及所提出的方法的结果。3890图6.数据集上的去模糊结果[20]。顶行显示Sun等人的结果的结果。[26]下面一行显示了我们的结果。表2. GOPRO数据集上的定量去模糊性能比较。K表示刻度级别。表3中的数据集。 我们的模型通过将g设置为（2）中的识别函数来训练。我们注意到，我们的系统与K= 2产生最好的结果在PSNR，和系统K= 3表现出最好的MSSIM结果。表3. 在科勒数据集上进行定量比较。数据集有自己的评估代码，因此我们报告多尺度SSIM而不是SSIM。4.3. Lai et al.的数据集Lai等人。[20]通过卷积非均匀模糊内核并施加几种常见的退化来生成合成数据集。他们还记录了6D相机轨迹以生成模糊内核。然而，它们的模糊图像和清晰图像并没有以我们的数据集的方式对齐，这使得简单的图像质量指标（如PSNR和SSIM）与感知质量的相关性较因此，我们在图中显示了定性比较六、很明显，我们的结果避免了环形伪影，同时保留了波浪波纹等细节。5. 结论本文提出了一种用于清晰图像估计的盲去模糊神经与以前的研究，ies，我们的模型避免了核估计相关的问题该模型遵循从粗到细的方法，并在多尺度空间中进行训练。我们还构建了一个现实的地面实况模糊数据集，实现了有效的监督学习和严格的评估。实验结果表明，我们的方法优于国家的最先进的方法，在定性和定量的方式，同时要快得多。引用[1] A.查克拉巴蒂盲运动去模糊的神经方法。在ECCV，2016年。一、二测量[26日][第十五条]我们K= 1K= 2K= 3PSNR24.6423.6428.9329.2329.08SSIM0.84290.82390.91000.91620.9135运行时20分钟1小时7.21秒4.33秒3.09秒测量[26日][第十五条]我们K= 1K= 2K= 3PSNR25.2224.6825.7426.0226.48MSSIM0.77350.79370.80420.81160.80793891[2] F. Couzinie-Devy，J.孙，K.Alahari和J.庞塞学习估计和去除非均匀图像模糊。CVPR，2013。2[3] J. Deng，W.东河，巴西-地索赫尔湖J. Li，K. Li和L.飞飞。Imagenet：一个大规模的分层图像数据库。在CVPR，第248-255页中。IEEE，2009年。2[4] E. L. Denton，S.钦塔拉河Fergus等人使用对抗网络的拉普拉斯金字塔的深度生成图像模型。神经信息处理系统的进展，第1486-1494页，2015年。三五六[5] A. 多索维茨基山口Fischer、E.Ilg，P.豪塞尔角哈齐尔巴斯Golkov，P. van der Smagt，D. Cremers和T.布洛克斯Flownet：使用卷积网络学习光流在CVPR中，第2758-2766页，2015年。3[6] D. Eigen和R.费格斯。预测深度，表面法线和语义标签与一个共同的多尺度卷积架构。 在ICCV，第2650-2658页，2015中。 三、五[7] D. Eigen，D. Krishnan和R.费格斯。恢复通过被灰尘或雨水覆盖的窗户拍摄的图像。在ICCV，第633-640页，2013年。2[8] D.艾根角Puhrsch和R.费格斯。使用多尺度深度网络从单个图像进行深度图预测。神经信息处理系统进展，第2366-2374页，2014年。三、五[9] I. 古德费罗 J. 波吉特-阿巴迪 M. 米尔扎 B. 许、D. 沃德-法利，S。奥扎尔A.Courville和Y.本吉奥。生成对抗网络。神经信息处理系统进展，第2672-2680页，2014年。二、六[10] A. 古普塔，加-地乔希角，澳-地L. Zitnick，M.Cohen和B.没有卷发使用运动密度函数的单幅图像去模糊。见ECCV，第171-184页。施普林格，2010年。1[11] S. Harmeling，H. Michael和B. Sch oülk opf.消除相机抖动的空变单图像盲解卷积神经信息处理系统进展，第829-837页，2010年。1[12] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。CVPR，第770-778页，2016年。4[13] M. 赫 希 角 J. Schule r，S. Harmeling 和B. Sch oülkopf. 快速消除不均匀的相机抖动。见ICCV，2011年。第1、3条[14] T. H.金湾，澳-地Ahn和K. M.李你动态场景去模糊。InICCV，2013. 1[15] T. H. Kim和K.M. 李你免分割动态场景去模糊。CVPR，2014。一、六、七、八[16] T. H. Kim和K. M.李你动态场景的广义视频去模糊。CVPR，2015。2[17] T. H. Kim，S.不还有KM. 李你使用局部自适应线性模糊模型的动态场景arXiv预印本arXiv：1603.04265，2016年。2[18] D. Kingma和J. BA. Adam：一种随机优化方法。arXiv预印本arXiv：1412.6980，2014。6[19] R. Kohler，M. 赫希湾，巴西-地 Mohle r，B. Scho¨lk opf，以及S. 伤害。 相机抖动的记录和回放：用真实世界的数据库对盲反卷积进行基准测试。在ECCV中，第27-40页。Springer，2012. 63892[20] W.- S. 赖，J. -B. Huang，Z.Hu，N.Ahuja和M.H. 杨单幅图像盲去模糊的比较研究在IEEE计算机视觉和模式识别会议的Proceedings中，第1701-1709页8[21] Y. Li，S. B. Kang，N.乔希，S。M. Seitz和D.我是P·赫顿-罗彻。从运动模糊视频生成清晰全景图。CVPR，2010。2[22] J.朗，E. Shelhamer和T.达雷尔。用于语义分段的全卷积网络。在CVPR，第34315[23] M.马蒂厄角Couprie和Y.乐存。超越均方误差的深度多尺 度 视 频 预 测 。 arXiv 预 印 本 arXiv ： 1511.05440 ，2015。三、五[24] A.拉德福德湖，澳-地Metz和S.钦塔拉使用深度卷积生成对抗网络进行无监督表示学习arXiv预印本arXiv：1511.06434，2015。6[25] C. J. Schule r，M. Hirsch ，S. Harmeling 和B. Schoülk opf. 学 习 解 模 糊 。 IEEE transactions on patternanalysis and machine intelligence ， 38 （ 7 ） ： 1439-1451，2016。一、二、三[26] J.孙，W.曹，Z. Xu和J. Ponce.学习卷积神经网络以去除非均匀运动模糊。在CVPR，第769-777页中。IEEE，2015年。一二三六七八[27] Y.-- W. Tai，X.Chen，S.Kim，S.J. Kim，F.Li，J.杨，J.余先生，Y. Matsushita和M.S. 布朗非线性相机响应函数和图像去模糊：理论分析与实践。PAMI，35（10）：2498-2512，2013. 3[28] O. 怀特，J。Sivic，A.Zisserman和J.庞塞抖动图像的非均匀去模糊。2010. 1[29] L. 徐，J.S. 伦角，澳-地Liu和J.贾用于图像去卷积的深度卷积神经信息处理系统，第1790-1798页，2014年一、二[30] D. Zoran和Y.韦斯从自然图像块的学习模型到整体图像恢复。见ICCV，第479-486页。IEEE，2011年。3