时间锐度先验的级联深度视频去模糊方法

1使用时间锐度先验的级联深度视频去模糊潘金山，白浩然，唐金辉南京理工大学(a) 输入帧（b）Kim和Lee [12]（c）STFAN [32]（d）EDVR [27]（e）我们的（f）（a）图1的Sharpingprior。在一个真正具有挑战性的视频去模糊的结果。我们的算法的动机是基于变分模型的方法的成功。它通过时间清晰度先验（参见（f））来探索来自相邻帧的清晰度像素，并通过级联推理过程来恢复清晰视频。正如我们的分析所示，在深度卷积神经网络（CNN）中强制执行时间锐度先验并通过级联推理方式学习深度CNN可以使深度CNN更加紧凑，从而产生比基于CNN的方法[27，32]和基于变分模型的方法[12]更好的去模糊结果摘要我们提出了一种简单有效的深度卷积神经网络（CNN）模型用于视频去模糊。该算法主要包括基于中间隐帧的光流估计和隐帧恢复两个步骤。它首先开发了一个深度CNN模型来估计中间潜在帧的光流，然后基于估计的光流恢复潜在帧为了更好地探索视频中的时间信息，我们在约束深度CNN模型之前开发了时间锐度，以帮助潜在帧恢复。我们开发了一种有效的级联训练方法，并以端到端的方式联合训练提出的CNN模型我们表明，探索视频去模糊的领域知识能够使深度CNN模型更加紧凑和高效。大量的实验结果表明，该算法在基准数据集和真实视频上的性能优于现有的方法。1. 介绍视频去模糊是视觉和图形领域的一个基本问题，其目的是从模糊序列中 随着越来越多的视频使用手持和机载视频捕获设备拍摄，在过去十年中，这个问题已经得到了积极的研究努力。视频中的模糊通常是由相机抖动、物体运动和深度变化引起的。正在恢复-*通讯作者。帐篷帧是高度不适定的，因为仅给出模糊视频为了从模糊序列中恢复潜在帧，传统方法通常对运动模糊和潜在帧进行假设[12，2，4，11，5，29]。在这些方法中，运动模糊通常被建模为光流[12，2，5，29]。这些方法的关键成功之处在于在一定的先验约束下联合估计光流和潜在帧。这些算法受到物理启发，并产生有希望的结果。然而，对运动模糊和潜在帧的假设通常导致复杂的能量函数，这是难以解决的。深度卷积神经网络（CNN）作为最有前途的方法之一，已被开发用于解决视频去模糊问题。受深CNN在单图像去模糊中的成功的启发，Su et al.[24]连接连续帧并基于编码器-解码器架构开发深度CNN以直接估计潜在帧。Kim等人[13]开发了一个深度递归网络，通过级联多帧特征来递归地恢复潜在帧为了更好地捕捉时间信息，Zhang et al.[31]开发空间-时间3D卷积以帮助潜在帧恢复。这些方法在运动模糊不显著且输入帧之间的位移较小时表现良好。然而，它们对于包含显著模糊和大位移的帧不太有效，因为它们不考虑输入帧之间的对齐[6]。30433044为了解决这个问题，几种方法显式地[14，3，27]或隐式地[32]估计连续输入帧之间的对齐，以使用端到端可训练的深度CNN来恢复潜在帧。例如，对齐方法[10]和[19]已经被扩展到处理[14]和[32]的视频去模糊。[3，27]的方法采用光流或可变形卷积来估计连续输入帧之间的对齐，以帮助视频去模糊。这些算法表明，采用更好的对齐策略能够提高视频去模糊的性能。然而，这些算法的主要成功是由于使用大容量的模型。这些模型不能很好地推广到实际情况。我们注意到基于变分模型的方法存在大量的先验知识，并且在视频去模糊中是有效的。一个自然的问题是，我们能否在基于变分模型的方法中使用主知识来使深度CNN模型更加紧凑，从而提高视频去模糊的准确性？为了解决这个问题，我们提出了一个简单而紧凑的CNN视频去模糊模型。与基于变分模型的方法不同，该方法基于估计的光流来扭曲连续帧以生成模糊帧，我们的算法将相邻帧扭曲到参考帧中，使得连续帧对齐良好，从而生成更清晰的中间潜在帧。由于生成的中间潜在帧可能包含伪影和模糊效果，我们进一步开发了基于编码器-解码器架构的深度CNN为了更好地探索连续帧的属性，我们在约束深度CNN模型之前开发了时间锐度。然而，由于我们的算法从中间潜在帧估计光流作为运动模糊信息，因此需要反馈回路。为了有效地训练所提出的算法，我们开发了一种级联训练方法，并以端到端的方式联合训练所提出的模型大量的实验表明，该算法是能够产生有利的结果-gastrophic国家的最先进的方法，如图1所示。主要贡献概述如下：• 我们提出了一个简单而紧凑的深度CNN模型，可以同时估计光流和潜在帧，用于视频去模糊。• 为了更好地探索连续帧的属性，我们在约束深度CNN模型之前开发了时间清晰度。• 我们在基准数据集和真实世界的视频上定量和定性地评估了所提出的算法，并表明它在准确性和模型大小方面优于最先进的方法2. 相关工作手工制作的基于先验的方法。早期的视频或多帧去模糊方法[4，18]通常假设存在尖锐内容并对其进行插值以帮助隐藏帧的消除。这些方法的主要成功是由于使用了来自相邻帧的清晰内容然而，这些方法对于运动物体引起的模糊效果较差，并且由于插值而通常产生平滑的结果。为了克服这个问题，几种算法[5，11，12，16]通过变分方法来制定视频去模糊。这些算法首先将运动模糊表示为光流，并提出一种先验知识来约束视频去模糊的潜在帧和光流。Dai和Wu [5]分析了运动模糊与光流的关系，并交替估计了潜在帧的透明度图、前地和背景。由于该方法依赖于透明度图的准确性，因此[11]对其进行了进一步扩展，其中通过交替估计光流和潜在帧来实现去模糊过程。Kim等人。[12]基于[11]使用双向光流近似运动模糊。为了处理更复杂的运动模糊，Gong等人。[7]开发CNN来估计光流，并使用传统的去卷积算法[33]来恢复潜在帧。在[29]中，Wulff和Black开发了一种新的运动场景分层模型，并逐层恢复潜在帧。这些算法是基于物理模型，这是能够消除模糊，并产生体面的结果。然而，施加在运动模糊和潜在帧上的先验通常导致难以求解的复杂能量函数。基于深度学习的方法由于基于编码器和解码器架构的C-NN在图像恢复中的成功[23，17]，这种网络已广泛用于多帧[1]或视频去模糊[24]。相反使用2D卷积，Zhang et al.[31]采用空间-时间3D卷积来帮助潜在帧恢复。如[6]所示，这些方法可以使用光流进行对准来改进为了更好地利用空间和时间信息，Kim et al.[14]开发一种光流估计步骤，用于在相邻帧上对准和聚集信息以恢复潜在帧。Wieschollek等人[28]基于递归网络，在多个尺度中递归地使用来自前一帧的特征在[13]中，Kim et al.开发了一个时空递归网络与动态时间混合层的潜在帧恢复。Zhou等人扩展了内核预测网络[19]以改善帧对齐。在[27]中，Wang等人，开发金字塔、级联和可变形卷积，以实现更好的对齐性能。隐帧通过深度CNN模型和时空注意策略进行恢复。通过以端到端的方式训练网络，上述方法-3045i→i−1i→i+1i→i+1i→i−1ODS产生有希望的去模糊结果。我们注意到，这些算法在视频去模糊方面的主要成功是由于使用了大容量模型。它们在实际应用中的泛化能力是有限的，如图1所示。与这些方法不同的是，我们探索了简单而成熟的原则，使CNN模型更加紧凑，而不是扩大网络模型的容量，用于视频去模糊。3. 动机为了更好地激励我们的工作，我们首先回顾了传统的基于变分模型的方法。对于视频中的模糊过程，第i个模糊图像通常被建模为：我们进一步注意到，大多数基于CNN的深度方法直接从模糊输入中估计清晰的视频，并生成有希望的结果。然而，他们估计的扭曲函数从模糊的输入，而不是潜在的帧，并没有探索视频去模糊的领域知识，这是不太有效的视频具有显着的模糊效果。为了克服这些问题，我们开发了一种有效的算法，该算法充分利用了基于变分模型的方法中的既定原则，并探索了领域知识，以使深度CNN更加紧凑，用于视频去模糊。4. 该算法1Bi=2τ∫τt=0ti→i+1（Ii）+Ht（1）dt，（1）该算法包括光流估计模块、潜像恢复模块和时间清晰度先验。光流估计模块其中Ii表示第i个清晰图像;τ表示关系，曝光时间（也意味着相机占空比）提供用于潜在帧恢复的运动信息，而潜在帧恢复模块还便于cle）;Ht不i→i−1 表示翘曲函数-使光流估计，使得它进行估计，s将框架Ii扭曲为Ii+1和Ii−1。 如果我们-注意帧i处的双向光流为ui→i+1，配流更准确。时间锐度先验能够探索来自相邻帧的锐度像素，ui→i−1，Ht（Ii）和Ht（Ii）可以表示为它可以促进更好的帧恢复。 所有的mod-Ii（x +tui→i+1）和Ii（x +tui→i−1）。基于模糊模型（1），去模糊过程可以通过最大限度地减少：ΣL（u，I）=ρI（W（Ii），Bi）+ρ I（Ii）（2）我ΣΣ+ρu（Ii， Ii+j（x + ui→i+j））+φ（ui→i+j），I j其中ρI（W（Ii），Bi）表示数据项w.r.t.W（Ii）和Bi;W（Ii）表示（1）中的积分项;ρu（Ii（x），Ii+j（x +ui→i+j））表示数据项w.r.t.Ii（x）和Ii+j（x +ui→i+j）; φ（Ii）和φ（ui→i+j）表示对潜像Ii和光流ui→i+j的约束。在优化过程中，大多数常规方法(e.g.、[12])通过迭代地最小化以下项来估计潜像和光流：ΣρI（W（Ii），Bi）+π（Ii），（3）我和 Σ Σρu（Ii，Ii+j（x + ui→i+j））+ φ（ui→i+j）.（四）在统一的框架内以端到端的方式联合训练ULE。在下文中，我们将详细解释每个组件的主要思想。为了简单起见，我们使用三个相邻的帧来说明所提出的算法的主要思想。4.1. 光流估计光流估计模块用于估计输入相邻帧之间的光流，其中估计的光流提供用于图像恢复（3）的运动信息。如[25]所示，可以通过深度神经网络有效地求解最佳流量估计（4）。我们使用PWC-Net [25]作为光流估计算法。给定任意两个中间潜帧Ii和Ii+1，我们通过以下公式计算光流：ui→i+1=Nf（Ii; Ii+1），（5）其中Nf表示将两个图像作为输入的光流估计网络。对于任何其他两个帧，网络Nf共享相同的网络参数。I j我们注意到，交替地最小化（3）和（4）能够去除模糊。然而，去模糊性能主要取决于约束w.r.t. 潜像Ii和光流ui→i+j，并且确定适当的约束。 此外，常用的con-约束通常导致难以求解的高度非凸的目标函数。H和H30464.2. 隐帧恢复利用估计的光流，我们可以使用变分模型（3）来根据现有方法恢复潜在帧[12]第10段。然而，求解（3）涉及W（Ii）的大量计算，并且需要在潜在框架Ii上定义先验，这使得恢复更加复杂。我们注意到W（Ii）的效果（即，模糊处理（1））3047i→i−1i gt，i i=1产生模糊帧，使得它尽可能接近所观察的输入帧B1。（1）的离散化可以写为[4]：其中D（Ii+j（x + ui+j→i）; Ii（x））定义为<$Ii+j （ x + ui+j→i ） − Ii （ x ） <$2 。基 于（10），如果Si（x）的值接近于1，则像素x可能是清晰的。因此，我们可以W（Ii）=11+2τΣτ -是的d=1ti→i+1（Ii）+HtΣ（Ii）+ Ii（x）。使用Si（x）来帮助深度神经网络区分像素是否清晰，从而可以帮助潜在帧恢复。为了提高Si（x）的鲁棒性，我们（六）根据估计的光流ui→i+1和ui→i−1，如果我们将τ设为1，则W（Ii）可以近似为：定义D（i+j（x + ui+j→i）;i（x））为：D（Ii+j（x+ui+j→i）; Ii（x））=（11）Σ<$Ii+j（y + ui+j→i）−Ii（y）<$2，W（I）=1（I（x + ui3ii→i+1）+Ii（x+ ui→i−1）+ Ii（x））。（七）y∈ω（x）其中ω（x）表示以像素x为中心的图像块。代替生成模糊帧，我们想要根据估计的光流ui-1→i生成清晰帧，利用时间清晰度先验Si（x），我们修改la-帐篷框架修复（9），和ui+1 →i使得Ii+1（x+ui+1 →i）和Ii−1（x+ui−1→i）可以很好地与Ii（x）对准因此，我们可以使用以下方法-Ii←Nl（C（CIi;Si（x），（12）下式更新潜在帧Ii：其中CIi=C（Ii+1（x+ui+1→i）;Ii（x）;Ii−1（x+ u i +1 → i）I←1（II3一期+1（x+ ui+1→i）+Ii−1（x+ ui−1→i）+ Ii（x））。（八）ui−1→i））。 我们将证明使用Si（x）能够帮助潜在帧恢复然而，直接使用（8）将导致结果包含由于与Ii+1（x+ ui+1 →i）和Ii−1（x+ ui−1→i）。为了避免这个问题并生成高质量的潜在帧Ii，我们使用Ii+1（x+ ui+1 →i）和Ii−1（x+ ui−1→i）作为指导帧，并开发了一个深度CNN模型来恢复潜在的帧Ii通过：Ii←Nl （ C （ Ii+1 （x+ui+1→i ） ; Ii （x） ; Ii−1（x+ui−1→i），（九）其中C（·）表示级联操作，并且Nl表示恢复网络。与[25]类似，我们使用双线性插值来计算扭曲帧。4.4. 推理由于所提出的算法包含中间的光流估计，潜在帧估计，和时间锐度计算，我们训练所提出的算法在级联的方式。设Θt={Ot，Lt}表示光流估计和潜在帧恢复网络在阶段（迭代）t的模型参数。我们从N个训练视频序列学习阶段相关模型参数Θt，其中每个视频序列包含{Bn， In}M个训练样本。给定2j+1个模糊帧，参数Θt为通过最小化成本函数学习：对于深度CNN模型Nl，我们使用基于[26]的编码器-解码器架构但是，我们不使用ΣNJ（Θt）=ΣM FΘ（Bn- -- B n. ; Bn）−In2001年，Nl中的ConvLSTM模块。其他网络架构与[26]相同。n=1i=1ti−j iI+Jgt，i（十H3048i−j ii+j三）4.3. 时间锐度先验其中，FΘt表示用于视频去模糊的整个网络环，其将2j+1个模糊帧作为输入。也就是说，在t阶段的中间潜在帧是It =I t，如[4]所示，视频中的模糊是不规则的。较大，因此存在一些不模糊的像素。遵循传统方法[4]，我们探索这些锐度像素以帮助视频去模糊。根 据 变 形 帧 Ii+1 （ x + ui+1 →i ） 和 Ii−1 （ x +ui−1→i），如果Ii（x）中的像素x是尖锐像素，则Ii+1（x + ui+1 →i）和Ii−1（x + ui−1→i）的像素值应该接近Ii（x）的像素值。因此，我们将此标准定义为：我FΘt（Bn;. Bn. ; Bn）。算法1总结了级联算法训练方法，其中T表示阶段的数量。5. 实验结果在本节中，我们使用公开的基准数据集评估所提出的算法，并将其与最先进的方法进行比较。S（x）=exp−1 Σ D（I）（x+ u）; I（x））5.1. 参数设置和训练数据为了与最先进的方法进行公平的比较，我们I2jj=0I+Ji+j→ii（十）使用Su等人的视频去模糊数据集。[24]用于培训和评估，其中61个视频用于培训3049我t=1算法1提出了级联训练算法。有明显的模糊残留方法[26]输入：训练视频序列{Bn，In}M;n=端到端可训练的深度CNN模型，1、… N.初始化In←Bn。我gt，我i=1IC场景然而，由于没有使用时间信息，去模糊图像包含显著的模糊残留我我对于t=1→T do对于任意三个帧In、In和Indo，视频去模糊算法[24]直接连接连续帧作为端到端可训练i−1i i+1根据（5）估计光流ui-1→i，ui+1 →i根据（10）计算Si（x）根据（12）的潜在帧恢复。端通过最小化（13 ）来估计模型参数Θt 根据（12）用估计的参数Θt更新In。端输出：模型参数{Θt}T.剩下的10个视频作为测试我们使用类似于[32]的数据增强方法来生成训练数据。每个图像块的大小为256×256像素。我们根据[8]初始化潜在帧恢复网络，并从头开始训练它对于PWC-Net，我们使用预训练模型[25]来初始化它。 在训练过程中，我们使用ADAM优化器[15]，参数β1= 0。9、β2=0。999，且=10−8。 minibatch大小设置为8。Nl和PWC-Net的学习率被初始化为10−4和10−6，每200个epoch后下降到一半。我们根据经验将T=2设置为准确性和速度之间的权衡。在每个阶段，我们使用3帧生成一个去模糊图像。 因此，该算法当T=2时需要5帧。为了更好地使网络紧凑，每个阶段的网络共享相同的模型参数。与[30]类似，我们进一步使用硬示例挖掘策略来保留尖锐边缘。我们基于PyTorch实现了我们的算法更多的实验结果包括在补充材料中训练代码和测试模型可以在作者的网站上找到5.2. 与最新技术水平的比较为了评估所提出的算法的性能，我们将其与最先进的算法进行比较，包括基于变分模型的方法[12]和基于深度CNN的方法[24，7，27，13，14，32，26]。为了在合成数据集上评估每个恢复图像的质量，我们使用PSNR和SSIM作为评估指标。表1显示了Su等人在基准数据集上的定量结果。[24]，其中所提出的算法在PSNR和SSIM方面优于最先进的方法。图2显示了测试数据集的一些去模糊结果[24]。基于变分模型的方法[12]不能很好地恢复结构并生成结果深度CNN模型然而，去模糊图像不清晰（图2（e））。我们注意到，ED-VR方法[27]开发了金字塔、级联和可变形对齐模块，并使用PreDeflur模块进行视频去模糊。但是，当PreDeflur不从输入帧中删除模糊时，此方法的效果较差。图2（f）中的结果表明，通过EDVR方法的图像的结构不能很好地恢复相比之下，所提出的方法恢复更精细的图像细节和结构比国家的最先进的算法。我们进一步评估所提出的方法在GOPRO数据集由Nah等人。[20]遵循最先进方法的方案表2显示了所提出的算法生成具有更高PSNR和SSIM值的去模糊视频图3显示了来自[20]的一些去模糊结果。我们注意到，最先进的方法不能生成清晰的图像，也不能很好地去除不均匀的模糊相比之下，该算法恢复更清晰的图像，其中的许可证号码是可识别的。真实的例子。我们进一步评估我们的算法上的真实视频去模糊数据集Cho等人。[4]的文件。图4示出了现有技术的方法[22，4，12，32，27，24]不要恢复尖锐的框架很好。我们的算法生成更清晰的帧，更详细的结构。例如，人和建筑物的边界更加清晰（图4（h））。6. 分析和讨论我们已经表明，该算法执行faforably对国家的最先进的方法。为了更好地理解所提出的算法，我们进行了进一步的分析，并讨论其局限性。6.1. 级联培训所提出的级联训练算法确保所提出的方法从中间潜在帧估计光流并迭代地更新中间潜在人们可能想知道级联训练算法是否有助于视频去模糊。为了回答这个问题，我们比较了不使用级联训练算法的方法w/o表3中的CT），其中为了公平比较，我们在算法1中将级数T设置为1表3显示了实验台上的定量评价Su et al.[24]第10段。我们注意到，不使用级联训练算法的方法使用PWC-Net从模糊输入估计光流，其中该策略广泛用于视频去模糊中的图像对准3050表1.在PSNR和SSIM方面对视频去模糊数据集[24]进行定量评估所有比较结果都是使用公开可用的代码生成的。所有恢复的帧而不是从每个测试集中随机选择的30帧[24]用于评估。方法金与李[12]Gong等人[七]《中国日报》Tao等人[26日]Su等人[24日]Kim等人[13个国家]EDVR [27]STFAN [32]我们PSNR26.9428.2729.9830.0129.9528.5131.1532.13SSIM0.81580.84630.88420.88770.86920.86370.90490.9268(a) 模糊框架（b）GT（c）Kim和Lee [12]（d）Tao et al.[26日](e)Su等人[24]（f）EDVR [27]（g）STFAN [32]（h）Our图2.测试数据集上的去模糊结果[24]。（c）-（g）中的去模糊结果仍然包含显著的模糊效果。所提出的算法生成更清晰的帧。(a)模糊框架（b）GT（c）Kim和Lee [12]（d）Tao et al.[26日](e)Su等人[24]（f）EDVR [27]（g）STFAN [32]（h）Our图3.测试数据集上的去模糊结果[20]。所提出的方法产生更好的去模糊图像，其中的牌照号码是可识别的。环[6]。然而，该方法并不产生高质量的去模糊结果（图5（b）），因为光流与潜在帧信息而不是模糊帧在曝光时间内相比之下，所提出的算法- m生成的结果具有更高的PSNR和SSIM值。我们进一步比较了由3051表2.在PSNR和SSIM方面对视频去模糊数据集[20]进行定量评估*方法Tao等人[26日]Su等人[24]W耶绍莱克等[28]第二十八话Kim等人[13]Nah等人[21]第二十一话EDVR [27]STFAN [32]我们PSNR30.2927.3125.1926.8229.9726.8328.5931.67SSIM0.90140.82550.77940.82450.89470.84260.86080.9279（a）模糊框架（b）Pan et al.[22]（c）Cho et al.[4]（d）Kim和Lee [12](e)Su等人[24]（f）EDVR [27]（g）STFAN [32]（h）Our图4.来自[4]的真实视频的去模糊结果所提出的算法恢复一个高质量的图像与更清晰的细节。表3.级联训练算法对视频去模糊的有效性方法w/o CT 1期2期3期方案支助和基本正常比率SSIM 0.9125 0.9161 0.9268 0.9272（a）模糊帧（b）无CT（c）我们的(a)模糊帧（b）无CT（c）第1(d)阶段2（e）阶段3（f）GT图5.级联训练算法在视频去模糊中的有效性。(b)表示在不使用级联训练的情况下通过所提出的方法的去模糊结果。（c）-（e）分别表示第1、2和3阶段的结果。表3和图5中的不同阶段。我们注意到，使用更多的阶段产生更好的去模糊图像。然而，改进的性能并不显著。因此，我们使用两个阶段作为准确性和速度之间的权衡。我们还注意到，直接估计光流从(d)无CT（e）1期（f）2图6.光流对视频去模糊的影响。通过所提出的方法的光流很好地包含尖锐边界（参见（f）），这有助于潜在帧恢复。模糊的输入将增加用于视频去模糊的帧边界处的模糊性。图6（d）表明估计的光流的边界是模糊的，这相应地影响重要的边界恢复（图6（b））。相比之下，所提出的方法的光流包含清晰的边界（图6（f）），这有助于潜在帧恢复（图6（c））。6.2. 时间锐度先验的有效性我们在更好地探索连续帧的属性之前开发了时间清晰度，以便使深度CNN模型更加紧凑。为了证明这种先验的有效性，我们在所提出的方法中禁用这种先验，并重新训练算法，而不使用具有相同设置的时间锐度先验进行公平比较。3052表4.时间清晰度先验对视频去模糊的有效性。方法w/o时间清晰度之前我们的PSNR 34.4834.630.9268表6.模型尺寸与最先进方法和基线的比较方法Su et al.[24]EDVR [27]w/o CTw/o TSP我们的型号尺寸15. 30 M23. 60 M16. 19 M16. 19 M16. 19M表7.对模糊视频的评估，其中模糊存在于每帧的每个位置。当时间锐度先验不能识别清晰像素时，时间锐度先验不太有效。(a)（b）（c）（d）图7.时间锐度先验的有效性（a）输入模糊。(b)中间时间锐度先验的可视化。（c）-（d）分别表示没有和具有时间锐度先验的结果。表5.光流估计模块的效果方法无光流使用FlowNet2.0带PWC-NetPSNR31.1932.0632.13SSIM0.90550.92540.9268我们评估了测试数据集[24]中具有显著模糊效果的4个视频的时间锐度。表4和图7显示了定量和定性评价。我们注意到，时间清晰度先验能够从相邻帧中区分清晰度像素和模糊像素，因此它可以帮助深度CNN模型实现更好的帧恢复。图7（b）示出了时间清晰度先验的可视化，其中可以更好地检测模糊像素。表4中的比较表明，使用时间清晰度先验能够提高视频去模糊的准确性。图7进一步示出了使用时间锐度先验能够生成具有更清晰结构的帧。6.3. 光流效应由于几种算法直接连接连续帧[24]或估计滤波器内核[32]，而不是使用光流进行视频去模糊，人们可能会想知道光流是否有助于视频去模糊。为了回答这个问题，我们去除了光流估计模块，并与直接连接连续帧作为恢复网络Nl1的输入的方法进行比较。表5示出了使用光流能够提高视频去模糊的性能。此外，我们进一步评估光流估计，所提出的方法不使用光流简化为网络Nl，其将连续帧的级联作为输入。方法无时间锐度先验我们PSNR31.3131.33SSIM0.92380.9239使用FlowNet 2.0 [9]的操作模块。表5示出了所提出的方法对于光流模块是鲁棒的。6.4. 模型大小如第1节所述，我们的目标是提高视频去模糊的准确性，同时不增加模型容量，使用视频去模糊的领域知识。表6显示，与最先进的方法相比，所提出的算法具有相对较小的模型大小。与基线模型相比，所提出的模型不会增加任何模型大小，同时产生更好的结果。6.5. 限制虽然时间锐度先验对于具有显著模糊的视频是有效的，但是当模糊存在于所有帧的每个位置时，时间锐度先验不太有效在这种情况下，时间锐度先验不太可能区分像素是否更清晰。表7显示了来自测试数据集[24]的3个视频的去模糊结果，其中帧中的每个位置都包含模糊效果。我们注意到，使用时间清晰度先验并不能显著提高去模糊性能。7. 总结发言我们提出了一种简单有效的深度CNN模型来进行视频去模糊。所提出的CNN探索了基于变分模型的方法中使用的简单且公认的原理，并且主要由来自中间潜在帧的光流估计和潜在帧恢复组成。我们已经开发了一个时间清晰度之前，以帮助潜像恢复和一个有效的级联训练方法来训练提出的CNN模型- EL。通过以端到端的方式进行训练，我们已经证明，所提出的CNN模型更加紧凑和高效，并且在基准数据集和真实世界视频上的表现优于最先进的方法致谢。这项工作得到了中国国家自然科学基金（Nos.61922043、61872421、61732007），江苏省自然科学基金（No. BK20180471）和国家重点&研发计划（No. 2018AAA0102002）。3053引用[1] MiikaAittala和Fre'doDurand。基于排列不变卷积神经网络的突发图像去模糊在ECCV，第748-764页，2018年。2[2] Leah Bar ， Benjamin Berkels ， Martin Rumpf ， andGuillermo Sapiro.一种同时进行运动模糊视频的运动估计和恢复的ICCV，第1-8页，2007年1[3] Huajin Chen，Jinwei Gu，Orazio Gallo，Ming-Yu Liu，Ashok Veeraraghavan，and Jan Kautz.Reblur2deblur：通过自监督学习对视频进行去模糊。在ICCP，第1-9页，2018年。2[4] 赵成贤，王觉，李承京。使用基于补丁的合成的手持相机的视频去模糊。ACM TOG，31（4）：64：1-64：9，2012. 一二四五七[5] 戴胜阳和吴英。侠影的动作。CVPR，2008。一、二[6] Jochen Gast和Stefan Roth深度视频去模糊：细节决定成败。在ICCV研讨会，2019年。一、二、六[7] 龚东，杨洁，刘灵桥，张燕宁，伊恩D.Reid，ChunhuaShen，Anton van den Hengel，and Qinfeng Shi.从运动模糊到运动流：一种用于消除异构运动模糊的深度学习解决方案。在CVPR中，第3806-3815页，2017年。二、五、六[8] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun. 深入研究整流器：超越人类对imagenet分类的水平。在ICCV，第1026- 1034页，2015中。5[9] Eddy Ilg ， Nikolaus Mayer ， Tonmoy Saikia ， MargretKeuper，Alexey Dosovitskiy，and Thomas Brox.Flownet2.0：深度网络光流估计的演变在CVPR中，第1647-1655页8[10] Max Jaderberg，Karen Simonyan，Andrew Zisserman，Koray Kavukcuoglu.空间Transformer网络。在NeurIPS，第2017-2025页，2015年。2[11] Tae Hyun Kim和Kyoung Mu Lee。免分割动态场景去模糊。在CVPR，第2766-2773页，2014年。一、二[12] Tae Hyun Kim和Kyoung Mu Lee。动态场景的广义视频去模糊。在CVPR中，第5426-5434页，2015年。一、二、三、五、六、七[13] TaeHyunKim ，KyoungMuLee ，BernhardSch oülk opf，andMichael Hirsch.基于动态时间混合网络的在线视频去模糊。在ICCV，第4058-4067页，2017年。一、二、五、六、七[14] Tae Hyun Kim，Mehdi S. M. Sajjadi，Michael Hirsch，and BernhardSc ho？ l k opf. 用 于 视 频 恢 复 的 时 空Transformer网络在ECCV，第111-127页，2018年。二、五[15] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。2015年，国际会议。5[16] 李云鹏，康星兵，尼尔·乔希，史蒂芬·M. Seitz，andDaniel P. Huttenlocher从运动模糊视频生成清晰全景图。在CVPR，第2424-2431页，2010年。2[17] Xiao-Jiao Mao，Chunhua Shen，Yu-Bin Yang.使用非常深卷积编码器-解码器的图像恢复3054对称跳跃连接的网络。在NeurIPS，第2802-2810页，2016中。2[18] Yasuyuki Matsushita，Eyal Ofek，Weina Ge，XiaoouTang，and Heung-Yeung Shum.全帧视频稳定与运动修复。IEEE TPAMI，28（7）：1150-1163，2006年。2[19] 作 者 ： Jonathan T. Barron ， Jiawen Chen ， DillonSharlet，Ren Ng，and Robert Carroll.使用核预测网络进行突发去噪。在CVPR中，第2502-2510页，2018年。2[20] Seungjun Nah，Tae Hyun Kim，and Kyoung Mu Lee.深度多尺度卷积神经网络动态场景去模糊。在CVPR，第257-265页，2017年。五、六、七[21] Seungjun Nah，Sanghyun Son，and Kyoung Mu Lee.用于视频去模糊的具有帧内迭代的回流神经网络。在CVPR中，第8102-8111页，2019年。五、七[22] 潘金山，孙德清，汉斯佩特·菲斯特，杨明轩.通过暗通道先验去模糊图像IEEE TPAMI，40（10）：2315-2328，2018。五、七[23] DeepakPathak，Phi lippKr aühenbuühl，Jef fDonahue，Trev orDarrell和Alexei A.埃夫罗斯上下文编码器：通过图像修复进行特征学习。在CVPR，第2536-2544页，2016年。2[24] Shuochen Su ， Mauricio Delbracio ， Jue Wang ，Guillermo S-apiro ， Wolfgang Heidrich ， and OliverWang.用于手持相机的深度视频去模糊在CVPR中，第237一、二、四、五、六、七、八[25] 孙德清、杨晓东、刘明宇和Jan Kautz。PWC-Net：使用金字塔，扭曲和成本体积的光流CNN。在CVPR中，第8934-8943页，2018年。三、四、五[26] 陶新，高红云，沈晓勇，王珏，贾继亚.用于深度图像去模糊的尺度递归网络。在CVPR中，第8174-8182页，2018年。四、五、六、七[27] 王新涛，Kelvin C.K. Chan，Ke Yu，Chao Dong，andChen Change Loy. EDVR：使用增强的可变形卷积网络进行视频恢复。在CVPR研讨会，2019年。一、二、五、六、七、八[28] [10]PatrickWieschollek，MichaelHirsch，BernhardScho？ lk opf，and Hendrik P.A. 伦施学习盲运动去模糊。在ICCV，第231-240页，2017年。二、七[29] Jonas Wulff和Michael Julian Black。模糊视频的分层建模。在ECCV，第236-252页，2014中。一、二[30] Rui Xu，Xiaoxiao Li，Bolei Zhou，and Chen ChangeLoy.深度流引导视频修复。在CVPR中，第3723- 3732页，2019年。5[31] Kaihao Zhang，Wenhan Luo，Yiran Zhong，Lin Ma，Wei Liu，and Hongdong Li.对抗性时空学习的视频去模糊。IEEE TIP，28（1）：291-301，2019。一、二[32] 周尚辰，张佳伟，潘金山，郝哲X- ie，左旺梦，任志美 .用 于 视频 去 模 糊 的 时空 滤 波 自 适 应网 络 。 在ICCV，2019年。一、二、五、六、七、八[33] 丹尼尔·佐兰和亚伊尔·韦斯。从自然图像块的学习模型到整幅图像的复原。在ICCV，第479-486页2