合成模糊图像的研究及使用两个GAN模型实现图像去模糊

2737真实模糊图像合成模糊图像BGAN_G内容差距缩小RBLRWBI通过真实模糊张凯浩1罗文汉2张然忠1，4马琳2李洪东2李腾格3魏伟2李宏东1，41澳大利亚国立大学2腾讯人工智能实验室3乐天理工学院4ACRV摘要用于图像去模糊的现有深度学习方法通常使用成对的清晰图像及其模糊对应物来训练模型然而，合成模糊图像不一定以足够的准确度对真实世界场景中的真实模糊为了解决这个问题，我们提出了一种新的方法 ，它 结合 了两 个 GAN模 型， 即， 学习 模糊 GAN（BGAN）和学习去模糊GAN（DBGAN），以便通过主要学习如何模糊图像来学习第一个模型，BGAN，学习如何模糊清晰的图像与不成对的清晰和模糊的图像集，然后指导第二个模型，DBGAN，学习如何正确地去模糊这些图像。为了减少真实模糊和合成模糊之间的差异，利用了相对模糊损失作为一个额外的贡献，本文还介绍了一个真实世界模糊图像（RWBI）数据集，包括不同的模糊图像。我们的实验表明，所提出的方法实现了一贯的优越的定量性能，以及更高的感知噪声清晰图像（一）领域差距合成模糊图像新提出的数据集和公共GOPRO数据集的质量。1. 介绍图像去模糊是低层计算机视觉中的一个经典问题，至今仍是视觉研究界的一个活跃课题。给定一幅模糊图像，它被一些未知的模糊核或空间变化核所破坏，（盲）图像去模糊的任务是通过减少或去除模糊图像中不期望的模糊来恢复传统的去模糊方法通过估计模糊核来处理这个问题，通过该模糊核可以恢复模糊输入图像通常，假设模糊核的特殊特性，并且在去模糊过程中利用自然图像先验[5，7，22，40，41]。然而，估计最佳模糊核是一项困难的任务，因此可能会损害整体性能。最 近 ， 深 度 学 习 方 法 ， 特 别 是 卷 积 神 经 网 络（CNN），已经被应用于结构域间隙减少（b）第（1）款图1.（a）真实和合成模糊图像之间的差异通过RBL损失和RWBI数据集将清晰图像和随机噪声输入BGAN G模型以生成逼真的模糊图像。完成了这项任务，并取得了显著的成功。，[21，33，36，42].现有的深度学习方法专注于使用成对的模糊和清晰图像来训练去模糊模型。例如，Nah等人 [21]提出了一种多尺度损失函数来实现从粗到精的处理流水线。Tao等人。 [36]和Gao等人。 [6]通过在不同尺度之间使用共享网络权重来改进工作，实现最先进的性能。然而，在以下意义上，当前的深度学习模型没有充分捕捉到许多常见的效果首先，由于在真实世界场景中，图像是在时间窗口（即，，曝光时间），模糊图像实际上是多帧的融合������=0������=1我...2738即时和锐利的快照[10]。这可以用公式表示为创建真实世界模糊图像（RWBI）数据集以帮助.1IB=gTt=0ΣIS（t）dt、（1）训练BGAN模型并评估我们提出的图像去模糊模型的性能图1（b）示出了学习真实模糊的过程。本文的贡献有三个方面：（1）我们其中IS是即时清晰帧，而IB是模糊帧，年 龄 T 是 执 行 时 间 段 ， g （ · ） 是 相 机 响 应 函 数（CRF）。相比之下，在常规的去模糊方法中，训练集中使用的模糊图像是通常通过用简单的平均操作近似积分步骤来人工合成，如等式（1）所示其中M是帧的数目：提出了一种新的图像去模糊框架，包括图像模糊和图像去模糊过程与之前只关注图像去模糊的深度学习方法相比，我们的框架还考虑了图像模糊，这会生成逼真的模糊图像，以帮助增强图像去模糊的性能和鲁棒性。（2）为了训练BGAN模型并生成.IB.B.MΣMt=1ΣIS[t].（二）模糊的图像，像那些在现实世界中，相对论模糊损失被引入。我们还贡献了一个真实世界的模糊数据集RWBI，它可以用于训练图像模糊-环模块和用于评估去模糊模型。 (3)前-现有方法使用M个锐化帧IS[t]来代替con-i。连续序列IS（t），并生成成对的训练数据，避免了获得真实模糊和清晰图像对的复杂性。然而，在真实模糊图像和那些人工模糊图像之间存在明显的差距。图1（a）示出了真实和合成模糊图像的生成。第二，在实际情况中，存在可导致图像模糊的多重因素其中许多因素很难精确建模。为了设计一个更好的去模糊算法，所有这些因素都应该考虑在内。如果真实的模糊图像与训练集中的样本不同，则训练后的模型在测试数据上可能表现不佳。这一观察启发我们开发一种新的去模糊方法，该方法不假设任何特定的模糊类型;相反，这样的方法将能够学习模糊过程，以便实现更好的去模糊质量。具体而言，在本文中，我们提出了一种方法，其中包含一个学习模糊GAN（BGAN）模块和一个学习去模糊GAN（DBGAN）模块。BGAN和DBGAN是两个互补的过程，在这个意义上，BGAN通过生成照片般逼真的模糊图像来学习模仿真实世界模糊的特性。该模块使用未配对的清晰和模糊图像进行训练，从而放松了需要配对数据的要求。最近，Shaham等人提出SinGAN [27]基于随机噪声产生不同的图像，这启发我们在不同噪声的情况下生成各种模糊图像在生成过程中，清晰图像也被馈送到BGAN中，以使生成的模糊图像具有与输入图像相同的内容DBGAN模块学习从模糊图像中恢复清晰图像，并具有真实清晰和生成的模糊图像。我们还采用了相对论模糊损失，这有助于预测的概率，一个真正的模糊图像是相对更现实的比合成的。最后实验结果表明，该方法不仅实现了最先进的定量性能上的公共GOPRO基准，但在现实世界中的模糊图像也一贯优越的感知质量。2. 相关作品本文所做的工作与图像模糊和图像去模糊密切相关，分别简要介绍如下。2.1. 图像模糊模糊伪影由各种因素引起模糊过程可以用数学公式表示为[8，38]，IB=KIS+N，（3）其中 IB和 IS分别是模糊图像和清晰图像。K是未知（盲）或已知（非盲）模糊核，N是加性噪声。对于具 有 空 间 变 化 模 糊 的 图 像 ， 没 有 相 机 响 应 函 数（CRF）估计技术[35]。或者，CRF可以近似为已知CRF的平均值，如下所示：1g（IS[i]）=IS′[i]γ，（4）其中γ是参数。可以基于观察到的清晰图像IS′[i]来获得潜在的真实清晰图像IS [ i]。 模糊图像然后可以基于Eq.（二）、当量（2）和Eq。（3）是生成用于训练的图像对然而，它们都不能像Eq.（一）.2.2. 图像去模糊早期的作品使用图像先验，包括全变分[3]，重尾梯度先验[28]或超拉普拉斯先验[15]，它们通常以粗到细的方式应用于图像。最近，深度学习方法12739图像DBGAN_DRDBL图2. 拟议的框架和培训进程。 该框架包含两个主要模块，BGAN和DBGAN。D和G分别表示网络和生成器网络。BGAN将清晰图像作为输入，并输出逼真的模糊图像，然后将其输入DBGAN，以便学习去模糊。在推理阶段，仅应用DBGAN。在对象识别[9，44，43，19，18]和图像重建领域取得了巨大成功，包括视频去模糊[45]，视频去雾[25]和其他基于GAN的生成任务[29，24，39，37]。For imagedeblurring, Sun et al. [34] propose a CNN-based modelto estimate a kernel and remove non-uniform motion blur.Chakrabarti [2]使用网络来计算由未知运动内核模糊的清晰图像Nah等人。 [21]提出了一种多尺度损失函数来应用粗到细策略和对抗性损失。Kupyn等人提出了DeburGAN [16]和DeburGAN-v2 [17]，以基于对抗学习来去除模糊内核。此外，已经提出了用于图像去模糊的基于RNN的方法Zhang等人 [42]提出了一种空间变异神经网络，它包括三个CNN和一个RNN。Tao等人。[36]提出了一种SRN-DefurNet，它包括一个LSTM和CNN，用于多尺度图像去模糊。Shen等人。 [30]介绍了一种人类感知的去模糊方法，用于从前景人类和背景中去除模糊Gao等人。 [6]提出了一种实现最先进性能的嵌套跳过连接结构。所有这些基于神经网络的方法都集中在从模糊图像（即，图像去模糊），而不是更好地对模糊过程本身进行建模。Pan等人 [23]尝试基于去模糊结果在其算法中生成模糊图像，然后计算生成的模糊图像与“GT”模糊图像之间的差异因此，这些方法实际上提出了一种新的损失函数，而不是数据增强。数据增强的思想已广泛应用于不同的领域[31]，如人脸验证[20]和[1]。对于去模糊，最相关的作品之一来自视频去模糊领域[4]。 然而，在这方面，它基于视频生成模糊图像，并且它不考虑基于真实的模糊图像生成真实的模糊图像。最近，提出了一种SinGAN [27]模型来学习如何基于随机噪声从一个输入图像生成不同的相关图像受该方法的启发，提出了一种基于GAN的模型来生成基于不同噪声的各种模糊图像。3. 通过模糊3.1. 整体架构我们的框架包含两个主要模块。与之前的图像去模糊工作类似，我们的框架包括一个学习去模糊GAN（DBGAN）模块，该模块在成对的清晰和模糊图像上进行训练，以从模糊图像中恢复清晰图像。从BGAN模块获得成对的清晰-模糊图像。BGAN是在未配对的数据上训练的，其中清晰的图像来自公共数据集，而模糊的图像来自新的真实世界模糊数据集。图2示出了所提出的框架的总体架构。我们进一步增强了标准GAN模型的相对论模糊损失。在用于图像去模糊的传统的基于GAN的模型中，ARMD估计输入数据是真实的概率，并且生成器G被训练以增加生成的数据看起来真实的概率所开发的相对论模糊损失估计给定的真实世界模糊图像比所生成的模糊图像更在训练阶段，清晰图像被输入到BGAN发生器，并且 其 输 出 被 馈 送 到 DBGAN 以 学 习 如 何 去 模 糊 。DBGAN和BGAN模块中的生成器生成对应的图像，并且BGAN_DBGAN_G真实模糊图像RBL房？假DBGAN_G噪波贴图Concat加...+块...块假模糊图像假尖图像真尖真的吗假Conv转换LReLU转换LReLU转换LReLUConv转换LReLU转换LReLU转换LReLUConv转换ReLUConV2740模糊尖锐尖锐模糊尖锐鉴别器进行鉴别以创建更真实的合成图像。在推理阶段，只有DBGAN生成器网络需要用于图像去模糊任务。3.2. 学习模糊BGAN模块是与其他基于神经网络的图像去模糊方法的主要区别。类似于其他基于GAN的模型，BGAN由生成器网络和递归网络组成。在本节中，我们首先讨论它的结构和损失函数。BGAN发生器。BGAN生成器的输入是来自公共数据集的清晰图像。考虑到可能导致不期望的模糊伪影的许多可能因素，我们将输入图像与噪声图连接起来以模拟不同的条件。为了获得噪声图，我们从正态分布中采样长度为4的噪声向量并在空间维度上重复128×128次，以获得4×128×128噪声图，如[46]所示。通过这种方式，我们可以根据一个模糊图像生成各种模糊图像清晰的图像该网络架构由一个卷积层，9个残差块（ResBlocks）[9]和额外的两个卷积层组成。每个ResBlock由5个卷积层（64×3×3）和4个ReLU激活组成那里也是每个ResBlock中的跳过连接，连接输入和输出特性（参见图2）。我们的BGAN发生器的输出是一个与锐利输入图像相同大小的模糊图像。BGAN 鉴 别 器 。 BGAN discrim- inator 的 输 入 是BGAN发生器的输出。它的架构与VGG19网络[32]相同，其输出是模糊图像被分类为真实图像的概率。BGAN损失。BGAN的生成器和训练器在感知损失和对抗损失的情况下进行训练。具体地，基于来自所提出的BGAN的合成模糊图像和从公共数据集获取的图像来计算感知损失以这种方式，它们可以具有相似的内容。计算合成图像和真实模糊图像之间的对抗性损失真正的在不同的任务中提高表现[21]。其次，我们在每个块中使用附加残差层，它结合了多级残差网络和密集连接 [11] 。 BGAN 由 一 个 卷 积 层 ， 16 个 残 差 块（ResBlocks）[9]和另外两个卷积层组成。ResBlocks的内核大小为63×3×3。详细情况可参见图1。二、DBGAN的输出发生器是所需的清晰图像。DBGAN鉴别器。Similar to the BGAN discrim- inator,the DBGAN also adopts the VGG19 network [32] as itsdiscriminator. 该模型的输出是给定清晰图像看起来逼真的概率。DBGAN 损 失 。 与 BGAN 模 块 一 样 ， 所 提 出 的DBGAN模型使用感知损失和对抗损失进行训练。我们还使用L1损失来更新DB-GAN.所有三种类型的损失函数都是基于生成的和真实的清晰图像计算的，因此DB-GAN是在成对图像上训练的。3.4.相对论模糊损失在本节中，我们描述了用于训练我们的框架的相对论模糊损失（RBL）和其他损失函数。感知损失。与先前的图像去模糊方法[21，36]相比，所提出的框架应用感知损失L感知来更新模型。请注意，Johnsonet al. [13]使用类似的损失。然而，相比之下根据他们的工作，我们计算了基于ReLU激活层之前而不是之后的特征的感知损失内容丢失。均方误差（MSE）是图像复原中常用的损失函数.基于均方误差，计算了真实图像和生成图像之间的内容损失.相对论性模糊损失。为了驱动BGAN生成器生成与真实世界图像相似的模糊图像，我们基于[14]开发了相对论模糊损失来更新模型。更新BGAN发生器参数以欺骗BGAN路由器。对抗性损失D被公式化为：模糊图像取自我们新创建的数据集。真模糊）=σ（C（Ireal））→1，3.3. DBGAN: Learning to DeblurBGAN模块旨在模仿现实世界的模糊假模糊）=D（G（I实））=σ（C（G（Ireal））→0，（五）图像和覆盖尽可能多的模糊情况下尽它的目标是驱动DBGAN模块更有效地从模糊图像中恢复清晰图像。在下文中，我们介绍了DBGAN的体系结构和损失。DBGAN Generator. DBGAN生成器的输入是一个模糊的图像。许多方法已经提出了这项任务[2，21，34，36]。在设计DBGAN发生器时，我们充分利用了它们的优点。具体来说，我们删除了批量归一化层，这些层已经被其中D（·）是输入是真实图像的概率。C（·）是动作之前的特征表示，σ（·）是S形函数。发电机G被训练成-增加合成图像是真实的概率真实图像和合成图像分别由D标记为0或1。如图3（a）所示，G的效果是将真实清晰图像转换为模糊图像，并然而，在培训阶段，只有第二部分，显示增加计算复杂度和去-当量 （5），即，D（我假装）=D（G（I实））→0，更新D（I）D（I）2741尖锐...模糊...模糊模糊模糊尖锐尖锐）E（C（I0→10→0.50.5←1锐利模糊（模糊（b）（图3. 相对论性模糊损失（RBL）。真实图像和合成图像分别标记为1和0。(a)传统的损失函数用于更新生成器以创建与真实图像（label=1）相似的模糊图像（label=0）。(b)RBL不仅增加了生成的图像看起来真实的概率（0→ 0.5，其被标记为(c)为了增加模糊图像的变化，不同的模糊图像被用于建模在现实世界中的不同类型的模糊。生成器G的参数，而第一部分用于更新鉴别器D模型而不是生成器G[21]。事实上，一个强大的生成器G也应该降低真实模糊图像是真实的概率。这是因为被标记为假的真实合成图像与真实图像相似，并且因此将欺骗D模型在训练阶段学习区分真实和假。基于这一思想 ， 我 们 在 BGAN 的 学 习 G 的 过 程 中 加 入 了 D（Ireal）。特别是，相对论模糊损失（RBL）被开发出来，以帮助计算是否一个真正的模糊图像更示于图3（c）款。基于等式根据公式（6）和图3，我们的RBL，其用于BGAN生成器，可以表示为LRBL=−[log（σ（C（Ireal）−E（C（G（Iinput））+log（1 −（σ（C（G（Iinput））− E（C（Ireal）]。（七）基于RBL，我们在DBGAN生成器中应用相对论去模糊损失（RDBL），比合成的模糊图像更真实公式Eq.（5）修改为LRDBL=−[log（σ（C（Ireal）−E（C（G（I输入）真模糊）−E（C（G（I输入）→1，+ log（1−（σ（G（I输入））−E（C（I实数）]。（八）假模糊-真的模糊 ））→0，（六）不同损失函数的平衡。在训练阶段，DBGAN和BGAN的损失函数为其中E（·）表示一批图像上的平均操作图3（b）示出了RBL的目的虽然目标仍然是生成与真实世界的图像相似的逼真的模糊图像，优化目标是不同的。RBL旨在更新G以生成接近0的合成图像。5，同时欺骗D模型，使其难以区分真实图像和假图像。以这种方式，由D预测的真实模糊图像的概率也接近0。五、我们将这些效应分别称为如图3所示，清晰图像和模糊图像可以被视为两个不同的域。为了快速生成模糊图像并利用先前生成模糊图像的研究结果，我们首先用人工模糊图像训练我们的BGAN模型，如图11所示。3（b）所示。然后，我们添加其他类型的模糊图像以基于等式1增加所产生的模糊图像的变化（6）覆盖现实世界中的不同条件，使用加权融合的不同项的组合，LBGAN=L感知+β·LRBL，（9）LDBGAN =L知觉+α·L内容+β·LRDBL。（十）为了平衡不同类型的损失，我们使用两个超参数α和β来产生BGAN和DBGAN的最终损失L4. 实验4.1. 数据集GOPRO数据集。我们在公共GOPRO数据集[21]上评估了我们的模型的性能，该数据集包含3，214个图像对。 训练集和测试集分别包括2，103和1，111现有方法将清晰图像与模糊核[2，26，34]卷积为合成模糊图推推拉σ（C（Iσ（C（I2742像。这些合成的模糊图像2743图4. 合成的模糊图像。由所提出的BGAN创建的不同模糊图像的示例。第一列显示了输入的清晰图像，接下来的三列是用于训练DBGAN（+）的产生的模糊图像。与相机拍摄的真实照片不同。为了模拟更真实的模糊条件，在GOPRO数据集中，通过对来自视频的这些清晰图像进行平均来收集具有高速相机的清晰图像和RWBI数据集。为了训练我们的BGAN模型并评估去模糊模型的性能，我们收集了真实世界的模糊图像数据集。这些模糊的图像是用不同的手持设备拍摄的，包括iPhone XS、三星S9 Plus、华为P30 Pro和Go- ProHero 5 Black。多个设备用于减少对一个特定设备的偏差，该特定设备可能捕获具有独特特性的模糊图像。该数据集包含22个不同序列的3112张模糊图像。我们比较了所提出的方法的性能与国家的最先进的方法在公共GOPRO数据集定量和定性。由于没有开发的RWBI数据集的基础事实，我们只进行定性比较。4.2. 实现细节在训练BGAN和DBGAN时，我们使用均值为零且标准差为0.01的高斯分布来初始化权重。在每次迭代中，我们更新所有学习大小为4的小批量后的权重。为了增强训练集，我们在图像的任何位置裁剪了一个128×128的补丁 为了进一步增加培训的数量，但是，我们也随机翻转帧。我们使用学习率退火方案，从10−4开始，在训练损失收敛后将其减少到10−6超参数α和β设置为0。005和0。01，分别。4.3. 消融研究在本节中，我们进行实验来研究我们模型的不同组件的有效性。所提出的模型有三个变体：(1) DBGAN是学习去模糊的模型。其输入DBGAN（-）DBGAN DBGAN（+）图5. 定性消融结果。由具有不同模型结构的所提出的框架生成的去模糊图像的示例。 第一列显示输入模糊图像，接下来的三列分别是由DBGAN（-）、DBGAN和DBGAN（+）产生的去模糊图像。输入是模糊图像，输出是去模糊图像。与之前基于GAN的去模糊方法类似[21，16]，该模型包含生成器和鉴别器网络。因此，它的损失函数是L表面积、L含量和LRDBL，权重为α和β。最后的损失函数如等式所示（十）、(2) DBGAN（-）具有与DBGAN相同的体系结构。因此，我们用传统的对抗损失代替LRDBL，如[21]所示。也就是说，培训过程不包含相对论损失函数。 它的训练基于L语言，L内容和传统的对抗损失。(3) DBGAN（+）是我们的完整方法。它具有与DBGAN相似的体系结构，主要区别在于在微调阶段采用BGAN模块。特别地，我们首先如上所述训练DBGAN模型，然后将BGAN模型生成的模糊图像随机添加到训练样本中，以增强DBGAN的学习性能。图4示出了由所提出的BGAN产生的不同模糊图像的示例。图5示出了定性比较的结果。提出的DBGAN优于DBGAN（-），这表明相对论损失函数用于图像去模糊的有效性。通过学习模糊模块，DB-GAN（+）实现了对DBGAN的进一步改进，表明了通过学习模糊来学习去模糊的好处。4.4. 与现有方法的比较为了验证我们的模型的有效性，我们将其性能与GOPRO数据集上的几种最先进的方法进行了定量和定性的比较。[12]由2744图6. 与最先进的去模糊方法的比较。 从左至右：模糊图像，Nah等人的结果。[21]，Tao等人[36]和提出的DBGAN（+）方法。这种改善在放大的斑块中清晰可见。Kim等人的方法是处理复杂动态模糊图像的传统方法。对于深度学习方法，Sun et al. [34]使用CNN网络来估计模糊核，并应用传统的去卷积方法来合成清晰的图像。Nah等人 [21]提出了一种多尺度函数来模拟粗到细方法。与[21]类似，Tao等人。 [36]提出了一种多尺度网络，通过在不同尺度之间共享网络权重来恢复清晰图像。在（a）模糊的图像（b）Gao et al. [6](c)我们[ 30][31][32][33][ 34][35][36][37][38][39]环方法和Gao等人 [6]提出了一种嵌套跳跃连接结构，并实现了最先进的性能。表1示出了定量比较的结果。DBGAN优于大多数以前的方法，而DB-GAN（+）由于通过学习模糊来学习去模糊的框架而实现了最先进的性能。为了进行公平比较，所有值均指在GOPRO数据集上训练的单个模型所达到的性能。与一些最先进方法的定性比较如图所示。6，证明我们的方法consis-从而获得更好的视觉质量结果。图7将所提出的方法与Gao等人的方法进行比较。[6]。*表示该模型使用额外的图像对进行训练。图7. 与[6]相比，它是用额外的图像对训练的。4.5. 真实世界场景中的性能为了验证我们的方法的有效性，我们比较了我们的方法的性能与几个国家的最先进的方法对真实世界的模糊图像的RWBI数据集。图8示出了不同模型的定性结果。第一列中的模糊图像来自RWBI数据集，以下列中的图像是Nah等人 [21]、Tao等人 [36]和提出的DBGAN（+）的结果。图8示出了我们的方法在真实世界模糊图像上实现了更好的性能。2745表1. GOPRO大型数据集上的性能比较。方法Kim等人Sun等人Nah等人Tao等人Shen等人Gao等人DBGANDBGAN（+）PSNR23.6424.6429.0830.1030.2630.9230.4331.10SSIM0.82390.84290.91350.93230.9400.94210.93720.9424图8. 对真实世界模糊图像的性能比较。从左至右：图像模糊，Nah等人的结果。[21]，Tao等人。 [36]和提出的DBGAN（+）方法。这种改善在放大的斑块中清晰可见5. 结论本文提出了一种新的框架，首先通过学习模糊GAN（BGAN）模块学习如何将清晰图像转换为逼真的模糊图像。该框架训练学习去模糊GAN（DBGAN）模块来学习如何从模糊图像恢复清晰图像与之前只专注于学习去模糊的工作相比，我们的方法学会了使用未配对的清晰和模糊图像来逼真地合成模糊效果。为了生成更真实的模糊图像，采用相对论性模糊损失来帮助BGAN模块减小合成模糊与真实模糊之间的差距。此外，还构建了RWBI数据集以帮助训练并测试去模糊模型。实验结果表明，我们的方法不仅产生了considerably优越的感知质量的结果，但也优于国家的最先进的方法定量。确认这项工作的部分资金来自ARC机器人视觉卓越中心（ CE140100016 ） ， ARC 发 现 （ DP 190102261 ） 和ARC LIEF（190100080）赠款，以及百度在自动驾驶方面的研究资助作者感谢NVIDIA公司捐赠的GPU。我们感谢所有匿名评论者和AC的建设性意见。2746引用[1] Adrian Bulat，Jing Yang，and Georgios Tzimiropoulos.要学习图像超分辨率，请首先使用gan学习如何进行图像降级。在ECCV，2018。3[2] 艾扬·查克拉巴蒂盲运动去模糊的神经方法。在ECCV，2016年。三、四、五[3] Tony F Chan和Chiu-Kwong Wong。全变分盲反卷积。人口贩运，1998年。2[4] Huajin Chen，Jinwei Gu，Orazio Gallo，Ming-Yu Liu，Ashok Veeraraghavan，and Jan Kautz.Reblur2deblur：通过自监督学习对视频进行去模糊。在ICCP，2018。3[5] 赵成贤和李承京。快速运动去模糊。TOG，2009年。1[6] Hongyun Gao，Xin Tao，Xiaoyong Shen，and Jiaya Jia.基于参数选择共享和嵌套跳跃连接的动态场景去模糊在CVPR，2019年。一、三、七[7] 阿米特·戈德斯坦和拉南·法塔勒来自谱不规则性的模糊核估计。ECCV，2012年。1[8] 安基特·古普塔，尼尔·乔希，C·劳伦斯·齐特尼克，迈克尔·科恩和布莱恩·库利斯。利用运动密度函数的单幅图像去模糊。ECCV，2010年。2[9] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。三、四[10] MichaelHirsch ， ChristianJSchmidt ， StefanHarmeling，and BernhardSch oülk opf. 相机抖动不均匀的快速恢复见ICCV，2011年。2[11] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，andKilian Q Weinberger.密集连接的卷积网络。在CVPR，2017年。4[12] Tae Hyun Kim，Byeongjoo Ahn和Kyoung Mu Lee。动态场景去模糊。InICCV，2013. 6[13] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。在ECCV，2016年。4[14] 阿莱克西亚·乔利库-马蒂诺。相对论性量子点：标准gan中缺失的一个关键元素。ICLR，2019。4[15] Dilip Krishnan和Rob Fergus使用超拉普拉斯先验的快速图像去卷积。InNeurIPS，2009. 2[16] OrestKupyn、VolodymyrBudzan、MykolaMykhailych 、 DmytroMishkin 和 Jiˇr´ıMatas 。Deblurgan：使用条件对抗网络进行盲运动去模糊在CVPR，2018年。三、六[17] Orest Kupyn ， Tetiana Martyniuk ， Junru Wu ， andZhangyang Wang.Deblurgan-v2：去模糊（数量级）更快更好。在ICCV，2019年。3[18] Dongxu Li，Cristian Rodriguez，Xin Yu，and HongdongLi.来自视频的单词级深度手语识别：新的大规模数据集和方法比较。在WACV，2020年。3[19] 李 东 旭 ， 于 欣 ， 徐 晨 晨 ， LarsPetersson ， andHongdong Li.视频手语识别的跨领域知识传递。arXiv预印本arXiv：2003.03703，2020。3[20] Yu Liu ， Fangyin Wei ，Jing Shao， Lu Sheng ，JunjieYan，and Xiaogang Wang.探索面部识别之外的非纠缠特征表示。在CVPR，2018年。32747[21] Seungjun Nah，Tae Hyun Kim，and Kyoung Mu Lee.深度多尺度卷积神经网络动态场景去模糊。在CVPR，2017年。一、三、四、五、六、七、八[22] Jinshan Pan，Zhe Hu，Zhixun Su，Ming-Hsuan Yang.通过l0正则化强度和梯度先验对文本图像进行CVPR，2014。1[23] Jinshan Pan ， Yang Liu ， Jiangxin Dong ， JiaweiZhang，Jimmy Ren，Jinhui Tang，Yu-Wing Tai，andMing-Hsuan Yang.基于物理的生成对抗模型，用于图像恢复及其他。TPAMI，2018年。3[24] Wenqi Ren ， Lin Ma ， Jiawei Zhang ， Jinshan Pan ，Xiaoxun Cao，Wei Liu，and Ming-Hsuan Yang.基于选通融合在CVPR，2018年。3[25] Wenqi Ren，Jingang Zhang，Xiangyu Xu，Lin Ma，Xiaochun Cao，Gaofeng Meng，and Wei Liu.深度视频去雾与语义分割。TIP，2018年。3[26] ChristianJSchuler ， MichaelHirsch ， StefanHarmeling ，and BernhardSchoülk opf.学 习 去 模糊。 T PAMI，2016. 5[27] Tamar Rott Shaham，Tali Dekel和Tomer Michaeli。单根：从一个单一的自然图像学习生成模型.在ICCV，2019年。二、三[28] 齐杉、贾娅·贾和阿西姆·阿加瓦拉。高品质的运动，从一个单一的图像去模糊。TOG，2008年。2[29] 沈子怡，赖伟胜，徐廷发，杨康，杨铭轩深度语义人脸去模糊。在CVPR，2018年。3[30] Ziyi Shen ， Wenguan Wang ， Xiankai Lu ， JianbingShen，Haibin Ling，Tingfa Xu，and Ling Shao.人类感知的运动去模糊。在ICCV，2019年。三、七[31] Connor Shorten和Taghi M Khoshgoftaar。用于深度学习的图像数据增强综述。大数据杂志，2019年。3[32] Karen Simonyan和Andrew Zisserman用于大规模图像识别的非常深的卷积网络。ICLR，2015年。4[33] Shuochen Su ， Mauricio Delbracio ， Jue Wang ，Guillermo Sapiro，Wolfgang Heidrich，and Oliver Wang.用于手持相机的深度视频去模糊。在CVPR，2017年。1[34] Jian Sun，Wenfei Cao，Zongben Xu，and Jean Ponce.学习用于非均匀运动模糊去除的卷积神经网络。CVPR，2015。三、四、五、七[35] Yu-Wing Tai，Xiaogang Chen，Sunyeong Kim，SeonJoo Kim ，Feng Li ，Jie Yang ，Jingyi Yu，YasuyukiMatsushita，and Michael S Brown.非线性相机响应函数和图像去模糊：理论分析和实践。TPAMI，2013年。2[36] 陶新，高红云，沈晓勇，王珏，贾继亚.用于深度图像去模糊的尺度递归网络。在CVPR，2018年。一二三四七八[37] Xintao Wang，Ke Yu，Shixiang Wu，Jinjin Gu，YihaoLiu ， Chao Dong ， Yu Qiao ， and Chen Change Loy.Esrgan：增强型超分辨率生成对抗网络。在ECCV，2018。3[38] Oliver Whyte ， Josef Sivic ， Andrew Zisserman ， andJean Ponce.抖动图像的非均匀去模糊。IJCV，2012年。22748[39] Wei Xiong，Jiahui Yu，Zhe Lin，Jimei Yang，Xin Lu，Connelly Barnes，and Jiebo Luo.前景感知图像绘画。在CVPR，2019年。3[40] 李旭和贾佳雅。用于鲁棒运动去模糊的两阶段核估计。ECCV，2010年。1[41] Li Xu，Shicheng Zheng，and Jiaya Jia.自然图像去模糊的非自然l0稀疏表示。CVPR，2013。1[42] Jiawei Zhang，Jinshan Pan，Jimmy Ren，Yibing Song，Lin- chao Bao，Rynson WH Lau，and Ming-Hsuan Yang.使用 空间 变化 递归 神经 网络的 动态 场景 去模 糊在CVPR，2018年。第1、3条[43] Kaihao Zhang，Wenhan Luo，Lin Ma，and Hongdong Li.基于 潜在 属性 库的 表兄 弟网络 引导 的草 图识 别在AAAI，2019年。3[44] 张凯浩，罗文汉，马林，刘伟，李洪东.通过五元组损失最小化学习关节步态表示。在CVPR，2019年。3[45] Kaihao Zhang，Wenhan Luo，Yiran Zhong，Lin Ma，Wei Liu，and Hongdong Li.对抗性时空学习的视频去模糊。TIP，2018年。3[46] Jun-Yan Zhu、Richard Zhang、Deepak Pathak、TrevorDarrell、Alexei A Efros、Oliver Wang和Eli Shechtman。向多模态图像到图像翻译。NeurIPS，2017。4