变差超分辨的统一动态卷积网络

12496变差超分辨的统一动态卷积网络徐守尧曾玉凯曾贤凯郭益民蔡联发科公司，台湾新竹{Yu-Syuan.Xu，Roy.Tseng，Ulia.Tseng，Hsienkai.Kuo，Yi-Min.Tsai}@ mediatek.com摘要深度卷积神经网络（CNN ）在单图像超分辨率（SISR）方面取得了显著的成果。尽管只考虑了单一降解，但最近的研究还包括多种降解效应，以更好地反映现实世界的情况。然而，大多数作品都假设了一个固定的降级效果组合，甚至训练了一个单独的网络用于不同的组合。相反，一个更实际的方法是训练用于大范围和变化的降级的单个网络。为了满足这一要求，本文提出了一个统一的网络，以适应来自图像间（跨图像变化）和图像内（空间变化）的变化。与现有的工作不同，我们引入了动态卷积，这是一个更灵活的替代处理不同的变化。在非盲设置的SISR中，我们的变分退化统一动态卷积网络（UDVD）在具有广泛变分集的合成图像和真实图像上进行了评估定性结果证明了UDVD对各种现有工程的有效性。大量的实验表明，我们的UDVD实现了良好的或可比较的性能合成和真实图像。1. 介绍单图像超分辨率（SISR）是近年来计算机视觉发展中对图像质量提出的一个巨大挑战。SISR的目标是从低分辨率（LR）图像重建高分辨率（HR）图像这种逆性质使它成为一个高度不适定的问题。深度卷积神经网络（CNN）[1，2，3，4，5，6，7，8，9，10，11，12，13，14]已被广泛采用来解决SISR问题，并取得了显著的成功。然而，大多数方法假设降解效应的单一固定组合，例如，模糊和双三次下采样。这种假设限制了他们处理具有多重降级的实际情况的能力。几种CNN基础方法[15，17，18，19，20]在具有多重退化的SISR的背景下提出。这些方法用非常不同的设置和公式来解决这个问题。Shocher等人[15]训练一个小型的特定于图像的网络来处理不同的降级输入图像LRRCAN ZSSR UDVD HR[14个][第十五条]（我们的）图1.具有变分退化的SISR问题。图像“castle HR图像应用具有可变核宽度ε的高斯模糊、双立方下采样和具有可变水平σ的高斯白噪声来生成LR图像。为了某个形象。在这种方法中，只要存在退化的变化，就必须训练单独的网络，不同的图像之间的退化效果。为了解决变分退化的问题，张等人。[17]提出SRMD并训练单个网络来处理多种变化，包括模糊和噪声。注意，降级效果的类型是预定义的，这也被称为非盲设置。据我们所知，SFTMD [18]是盲设置的最新作品之一，它提出了空间特征变换（SFT）和迭代核校正（IKC）来处理有限的盲退化集。在最相关的工作SRMD [17]之后，本文采用了相同的设置和公式，其中单个统一网络被训练用于可变退化。为了处理退化效应的变化，期望统一的网络适应两种类型的变化，跨图像变化（图像间）和空间变化（图像内）。图1示出了SISR中的变差退化问题的示例。在图1中，不同的降级效果被应用于BSD 100中的基准图像的不同区域[16]。与使用固定降级设置RCAN[14]和ZSSR [15]训练的方法相比，所提出的方法实现了类似的质量（红色斑块），同时有效地适应其他变化（图中的绿色，紫色和蓝色斑块）。1）。另一方面，在RCAN [14]和ZSSR [15]中，ε=1.6，σ=0 ε=0.2，σ=0ε=1.6，σ=10ε=0.2，σ=1012497可以观察到，由于其不知道的变化。第4节将进一步讨论和比较广泛的试验工程。与最直接可比的方法SRMD [17]不同，本文利用动态卷积来更好地解决具有变分退化的非盲SISR问题。动态卷积是一种比标准卷积灵活得多的操作。一个标准的卷积学习内核，最大限度地减少所有像素位置的错误一次。而动态卷积使用由参数生成网络生成的每像素内核[21]。此外，标准卷积的内核是内容不可知的，在训练后是固定的。而动态学习算法具有内容自适应性，即使经过训练也能适应通过上述性质，动态卷积证明了它本身是处理变分退化的更好的替代方案。在本文中，我们将动态卷积，并提出了一个统一的动态卷积网络变分退化（UDVD）。本工作的贡献总结如下：（1）提出了一种统一的变分降阶非盲SISR动态卷积网络UDVD。(2)我们进一步提出了两种类型的动态卷积，以提高性能。在连续的动态卷积过程中，我们结合了多阶段损失来逐步细化图像(3)我们对动态卷积的性能影响进行了深入的分析，并研究了一些动态卷积的配置大量的实验表明，所提出的UDVD实现了良好的或相当的perfor-mance上的合成和真实图像。本文的组织结构如下。第二节讨论相关工作。第3节介绍建议的UDVD及其实施细节。第4节介绍了实验结果。第5节讨论了结论。2. 相关工作单图像超分辨率。在过去的几年中，各种基于CNN的技术已经被提出用于SISR。在这些作品中，SRCNN [1]是第一个采用三层CNN架构的作品，并且与之前的非CNN作品相比取得了卓越的性能。受SRCNN的启发，Kimet al.提出了一个更深的网络VDSR [2]，它包含20个卷积层，并为残差学习增加了全局残差连接[22]。作者在[3，4，5]中研究了使用递归块来增加参数共享的深度。然而，在这些方法中使用的双三次插值LR图像 导 致 额 外 的 计 算 成 本 。 为 了 解 决 这 个 问 题 ，FSRCNN [9]和ESPCNN [10]通过在网络末端添加转置卷积层和子像素卷积层，工作为了应对输入分辨率的不断下降，EDSR [11]和RDN [12]利用了更大的模型。DBPN [13]进一步提出了用于大缩放因子的迭代上采样和下采样单元。最近，RCAN [14]集成了残差中残差结构和通道衰减机制来加权通道特征。多次降解。 在SISR的研究中，大多数作品都是在单一和固定的退化上训练的，双三次下采样，这强烈限制了其在实际场景中的适用性。在多种多样的退化的背景下，Shocher等人。[15]训练了一个小型的图像特定网络来处理特定图像的不同退化[19，20]中的作者使用生成对抗网络（GAN）以无监督的方式解决退化问题。Zhang等人[17]提出了SRMD，这是一个处理多个降级（包括模糊和噪声）的单一网络。Gu等人[18]提出了SFTMD，并将空间特征变换（SFT）和迭代核校正（IKC）应用于盲退化的子集。与最直接可比的方法SRMD [17]不同，我们利用动态卷积来更好地解决具有变分退化的SISR问题。当与SRMD [17]相比时，所提出的方法在合成图像和真实图像上都实现了良好的性能。动态内核网络。在最近的研究中，卷积层中的动态核在许多应用中得到了广泛的应用Brabandere等人[21]首先利用参数生成网络为每个像素生成动态核。动态核网络使训练后的网络更加灵活，并在各种应用中取得了成功，例如去噪[23，24，25，26]，视频超分辨率[27]和视频插值[28，29]。本文采用一个简单的全卷积主干来预测动态卷积的每像素内核通过第4节的实验，本文验证了动态卷积的灵活性可以用来解决SISR的变分退化问题。3. 该方法在这一节中，问题的变分退化的SISR制定。然后，我们介绍了拟议UDVD的架构和实现细节。接下来，进一步讨论了不同类型的动态卷积和多级损耗的设计。3.1. 问题公式化本文主要研究SISR的降质效应，包括模糊、噪声和下采样。这些降级效应可能同时发生在实际用例中[30]。降解过程的公式如下：ILR=（IHRk）↓s+n，（1）12498图2.拟议UDVD框架的网络架构其中IHR和ILR分别表示HR和LR图像，k表示模糊核，n表示加性噪声，表示卷积运算，↓s表示比例因子为s的下采样运算。我们认为各向同性高斯模糊核，这是最近研究中广泛使用的核之一[17，18，30]。对于加性噪声，大多数研究采用具有协方差（噪声水平）的加性高斯白噪声（AWGN）[17，18]。双三次下采样器被考虑用于下采样操作。通过控制退化效果的参数，可以合成更真实的退化SISR训练。非盲设置。在本文中，采用了非盲设置。假设给定真实退化，非盲结果提供了估计退化的盲方法的上界。如[15]的表2、[18]的表1和[20]的表1所示，支持此类边界观察。如上所述，非盲设置的改进提高了盲方法的性能上限[18，20]。任何退化估计方法可以预先扩展我们的方法在盲设置。3.2. 变分退化统一动态卷积网络UDVD的框架如图所示二、该框架由一个特征提取网络和一个细化网络。特征提取网络负责提取输入图像的高级特征，如全局上下文、局部细节等。然后学习细化网络以增强和上采样图像以及提取的高级特征。训练中的变化降级。给定HR图像，如下执行降级过程，应用-使用大小为p×p的各向同性高斯模糊核，对图像进行双三次下采样，最后添加具有噪声水平σ的AWGN。生成的LR图像大小为C×H×W，其中C表示通道数，H和W表示图像的高度和宽度。类似于[17]，我们通过使用将模糊核投影到t维向量，主成分分析（PCA）技术。然后，我们连接噪声水平σ的额外维度以得到（1 +t）向量。然后将该向量拉伸得到大小为（1 +t）×H×W的退化图D。最后，我们来谈谈-将LR图像I0与大小为（C+ 1 +t）×H×W作为UDVD的输入请注意，t默认设置为15特征提取网络。在UDVD中，输入首先被转发到特征提取网络以提取高级特征。然后，将高级特征和输入图像发送到细化网络以生成HR图像。特征提取网络包含N个残差块，它们由卷积和整流组成线性单位（ReLU），如图所示。二、在这项工作中，卷积层的内核大小设置为3×3，通道设置为128。完善网络。利用提取的特征图，细化网络进一步分配M个动态块用于特征变换。注意，可以可选地扩展动态块以执行具有特定速率r的上采样。动态卷积的实现细节将在第3.3节中介绍。 在动态块m中，如图1所示。2，输入图像Im-1被发送到三个3×3卷积层，分别具有16、16和32个通道，然后与高级特征提取网络的特征图F。然后将得到的特征图转发到两个路径。特征提取网络改进网络0动态块残余块Concatenate逐像素添加逐像素核卷积运算������−1动态内核ConvReLUConvConv残余块残余块残余块转换*3Conv转换*2动态块动态块动态块12499动态卷积在典型的动态卷积中，通过使用核大小为k×k的每像素核K来进行卷积。这种操作可以表示为：H我昏迷Σ∆（i，j）=Σ∆Ki，j（u，v）·Iin（i−u，j−v），（2）上采样率=1(a) 典型动态卷积Hu=−v=−其中Iin和Iout分别表示输入和输出图像i和j是图像中的坐标，u和v是每个Ki，j中的坐标。注意，=k/2。这些每像素内核执行加权和附近的像素和提高图像质量像素像素。在默认设置中，有H×W内核，相应的权重在通道间共享。通过引入附加维数C，2，动态卷积可以扩展为跨通道的独立权重。与Upsampling集成。为了与上采样相结合，对同一块对应的图像进行r2卷积，生成r×r个新像素.这种运算的数学形式定义为：Iout（i×r+x，j×r+y）=Σr ΣrΣ∆Σ∆Ki，j，x，y（u，v）·Iin（i-u，j-v），上采样率=rx=0y=0u=−v=−（三）(b) 上采样动态卷积图3.动态卷积的类型。(a)典型的动态卷积在保持分辨率的同时改善图像质量（b）动态卷积进一步以特定的上采样率r对图像进行上采样。第一条路径是一个3×3卷积层，用于预测每像素的内核。生成的每像素内核存储在通道维度为k × k的张量中，其中k是每像素内核的内核大小（图2）。3（a））。当需要上采样时，通道尺寸为k×k×r×r，其中r为上采样率（图1）。第3（b）段）。请注意，k被设置为5，默认设置。然后使用预测的每像素内核对Im-1执行动态卷积运算以生成输出Om。第二个路径包含两个3×3卷积层，分别具有16和3个通道，以生成残差图像Rm，用于增强高频细节，如[27]所述然后将残差图像Rm添加到用于输出图像Im的动态卷积运算Om的输出。请注意，子像素卷积层用于对齐路径之间的分辨率。3.3. 动态卷积图3示出了两种类型的动态卷积。通常，当输入和输出分辨率相同时，使用典型的动态卷积，如图所示。第3（a）段。取决于使用情况，上采样也可以集成到动态卷积中，如图所示。3（b）款。其中x和y位于每个r×r输出的坐标中block（0≤v，u≤r−1）。这里，I输出的分辨率是r乘以I输入的分辨率。我们利用r2HW内核生成rH×rW像素作为I输出. 当与上采样集成时，权重在通道间共享，以避免第31章：我的天3.4. 多级损失类似于以前的工作[8，32]，我们在动态块的输出端采用多级损失。在每个动态块处的HR图像IHR损失定义为：ΣM损失=F（Im，IHR）（4）m=1其中M是动态块的数量，F是损失函数，例如L2损失和感知损失。为了获得高质量的结果图像，我们然后最小化每个动态块的损失之和。4. 实验在本节中，我们将讨论实验结果和设置。第4.1节详细说明了数据集和训练设置的细节。第4.2节比较了申报UDVD的不同配置。第4.3节说明了学习的动态内核。第4.4节使用合成图像在不同应用程序设置下真实图像评价见第4.5节。重塑K动态内核KW重塑KK动态内核RWR.12500方法PSNR SSIM基线29.45 0.8350联合王国发展署29.58 0.8393UDVDUD不含多级损失的UDVDUDD 29.580.8385UDVDUDD29.670.8410表1.Set5上各种UDVD配置的平均PSNR和SSIM值降级参数包括比例因子×3，核宽1。噪音等级15。最佳结果以红色突出显示。ε=1.6，σ=0 ε=0.2，σ=0ε=1.6，σ=10ε=0.2，σ=10退化图像(a) 原始图像(b) 退化图像(c) （a）、（b）4.1. 数据集和培训设置我们从DIV2K [33]和Flickr2K [34]收集高质量的2K图像退化的图像根据Eq. 1.一、如等式中所列1，该过程对高质量图像应用一系列降级效果 根据以前的作品[17，18]，我们使用各向同性高斯模糊核。内核宽度的范围设置为[0。二，三。0]，核大小固定为15 ×15。对于噪声，我们使用噪声水平在范围[0，75]内的AWGN。采用均匀采样的方法生成所有的参数。在训练过程中，退化的LR图像被裁剪成大小为48×48的补丁。而相应的HR图像分别被裁剪成比例因子为2、3和4的96×96、144×144和192×192的块 使斑块通过随机水平翻转、垂直翻转和90°旋转来增强。我们将mini-batch大小设置为32。Adam优化器[35]与第3.4节中介绍的多级L2损失一起使用。学习率初始化为10−4，每2×105减少一半步我们在一个服务器上进行所有的实验，NVIDIA RTX 2080 Ti GPU我们在数据集Set5 [36]，Set14 [37]，BSD 100 [16]和真实图像[38，39]上验证UDVD。与[12，14，17]相同，所有模型都在RGB空间上训练。PSNR和SSIM度量的评估在YCbCr中的Y通道上进行4.2. UDVD的比较表1总结了不同UDVD配置的定量比较基线配置仅包含特征提取网络（15个残差块）和子像素层。而在精化网络中，比较了动态卷积的不同配置。在这些配置中，D表示包含典型动态卷积的块（如图所示）。3（a）），U标记上采样的积分（如图3所示）。第3（b）段）。如表1所示，动态块比基线配置提高了性能特别是，UD配置实现了比其对应配置更好的性能。表1中的烧蚀实验也证明了所提出的多级损失的有效性。在本文的后面，我们使用UDVDUDD图4.第二动态块中的预测的每像素内核关于UDVD (a)从lr图像中学习的核函数。(b)该方法从高斯模糊核宽度ε和噪声水平σ空间变化退化的图像中学习核。(c)（a）和（b）之间的绝对差值。对于比例因子2和3。而UDVDUUDD（两个单独的上采样步骤）用于比例因子4。4.3. 可视化动态内核UDVD生成动态内核以适应图像内容和不同的降级。图4（a）展示了针对不同的内容生成不同的内核。同样，图图4（b）示出了生成的内核进一步适应所应用的降级。如图4（c），适应行为在不同的降解中变化，而与内容无关。这些观察结果证实了UDVD能够通过考虑含量和降解的空间差异生成动态内核来处理空间变化4.4. 合成图像实验我们评估了建议的UDVD与一些appli，applications设置，包括变分和固定degra，dations。为这些设置生成合成图像。请注意，我们仅在非盲设置中比较了UDVD与一组全面详细情况将在以下段落中说明。多种降解的变化。 所提出的UDVD评估与各种变化的退化效果，包括双三次下采样，各向同性高斯模糊内核和AWGN。我们考虑双三次下采样的比例因子2、3和4。对于各向同性高斯模糊，核宽度为0.2，1.3和2.6被认为是。噪声级15和50被认为是AWGN。表2将UDVD与广泛使用的数据集Set5 [36]，Set14 [37]和BSD 100 [16]的先前工作进行了由于没有意识到多重降级，与其他方法相比，RDN [12]和RCAN [14]产生的PSNR不令人满意。对于基于多重退化的方法，我们将UDVD与两种众所周知的方法IR-CNN [40]和SRMD[17]进行了比较。如表2所示，UDVD不断实现更好的PSNR，即使在最困难的测试情况下（内核宽度2.6和噪声水平50）。12501方法内核宽度噪声水平Set5 Set14 BSD 100表2.多重降级变化的平均PSNR值。我们使用提供的官方代码来计算结果，除了IRCNN。对于IRCNN，结果摘自出版物[40]。最佳结果以红色突出显示。Set5 Set14 BSD100×2×3×4×2×3×4×2×3×433.5631.6730.0129.7928.0626.7727.5426.0024.9833.7732.0030.6330.7428.9327.7629.6127.9926.9029.7027.8026.5328.0226.2024.9827.3925.7524.8130.7828.6127.1528.9026.8525.6227.9826.2025.1928.5327.0626.0526.9725.6224.6626.4625.3324.5929.3727.7426.5727.6326.2825.2326.8925.7124.95表3.退化空间变化的平均PSNR值。我们使用SRMD的官方代码来计算它的结果。最佳结果以红色突出显示。退化的空间变化。 为了验证动态卷积的优点，我们进一步扩展实验，以考虑退化的空间变化。退化的LR图像被合成为具有核宽度和噪声水平，其从左到右在相应的范围[0.2，2]和[5，50]内逐渐增加。 我们将我们的UDVD与最重的-Late work，SRMD [17]，它处理空间变化而不进行动态卷积。如表3所示，对于所有数据集（Set5 [36]，Set14 [37]和BSD 100 [16]）的所有设置，UDVD始终优于SRMD。在总之，UDVD相对于SRMD提供了显著的PSNR定性比较也在图中示出。五、在图5中，在不考虑空间变化的情况下，RCAN只能处理固定的退化（红色块表示较轻的退化），但在另一个退化时失败（蓝色块表示较重的退化）。虽然SRMD和UDVD都能处理空间变化，但UDVD仍能产生更清晰的重建图像。这些结果表明，UDVD不仅能够处理多重退化，而且能够处理它们的空间变化。×2×3×4×2×3×4×2×3×4RDN [12]26.2325.5724.4825.4424.4023.4525.0324.0423.13RCAN [14]26.0525.4624.8325.324.2923.6424.9523.9223.33IRCNN [40]0.21532.6030.0828.35------[第17话]32.7630.4328.7930.1427.8226.4829.2327.1125.95UDVD32.9630.6829.0430.4328.1426.8229.3827.2726.08RDN [12]25.0124.9824.3324.0823.9223.3923.8523.6723.09RCAN [14]24.924.9424.5824.0423.8823.5323.8423.6223.26IRCNN [40]1.31529.9628.6827.71------[第17话]30.9829.4328.2128.3427.0526.0627.5226.4525.63UDVD31.1629.6728.4328.6327.3626.3727.6426.5825.74RDN [12]23.1823.2823.0722.3422.4022.3122.4422.5222.35RCAN [14]23.1323.2923.2422.3422.4122.4222.4722.522.48IRCNN [40]2.61526.4425.6724.36------[第17话]28.4827.5526.8226.1825.5825.0625.8125.2924.86UDVD28.7327.8026.9826.4825.8725.3325.9325.4124.96RDN [12]17.2316.8516.5117.0416.5816.2116.9016.3815.99RCAN [14]17.0816.1316.6416.8415.6816.3516.6615.5416.1IRCNN [40]0.25028.2026.2524.95------[第17话]28.5126.4825.1826.7025.0123.9526.1324.7423.86UDVD28.6326.6525.3427.0025.3224.2426.2724.8723.98RDN [12]16.9716.7016.4116.7516.4516.1416.6416.2915.95RCAN [14]16.8215.9816.5416.5515.5616.2816.4215.4716.06IRCNN [40]1.35026.6925.2024.42------[第17话]27.4325.8224.7725.6324.4723.6425.2624.3323.63UDVD27.5425.9924.9225.8824.7523.9125.3624.4523.74RDN [12]16.5016.3116.0816.3016.0915.8816.2916.0315.77RCAN [14]16.3615.616.2216.1215.2416.0216.0715.2315.88IRCNN [40]2.65022.9822.1621.43------[第17话]25.8524.7523.9824.3223.5322.9824.3023.6823.18UDVD26.0024.8524.1124.6023.8123.2324.4123.7923.27方法核宽噪声水平[0.2，2]UDDV5[17]第十七话UDVD[5，50][0.2，2]UDDV[5，50]12502PSNR/SSIM24.50/0.714826.03/0.754628.06/0.800528.45/0.8052PSNR/SSIM(a) 地面实况20.56/0.3831(b) 双三17.68/0.3068(c) RCAN [14]22.33/0.4608(d) [第17话]22.52/0.4856(e) UDVD（我们的）图5.图像“斑马”（第一行）和图像“竹子”（第二行）的视觉结果方法内核宽度Set5 Set14 BSD 100×2 ×3 ×4 ×2 ×3 ×4 ×2 ×3 ×42019年12月28日星期一2019年12月29日星期一2019年10月29日星期一伊朗有线电视新闻网[40] 37.43 33.39 31.02-[17]第十七话0.237.79 34.13 31.96 33.33 30.04 28.35 32.05 28.97无SFT的SFTMD [18] 31.74 30.90 29.40 27.57 26.40 26.18 27.24 26.43 26.34[18]38.0034.57 32.39 33.68 30.4728.77 32.09 29.09 27.58UDVD38.0134.49 32.31 33.6430.44ZSSR [15] 33.37 28.67 27.44 31.31 27.34 26.15 30.31 27.30 25.95伊朗有线电视新闻网[40] 36.01 33.33 31.01-[17]第十七话1.337.4434.17 32.00 33.20 30.08 28.42无SFT的SFTMD [18] 30.88 30.33 29.11 27.16 25.84 25.93 26.84 25.92 26.20[18]37.46 34.53 32.41 33.39 30.5528.8232.0629.15 27.64UDVD 37.3634.52 32.3733.3930.5028.8532.002019年12月29日星期一2019年10月29日星期一201伊朗有线电视新闻网[40] 32.07 31.09 30.06-[17]第十七话2.634.1233.02 31.7730.25 29.33 28.26表4.无噪声降级时的平均PSNR值。我们使用官方代码来计算结果，除了SFTMD和IRCNN。对于SFTMD和IRCNN，结果摘自出版物[18，40]。最好的两个结果以红色和蓝色突出显示无噪声的退化和变化。在这个实验中，我们训练UDVD的无噪声退化（重新移动噪声退化），使广泛的比较，以其他作品。表4总结了无噪声UDVD和竞争方法的PSNR结果。与SRMDNF [17]和SFTMD [18]相比，UDVD在大多数情况下获得了可比较的结果，并且在BSD 100上的大比例因子时优于这两种方法[16]。请 注 意 ， SFTMD [18] 主 要 受 益 于 空 间 特 征 变 换（SFT），该变换对退化信息应用仿射变换，而不是将其与输入图像连接。在不失一般性的情况下，UDVD也可以扩展到采用SFT层进行进一步的改进。固定降解。为了与最先进的基于固定降解的方法进行比较，我们对两种广泛使用的固定降解BI和DN进行了UDVD评估。BI仅包括双三次下采样。而DN应用二进制下采样，然后添加噪声电平为30的AWGN表5列出了比例因子为3时BI和DN的PSNR和SSIM结果。在表5中，除了SRMD [17]和UDVD，其余方法分别为BI和DN训练不同的特定模型。而SRMD [17]和UDVD利用单个模型来处理BI和DN降级。只有一个模型，UDVD在BI上仍然产生有竞争力的结果，在DN上仍然产生优越的结果。这验证了单一UDVD可以适应各种降解并取得有希望的结果。无SFT的SFTMD [18] 24.2228.4428.6422.9924.1925.6323.0724.4225.99SFTMD [18]34.2733.2232.0530.3829.6328.5529.3528.4127.47UDVD 33.7433.1531.9930.0829.5828.5528.9328.4927.5512503方法组5组14 BSD 100表5.固定降级时的平均PSNR/SSIM值。“云”表示BI和DN的统一模型。我们使用提供的官方代码来计算结果，除了SRCNN和VDSR。对于SRCNN和VDSR，结果摘自出版物[1，2，12]。最好的两个结果以红色和蓝色突出显示。(a) 真实LR（b）RCAN [14]（c）ZSSR [15]（d）SRMD [17]（e）UDVD（我们的）图6.比例因子为4的真实图像“芯片”（第一行）和比例因子为3的“青蛙”（第二行）的定性结果Real ImageLRε=0.6，σ=5 ε=1.0，σ=5 ε=0.6，σ=10ε=1.0，σ=10图7.给出了比例因子为2、变高斯模糊核宽度ε和噪声水平σ的真实图像的定性结果。4.5. 真实图像实验除了第4.4节中的合成测试图像的实验之外，我们进一步将实验扩展到真实图像。对于真实图像，没有地面实况降级。因此，如[17]所示，对退化参数进行手动网格搜索，以获得视觉上令人满意的结果。图6说明了UDVD、RCAN [ 14 ]、ZSSR [ 15 ]和SRMD [ 17 ]中广泛使用的真实图像“芯片”[ 38 ]和“青蛙”[ 39 ]的定性比较大部分所比较的方法产生明显的伪像。RCAN产生模糊的边缘，不能处理噪声。ZSSR往往会产生过度平滑的结果。虽然SRMD成功地去除了这些伪影，但它无法恢复尖锐的边缘。相比之下，拟议的UDVD重建了一个更清晰，更清晰的质量。图7示出了通过具有不同退化估计的UDVD重建的图像。可以观察到，不同的块（蓝色和红色）在不同的退化估计上具有有利的重建结果这证实了真实图像中存在变分总之，图。图6和图7证实了UDVD对真实图像的有效性。5. 结论总之，本文提出了一个统一的变分退化动态我们进一步引入两种类型的动态卷积来提高性能。 多级损失也被应用于在连续的动态卷积中逐渐细化图像。只有一个单一的网络，提出的UDVD有效地处理范围广泛的退化变化的真实世界的图像，包括跨图像和空间的变化。UDVD是评估合成和真实图像与各种变化的退化效果。对UDVD与现有的各种工作进行了综合实验通过定性结果，我们证实了动态卷积的有效性大量的实验表明，所提出的UDVD实现了良好的或可比的性能上的合成和真实图像。BIDNBIDNBIDN双三30.39/0.830824.01/0.536927.55/0.727122.87/0.472427.21/0.691822.92/0.4449SRCNN [1]32.75/0.894425.01/0.695029.30/0.807423.78/0.589828.41/0.773623.76/0.5538VDSR [2]33.67/0.915025.20/0.718329.78/0.824424.00/0.611228.83/0.789324.00/0.5749[17]第十七话33.86/0.923228.30/0.812329.80/0.834226.34/0.702528.87/0.800125.84/0.6561RDN [12]34.71/0.928028.47/0.815130.57/0.844726.60/0.710729.26/0.807925.93/0.6573RCAN [14]34.74/0.9299-30.65/0.8482-29.32/0.8111-UDVD*33.99/0.924028.52/0.818630.04/0.837126.65/0.714628.94/0.801625.99/0.663212504引用[1] C.东角，澳-地C. Loy，K.他，还有X。Tang，第38页。295-307，2015. 一、二、八[2] J. Kim，J. K. Lee和K. M. Lee，“Accurate image super-resolution using very deep convolutional networks ， ”inProc. IEEE会议 计算机视觉和模式识别（CVPR），pp。1646-1654，2016。一、二、八[3] J. Kim ， J. K. Lee 和 K. M. Lee ， “Deep-recursiveconvolutional network for image super-resolution ， ”inProc. IEEE Conf.计算机视觉和模式识别（CVPR），pp。1637-1645，2016年。一、二[4] Y. S. Tai，J. X. Yang和X. Liu，“Image super-resolutionvia deep recursive residual network”，Proc. IEEE Conf.计算机视觉和模式识别（CVPR），pp。2790- 2798，2017年。一、二[5] Y. S. Tai ， J.X. Yang ， X.Liu 和 C.Xu， “Memnet ： Apersis- tent memory network for image restoration ， ”inProc. IEEE Int. Conf. Computer Vision （ ICCV ） ， pp.4549-4557，2017年。一、二[6] C.莱迪格湖Theis，F.放大图片作者：J. Caballero，A.Cunning-ham，A.阿科斯塔A.艾特肯A. Tejani，J. Totz，Z. Wang和W. Shi ， “Photo-realistic single image super-resolution using agenerativeadversarialnetwork”，Proc. IEEE会议计算机视觉和模式识别（CVPR），pp。105-114，2017。1[7] X. Wang，K. Yu，S. Wu，J. Gu，Y. Liu，C.董，Y.Qiao 和 C. C. 洛 伊 ， “ 埃 斯 尔 甘 ： Enhanced super-resolution generative adversarial networks ， ”in Proc.European Conf.计算机视觉（ECCVW），2018年。1[8] W.- S. 赖，J. -B. Huang，N.Ahuja和M.H. Yang，“Fastand accurate image super-resolution with deep laplacian pyramidnetworks” ， IEEE Trans.模 式 分 析 和 机 器 智 能（TPAMI），2018年。1、4[9] C.东角，澳-地C. Loy和X. Tang，“加速超分辨率卷积神经网络”，Proc. 欧洲会议中计算机视觉（ECCV），pp.391-407，2016。一、二[10] W. Shi，J. 卡瓦列罗角 Hus za'r，J. Totz，A. P. Aitk enR. Bishop ， D.Rueckert 和 Z.Wang ， “Real-time singleimage and video super-resolution using an efficient sub-pixel convolutional neural network，”in Proc. IEEE Conf.计算机视觉和模式识别（CVPR），pp。1874- 1883，2016。一、二[11] B. 林 ， S 。 儿 子 ， H 。 Kim ， S. 不 还 有 K M. Lee ，“Enhanced deep residual networks for single image super-resolution”，Proc. IEEE会议计算机视觉与模式识别（CVPRW），pp. 1132-1140，2017。一、二[12] Y. Zhang ， Y. 田 氏 Y. 孔 湾 ， 澳 - 地 Zhong 和 Y.Fu ，“Residual dense network for image super-resolution，”inProc. IEEE Conf.计算机视觉和模式识别（CVPR），pp。2472-2481，2018。一、二、五、六、八[13] M. Haris ， G. Shakhnarovich 和 N. Ukita ， “Deep back-projection networks for super-resolution”，in Proc. IEEE12505计算机视觉与模式识别（CVPR），第10页。1664-1673，2018年。一、二[14] Y. Zhang，K. Li，K.利湖，澳-地王湾，澳-地Zhong和Y. Fu，“Image super-resolution us