基于深度约束最小二乘的盲图像超分辨率

176420基于深度约束最小二乘的盲图像超分辨率0骆子蔚 1 黄海滨 2 于磊 1 李友伟 1 范浩强 1 刘帅成 3 , 1 *01  Megvii Technology 2  Kuaishou Technology 3University of Electronic Science and Technology of China0双三次插值0ZSSR0IKC0DANv20KOALAnet 我们的LR Img 28在DIV2KRK数据集中0图1. DIV2KRK数据集中Img28的盲超分辨率，缩放因子为4。基于提出的深度约束最小二乘（DCLS）去卷积，我们的方法在恢复清晰和干净的边缘方面非常有效，并且优于之前的最先进方法，如KernelGAN [3]+ZSSR [41]，IKC [9]，DAN [30, 31]，AdaTarget [14]和KOALAnet [19]。0摘要0在本文中，我们通过重新定义退化模型和引入两个新模块来解决盲超分辨率（SR）问题。遵循盲SR的常见做法，我们的方法旨在改进核估计和基于核的高分辨率图像恢复。具体而言，我们首先重新定义退化模型，使得去模糊核估计可以转换为低分辨率空间。在此基础上，我们引入了一个动态深度线性滤波模块。它可以根据输入自适应生成去模糊核权重，并产生更稳健的核估计。随后，我们应用深度约束最小二乘滤波模块，基于重新定义和估计的核生成干净特征。去模糊特征和低输入图像特征然后被输入到双通道结构化SR网络中，恢复最终的高分辨率结果。为了评估我们的方法，我们还在几个基准数据集上进行了评估，包括Gaussian8和DIV2KRK。实验证明，与最先进的方法相比，所提出的方法在准确性和视觉改进方面取得了更好的效果。代码和模型0* 通讯作者0可在 https://github.com/megvii-research/DCLS-SR 上找到01. 引言0在这项工作中，我们研究了图像超分辨率问题，即从低分辨率输入恢复高分辨率图像。特别地，我们针对单图像超分辨率（SISR），只给出一个观测值，这是一种更实际的设置，并且具有广泛的下游应用[6, 8, 10, 17, 22, 26, 28, 48, 57,59]。大多数现有的基于经典SISR退化模型的方法假设输入的LR图像 y 是一个模糊和缩小的HR图像x，附加了白高斯噪声 n，表示为0y = (x � kh) ↓ s + n，(1)0其中  k h  是应用于  x  上的模糊核，� 表示卷积操作，↓ s表示缩小比例为 s 的下采样。先前的盲超分辨率方法[9,30]通常通过两阶段的框架来解决这个问题：从LR图像估计核和基于核的HR图像恢复。我们认为，尽管这样的流程对于SR问题表现出了合理的性能，但存在两个主要缺点：首先，准确估计是困难的176430由于下采样步骤产生的模糊核，很难直接从LR图像中恢复HR空间的模糊核[38,46]。估计的核与真实核之间的不匹配会导致性能显著下降，甚至产生不愉快的伪影[3, 9, 13,56]。其次，如何充分利用估计的HR空间核和LR空间图像的信息也是一个挑战。一种常见的解决方案是使用核拉伸策略[9, 30,56]，其中保留向量化核的主成分，并将其拉伸为与LR输入相同大小的退化图。然后，这些退化图可以与输入图像或其特征连接，生成干净的HR图像。然而，核的空间关系在向量化和主成分分析的过程中被破坏，导致核的使用不充分。随后的重建网络需要大量的努力来协调LR特征和HR特定核之间的不一致信息，限制了其在超分辨率图像中的性能。为了解决这个问题，我们提出了一种修改后的学习策略，可以自然地避免上述缺点。具体而言，我们首先以一种方式重新定义退化模型，使得模糊核估计和图像上采样可以解耦。特别是，如图2所示，我们从原始核 kh和LR图像中推导出一个新的核。它将核估计转换为LR空间，新的核可以在没有混叠歧义的情况下进行估计。基于新的退化模型，我们进一步引入了动态深度线性核（DDLK），为核提供更多等效的可能最优解选择，以加速训练。随后，在特征域中应用一种新颖的深度约束最小二乘（DCLS）去卷积模块来获得去模糊特征。DCLS对噪声具有鲁棒性，并且可以为从模糊输入中获得干净图像/特征提供理论和有原则的指导。此外，它不需要核拉伸策略，因此保留了核的空间关系信息。然后，将去模糊特征输入到上采样模块中，恢复干净的HR图像。如图1所示，整体方法在恢复清晰和干净的SR图像方面非常有效。主要贡献总结如下：0•我们引入了一个新的实用的退化模型，该模型源自方程（1）。这种退化与经典模型保持一致，并允许我们可靠地从低分辨率空间估计模糊核。0•我们提出使用动态深度线性核代替单层核，这提供了更多等效的核最优解选择，更容易学习。0图2.核重构示例。顶行和中行是LR图像和相应的原始核。底行是重构的核。0•我们提出了一种名为DCLS的新型去卷积模块，它在特征上以通道方式去模糊，从而可以获得清晰的HR图像。0•在各种退化核上进行的大量实验证明，我们的方法在盲目SR问题中具有最先进的性能。02. 相关工作0非盲目超分辨率（SR）自从开创性的工作SRCNN [6]提出了使用三层卷积网络学习图像SR，大多数后续工作都集中在优化网络架构[5, 10, 17, 18, 21, 28, 32, 40, 43, 55, 59,61, 62]和损失函数[15, 22, 29, 47, 48, 52,58]。这些基于CNN的方法在具有预定义单一退化设置（例如双三次下采样）的SISR上取得了令人印象深刻的性能。然而，当预定义的退化核与实际核不同时，它们可能会遭受显著的性能下降。一些非盲目SR方法通过恢复具有相应核的HR图像来解决多重退化问题。具体而言，SRMD[56]是第一种将LR图像与拉伸的模糊核连接起来作为输入以获得不同退化下的超分辨率图像的方法。随后，张等人[54,57]结合了先进的去模糊算法，并将退化扩展到任意模糊核。UDVD[51]通过融合动态卷积来提高性能。Hussein等人[13]引入了一种校正滤波器，将模糊的LR图像转换为与双三次设计的SR模型匹配的图像。此外，非盲目SR中还研究了零样本方法[42,51]。盲目SR在盲目SR设置下，HR图像是从具有未知核的LR图像中恢复的[24, 25,35]。大多数方法通过两阶段框架解决这个问题：核估计和基于核的HR图像恢复。对于前者，KernelGAN[3]通过在单个图像上利用内部生成对抗网络（GAN）估计退化核，并将该核应用于非盲目SR方法（如ZSSR）以获得SR结果。梁等人[27]改进了核,(7)11×11176440通过引入基于流的先验来评估性能。此外，陶等人[44]提出了一种频谱到核网络，并证明在频域中估计模糊核比在空域中更有利。对于后者，顾等人[9]提出了应用空间特征变换（SFT）和迭代核校正（IKC）策略进行准确核估计和SR细化。罗等人[30]通过迭代估计降低的核并逐步恢复HR图像，开发了一个端到端训练的深度交替网络（DAN）。然而，IKC和DAN都耗时且计算成本高。DAN的修改版本[31]进行了双路径条件块（DPCB）并对完整的模糊核进行监督，以进一步提高性能。03. 方法0我们现在正式介绍我们的方法，它由三个主要组件组成，给定退化的重构：动态深度线性核估计模块和基于LR空间特征的深度约束最小二乘模块用于核估计和去模糊。随后是双路径网络，用于生成清晰的HR输出。我们将首先推导出重构，然后详细介绍每个模块。03.1. 退化模型重构0理想情况下，要估计的模糊核及其对应的图像应该在相同的低分辨率空间中，这样退化问题可以转化为去模糊问题，然后是具有双三次退化的SISR问题[56,57]。为了实现这一目标，我们提出将公式（1）重新构造为：0y = F−1(F((x � k h) ↓ s)) + n (2)0= F−1 � F(x↓s) F((x � k h) ↓ s)0� + n (3)0= x ↓ s � F−1 � F((x � k h) ↓ s0F(x↓s)0� + n, (4)0其中 F 表示离散傅里叶变换，F−1 表示其逆。0表示其逆。然0k l = F−1 � F((x � k h) ↓ s)0F(x↓s)0�, (5)0我们可以得到另一种形式的退化：0y = x ↓ s � k l + n. (6)0在公式（6）中，k l 是从相应的 k h导出并应用于下采样的高分辨率图像 x ↓s。为了确保数值稳定性，我们使用一个小的正则化参数 ϵ重0k l = F−1 �0F(x ↓ s) F(x ↓ s) + ϵ F((x � k h) ↓ s0�0DDLK0全局池化0滤波器卷积过程0重塑0ResBlocks0� � �0�%07×705×501×10�) � * � + �,0-�021×210图3. 动态深度线性核的架构。0其中 F(∙) 是 F的复共轭。图2展示了通过公式（7）重新构造核的结果。基于新的退化过程，我们的目标是估计模糊核 kl，然后恢复高分辨率图像 x。03.2. 动态深度线性核0在进行核估计之前，我们从核估计开始进行盲超分辨率方法。一个直接的解决方案是采用回归网络来通过最小化与新的地面真实模糊核 k l的L1差异来估计核ˆk，公式为（7）。我们认为这种单层核（估计核的所有权重都等于真实核）的估计通常很困难和不稳定，因为盲超分辨率问题的非凸性非常高[3]，导致核不匹配和性能下降[9,30]。相反，我们提出了一种图像特定的动态深度线性核（DDLK），它由一系列没有激活函数的线性卷积层组成。从理论上讲，深度线性网络具有无限等效的全局最小值[3, 16,39]，这使我们能够找到许多不同的滤波器参数来实现相同的正确解。此外，由于网络中没有使用非线性，我们可以将深度线性核解析地折叠为单层核。图3展示了估计4层动态深度线性核的示例。滤波器设置为11×11、7×7、5×5和1×1，使得感受野为21×21。我们首先基于低分辨率图像生成每一层的滤波器，然后将所有滤波器依次卷积成一个单狭窄核，步长为1。数学上，设 h i 表示第 i层的滤波器，我们可以得到一个单层核，如下所示：0ˆk = I k � h 1 � h 2 � ∙ ∙ ∙ � h r (8)0其中 r 是线性层的数量，I k是一个单位核。作为经验先验，我们还限制核ˆk的总和为1。核估计网络可以通过最小化估计核ˆk与新的地面真实模糊核 k l 之间的L1损失来进行优化，公式为（7）。⊕0 -1 000-1-1-14……minRi.(14).(16)176450CR0通道减少0放大0� �  =10�0�0卷积0Resblock0Resblock0Resblock0DCLS0DPG0DPG0©卷积0��y0双通道0注意力网络 ��y0�0LR0HR 5 组0�0DPAB0DPAB0DPAB0��y �0卷积0LeakyReLU0卷积0卷积0LeakyReLU0卷积0© 卷积0CA 层 CA 层0��y �0(DPAB) 原始特征 去模糊特征 © 卷积 连接和卷积 逐元素求和 ⊕0图4. 所提方法的总体架构。给定一个LR图像 y，我们首先估计退化核 ˆk，并将其引入特征域中的深度约束最小二乘（DCLS）卷积中。然后，将去模糊特征 � R 与原始特征 G y连接起来，通过双通道注意力网络（DPAN）恢复清晰的HR图像 x。03.3. 深度约束最小二乘0我们的目标是根据LR图像和估计的退化核 ˆ k来恢复HR图像，根据新的退化模型（方程（6））。考虑到提供给LR图像的一组特征提取线性层 {G i } L i=1，我们可以将方程（6）在特征空间中重写，如下所示0G i y  = ˆ k G i x ↓ s  +  G i n . (9)0让 � R i 是与 G i x ↓ s对应的寻找到的去模糊特征。为了解决方程（9），我们最小化以下准则函数0C  =  ||� R i || 2 , s.t.  ||G i y  − ˆ k R i || 2 =  ||G i n || 2(10)0其中  �  是一个平滑滤波器，可以用 P表示。然后我们引入拉格朗日函数，定义如下0|| P R i || 2 +  λ ||G i y  − ˆ k R i || 2 − ||G i n || 2  ，(11)0其中 λ 是拉格朗日乘子。计算方程（11）关于 � R i的导数，并将其设为零：0λ ˆ k T ˆ k  +  P T P R i  −  λ ˆk T G i y  = 0 .(12)0我们可以得到清晰的特征0R i  =  HG i y . (13)0其中 H i表示深度约束最小二乘去卷积（DCLS）运算符，定义如下0H  =  F − 1空格0F ( ˆ k0F ( ˆ k ) F ( ˆ k ) + 10λ F ( P ) F ( P )0空格0与标准图像空间（例如RGB）不同，在特征空间中，平滑滤波器 P 和变量 λ在方程（14）中可能不一致。作为替代，我们预测一组0通过神经网络 P来实现不同通道的平滑滤波器的隐式拉格朗日乘子0{ ˜ P i } L i =1 =  {P ( G i y ) } L i =1 . (15)0然后特征特定运算符 H i 可以由以下方式定义0H i  =  F − 1空格0F ( ˆ k0F ( ˆ k ) F ( ˆ k ) +  F ( ˜ P i ) F( ˜ P i )0空格0现在我们可以通过方程（13）和方程（16）得到清晰的特征。值得注意的是，深度神经网络（DNN）可以是局部线性的[7, 23, 36]，因此我们可以将DNN应用为 Gi，以提取方程（9）中的有用特征。此外，随后的伪影或错误可以通过以下双通道注意力模块进行补偿。03.4. 双通道注意力网络0与之前的工作[9,31]不同，其中双通道结构仅用于将拉伸的核与模糊特征连接起来，我们提出利用原始模糊特征作为补偿估计的核引入的伪影和误差的添加路径，称为双通道注意力网络（DPAN）。DPAN由几组双通道注意力块（DPAB）组成，它接收去模糊特征R和原始特征Gy。图4的右侧显示了DPAB的架构。由于处理Gy的添加路径是独立更新和用于与R连接以提供用于改进去卷积特征的主要信息，我们可以减少其通道以加速训练和推断，如图4左侧所示的通道减少（CR）操作。此外，在去卷积特征路径上，我们在聚合原始特征之后应用通道注意力层[60]。此外，我们在所有组和块上为每个路径添加了一个残差连接。像素洗牌[11]是176460方法 尺度 Set5 [4] Set14 [53] BSD100 [33] Urban100 [12] Manga109 [34] PSNR SSIM PSNR SSIM PSNR SSIM PSNRSSIM PSNR SSIM028.82 0.8577 26.02 0.7634 25.92 0.7310 23.14 0.7258 25.60 0.8498 CARN [2] 30.99 0.8779 28.10 0.7879 26.78 0.7286 25.270.7630 26.86 0.8606 Bicubic+ZSSR [41] 31.08 0.8786 28.35 0.7933 27.92 0.7632 25.25 0.7618 28.05 0.8769 Deblurring[37]+CARN [41] 24.20 0.7496 21.12 0.6170 22.69 0.6471 18.89 0.5895 21.54 0.7946 CARN [41]+Deblurring [37] 31.27 0.897429.03 0.8267 28.72 0.8033 25.62 0.7981 29.58 0.9134 IKC [9] 37.19 0.9526 32.94 0.9024 31.51 0.8790 29.85 0.8928 36.93 0.9667DANv1 [30] 37.34 0.9526 33.08 0.9041 31.76 0.8858 30.60 0.9060 37.23 0.9710 DANv2 [31] 37.60 0.9544 33.44 0.9094 32.000.8904 31.43 0.9174 38.07 0.97340DCLS（我们的方法）37.63 0.9554 33.46 0.9103 32.04 0.8907 31.69 0.9202 38.31 0.9740026.21 0.7766 24.01 0.6662 24.25 0.6356 21.39 0.6203 22.98 0.7576 CARN [2] 27.26 0.7855 25.06 0.6676 25.85 0.6566 22.670.6323 23.85 0.7620 Bicubic+ZSSR [41] 28.25 0.7989 26.15 0.6942 26.06 0.6633 23.26 0.6534 25.19 0.7914 Deblurring[37]+CARN [41] 19.05 0.5226 17.61 0.4558 20.51 0.5331 16.72 0.5895 18.38 0.6118 CARN [41]+Deblurring [37] 30.31 0.856227.57 0.7531 27.14 0.7152 24.45 0.7241 27.67 0.8592 IKC [9] 33.06 0.9146 29.38 0.8233 28.53 0.7899 24.43 0.8302 32.43 0.9316DANv1 [30] 34.04 0.9199 30.09 0.8287 28.94 0.7919 27.65 0.8352 33.16 0.9382 DANv2 [31] 34.12 0.9209 30.20 0.8309 29.030.7948 27.83 0.8395 33.28 0.94000DCLS（我们的方法）34.21 0.9218 30.29 0.8329 29.07 0.7956 28.03 0.8444 33.54 0.9414024.57 0.7108 22.79 0.6032 23.29 0.5786 20.35 0.5532 21.50 0.6933 CARN [2] 26.57 0.7420 24.62 0.6226 24.79 0.5963 22.170.5865 21.85 0.6834 Bicubic+ZSSR [41] 26.45 0.7279 24.78 0.6268 24.97 0.5989 22.11 0.5805 23.53 0.7240 Deblurring[37]+CARN [41] 18.10 0.4843 16.59 0.3994 18.46 0.4481 15.47 0.3872 16.78 0.5371 CARN [41]+Deblurring [37] 28.69 0.809226.40 0.6926 26.10 0.6528 23.46 0.6597 25.84 0.8035 IKC [9] 31.67 0.8829 28.31 0.7643 27.37 0.7192 25.33 0.7504 28.91 0.8782DANv1 [30] 31.89 0.8864 28.42 0.7687 27.51 0.7248 25.86 0.7721 30.50 0.90370DANv2 [31] 32.00 0.8885 28.50 0.7715 27.56 0.7277 25.94 0.7748 30.45 0.90370AdaTarget [14] 31.58 0.8814 28.14 0.7626 27.43 0.7216 25.72 0.7683 29.97 0.8955 DCLS（我们的方法）32.12 0.889028.54 0.7728 27.60 0.7285 26.15 0.7809 30.86 0.90860表1. 使用高斯8核的数据集的定量比较。最好的两个结果分别用红色和蓝色标记。0方法 × 4 噪声水平 Set5 [4] Set14 [53] BSD100 [33] Urban100 [12] Manga109 [34] PSNR SSIM PSNR SSIM PSNR SSIMPSNR SSIM PSNR SSIM0Bic023.32 0.4868 22.49 0.4256 22.61 0.3949 20.68 0.3966 22.04 0.4952 IKC [9] 26.89 0.7671 25.28 0.6483 24.93 0.6019 22.940.6362 25.09 0.7819 DANv1 [30] 26.95 0.7711 25.27 0.6490 24.95 0.6033 23.00 0.6407 25.29 0.7879 DANv2 [31] 26.970.7726 25.29 0.6497 24.95 0.6025 23.03 0.6429 25.32 0.78960DCLS(我们的方法) 27.14 0.7775 25.37 0.6516 24.99 0.6043 27.13 0.6500 25.57 0.79690Bic019.77 0.2938 19.36 0.2534 19.43 0.2308 18.32 0.2450 19.25 0.3046 IKC [9] 25.27 0.7154 24.15 0.6100 24.06 0.5674 22.110.5969 23.80 0.7438 DANv1 [30] 25.32 0.7276 24.15 0.6138 24.04 0.5678 22.08 0.5977 23.82 0.7442 DANv2 [31] 25.360.7264 24.16 0.6121 24.06 0.5690 22.14 0.6014 23.87 0.74890DCLS(我们的方法) 25.49 0.7323 24.23 0.6131 24.09 0.5696 22.37 0.6119 24.21 0.75820表2. 在各种噪声数据集上的定量比较。最好的标记为红色，第二好的标记为蓝色。0作为放大模块。我们可以联合优化SR网络和核估计网络，如下所示：0L = l1(ˆk, kl; θk) + l1(ˆx, x; θg) (17)0其中θk和θg分别是核估计网络和DCLS重建网络的参数。04. 实验04.1. 数据集和实现细节0根据先前的工作[9, 30]，收集了来自DIV2K [1]和Flickr2K[45]的3450个2K HR图像作为训练数据集。0训练数据集。我们使用Eq.(1)使用特定的退化核设置（例如各向同性/各向异性高斯核）合成相应的LR图像。仅在SR结果（YCbCr空间）的亮度通道上，我们通过PSNR和SSIM [49]进行评估。0各向同性高斯核。首先，我们按照[9]中的设置对各向同性高斯核进行盲目SR实验。具体来说，核大小固定为21×21。在训练过程中，我们对SR尺度因子2、3和4分别从范围[0.2,2.0]，[0.2, 3.0]和[0.2,4.0]中均匀采样核宽度。在测试中，我们使用1.752.002.2.753.003.2531.231.431.631.832.032.232.4DCLSDANv2DANv1IKCAdaTarget1.752.002.2.753.003.2529.029.530.030.531.0334.2. Comparison with State-of-the-artsMethodDIV2KRK [3]×2×4PSNRSSIMPSNRSSIMAdaTarget [14]--28.420.7854KOALAnet [19]31.890.885227.770.7637DCLS(Ours)32.750.909428.990.7946LRGTDANv2DDLKKernelGANFigure 7. Visual results of estimated kernels of Img 33 and Img 43from DIV2KRK [3] by various kernel estimation methods.↑Kernel-MSE ↓0.15180.13920.08170.0574use their official implementations and pre-trained models.The quantitative results are shown in Table 1. It is obvi-ous that our method leads to the best performance over alldatasets. The bicubic SR model CARN suffers severe per-formance drop with Gaussian8 which deviates from the pre-defined bicubic kernel. Performing deblurring on the super-resolved image can improve the results. ZSSR achieves bet-ter performance compared with non-blind SR method but islimited by the image-specific network design (cannot uti-lize abundant training data). AdaTarget can improve imagequality but is still inferior to that of blind SR methods. IKCand DAN are two-step blind SR methods and can largelyimprove the results. However, both of them predict kernelembedding and directly involve it into the network, whichdamages the spatial relation of the kernel and thus performsinferior to our method. We also provide the comparison ofPSNR values on different datasets with blur kernels widthfrom 1.8 to 3.2 as shown in Fig. 5. DCLS performs the bestresult over all different kernel widths. The qualitative re-sults shown in Fig. 8 illustrate that DCLS can produce clearand pleasant SR images. Furthermore, we conduct an ex-176470核宽度0PSNR0Set50核宽度0Manga1090图5.尺度因子为4的Set5和Manga109的PSNR性能曲线。核宽度σ设置为1.8到3.2。0Bicubic ZSSR IKC DANv2 我们的方法0GT0图6. 来自Urban100的Img 33的视觉结果。0Gaussian8[9]核设置从五个广泛使用的基准数据集中生成评估数据集：Set5 [4]，Set14 [53]，BSD100 [33]，Urban100[12]和Manga109[34]。Gaussian8均匀地选择了8个核，范围分别为[0.80,1.60]，[1.35, 2.40]和[1.80,3.20]，用于尺度因子2、3和4。通过选择的核对HR图像进行模糊和下采样，得到LR图像。各向异性高斯核。我们还按照[3]中的设置对各向异性高斯核进行实验。核大小设置为尺度因子2和4分别为11×11和31×31。在训练过程中，通过从范围(0.6, 5)中随机选择核宽度并从范围[-π,π]中进行旋转来生成退化的各向异性高斯核。我们还应用均匀乘性噪声并将其归一化为总和为1。对于评估，我们使用[3]中提出的DIV2KRK数据集。实现细节。对于所有实验，我们使用5个双路径组，每个组包含10个具有64个通道的DPABs。批量大小设置为64，LR块大小为64×64。我们使用Adam [20]优化器，β1 = 0.9，β2 =0.99。所有模型都在4个RTX2080TiGPU上进行训练，迭代次数为5×105。初始学习率设置为4×10-4，并在每2×10-4次迭代时减半。我们还通过随机水平翻转和90度旋转增强训练数据。0使用各向同性高斯核进行评估。根据[9]，我们在由高斯8核合成的数据集上评估我们的方法。我们将我们的方法与最先进的盲超分辨率方法进行比较：ZSSR [41]（使用双三次插值核），IKC [9]，DANv1[30]，DANv2 [31]和AdaTarget [14]。根据[9]，我们还与CARN[2]及其盲去模糊方法[37]进行比较。对于大多数方法，我们使用官方实现和预训练模型进行比较。定量结果如表1所示。显然，我们的方法在所有数据集上都取得了最佳性能。双三次超分辨率模型CARN在高斯8核上遭受严重性能下降，因为它偏离了预定义的双三次插值核。在超分辨率图像上进行去模糊可以改善结果。与非盲超分辨率方法相比，ZSSR取得了更好的性能，但受限于图像特定的网络设计（无法利用丰富的训练数据）。AdaTarget可以改善图像质量，但仍然不及盲超分辨率方法。IKC和DAN是两步盲超分辨率方法，可以大大改善结果。然而，它们都预测核嵌入并直接将其融入网络中，这破坏了核的空间关系，因此性能不及我们的方法。我们还提供了在不同模糊核宽度（从1.8到3.2）下的PSNR值比较，如图5所示。DCLS在所有不同核宽度上都取得了最佳结果。图8中的定性结果说明DCLS能够产生清晰而愉悦的超分辨率图像。此外，我们进行了一个带有额外噪声的超分辨率图像实验。如表2和图6所示，DCLS在所有不同噪声水平的数据集上仍然优于其他方法。0Bicubic 28.73 0.8040 25.33 0.6795 Bicubic+ZSSR [41] 29.100.8215 25.61 0.6911 EDSR [28] 29.17 0.8216 25.64 0.6928 RCAN[59] 29.20 0.8223 25.66 0.6936 DBPN [10] 29.13 0.8190 25.580.6910 DBPN [10]+Correction [13] 30.38 0.8717 26.79 0.7426KernelGAN [3]+SRMD [56] 29.57 0.8564 27.51 0.7265KernelGAN [3]+ZSSR [41] 30.36 0.8669 26.81 0.7316 IKC [9] - -27.70 0.7668 DANv1 [30] 32.56 0.8997 27.55 0.7582 DANv2 [31]32.58 0.9048 28.74 0.78930表3.DIV2KRK的定量比较。最佳结果以红色标记，次佳结果以蓝色标记。0校正0DIV2KRK × 4 KernelGAN CorrFilter DANv2 DDLK0表4. DDLK性能的定量评估。20.64/0.887120.01/0.866120.02/0.866519.05/0.831415.30/0.575415.24/0.576015.06/0.556621.06/0.578420.66/0.564720.96/0.573619.78/0.494618.63/0.328018.68/0.331818.43/0.3011Urb26.54/0.791026.18/0.776425.20/0.744126.16/0.780923.86/0.699124.08/0.696822.43/0.6362DI176480Bicubic ZSSR IKC AdaTarget CARN DANv2 我们的GT0an1000PSNR/SSIM0PSNR/SSIM0Urban100中的LR Img 730Urban100中的LR Img 670图8. Urban100 [12]中Img 67和Img 73的视觉结果，放大因子为4，核宽度为2.6。最佳效果以彩色显示。0Bicubic ZSSR IKC AdaTarget KOALAnet DANv2 我们的GT0V2KRK0PSNR/SSIM0DIV2KRK中的LR Img 36028.98/0.8203 28.67/0.8098 28.47/0.8073 28.61/0.8086 27.93/0.7956 26.78/0.7542 25.41/0.6991 PSNR/SSIM LR Img 12 in DIV2KRK0图9. DIV2KRK [3]中Img 36和Img 12的视觉结果，放大因子为4。最佳效果以彩色显示。0通过各种核估计方法估计DIV2KRK [3]中Img 33和Img43的核的视觉结果。0使用各向异性高斯核进行评估。使用各向异性高斯核进行退化更加普遍和具有挑战性。与各向同性核类似，我们首先将我们的方法与SOTA盲超分辨率方法进行比较，如ZSSR[41]、IKC[9]、DANv1[30]、DANv2[31]、AdaTarget[14]和KOALAnet[19]。我们还将DCLS与一些SOTA双三次设计方法进行比较，如EDSR[28]、RCAN[59]和DBPN[10]。我们还为DBPN提供了Correction[13]。此外，我们将核估计方法（例如KernelGAN[3]）与其他非盲超分辨率方法（如ZSSR和SRMD）结合起来，作为解决盲超分辨率的两步解决方案。0SLK DDLK Stretching Strategy DCLS Deconv DPANDIV2KRK0表3显示了DIV2KRK[3]上的定量结果。可以看出，所提出的DCLS相对于其他盲超分辨率方法显著改善了性能。值得注意的是，当与KernelGAN结合使用时，ZSSR的表现更好，这表明良好的核估计可以起到很大的帮助作用。最近的SOTA盲超分辨率方法，如IKC、DAN和KOALAnet，在PSNR和SSIM方面都能取得显著的准确性。通过应用自适应目标对网络进行微调，AdaTarget可以与SOTA盲方法相媲美。然而，所有这些方法仍然不及所提出的DCLS。视觉结果在DIV2KRK上的结果如图9所示。可以看出，我们方法生成的超分辨率图像更加清晰和干净。我们还在图7和表4中提供了核估计和使用估计核进行下采样的HR图像的结果。与以前的图像特定方法（如KernelGAN和CorrectionFilter）相比，动态深度线性核（DDLK）更加灵活，能够产生准确的核。SLKDDLKStretchingStrategyDCLSDeconvDPANDIV2KRK(a)(c)(b)LRBicubicLapSRNDANv2DCLS176490PSNR SSIM0� - � - � 28.84 0.7921 - � � - � 28.86 0.7924 � - - � � 28.94 0.7946 - � - � -28.94 0.7938 - � - � � 28.99 0.79640表5. 我们关键组件的消融研究。0方法 Wiener Fea [7] CLS Fea DCLS Fea PSNR SSIM PSNR SSIMPSNR SSIM0Set5 32.05 0.8878 31.98 0.8862 32.12 0.8890 Set14 28.38 0.7