跨尺度非局部注意和穷举自样本挖掘的图像超分辨率

1跨尺度非局部注意和穷举自样本挖掘的图像超分辨率梅益群1，范宇晨1，周玉倩1，黄立超2，ThomasS.Huang1，Honghui Shi3，11IFP集团，UIUC，2地平线机器人，3俄勒冈大学摘要基于深度卷积的单图像超分辨率（SISR）网络具有从大规模外部图像资源学习以进行局部恢复的优点，但大多数现有工作都忽略了自然图像中的长距离特征相似性。最近的一些研究通过探索非局部注意模块成功地利用了这种内在特征。然而，目前没有一个深度模型研究图像的另一个固有属性：跨尺度特征相关性。在本文中，我们提出了第一个跨尺度非本地（CS-NL）的注意力模块集成到一个循环神经网络。通过将新的CS-NL先验与局部和尺度内非局部先验结合在一个强大的递归融合单元中，我们可以在单个低分辨率（LR）图像中找到更多的跨尺度特征描述。通过对所有可能的先验进行详尽的综合，大量的实验证明，建议CS-NL模块的有效性，通过设置新的国家的最先进的多个SISR基准。1. 介绍单图像超分辨率（SISR）的目标是从低分辨率（LR）图像中恢复高分辨率（HR）图像。SISR在卫星成像、医学成像、监视监控和高清显示和成像等领域有许多应用[3，32，40，41，43]。LR和HR图像之间的映射不是双射的，这为忠实和高质量的HR恢复提供了更多的可能性由于这种病态性质，SISR在过去几十年中仍然具有挑战性。传统方法的早期努力为解决SISR提供了很好的实践。它们充分利用LR图像的内在特性，主要集中在局部先验和非局部先验两个方面进行图像块的匹配和重建。图1.通过我们的跨尺度非局部（CS-NL）注意力捕获的最参与的斑块的可视化。跨尺度相似性广泛存在于自然图像中。从低分辨率（LR）图像本身的多个高分辨率（HR）块显着提高目标块超分辨率。具体地，基于局部先验的方法，如双线性或双立方插值，仅通过相邻像素的加权和来重建像素为了超越局部限制，基于非局部均值滤波的方法[24，35]开始在整个LR图像上全局搜索类似的块。自相似性的非局部搜索可以进一步扩展到跨尺度线索。已经证实跨尺度补丁相似性广泛存在于自然图像中[9，42]。直观地，除了非局部像素到像素匹配之外，像素还可以与较大的图像块匹配。自然的跨尺度特征对应使得我们直接从LR图像中搜索高频细节，从而实现更忠实、准确和高质量的重建。自从第一个基于深度学习的方法[4]被提出以来，基于判别学习的方法使得可以将大规模外部图像先验用于SISR。与传统方法相比，它们具有更好的特征表示能力，更快的推理速度，56905691到端可训练范例[10，16]，以及显著的性能改进。为了进一步利用深SISR的优势，几年来，已经在增加网络的深度或宽度以增加感受野或改善特征表示方面做出了努力[5，14，19，37，39，33，6然而，解决方案的本质并没有改变，而是局部寻找外部相似的补丁。它产生了深SISR的很大局限性。在非局部注意力模块之后，SISR的表现得到了提升[2，20，38]。他们探索了非局部自相似性，并将非局部模块嵌入到深度网络中。深度SISR的下一步进展是什么一个直观的想法是遵循传统的方法来探索深度网络中的非局部跨尺度最近，Shocher等人。[25]提出了一种零拍摄超分辨率（ZSSR）网络，使用一个单一的测试LR图像从一对下采样LR和LR本身学习高频细节。ZSSR的本质是一个隐式跨尺度的补丁匹配方法，使用一个轻量级的网络。然而，用ZSSR推断需要针对每个新LR图像的额外训练时间，这对于实际应用来说不够优雅和有效。本文遵循非局部注意模块的成功路径，寻求将跨尺度的非局部注意机制融入深度SR网络的方法。具体来说，我们提出了一种新的跨尺度非局部（CS-NL）注意力模块，学习挖掘LR特征与同一特征图中更大规模HR补丁之间的长程依赖关系，如图1所示。在此基础上，将已有的局部先验、尺度内非局部先验和跨尺度非局部先验集成到一个自样本挖掘模块中，并利用多分支互投影进行融合。最后，我们将SEM模块嵌入到一个图像超分辨率任务的再流框架中。总之，本文的主要贡献有三个方面：• 本文的核心贡献是提出了第一个用于SISR任务的深度网络中的跨尺度非局部（CS-NL）注意力模型。我们明确地制定了像素到补丁和补丁到补丁的图像内的相似性，并证明了额外的挖掘跨尺度自相似性大大提高了SISR的性能。• 然 后， 我们 提 出了 一个 强 大的 自我 示 例挖 掘（SEM）细胞融合信息循环。在细胞内部，我们通过结合局部、尺度内非局部和提出的跨尺度非局部特征相关性，详尽地挖掘所有可能的内在先验，并接受网络学习到的丰富的外部统计数据• 新提出的递归SR网络实现了在多个图像基准上的最先进性能。大量的烧蚀实验进一步验证了新网络的有效性。2. 相关作品图像SR中的自相似性小块往往在同一图像的尺度内和跨尺度重复出现的事实已经在大多数自然图像中得到验证[9，42]。从那时起，一类基于自相似性的方法得到了广泛的发展，并取得了可喜的成果。这种算法利用给定图像的跨尺度信息冗余作为重建的唯一源，而不依赖于任何外部示例[7，8，9，13，23，26，31]。在开创性的工作中，Reynner等人。 [9]提出通过将多图像SR和基于示例的SR的思想集成到统一的框架中，来联合利用图像尺度内和跨图像尺度的重复补丁。此外，Freed-manet al. [7]有效地假设了类似的补丁存在于一个非常局部的区域，因此可以大大减少计算时间。按照这种方式，杨等人。[31]提出了一个非常快速的回归模型，只关注就地跨尺度相似性。为了处理场景中的外观变化，Huang etal. [13]通过对几何变换进行建模来扩大内部字典。内部数据重复的思想也被应用于解决具有模糊和噪声图像的SR [23，26]。引入CNN来解决图像SR的第一项工作是由[4]提出的，其中他们将三个连续的卷积层解释为稀疏编码中的相应提取，非线性映射和Kim等人。 [14]提出了一个非常深入的模型VDSR，其中超过16个卷积层受益于有效的残差学习。为了进一步释放深度CNN的力量，Lim等人 [19]将残差块集成到SR框架中，形成了一个非 常 宽 的 模 型 （ EDSR ） 和 一 个 非 常 深 的 模 型（MDSR）。随着网络深入到数百层，Zhang等人 [39]利用具有全局特征融合的密集连接块来有效地利用所有中间层的分层特征除了在设计更宽和更深的结构上花费大量精力外，还提出了具有注意力模块的算法[2，20，37，38]，通过探索沿空间或通道维度的特征相关性来进一步增强深度网络中的非局部注意近年来，出现了一种应用非局部注意机制来解决各种计算机视觉问题的新兴趋势。一般来说，深度CNN中的非局部注意力允许网络更多地集中在信息区域。Wang等人 [29]最初提出了非局部神经网络来寻求5692si，sjsi，sj高级任务的语义关系，如图像分类和对象检测。而非局部注意力图像恢复则是基于非局部相似性先验。方法，如NRLN [20]，RNAN[37]和SAN [2]，将非局部操作纳入其网络，以便通过考虑长程特征相关性来更好地利用图像结构线索。因此，它们实现了可观的性能增益。然而，现有的非局部图像恢复方法只探索在同一尺度上的特征相似性，而忽略了丰富的内部LR-HR样本跨尺度，导致相对较低的性能。是卷积反卷积↓ s 按系数s已知内部HR对应包含更多相关高频信息和更强的预测能力。为此，我们提出了跨尺度非局部（CS-NL）注意，通过探索跨尺度特征相关性。3. 跨尺度非局部（CS-NL）注意在本节中，我们提出了跨尺度非局部注意，并将其与现有的尺度内非局部注意进行了比较。尺度内非局部注意（IS-NL）非局部注意是通过对整幅图像的相关特征进行总结来探索自我样例形式上，给定图像特征图2.提出的跨尺度非本地（CS-NL）atten- tion模块。底部的绿色框用于块级跨尺度相似性匹配。上面的分支示出了提取LR图像中的因子s。这样做的原因是因为使用公共相似性度量直接匹配像素与块是不可行的，由于空间维度差异。因此，我们简单地对特征进行下采样，以将补丁表示为像素并测量亲和力。本文的下采样操作是双线性插值。假设输入特征图是X（W×H），为了计算像素块相似性，我们需要首先将X下采样到Y（W×H），并找到X和Y之间的像素相似性，S s映射X，非局部注意力被定义为，并最终使用X中对应的s×s块来超ΣZi，j=exp（φ（Xi、j，Xg，h））X（g，h），（1）解析X中的像素，因此输出Z将是sW×sH。跨尺度注意力可以从Eq. 1作为g、hu，vexp（φ（Xi，j，Xu，v））Zs×s =φ（Xi，j，Yg，h）（Xs×s）， （3）其中（i，j），（g，h）和（u，v）是X. 是特征变换函数，并且φ（·，·）是si，sjg、hu，vexp（φ（Xi，j，Yu，v））sg，sh用于测量相似性的相关函数被定义为其中Zs×s现在是大小为s×s的特征补丁被定位at（si，sj）。我们得到加权平均特征Zs×sφ（Xi，j，Xg，h）=θ（Xi，j）Tδ（Xg，h），（2）s×ssi，sj其中θ（·）和δ（·）是特征变换。注意，像素相关性以相同的尺度测量。参考图2，上述公式可以很容易地扩展到跨尺度版本。而不是测量的像素之间的相互相关性的尺度内的非局部模块，建议的跨尺度注意被设计来测量低分辨率像素和较大规模补丁之间的相关性在LR图像。为了超分辨LR图像，跨尺度非局部（CS-NL）注意力直接利用与该LR图像内的每个像素匹配的块。直接从特征块Xsg，sh中提取，输入特征图。 直觉上，随着跨尺度的atten-这样可以从原始的固有图像资源中挖掘出更真实、更丰富的高频细节。基于块的跨尺度非局部注意力的逐层亲和性测量可能是有问题的。首先，高级特征对变换和失真是鲁棒的，即旋转/失真的低级块可以产生相同的高级特征。以平均池化为例，表示HR窗口的原始区域及其翻转版本具有完全相同的高级特征。因此，很可能许多错误的匹配将被合成到HR张量。此外，我们认为，因此，为了超分辨率的目的，跨尺度非相邻的目标区域（例如，Z s× ss×ss（i+1），s（j））都局部注意力是建立在尺度内注意力之上的，通过缩放进行下采样的要素中的候选项Y=X↓s以非重叠的方式生成，不连续区域边界伪影。sp×spp× pDX（W × H）输入Y滤波器WHZ（×）Ss（sW ×sH）C（·，·）滤波器DC重塑1 11 11 1采样采样重塑输入Softmax和Z5693Hi我#$Li本地分行L$LiH$HiH&SEMSEM互射融合标度内NL注意跨尺度NL注意力SEM自例挖掘单元转换ReLU步幅去卷积图3.使用建议的Self-Exemplars Mining（SEM）单元的递归架构。在SEM内部，它融合了从建议的跨尺度非本地（CS-NL）注意力中学习到的特征，以及来自尺度内非本地（IS-NL）和本地路径的其他特征。基于上述分析，我们推广到经验实现我们的跨尺度非本地（CS-NL）atten- tion使用另一个补丁式匹配。因此，Eq。3是广义的，expφ（Xp×p，Yp×p）提取自X。所获得的大小为（sW，sH）的Z将是X的s倍超分辨。4.2.自样本挖掘（SEM）单元多分支 样本内部 自我示范者Zsp×sp=100i、jg、hX（Xsp×sp），采矿（SEM）细胞，我们用尽所有的可能性-si，sjexpφ（Xp×p，Yp×p）sg，sh利用内在先验，并拥抱丰富的外部图像先验。g、hu，vi、ju，v（四）具体来说，我们挖掘图像的自相似性，和等式4将与Eq相同。如果p=1，则为3。所测量的相关性被有效地扩展到块级，并且由于基于块的匹配，输出特征图Z4. 方法拟议的网络架构如图所示3 .第三章。它基本上是一个循环神经网络，每个循环单元称为Self-Exemplars Mining（SEM），完全整合了本地，规模内非本地和新提出的跨尺度非本地（CS-NL）先验。在本节中，我们将以自下而上的方式介绍它们。4.1. CS NL注意力模块图2展示了新提出的嵌入到深度网络中的跨尺度非本地（CS-NL）注意力模块如第3节所述，我们在CS-NL注意模块中应用块级跨尺度相似性匹配具体来说，假设我们正在使用模块进行s尺度的超分辨率，给定空间大小为（W，H）的特征图X，我们首先以尺度s将其双线性下采样到Y，并将X中的p×p块与Y中的下采样p × p候选块进 行 匹 配 ，以获得softmax匹配分数。最后，通过对大小为（sp，sp）的块进行加权相加，对得分进行反卷积新的信息使用多分支结构，包括-传统的本地（L）和尺度内非本地（IS-NL）分支，以及新提出的CS-NL分支。图3中的局部分支是将卷积特征连接到融合结构的简单相同路径。对于IS-NL分支，它包含从[2]中采用的非局部注意模块和用于放大模块输出的去卷积层。本文中的IS-NL模块是基于区域的。与[2]中一样，我们将特征图划分为区域网格，其中在每个网格中独立地捕获这减少了计算负担互射融合虽然SEM中的三分支结构通过独立地利用LR图像中的每个信息源来生成三个特征图，但如何将这些单独的张量融合成一个全面的特征图仍然不清楚。一种可能的解决方案是简单地将它们添加或连接在一起，如在以前的作品中广泛使用的[19，20，38，39]。在本文中，我们提出了一个相互投影融合，逐步将功能结合在一起。算法过程如图4所示。为了使网络能够集中于更多信息的特征，我们首先计算来自IS-NLFI和CS-NLFC分支的两个特征之间的残差RIC，然后在RIC上进行单个卷积层卷积后，Concat5694FC：sH×（）图4.相互投射融合。下采样和上采样操作分别使用步幅卷积和步幅去卷积来实现加回FI，得到FIC。RIC=FI−FC，（5）F IC=conv（R IC）+F I.（六）直观地说，剩余特征RIC表示存在于一个源中而在另一个源中缺失的 这种残差间的投影使得网络能够只关注源之间的不同信息，而忽略了共同的知识，从而提高了网络的判别能力。受传统的图像SR和最近的DBPN [11]的启发在[11]之后，通过以下公式计算最终融合特征He=FL−downsample（FIC），（7）H=上采样（e）+FIC，（8）通过一个单一的卷积操作映射到SR图像ISR该网络仅使用L1反射损失进行训练5. 实验5.1. 数据集和评估指标在[19，38，39]之后，我们使用来自DIV2K[28]数据集来训练我们的模型。为了进行测试，我们报告了五个标准基准数据集的性能：Set5 [1]，Set14[34]，B100 [21]，Urban100 [13]和Manga109 [22]。为了进行评估，所有SR结果首先被转换到YCbCr空间，并仅在Y通道上通过PSNR和SSIM [30]指标进行评估。5.2. 实现细节我们将SEM的递归数设置为12，如下[20]。对于SEM中的跨尺度非局部（CS-NL）注意力，我们设置补丁大小p=3和步幅s=1以用于密集采样。我们使用3×3作为所有卷积层的滤波器大小，除了注意力块中的卷积层，其中内核大小为1 ×1。SEM中的步幅卷积和反卷积的滤波器大小被设置为在每个尺度上相等，例如，对于比例因子2、3、4，分别为6×6、9×9和8×8所有中间特征具有通道C=128，除了在注意力模块中的那些嵌入特征，其中C=64。SEM中的最后一个卷积层具有3个卷积滤波器，其将深度SR特征转移到RGB图像。在训练过程中，我们裁剪了16 张补丁大小为48×48的图像，以形成一个输入批次。通过随机旋转90度、180度、270度和水平翻转来增强训练样本 为了优化我们的模型，我们使用β1=0的ADAM 优化器[15]。9，β2=0。999，且n=1 e-8。初始学习率被设置为1 e-4，并且每隔其中，FL是局部分支的特征图，下采样是对下采样FIC的步幅卷积，上采样是对特征图进行放大的步幅去卷积。相互投影操作在融合不同特征源的同时保证了残差学习，与平凡的添加或连接相比，能够实现更具鉴别力的特征学习。4.3.经常性框架将重复的SEM细胞包埋到递归框架中，如图3所示。在每次迭代i，SEM的隐藏单元Hi直接是融合的特征图H，并且输出单元Li是通过Hi经过两层CNN计算注意，初始特征L0由LR图像ILR仅通过两个卷积层直接计算。稍后，从每次迭代i提取的深度SR特征Hi被连接在一起成为宽张量，并且150个纪元。训练在500个epochs时停止。我们使用PyTorch实现模型，并在Nvidia V100 GPU上对其进行训练5.3. 与最新技术为了验证所提出的模型的有效性，我们将我们的方法与11种最先进的方法进行了比较，这些方法是LapSRN [17]，SRMDNF [36]，MemNet [27]，EDSR[19]，DBPN [11]，RDN [39]，RCAN [37]，[20][21][22][23][24][25][26][27][28][29]在表1中，我们报告了比例因子×2、×3和×4的定量比较。与其他方法相比，我们的CS-NL嵌入的再流模型在多个基准测试中几乎所有的比例因子都取得了最好的 性 能 。 值 得 注 意 的 是 ， 我 们 的 模 型 显 着 优 于NLRN，这是第一个提出的规模非局部网络的图像恢F*：sH×（）R*CF*CH：sH×下采样F+：高×宽conv上采样5695复。5696表1.基准数据集上的定量结果最好和第二好的结果用红色和蓝色着色。方法规模Set5产品14B100Urban100Manga109PSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIM[17]第十七话×237.520.959133.080.913031.080.895030.410.910137.270.9740[27]第二十七话×237.780.959733.280.914232.080.897831.310.919537.720.9740EDSR [19]×238.110.960233.920.919532.320.901332.930.935139.100.9773SRMDNF [36]×237.790.960133.320.915932.050.898531.330.920438.070.9761DBPN [11]×238.090.960033.850.919032.270.900032.550.932438.890.9775RDN [39]×238.240.961434.010.921232.340.901732.890.935339.180.9780RCAN [37]×238.270.961434.120.921632.410.902733.340.938439.440.9786NLRN [20]×238.000.960333.460.915932.190.899231.810.9249––SRFBN [18]×238.110.960933.820.919632.290.901032.620.932839.080.9779OISR [12]×238.210.961233.940.920632.360.901933.030.9365––[2]×238.310.962034.070.921332.420.902833.100.937039.320.9792CSNLN（我们的）×238.280.961634.120.922332.400.902433.250.938639.370.9785[17]第十七话×333.820.922729.870.832028.820.798027.070.828032.210.9350[27]第二十七话×334.090.924830.000.835028.960.800127.560.837632.510.9369EDSR [19]×334.650.928030.520.846229.250.809328.800.865334.170.9476SRMDNF [36]×334.120.925430.040.838228.970.802527.570.839833.000.9403RDN [39]×334.710.929630.570.846829.260.809328.800.865334.130.9484RCAN [37]×334.740.929930.650.848229.320.811129.090.870234.440.9499NLRN [20]×334.270.926630.160.837429.060.802627.930.8453--SRFBN [18]×334.700.929230.510.846129.240.808428.730.864134.180.9481OISR [12]×334.720.929730.570.847029.290.810328.950.8680--[2]×334.750.930030.590.847629.330.811228.930.867134.300.9494CSNLN（我们的）×334.740.930030.660.848229.330.810529.130.871234.450.9502[17]第十七话×431.540.885028.190.772027.320.727025.210.756029.090.8900[27]第二十七话×431.740.889328.260.772327.400.728125.500.763029.420.8942EDSR [19]×432.460.896828.800.787627.710.742026.640.803331.020.9148SRMDNF [36]×431.960.892528.350.778727.490.733725.680.773130.090.9024DBPN [11]×432.470.898028.820.786027.720.740026.380.794630.910.9137RDN [39]×432.470.899028.810.787127.720.741926.610.802831.000.9151RCAN [37]×432.630.900228.870.788927.770.743626.820.808731.220.9173NLRN [20]×431.920.891628.360.774527.480.730625.790.7729--SRFBN [18]×432.470.898328.810.786827.720.740926.600.801531.150.9160OISR [12]×432.530.899228.860.787827.750.742826.790.8068--[2]×432.640.900328.920.788827.780.743626.790.806831.180.9169CSNLN（我们的）×432.680.900428.950.788827.800.743927.220.816831.430.9201当尺度因子较大时，我们的方法具有更好的性能。对于×4设置，我们的CS-NL嵌入式模型在所有测试基准 点 上 都 达 到 了 最 先 进 的 PSNR 。 特 别 是 ， 对 于Urban100和Manga109数据集，我们的模型分别比以前的最先进这些数据集包含丰富的重复模式，如边缘和小角落。因此，卓越的表现证明了我们在利用内部人力资源暗示方面的注意力的有效性。我们声称，跨尺度的内在先验确实是有效的一个更忠实的重建。定性评估Urban100数据集的定性评估如图5所示。 实验证明，该模型对具有窗口、线条等重复高频特征的图像更有效，广场等以建筑物为例，LR图像包含了大量的窗口特征，覆盖了较长的空频范围。直接利用图像中的跨尺度自样本将明显优于在训练集中搜索尺度内特征或外部补丁。对于所有显示的示例，我们的方法在感知上远远优于其他最先进的方法。EDSRDBPNRDNRCANSanCSNLN段43M10M22.3M16M15.7M3MPSNR38.1138.0938.2438.2738.3138.28表2.Set5（2×）上的模型尺寸和性能比较。模型大小分析我们在表2中报告了最近竞争SR方法的模型大小和性能。与其他模型相比，我们的模型具有最少的参数，5697Urban100（4×）：img 005Urban100（4×）：IMG 078Urban100（4×）：img 047[11]第十一届中国国际汽车工业展览会[12]第39话第37话[11]第十一届中国国际汽车工业展览会[12]第39话第37话[11]第十一届中国国际汽车工业展览会[12]第39话第37话图5. Urban100数据集上4×SR的视觉比较。对于所有显示的示例，特别是具有重复边缘或结构的图像，我们的方法在感知上远远优于其他最先进的方法。该算法只需要RCAN和SAN的20%的参数，但达到了次优的效果。因此，我们的CSNLN获得了更好的参数效率相比，其他方法，通过有效地挖掘内部人力资源提示。5.4. 消融研究跨尺度与我们的跨尺度非局部注意力与尺度内注意力之间的关键区别在于允许网络从不同尺度的丰富内部HR提示中受益。为了验证它，我们在Urban100 [13]的6张图像上可视化其相关性图，并将其与尺度内的非局部注意力进行比较。如图6所示，这些图像包含在尺度内和跨尺度的小图案的广泛重复。有趣的是，一旦图像包含重复的边缘，这种冗余递归不仅限于出现高尺度图案的地方，而且还可以在图案倾向于稍微收缩的地方甚至在图案倾向于稍微收缩的区域中找到。例如，可以通过适当缩小来简单地找到小角落的HR外观。所有这些递归包含用于重建的有价值的高频如图6所示，尺度内注意力仅关注具有相似强度的像素。相比之下，我们的跨尺度非局部注意能够利用图像中丰富的重复结构，证明了其利用内部HR信息的有效性为了证明我们提出的Self-Exemplars Mining（SEM）模块的有效性，我们通过删除所有分支来构建基线模型，从而产生完全卷积的递归网络（RNN）。为了保持总参数与其他变体相同，我们在递归块中设置了10个卷积层如表3所示，基本RNN在Set14（×2）上达到33.32 dB。前4列的结果显示了各个分支的有效性，因为每个分支都比基线有所改进。此外，从最后4列中，我们发现组合这些分支可以实现最佳性能。例如，当添加跨尺度非本地分支时，性能从5698图6. CS-NL注意与IS-NL注意相关图的比较。对于每组三列，左边一列是输入图像，中间一列显示尺度内注意力，右边一列描述跨尺度注意力。可以看出，尺度内的注意力仅集中在具有类似强度的像素相比之下，我们的跨尺度非局部注意能够利用图像中丰富的重复结构，证明了其利用内部HR信息的有效性。本地（L）分支✓✓✓✓✓✓✓✓✓✓✓✓规模内非本地（IS-NL）分支跨尺度非本地（CS-NL）分支PSNR33.3233.4733.5233.5133.6233.6433.5733.74表3.扫描电镜中枝状结构的烧蚀研究。我们报告了200个epoch后Set14（2×）的PSNR结果。通过增加一个CS-NL分支，性能变为33.74dB，而没有CS-NL分支的性能为33.62dB。注意补丁大小1×13×35×5PSNR33.6733.7433.61表4.贴片大小对匹配的影响融合此外级联相互投影PSNR33.6933.6233.74表5.融合算子的比较。33.47 dB至33.64 dB。当网络中同时加入本地分支和非本地分支时，通过进一步加入跨尺度非本地分支可以获得最佳性能，从33.62 dB提高到33.74dB。这些事实表明，通过我们的注意力学习的跨尺度相关性不能被简单的卷积或以前的尺度内注意力模块捕获，证明我们的CS-NL注意力对于充分利用LR图像中的信息至关重要。补丁匹配与基于像素的匹配在实际实现中，我们计算逐块匹配而不是逐像素相关。在这里，我们研究补丁大小p在CS-NL注意的影响。我们比较了1×1，3×3和5×5的面片尺寸，其中1×1相当于逐像素匹配。如表4所示，性能峰值在3×3处，这高于基于像素的匹配，表明小块可以用作响应所有这些结果表明，选择合适的斑块大小是有效计算CS-NL注意相关性的必要条件。相互投射融合我们通过将其与其他常用的融合策略进行比较来展示我们的相互投射融合的有效性，例如，功能添加和连接。如表5所示，可以发现我们的基于投影的融合获得了最好的结果。通过用相互投影代替加法和级联，性能提高了约0.05 dB和0.12 dB。这些结果表明，我们的融合模块在逐步聚合信息的有效性。6. 结论在本文中，我们提出了第一个用于图像超分辨率深度网络的跨尺度非局部（CS-NL）注意力模块该模型能够充分发现自然图像中广泛存在的跨尺度特征进一步将其与本地和以前的大规模非本地先验进行整合，同时包含网络学习到的丰富外部信息，我们的循环模型在多个基准测试中实现了最先进的性能。我们的实验表明，探索跨尺度的长程相关性将大大有利于单图像超分辨率（SISR）任务，也可能是有希望的一般图像恢复任务。更好的区域描述符。然而，当使用较大的补丁大小时，性能比基于像素的匹配差。这主要是因为在评估相似性时，较大的补丁意味着对内容的额外约束，因此更难找到匹配良好的内容。致谢本工作部分得到了IBM伊利诺伊认知计算系统研究 中 心 （ C3SR ） 的 支 持 ， 该 研 究 中 心 是 IBM AIHorizons Network的一部分5699引用[1] Marco Bevilacqua、Aline Roumy、Christine Guillemot和Marie Line Alberi-Morel。基于非负邻域嵌入的低复杂度单幅图像超分辨率2012年英国机器视觉会议论文集。5[2] Tao Dai，Jianrui Cai，Yongbing Zhang，Shu-Tao Xia，and Lei Zhang.二阶注意力网络用于单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第11065二三四五六七[3] Hasan Demirel和Gholamreza Anbarjafari。基于离散小波变 换 的 卫 星 图 像 分 辨 率 增 强 。 IEEE transactions ongeoscience and remote sensing，49（6）：1997-2004，2011. 1[4] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang.学习用于图像超分辨率的深度卷积网络。在欧洲计算机视觉会议上，第184-199页。Springer，2014. 一、二[5] 范宇晨，施红辉，余嘉辉，刘丁，韩伟，余海潮，王张扬，王新潮，黄伟。用于图像超分辨率的平衡两级残差网络在IEEE计算机视觉和模式识别研讨会论文集，第161-168页，2017年。2[6] 范宇晨，余嘉辉，刘丁，黄晓波。用于图像恢复的尺度卷积。在AAAI人工智能会议上，2020年。2[7] 吉拉德·弗里德曼和拉南·法塔勒图像和视频从本地自我的 例 子 升 级 。 ACM Transactions on Graph-ics（TOG），30（2）：12，2011. 2[8] William T Freeman，Ellis R Jones和Egon C Pasztor。基于 示 例 的 超 分 辨 率 。 IEEE Computer Graphics andApplications，22（2）：56-65，2002. 2[9] Daniel Glasner、Shai Bagon和Michal Irani。从一个单一的图像超分辨率。IEEE第12届计算机视觉国际会议论文集，第349-356页，2009年。一、二[10] Ian Goodfellow Yoshua Bengio和Aaron Courville深度学习MIT Press，2016. 2[11] Muhammad Haris Gregory Shakhnarovich 和 NorimichiUkita。用于超分辨率的深反投影网络。在IEEE计算机视觉和模式识别会议论文集，第1664-1673页，2018年。五、六、七[12] Xiangyu He ， Zitao Mo ， Peisong Wang ， Yang Liu ，Mingyuan Yang，and Jian Cheng.Ode启发的网络设计，用于单图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第1732-1741页五、六、七[13] Jia-Bin Huang，Abhishek Singh，and Narendra Ahuja.单图像超分辨率从变换的自我范例。IEEE计算机视觉和模式识别会议论文集，第5197-5206页，2015年二、五、七[14] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.使用非常深的卷积网络实现精确的图像超分辨率工程.在IEEE计算机视觉和模式识别会议论文集，第1646-1654页，2016年。2[15] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[16] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。神经信息处理系统的进展，第1097-1105页，2012年。2[17] 赖伟胜，黄家斌，纳伦德拉·阿胡贾，杨明轩。深拉普拉斯 金字 塔网 络实 现快 速和精 确的 超分 辨率 。在Proceedings of the IEEE conference on computer visionand pattern recognition，pages 624-632，2017中。五、六、七[18] Zhen Li ，Jinglei Yang ，Zheng Liu ，Xiaomin Yang ，Gwang-gil Jeon，and Wei Wu.用于图像超分辨率的反馈网络。在IEEE计算机视觉和模式识别集，第3867-3876页，2019年。五、六[19] Bee Lim ， Sanghyun Son ， Heewon Kim ， SeungjunNah，and Kyoung Mu Lee.用于单图像超分辨率的增强深度残差网络在IEEE计算机视觉和模式识别研讨会集，第136-144页，2017年。二四五六七[20] Ding Liu ， Bihan Wen ， Yuchen Fan ， Chen ChangeLoy，and Thomas S Huang.用于图像复原的非局部递归网络。神经信息处理系统进展，第1673-1682页，2018年。二三四五六[21] D马丁，C福克斯，D塔尔，和J马利克。人类分割的自然图像数据库及其在评价分割算法和测量生态统计学中的应用第八届IEEE计算机视觉国际会议论文集。ICCV2001，第2卷，第416-423页。IEEE，2001年。5[22] Yusuke Matsui 、 Kota Ito 、 Yuji Aramaki 、 AzumaFujimoto、Toru Ogawa、Toshihiko Yamasaki和KiyoharuAizawa。使用manga109数据集进行基于草图的漫画检索 。 Multimedia Tools and Applications ， 76 （ 20 ） ：218115[23] Tomer Michaeli和Michal Irani非参数盲超分辨率。在IEEE计算机视觉国际会议论文集，第945-952页，2013年。2[24] 马坦·普罗特，迈克尔·埃拉德，武田博之，和佩曼·米兰法.将非局部均值方法推广到超分辨率重建。IEEE图像处理学报，18（1）：36-51，2008。1[25] Assaf Shocher、Nadav Cohen和Michal Irani。使用深度内部学习的零镜头超分辨率。在IEEE计算机视觉和模式识别会议论文集，第3118-3126页，2018年。2[26] Abhishek Singh和Narendr