基于上下文推理的图像超分辨率注意网络

4278×基于上下文推理的图像超分辨率注意网络张玉伦1，魏东来2，秦灿1，王欢1，*，Hanspeter P Fister3，傅云11东北大学2波士顿学院3哈佛大学摘要深度卷积神经网络（CNN）在图像超分辨率（SR）方面取得了巨大成功，其中全局上下文对于准确恢复至关重要然而，CNN中的基本卷积层被设计为提取局部模式，缺乏对全局上下文建模的能力Urban100：img098[38]第41话：我的世界利用全局上下文信息，人们已经做了大量的努力来增强SR网络，特别是通过全局特征交互方法。这些作品将全球范围内的本地功能表示。然而，神经科学的最新进展表明，神经元根据上下文动态调节其功能是必要的，这在大多数基于CNN的SR方法中被忽略。基于这些观察和分析，我们提出了上下文推理注意力网络（CRAN），根据全局上下文自适应地调制卷积核。具体而言，我们提取全局上下文描述符，并通过语义推理进一步增强然后引入通道和空间交互来生成上下文推理注意掩码，该注意掩码被应用于自适应地修改卷积核这种调制卷积层被用作构建块和网络的基本组件。在具有多个退化模型的基准数据集上的大量实验表明，CRAN获得了优越的结果，并在性能和模型复杂性之间取得了有利的折衷。1. 介绍图像超分辨率（SR）旨在重建精确的高分辨率（HR）图像，给出其低分辨率（LR）对应物[14]。图像SR在各种计算机视觉应用中起着基础作用，从安全和监视成像[71]，医学成像[48]到对象识别[45]。然而，图像SR是不适定问题，因为对于任何LR输入存在多个解。为了解决这样的逆问题，已经提出了许多深度卷积神经网络（CNN）来学习LR和HR图像对之间的映射。深度CNN已经在图像SR方面取得了显著的成功[10，12，26，36，62，18，66，1，23，31，67]。在※通讯作者：王欢（wang. northeastern.edu）图1.4的可视化示例 SR伴双三次（BI）降解Urban100 [22]。SAN、CSNLN和RFANet恢复局部纹理的部分。全局上下文引导的卷积使CRAN能够以适当的方向恢复更多的结构纹理。卷积神经网络通过滑动窗口提取局部补丁，使其仅能够捕获局部模式。然而，神经科学的最新进展表明，神经元卷积中的滑动窗口机制限制了其利用全局上下文的能力，这对于准确的图像SR至关重要。为了减轻这种限制，最近已经提出了许多SR方法，以将全局上下文建模模块引入SR网络[64，9，38，65，41]。Zhang等人提出了残差通道注意力网络[64]，其中全局上下文用全局平均池建模，并用于重新缩放每个特征通道。Dai等人通过考虑SAN中的高阶特征统计量提出了二阶通道注意力[9]。与渠道关注不同的是，Liu et al.在FRANet [ 38 ]中提出了增强的空间注意力块，以使残差特征更多专注于关键的空间内容。Zhang等人进一步提出了残余非局部注意网络[65]，以自适应地用混合信道和空间注意来重新缩放分层特征 。 这 种 非 局 部 注 意 机 制 在 跨 尺 度 非 局 部 注 意（CSNLN）中得到进一步发展[41]。Mei等人提出了一种自范例挖掘单元，通过在CSNLN中组合局部和尺度内/跨尺度非局部特征相关性来详尽地挖掘所有可能的内在先验[41]。如图1所示，SAN、RFANet和CSNLN可以重新覆盖某种局部纹理。但是，这些纹理的方向似乎并不忠实于地面真相。这主要是因为这些方法主要将全局上下文并入到局部特征中。然而，在神经科学研究中[15]，功能-HR双三SAN [9]4279神经元的状态应该根据to the behavioral行为context上下文.因此，我们可以基于上下文信息动态修改卷积核[37]。图像SR还没有见证利用这种调制机制的作品，这是试验性的-*W(a) 上一个转换*上下文指导W*W(b) 上下文引导的转换在其他计算机视觉应用中进行研究。Zhu等人提出自适应地设置卷积核中每个元素的偏移量和局部特征块中每个元素的聚集值[70]。然而，这样的操作仅改变馈送到卷积（Conv）层中的输入特征。Wu等人提出通过仅将局部段作为输入来动态生成卷积核权重[55]。[24，25]中的类似工作使用另一个网络从输入图像中提取特征提取过程可能是耗时的，使得其对于图像SR中的非常深的CNN是不实际的。Lin等人提出了上下文门控卷积，以将上下文感知引入Conv层[37]。然而，他们中的大多数都忽略了挖掘上下文信息之间的关系，这也可能是高质量的图像SR的重要。基于上述观察和分析，我们提出了一个用于图像SR的上下文推理注意网络（CRAN）。这是图像SR中根据全局上下文自适应地调制卷积核的第一次尝试（见图2）。具体来说，我们将输入特征投影到潜在的表示中，并提取全局上下文描述符。通过使用具有语义推理的描述符关系，进一步增强上下文关系描述符。然后引入通道和空间相互作用[37]以生成上下文推理注意掩码，其被应用于自适应地修改卷积核我们使用调制卷积层作为基本组件来构建块和整个网络。因此，我们的CRAN可以实现优异得多的SR结果（例如，图1）与最近的主要方法和有利的效率权衡。总之，这项工作的主要贡献可以归纳为三个部分：我们提出了一个上下文推理的注意力网络准确的图像SR。我们的CRAN可以根据语义推理增强的全局上下文自适应地modu- late卷积核。CRAN在定量和视觉上实现了优异的SR结果。我们建议提取上下文信息到潜在的表示，从而在一个袋子的全球上下文描述符。我们进一步提高了描述符，通过使用它们的关系与语义推理。我们引入通道和空间的相互作用，生成erate上下文推理注意掩模用于修改卷积核。我们最终获得了引起注意力卷积的上下文，其进一步用作构建图像SR的块和网络的基础。图2.转换层。受[37]的启发，我们修改了Conv内核W是W*的上下文。②表示Conv操作。2. 相关作品图像SR的深度CNN。这项开创性的工作是由Dong等人完成的。 [10]，他提出了SRCNN，具有用于图像SR的三个卷积（Conv）层。通过引入残差学习来缓解训练困难，Kim et al.提出了20层的VDSR [26]和DRCN[27]，并实现了显着的性能改进。Lim等人通过简化残差块提出了EDSR [36]，这允许构建具有更多参数的更深更宽的网络。Zhang等人提出了RDN [66]，以减少模型大小并保持准确的性能。然而，那些方法忽略了跨不同特征通道和/或空间位置利用不同重要性。然后利用注意力机制来解决这些限制。Zhang等人提出了残余通道注意力网络（RCAN）[64]，通过考虑特征通道之间的相互依赖性。于是，越来越多的研究者开始探索图像SR的有效注意机制。Dai等人提出了一种二阶注意力网络（SAN）[9]，用于更强大的特征表达和特征相关性学习。在这些方法中，卷积核不能适应推理阶段的特定上下文，阻碍了网络的表示能力。这些观察促使我们根据输入自适应地修改卷积核。CNN中的上下文信息。试验性的工作用上下文信息增强了CNN，可以简单地分为三种类型。首先，与人类的视觉处理系统类似但是，仍然很难理解反馈机制如何在CNN中有效地执行。其次，利用注意力机制来修改CNN中的中间特征表示[50，52，54，5]。它们通常利用全局上下文信息（例如，自我注意机制）以修改局部特征[51，52，21，54，5，2]。然而，这种方法只考虑改变输入特征图。第三，许多作品试图通过考虑局部或全局信息来动态改变卷积层参数[24，8，25，6，55，70，37]。他们中的一些人忽略了考虑Conv权重张量[70]，只采用局部段和输入[55]，或者遭受昂贵的特征提取过程[24，25]。另外，大多数研究者都忽略了上下文信息之间的关系，而上下文信息之间的关系是语义推理的核心。···4280∈∈××通道相互作用×∈2∈···∈×∈·×∈∈CCGRCC语义推理。关系推理最初作为符号方法引入人工智能界[42]。作为一个活跃的研究领域，基于图的方法近年来已经流行，并被证明是一种有效的关系推理方式。受CNN在计算机视觉领域的巨大成功的启发[19] ， [29] 提 出 了 用 于 半 监 督 分 类 的 图 卷 积 网 络（GCN）。[56]利用GCN将先验知识编码到深度强化学习框架中，以改善在看不见的场景和新对象中的语义导航。[5，32]将GCN纳入视觉编码的设计中，并学习端到端的关系增强功能，以完成感兴趣的任务，例如图像分类和图像-文本匹配。[58]在Visual Genome数据集[30]上训练视觉关系检测模型，并使用基于GCN的图像编码器对检测到的关系信息进行编码。3. 基于上下文推理的图像超分辨率注意网络在图像超分辨率（SR）中，原始输入是低分辨率（LR）图像ILR，其将被卷积层提取为深度特征。对于卷积层，输入是Rcin×h×w中的特征图F，其中cin、h、w分别是特征图的通道数、高度和宽度。 要进行卷积运算，我们滑动窗口，以提取一个局部特征补丁的大小为c在k1k2。然后，我们将特征块与卷积核W Rcout×cin×k1×k2相乘，其中c out，k1，k2是输出通道数，高度和宽度。这里，每个卷积运算仅提取局部信息，这在推理阶段不会自适应地影响内核F在*FCF*CF一W*调整大小背景提取CDRRFA空间相互作用FCIFA1W图3. 简要介绍我们的上下文推理注意力卷积（CRAC）。CDRR表示上下文描述符关系推理。和②分别表示逐元素乘法和卷积运算。当量（4）描述操作。3.2. 上下文描述符关系推理我们首先获得全局上下文描述符集合FC。然后，每个上下文描述符fi之间的关系使得能够进一步增强。最近，在深度学习中研究了基于视觉推理的方法[46，4，68，33，63]，以更好地利用视觉组件之间的关系。 在这些工作的基础上，我们构建了一个上下文描述子之间的关系推理模型。具体来说，使用权重参数W和Wφ，我们将上下文描述符嵌入到两个嵌入空间中。然后，可以通过以下公式计算成对亲和力：R （ fi ， fj ） = （ Wfi ） T （ Wφfj ） ，（1），其获得每两个学习的上下文描述符fi和fj之间的关系，从而产生图。然后，我们将图表示为G（FC，R），其中FC是图节点的集合（即，上下文描述符）并且R是图边的集合（即，上下文描述符关系）。基于等式在等式（1）中，可以通过测量每个上下文描述符对的亲和性边缘来获得亲和性矩阵R对于图边缘，高亲和度分数指示对应的上下文描述符对之间的强语义关系然后，我们用残差学习桥接FCF*=σ（Σ. RF TWΣWΣT）F +F，（2）为了解决传统卷积的上述缺点，我们提出了上下文推理注意力卷积（见图3）。我们试图将全球背景信息的卷积过程。另一方面，输入LR图像大小可以是任意大的，特征图也 为了提取上下文信息，我们首先通过使用池化层将输入特征F in的空间大小减小到h′w′。然后，对于每个特征通道，我们通过考虑所有空间位置来提取全局上下文的潜在表示具体地，我们使用具有权重W ERh'×w'×e的共享线性层将每个通道投影到大小为e的潜在向量。 根据[50，21，52，37]中的瓶颈设计，我们将向量大小设置为e=k1×k2。因此，我们得到了一个新的具有全局上下文信息的特征，并将其表示为F CRcin×e。让、f、e]Rci n×e。它给出了一个新的视角上的上下文信息提取结果，这实际上是一个包的全局上下文描述符。其中σ（）是sigmoid激活函数。 R是Eaffinity矩阵 W g是GCN层的c inc in权重矩阵，W r是残余结构的权重矩阵。表示逐元素乘法。3.3. 上下文推理注意力卷积受[37]的启发，我们尝试通过采用增强的全局连续信息FC来更新卷积核。注意掩模具有FA的大小Rcout×cin×k1×k2，与卷积核权重相同核分解对于基于深度CNN的图像SR方法，特征输入和输出通道c in、c out通常较大（例如，CSNLN[ 41 ]中的128和EDSR [36]中的256），这可能使内核调制耗时。 为了降低计算复杂度，我们遵循以前关于卷积核分解的工作[20，7，37]，并尝试生成两个张量FA1Rcout×k1×k2和FA2Rcin×k1×k2。我们的目标是进一步降低计算复杂度，以适应IM中非常深的网络和大的特征尺寸。3.1.环境信息抽取4281∈ConvCRACReLU向上缩放元素模块总和∈⊕∈·∈∈Ⓢ∈∈·∈×g表示投影，其中g是受深度方向可分离卷积[20，7，37]中的设计的启发，我们转而通过分别对信道交互和空间交互进行建模来实现这样的两个张量FA1、FA2和最终FA渠道互动。 为了适应核权值的大小，我们首先将全局核信息FC映射到核上，Rci n×e到输出维空间c out。受[17，37]的启发，我们引入了一个分组线性层，其权重为Wci∈Rc输入×c输出组我们将输出表示为F CIRcout×e。空间互动。 然后对FCI和FC进行空间干涉，得到相应的张量FA1和FA2. 具 体 地说，我们使用两个线性层，权重为WA1 Re×k1×k2 和WA2Re×k1×k2。 WA1和W A2在FCI和FCI* 中的不同特征图之间共享。 因此，我们生成两个张量FA1=FCIWA1和FA2=FC*WA2。上下文推理注意力卷积。在骗-管 道 通 道 和 空 间 相 互 作 用 [37] ， 我 们 生 成 FA1Rcout×k1×k2 和FA2Rc在×k1×k2中。然后，我们通过下式形成最终上下文推理注意力掩模FA=FA1<$FA2，（3）其中，FARcout×cin×k1×k2具有相同的con-i大小。卷积核W.该操作可以以逐元素的方式表示具体地，FA的每个元素（FA）h，i，j，k可以由下式确定：（FA）h，i，j，k=σ（（FA1）h，j，k+（FA2）i，j，k），⑷其中σ（）表示sigmoid函数。通过这种方式，我们通过考虑全局上下文来获得注意力掩码FA然后，我们可以应用注意力掩模FA来调制卷积核权重W如下W*=WFA，（5）其中操作表示逐元素乘法。利用调制卷积核W *，对输入特征图的传统卷积过程可以在全局上下文的指导下动态地捕获具有代表性的局部模式。 我们将其命名为上下文推理注意力卷积（CRAC），其主要过程如图3所示。我们将在4.6节中进一步展示关于W *相对于不同输入的多样性的可视化结果。然后，我们可以进一步使用CRAC来形成镜像SR的基本网络模块3.4. 图像SR我们提出的上下文推理注意卷积（CRAC）可以很容易地用来取代传统的卷积。我们使用CRAC来构建基本块和网络。上下文推理注意障碍。Lim等人。[36]提出了EDSR[ 19 ]中的简化残差块用于图像SR。这种简化的残差块在图像SR中表现出非常有前途的性能，并在许多后续工作中作为基本构建模块。在这里，我们简单地遵循EDSR [36]中的相同块设计，通过替换蟹RBHRLRRG蟹RBRGRG图4.我们CRAN的管道。我们使用RCAN [64]作为主干，其中RG、RB和CRAB表示残差组、残差块和上下文推理注意力块。传统的卷积与我们提出的CRAC，结果在上下文推理注意力块（CRAB）。在基本残差块[19，36]的设计之后，我们通过以下公式来表示CRAB的函数：其中F_in 、F_out是输入和输出特征。 σ （）表示ReLU [16]激活函数。 W1、W2是我们提出的CRAC层的权重，其中为了简单起见省略了偏置项。上下文推理注意力网络。然后，我们遵循RCAN [64]的网络设计来构建图4中的上下文推理注意力网络（CRAN）。值得注意的是，我们提出的CRAC和CRAB可以用于其他图像SR网络。在这里，我们主要关注非常深的网络，并希望与最近相关的最先进的（SOTA）SR方法进行比较具体地说，我们使用RCAN[64]作为骨干，并用简化的残差块（RB）[36]或我们提出的CRAB替换所有残差通道注意力块[64CRAN的超分辨输出ISR可以通过以下方式获得：ISR=FCRAN（ILR），（7）其中FCRAN（·）表示我们的CRAN的函数3.5. 实现细节现在，我们指定的实施细节，我们提出的CRAN。对于CRAC，我们使用h′=k1和w′=k2的平均池来调整特征图的大小。在分组线性层中，我们将组号设置为g=16。对于网络配置，与骨干RCAN [64]相同，我们在残差（RIR）[ 64 ]结构中将残差组编号设置为10。为了保持与RCAN类似的参数编号和FLOP，在每个残差组中，我们将RB编号设置为19并且将CRAB编号设置为1。我们放置一个CRAB作为每个残差组中的最后一个块。我们设置cin=64，cout=64，k1=3和k2=3，用于所有卷积（Conv）层中的卷积核WRcout×cin×k1×k2，除了输入，最终输出Conv层和升频模块中的卷积核。对于内核大小为3 3的Conv层（无论通道尺寸如何），使用零填充策略来保持大小固定。 对于骨干中的升级模块，我们遵循[47，36，66，64]并使用ESPCNN [47]将粗分辨率特征升级为精细特征。最后的Conv层有3个滤波器，因为我们输出彩色图像。同时，我们的网络也可以处理灰度图像。G4282×××××× ××块类型RB [36]RCAB [64]CRAB（不含CDRR）蟹峰值信噪比（dB）37.1537.1937.2837.34表1.使用不同块类型的EDSR基线的性能。具有CRAB（w/或w/o CDRR）的网络性能更好。4. 实验4.1. 实验设置数 据 在 [49 ， 36 ， 18 ， 66 ， 62] 之 后 ， 我 们 使 用DIV2K数据集[49]和Flickr2K [36]作为训练数据。对于验证，我们使用DIV2K中的前10个验证图像。为了进行测试，我们使用了五个标准的基准数据集：[001 pdf1st-31 files] Set 5 [3]，Set 14 [60]，B100 [39]，Urban100 [22]和Manga 109 [40]。图像退化模型。我们使用双三次（BI），模糊缩小（BD）[61，62，66]和缩小噪声（DN）[61，62]退化模型进行实验。对于BD退化模型，HR图像首先由大小为7- 7的高斯核模糊，标准偏差为1.6，然后用缩放因子3缩小。对于DN退化模型，首先通过缩放缩小HR图像因子×3，然后添加高斯噪声（噪声水平=30）。评估指标。 SR结果的评估采用Y通道上的PSNR和SSIM [53]（即，亮度）。我们还比较了几个领先的SR方法在网络参数数，FLOPs，和GPU内存使用。比较方法。我们比较了许多图像SR方法：SRCNN[11]，FSRCNN [12]，VDSR [26]，IRCNN [61]，EDSR[36]，SRMDNF [62]，DBPN [18]，RDN [66]、RCAN [64]、RNAN [65]、SRFBN [35]、SAN [9]、CSNLN [41]、 RFANet [38]、 HAN [43]、IGNN [69]和NSR [13]。所有结果都由作者提供，或由其官方发布的代码生成。培训设置。对训练图像进行数据增强，这些图像随机旋转90 ◦，180 ◦，270 ◦并水平翻转。在每个训练批次中，提取大小为48 - 48的16个LR色块作为输入。为了保持公平的比较，我们选择优化L1损失函数，与其他比较作品c[36，66]相同。我们的模型由ADAMoptimizor [28]训练，β1= 0。9，β2= 0。999，且ε=10−8。初始学习率设置为10-4，然后每2 105次反向传播迭代降低到一半。我们使用PyTorch [44]用Titan XpGPU实现我们的模型。4.2. 消融研究我们研究了我们提出的上下文描述符- tor关系推理（CDRR）和上下文推理注意块（CRAB）的效果。我们进一步研究了通道相互作用，空间相互作用和CRAB的位置的影响。我们使用EDSR基线[36]作为主干，其中残差块（RB）数和特征数为16和64.我们观察到在BI模型下×2 SR在200个epoch的验证数据上的最佳性能表2.图像SR中空间相互作用和通道相互作用的消融研究EDSR基线的确认性能CRAB位置基线[36]1-St4次第八第十六届峰值信噪比（dB）37.1537.1737.1837.2237.27表3. EDSR基线的性能，其中有15个RB，一个CRAB插入不同位置。更高级别的职位有助于获得更好的绩效。CDRR和CRAB的影响。在EDSR基线中，我们用RCAB [64]替换所有RB，我们的CRAB有或无CDRR。在表1中，我们发现RCAB实现了轻微的性能增益。然而，我们的CRAB w/o CDRR获得了明显的改善。这些比较表明，根据全局上下文自适应调制卷积核有助于准确的图像SR很大。通过CDRR，我们的CRAB实现了进一步的改进，这证明了CDRR的有效性。渠道互动与空间互动。我们研究了图像SR中的通道相互作用和空间相互作用[37]。如图3所示，通道交互产生F C1。空间相互作用由两个分支FA1和FA2组成.我们提供了空间相互作用和通道相互作用组件的几种组合，并报告了反应。结果见表2。我们发现每个组件都有助于性能。最好的结果是通过使用它们来实现，显示我们选择它们的原因。CRAB 位 置 的 影 响 。 如 上 所 述 ， 我 们 使 用 一 个CRAB分别替代EDSR基线中的第1个、第4个、第8个、第16个在表3中，在较低级别（例如，1阶和4阶）会略微提高性能当我们将CRAB插入到更高级别的位置时，我们可以获得更明显的收益。这样的观察有助于我们建立一个更深层次网络的最终配置。因此，对于我们的CRAN，我们保留前19个RB，并将CRAB作为所有20个残差组的最后一个块然后，我们与其他较大的网络在不同的退化模型进行比较4.3. BI降解模型我们比较我们提出的CRAN与13个最近的图像SR方法。类似于[36，66，64，9，43]，我们还引入了自集成策略来进一步改进我们的CRAN，并将自集成的CRAN表示为CRAN+。然而，我们主要是比较我们的CRAN与其他公平。定量结果。表4显示了2、3和4 SR的定量比较。与所有以前的方法相比，我们的CRAN+在所有缩放因子的所有数据集上都表现最好，除了Set5（2）上的SSIM值。即使没有自集成，我们的CRAN在所有情况下也优于其他比较方法，除了Set5（×2）上的SSIM值（从SAN复制）。相比空间相互作用FA1√√√FA2√√√√√通道相互作用FC1峰值信噪比（dB）37.2237.2637.2837.344283×Set5表4.BI降解模型的定量结果最好和第二好的结果用红色和蓝色着色。利 用 基 于 注 意 力 的 方 法 （ 例 如 ， RCAN 、 SAN 、RNAN、HAN和CSNLN），特别是我们工作中使用的主干RCAN，我们的CRAN在大多数情况下都达到了更高的PSNR/SSIM这种比较表明，我们提出的CRAN可以进一步提高性能调制卷积层内核与全局上下文推理的注意。目视检查结果。 在图5中，我们进一步示出了尺度4上的视觉比较。在这里，我们主要提供一些关于纹理和小细节的具有（例如，细小的线条）。在图像“img 034”中，根据HR图像有一些砖纹理。大多数比较的方法很难恢复这样的纹理，但遭受一些模糊伪影。相比之下，我们的CRAN可以在一定程度上更好地减轻模糊伪影，并恢复部分纹理。在图像“img044”中，所比较的方法大多不能清晰地恢复出细小的水平线。然而，我们的CRAN产生更清晰的结构细节，更忠实于地面的真相。在图像“img 092”中所有比较的方法都不能重复。表5.BD降解模型的定量结果最好和第二好的结果用红色和蓝色着色。构造并正确恢复右上角的条带。它们或者遭受严重的模糊伪影（例如，EDSR、DBPN、RDN、RCAN和SAN ） 或 输 出 条 带 方 向 错 误 （ 例 如 ， CSNLN 和RFANet）。然而，我们的CRAN更好地应对了这一挑战，并恢复了成形条。这主要是因为我们考虑了全局上下文信息并将其编码到Conv层内核调制中。与最新SOTA方法的那些明显的视觉比较进一步证明了我们的CRAN的有效性。方法规模产品14B100Urban100Manga109PSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMEDSR [36]×2×2×2×2×2×2×2×2×2×2×2×2×2×2×238.110.960233.920.919532.320.901332.930.935139.100.9773SRMDNF [62]37.790.960133.320.915932.050.898531.330.920438.070.9761DBPN [18]38.090.960033.850.919032.270.900032.550.932438.890.9775RDN [66]38.240.961434.010.921232.340.901732.890.935339.180.9780RCAN [64]38.270.961434.120.921632.410.902733.340.938439.440.9786[65]38.170.961133.870.920732.310.901432.730.934039.230.9785SRFBN [35]38.110.960933.820.919632.290.901032.620.932839.080.9779SAN [9]38.310.962034.070.921332.420.902833.100.937039.320.9792[43]38.270.961434.160.921732.410.902733.350.938539.460.9785[第13话]38.230.961433.940.920332.340.902033.020.936739.310.9782IGNN [69]38.240.961334.070.921732.410.902533.230.938339.350.9786CSNLN [41]38.280.961634.120.922332.400.902433.250.938639.370.9785RFANet [38]38.260.961534.160.922032.410.902633.330.938939.440.9783CRAN（我们的）38.310.961734.220.923232.440.902933.430.939439.750.9793CRAN+（我们的）38.360.961934.370.924332.480.903333.610.940539.890.9798EDSR [36]×3×3×3×3×3×3×3×3×3×3×3×3×3×334.650.928030.520.846229.250.809328.800.865334.170.9476SRMDNF [62]34.120.925430.040.838228.970.802527.570.839833.000.9403RDN [66]34.710.929630.570.846829.260.809328.800.865334.130.9484RCAN [64]34.740.929930.650.848229.320.811129.090.870234.440.9499[65]34.660.929030.530.846329.260.809028.750.864634.250.9483SRFBN [35]34.700.929230.510.846129.240.808428.730.864134.180.9481SAN [9]34.750.930030.590.847629.330.811228.930.867134.300.9494[43]34.750.929930.670.848329.320.811029.100.870534.480.9500[第13话]34.620.928930.570.847529.260.810028.830.866334.270.9484IGNN [69]34.720.929830.660.848429.310.810529.030.869634.390.9496CSNLN [41]34.740.930030.660.848229.330.810529.130.871234.450.9502RFANet [38]34.790.930030.670.848729.340.811529.150.872034.590.9506CRAN（我们的）34.800.930430.730.849829.380.812429.330.874534.840.9515CRAN+（我们的）34.890.930930.820.850829.420.813129.500.876835.060.9525EDSR [36]×4×4×4×4×4×4×4×4×4×4×4×4×4×4×432.460.896828.800.787627.710.742026.640.803331.020.9148SRMDNF [62]31.960.892528.350.778727.490.733725.680.773130.090.9024DBPN [18]32.470.898028.820.786027.720.740026.380.794630.910.9137RDN [66]32.470.899028.810.787127.720.741926.610.802831.000.9151RCAN [64]32.630.900228.870.788927.770.743626.820.808731.220.9173[65]32.430.897728.830.787127.720.741026.610.802331.090.9149SRFBN [35]32.470.898328.810.786827.720.740926.600.801531.150.9160SAN [9]32.640.900328.920.788827.780.743626.790.806831.180.9169[43]32.640.900228.900.789027.800.744226.850.809431.420.9177[第13话]32.550.898728.790.787627.720.741426.610.802531.100.9145IGNN [69]32.570.899828.850.789127.770.743426.840.809031.280.9182CSNLN [41]32.680.900428.950.788827.800.743927.220.816831.430.9201RFANet [38]32.660.900428.880.789427.790.744226.920.811231.410.9187CRAN（我们的）32.720.901229.010.791827.860.746027.130.816731.750.9219CRAN+（我们的）32.790.902229.070.792927.910.747027.300.819732.020.9239方法SSet5产品14B100Urban100Manga109PSNR/SSIMPSNR/SSIMPSNR/SSIMPSNR/SSIMPSNR/SSIM双三×3×3×3×3×3×3×3×3×3×3×3×3×3×328.78/0.830826.38/0.727126.33/0.691823.52/0.686225.46/0.8149SRCNN [11]32.05/0.894428.80/0.807428.13/0.773625.70/0.777029.47/0.8924FSRCNN [12]26.23/0.812424.44/0.710624.86/0.683222.04/0.674523.04/0.7927VDSR [26]33.25/0.915029.46/0.824428.57/0.789326.61/0.813631.06/0.9234IRCNN [61]33.38/0.918229.63/0.828128.65/0.792226.77/0.815431.15/0.9245SRMDNF [62]34.01/0.924230.11/0.836428.98/0.800927.50/0.837032.97/0.9391RDN [66]34.58/0.928030.53/0.844729.23/0.807928.46/0.858233.97/0.9465RCAN [64]34.70/0.928830.63/0.846229.32/0.809328.81/0.864734.38/0.9483SRFBN [35]34.66/0.928330.48/0.843929.21/0.806928.48/0.858134.07/0.9466SAN [9]34.75/0.929030.68/0.846629.33/0.810128.83/0.864634.46/0.9487[43]34.76/0.929430.70/0.847529.34/0.810628.99/0.867634.56/0.9494RFANet [38]34.77/0.929230.68/0.847329.34/0.810428.89/0.866134.49/0.9492CRAN（我们的）34.90/ 0.9302 30.79/ 0.848529.40/ 0.811529.17/ 0.8706 34.97/ 0.9512CRAN+（我们的）34.93/ 0.9305 30.86/ 0.849329.43/ 0.812129.34/ 0.8727 35.16/ 0.95194284HR双三EDSR [36]DBPN [18]RDN [66]HR双三EDSR [36]DBPN [18]RDN [66]Urban100：img 034RCAN [64] SAN [9] CSNLN [41] RFANet [38] CRAN（我们的）Urban100：img 044RCAN [64] SAN [9] CSNLN [41] RFANet [38] CRAN（我们的）HR双三EDSR [36]DBPN [18]RDN [66]Urban100：img092[64] RCAN SAN [9] CSNLN [41] RFANet [38] CRAN（我们的）图5. Urban100数据集上4×Urban100：img015Urban100：img046Urban100：img078[38]第64话：我的世界[38]第64话：我的世界[38]第64话：我的世界表6.DN降解模型的定量结果最好和第二好的结果用红色和蓝色着色。基于注意力的SR方法（例如，RCAN和SAN）。这种比较还表明，用上下文信息自适应地调制Conv层内核可以比修改局部特征的内核执行得更好。目视检查结果。我们还在图6中提供了视觉比较，其中LR图像进一步模糊。对于图像“img 015”和“img078”中的挑战性细节CRAN将它们去模糊到更深的程度，并且可以恢复更多的列。在图片图6. 3× SR与BD模型的目视比较。4.4. BD降解模型我们将我们的方法应用于具有模糊下降（BD）退化模型的超分辨率图像，这也常用于最近的图像SR作品[61，62，66，64，38]。定量结果。 在表5中，RFANet在每个数据集上都实现了非常高的性能。然而，我们提出的CRAN可以获得显着的收益超过RFANet。我们可以通过自集成实现甚至更好的结果（即，CRAN+）。我们的CRAN实现更大的增益相比大多数比较的方法产生一些方向错误的柱状细节。相比之下，我们的CRAN获得更好的结果，通过恢复正确的组件。这些比较表明，与上下文推理注意的内核调制将减轻模糊的文物。4.5. DN降解模型我们进一步提供了更具挑战性的DN退化模型[61，66]下的比较，其中LR图像进一步添加了重噪声（噪声水平=30）。HR双三RDN [66]HR双三RDN [