基于二阶注意力网络的单幅图像超分辨率

1基于二阶注意力网络的单幅图像超分辨率戴涛1，2，蔡建瑞3，张永兵1，夏淑涛1，2，张磊3，4，§1清华大学深圳研究生院，中国深圳2PCL网络与通信研究中心，鹏程实验室，深圳，中国3香港理工大学电子计算学系，中国香港4阿里巴巴集团达摩{dait14，zhang.yongbing，xiast}@ sz.tsinghua.edu.cn，{csjcai，cslzhang}@ comp.polyu.edu.hk摘要近年来，深度卷积神经网络（CNN）在单图像超分辨率（SISR）中得到了广泛的探索然而，现有的基于CNN的SISR方法大多集中于更广或更深层次的结构设计，忽略了对中间层特征相关性的探索，从而影响了CNN的表示能力。为了解决这个问题，在本文中，我们提出了一个二阶注意力网络（SAN）更强大的特征表达和特征相关性学习。具体而言，一种新的可训练的二阶信道注意力（SOCA）模块被设计为通过使用二阶特征统计量来自适应地重新缩放信道特征，以获得更具鉴别力的表示。此外，我们提出了一种非局部增强的残差组（NLRG）结构，它不仅包含非局部操作来捕获长距离空间上下文信息，而且还包含重复的本地源残差注意力组（LSRAG）来学习越来越抽象的特征表示。实验结果表明，我们的SAN网络的优越性超过国家的最先进的SISR方法在定量指标和视觉质量。1. 介绍单图像超分辨率（SISR）[5]最近受到了广泛的关注。通常，SISR的目的是从其低分辨率（LR）输入产生视觉上高分辨率（HR）输出。然而，这个逆问题前两位作者对这项工作的贡献相当。§通讯作者：磊张本工作得到了国家自然科学基金项目61771273的部分资助，der Grant JCYJ20180508152204044，以及PCL未来区域网络设施大规模实验和应用研究基金是不适定的，因为多个HR解可以映射到任何LR输入。因此，已经提出了大量的SR方法，从早期的基于插值[37]和基于模型[4]到最近的基于学习的方法[32，39]。早期开发的基于插值的方法（例如，双线性和双三次方法）简单有效，但应用范围有限。对于更灵活的超分辨率方法，更先进的基于模型的方法，提出了利用强大的图像先验，如非局部相似性先验[34] 前四名为“前四名”。尽管这种基于模型的方法灵活地产生相对高质量的HR图像，但它们仍然存在一些缺点：（1）这样的方法通常涉及耗时的优化过程;（2）当图像统计数据偏离图像先验时，性能可能迅速降低。深度卷积神经网络（CNN）最近在各种问题上取得了前所未有的成功[7，25]。CNN强大的特征表示和端到端训练范式使其成为SISR的一种有前途的方法。在过去的几年中，已经提出了一系列基于CNN的SISR方法来学习从插值或LR输入到其对应的HR输出的映射通过充分利用训练数据集中固有的图像静态，CNN在SISR中取得了最先进的结果[2，12，14，36，39，38]。尽管图像SR已经取得了相当大的进展，但是现有的基于CNN的SR模型仍然面临一些限制：（1）大部分基于CNN的超分辨率方法没有充分利用原始LR图像中的信息，导致性能较低;（2）大多数现有的基于CNN的SR模型主要关注于设计更深或更宽的网络来学习更具区分性的高级特征，而很少利用中间层的固有特征描述，从而阻碍了CNN的表示能力。为了解决这些问题，我们提出了一个深度二阶注意力网络（SAN），用于更强大的特征表达和特征相关性学习。特别是，我们1106511066(a) HR（b）FSRCNN（c）LapSRN [14](d)[36]（e）EDSR [36]（f）DBPN [20]（g）RDN [6]图1.Urban100中“img 092”上4×SR的缩放视觉结果我们的方法获得了更好的视觉质量和恢复更多的图像细节与其他国家的最先进的SR方法提出了一种二阶通道注意力（SOCA）机制，用于更好的特征相关性学习。我们的SOCA通过利用二阶特征统计而不是一阶特征统计来自适应地学习特征相互依赖性。这种SOCA机制使我们的网络专注于更多的信息特征，提高了判别学习能力。此外，提出了一种非局部增强残差组（NLRG）结构，以进一步结合非局部操作来捕获长距离空间上下文信息。通过堆叠本地源剩余注意组（LSRAG）结构，我们可以利用LR图像的信息，并允许绕过丰富的低频信息。如图1.与现有的超分辨率方法相比，该综上所述，本文的主要贡献如下：• 我们提出了一个深二阶注意力网络（SAN）准确的图像SR。大量的实验在公共数据集上的实验证明了我们的SAN在定量和视觉质量方面优于最先进的方法。• 我们提出了二阶通道注意力（SOCA）机制，通过考虑使特征统计高于一阶。这样的SOCA机制使我们的网络能够专注于更多信息的特征，并增强区分学习能力。此外，我们还利用协方差归一化的迭代方法来加快我们的网络的训练。• 我们提出了一种非局部增强的残差组（NLRG）结构来构建一个深度网络，它进一步结合了非局部操作来捕获spa，初始上下文信息和共享源剩余组结构来学习深度特征。此外，通过共享源跳过连接的共享源剩余组结构可以允许绕过来自LR输入的更丰富的信息，并且简化深度网络的训练。2. 相关工作在过去的十年中，计算机视觉界提出包括基于插值[37]、基于模型[34]，以及基于CNN的方法[2，29，14，13，29，17，30，39，38]。由于由于篇幅所限，本文对基于CNN的联想记忆方法和与我们的方法相近的注意机制的相关基于CNN的SR模型。最近，基于CNN的方法已被广泛研究的图像SR，由于其强大的非线性表示能力。通常，这样的方法将SR转换为图像到图像回归问题，并且直接学习从LR到HR的端到端映射。大多数现有的基于CNN的方法主要集中在设计更深或更宽的网络结构[2，12，13，6，39，38]。例如，Donget al. [2]首先介绍了用于图像SR的浅三层卷积网络（SRCNN），它实现了令人印象深刻的性能。后来，Kim等人基于残差学习设计了更深的VDSR [12]和DRCN [13]，具有超过16层为了进一步提高性能，Limet al.[20]提出了一个非常深和广泛的网络EDSR通过堆叠修改的残差块。显著的性能增益表明表示深度在图像SR中起着关键作用。其他最近的作品，如MemNet [30]和RDN [39]，都是基于密集块的[10]形成深度网络，并专注于利用所有卷积层的所有分层特征。除了专注于增加网络的深度之外，其他一些网络，如NLRN [22]和RCAN [38]，通过考虑空间或信道维度的特征扩展来提高性能。注意力机制。人类感知中的注意力一般是指人类视觉系统自适应地处理视觉信息并聚焦于显著区域[16]。近年来，一些试验已经嵌入了注意力处理，以提高CNN在各种任务中的性能，例如图像和视频分类任务[9，33]。Wang等人[33]提出了非局部神经网络，以在视频分类中为空间注意力引入非局部操作。相反，Huet al. [9]提出SENet利用通道关系来实现图像分类的显着性能增益。最近，SENet被引入深度CNN以进一步提高SR性能[38]。然而，SENet仅探索一阶统计量（例如，全局平均池化），同时忽略高于一阶的统计量，从而阻碍了网络的辨别能力在im-11067年龄SR，具有更多高频信息的特征对于HR重建更有信息量。为此，我们提出了一个深二阶注意力网络（SAN），训练SAN是为了优化L1损失函数：1ΣNL（Θ）=||HSAN(Ii) − Ii||1,(5)探索特征的二阶统计。Ni=1LR HR3. 二阶注意力网络（SAN）3.1. 网络框架如图2、我们的SAN主要由四部分组成：浅特征提取、基于非局部增强残差组（NLRG）的深特征提取、放大模块和重建部分。给定ILR和ISR作为SAN的输入和输出如[20，39]中所述，我们仅应用一个卷积层来从LR输入中提取浅层特征F0F0=HSF（ILR），（1）其中HSF（·）代表卷积运算。然后，所提取的浅特征F0用于基于NLRG的深特征提取，这因此产生深特征，FDF=HNLRG（F0），（2）其中，HNLRG表示基于NLRG的深度特征提取模块，该模块由几个用于扩大感受野的非局部模块和G个局部源剩余注意力组（LSRAG）模块组成（见图1）。2）的情况。因此，我们提出的NLRG获得了非常深的深度，从而提供了非常大的感受野大小。然后，提取的深度特征FDF经由放大模块放大，F↑=H↑（FDF），（3）其中H↑（·）和F↑分别是放大模块和放大特征。 有一些选择可以用作上尺度部分，例如转置卷积[3]，ESPCN [28]。在最后几层中嵌入放大特征的方式在计算负担和性能之间获得了良好的权衡，因此优选用于最近的基于CNN的SR模型[3，6，39]。然后通过一个卷积层将ISR=HR（F↑）=HSAN（ILR），（4）其中HR（·）、H↑（·）和HSAN分别是SAN的重建层、然后，SAN将被优化，具有一定的损失函数。一些损失函数已被广泛使用，如L2[2，12，29，30]，L1[14，15，20，39]，感知损失[11，26]。为了验证我们的SAN的有效性，我们采用了与以前的作品相同的损失函数（例如，，L1损失函数）。给定具有N个LR图像的训练集及其其中Θ表示SAN的参数集。损失函数采用随机梯度下降算法进行优化。3.2. 非局部增强残差组（NLRG）我 们 现 在 展 示 了 我 们 的 非 局 部 增 强 残 差 组（NLRG）（参见图1）。2），它由多个区域级非局部（RL-NL）模块和一个共享源剩余群（SSRG）结构组成RL-NL利用LR特征中丰富的结构线索和HR自然场景中的自相似性SSRG由G个本地源剩余注意力组（LSRAG）与共享源跳过连接（SSC）组成。每个LSRAG还包含M个简化的残差块，具有本地源跳过连接，后面是二阶信道注意力（SOCA）模块以利用特征相互依赖性。在[20，39]中已经证实，堆叠残差块有助于然而，以这种方式构建的非常深的网络将由于深度网络中的梯度消失和爆炸受[15]工作的启发，我们提出了局部源剩余注意群（LSRAG）作为基本单位。已知简单地堆叠重复的LSRAG将不能获得更好的性能。为了解决这 个 问 题 ， 在 NLRG 中 引 入 了 共 享 源 跳 过 连 接（SSC），不仅有助于我们的深度网络的训练，而且还可以旁路LR图像中丰富的低频信息则第g组中的LSRAG表示为：Fg=WSSCF0+Hg（Fg−1），（6）其中，WSSC表示卷积层的权重，并初始化为0，然后逐渐学习为浅层特征分配更多权重偏置项对于简单y被省略。 Hg（·）是第g个LSRAG的函数。Fg，Fg−1表示第g个LSRAG的输入和输出。深度特征然后被获得为：FDF=WSSCF0+ FG。（七）这种SSRG结构不仅可以简化LSRAG之间的信息传输，而且还可以为高性能的图像SR训练区域级非本地模块（RL-NL）。提出的NLRG还利用了LR特征中丰富的结构线索和HR自然场景中的自相似性，NL模块在SSRG前后插入。提出了非局部神经网络[33]来捕获com-由{Ii，Ii}N表示的HR对应物，整个区域的长期依赖性的估算LRHRi =111068H× W×CH× W×CFSOCA模块SsHGCPWDWUFg，m-1Fg，mFGFg-1LSRAG模块SocaLSRAG转换器残差放大块模块H× W×CH× W×C宽1×1RL-NL模块宽1×1宽1×1宽1×1HRLSRAG-1LSRAG-gLSRAG-GLRRL-NLFg-1FGRL-NL共享源剩余组非局部增强残差组（NLRG）图2.提出了二阶注意网络（SAN）及其子模块的框架高级任务图像。然而，传统的全球级非本地操作可能由于以下原因而受到限制1)全局级非局部操作需要不可接受的计算负担，特别是当特征的大小很大时; 2）经验表明，适当邻域大小的非局部操作对于低级任务（例如，图像超分辨率）[22]。因此，对于具有较高空间分辨率或退化的特征，执行区域级非局部操作是很自然的。由于这些原因，我们将特征图划分为区域网格（请参见图2，k×kRL-NL表示输入特征首先被划分为具有相同大小的k2个块的网格每个然后由随后的层处理。在非局部操作之后，通过利用特征的空间相关性在馈送到后续层之前对特征表示进行非局部增强。本地源剩余注意组（LSRAG）。由于对于我们的共享源跳过连接，可以绕过丰富的低频信息更进一步说，在残差学习的步骤中，我们将M个简化的残差块堆叠起来，形成一个基本的LSRAG。第m个残差块（见图1B）。2）在第g个LSRAG中，可以表示为Fg，m=Hg，m（Fg，m−1），（8）其中Hg，m（·）表示第m个残差块的函数3.3. 二阶通道注意（SOCA）大多数以前的基于CNN的SR模型没有考虑特征的相互依赖性。为了利用这些信息，在CNN中引入了SENet [ 9 ]，以重新缩放图像SR的通道特征。然而，SENet仅通过全局平均池化来利用特征的一阶统计量，而忽略高于一阶的统计量，从而阻碍了网络的区分能力。另一方面，最近的工作[19，21]表明，深度CNN中的二阶统计比一阶统计更有助于更多的受上述观察的启发，我们提出了一个二阶通道注意力（SOCA）模块，通过考虑特征的二阶统计来学习特征的相互依赖性。现在我们将描述接下来如何利用这样的二阶信息。协方差归一化。给定一个H×W×C的特征映射F=[f1，···，fC]，其中C个特征映射的大小为H×W.我们将特征映射重塑为特征矩阵X，其中s=WH是C维特征。然后样本协方差矩阵可以计算为=X<$IXT，（10）其中<$I=1（I−11），I和1是s×s单位矩阵在第g个LSRAG中，Fg，m−1，Fg，m是对应输入和输出。为了使我们的网络专注于更多的信息特征，使用本地源跳过连接来通过Fg=WgFg−1+Fg，M，（9）其中Wg是相应的权重。这种本地源和共享源跳过连接允许在训练期间绕过更丰富的低频信息。对于更有区别的表示，我们提出SOCA机制嵌入在每个LSRAG的尾部我们的SOCA mechanism学习自适应重新缩放通道明智的功能，考虑二阶统计的功能。和所有1的矩阵。在[27，19]中显示，协方差归一化对于更具判别性的表示起着关键作用。出于这个原因，我们首先对获得的协方差矩阵进行协方差归一化，协方差矩阵是对称半正定的，因此具有如下的特征值分解（EIG）n=UΛUT，（11）其中U是正交矩阵，并且Λ =diag（λ1，···，λC）是特征值为非增阶的对角矩阵。然后协方差归一化1106922我可以转换为特征值的幂Y=α=UΛαUT，（12）哪里 α是 一 积极 房 数，且Λα=diag（λα，···，λα）。 当α=1时，不存在正规化。3.4. 协方差归一化加速到目前为止，EIG在GPU上的快速实现仍然是一个悬 而 未 决 的 问 题 。 受 文 献 [18] 的 启 发 ， 我 们 利 用Newton-Schulz迭代来加快协方差正态化的计算具体来说，从Equ。（11）、有平方根1C为λ1/2=Y=Udiag（λ1/2）UT。给定Y0=0，Z0=I，当α为1时，它非线性地收缩大于1.0的特征值，拉伸小于1.0的特征值。正如[19]中所探讨的，α=1/2适用于更具区分性的表示。因此，我们在下面设置α=1/2频道关注归一化的协方差矩阵表征了信道方式特征的相关性。然后，我们采取这样的归一化协方差矩阵作为信道描述符的全局协方差池。所示图 2，设Y_∞=[y1，· · ·，yC]，通 过 收 缩 Y_∞ 可 以 得到信道统计量z∈RC×1。则z的第c1摄氏度我对于n=1，···，N，如[18]所示，Newton-Schulz迭代交替更新如下：Yn=1Yn−1（3I −Zn−1Yn−1），Zn=1（3I − Zn−1Yn−1）Zn−1。（十六）经过足够的迭代，Yn和Zn二次收敛到Y和Y−1。这种迭代运算适合于在GPU上并行实现在实践中，人们可以用很少的迭代来获得近似解，例如，，在我们的方法中不超过5次迭代。由于Newton-Schulz迭代仅局部收敛，为了保证收敛，我们首先通过以下方式预归一化：zc=HGCP（yc）=Cyc（i），（13）我1个中文（简体）（17）其中HGCP（·）表示全局方差池化功能与常用的一阶Σ其中，tr（m）=Cλi表示λ的迹。在这种情况下，池化（例如，，全球平均池化），我们的全球协方差-概率池化探索特征分布，并捕获高于一阶的特征统计，以获得更多的区分性表示。为了通过全局协方差池充分利用聚集信息中的特征相互依赖性，我们采用了门控机制。如[9]中所述，简单的sigmoid函数可以用作适当的门控函数w =f（WUδ（WDz）），（14）其中，W_D和W_U是卷积层的权重集合，其将特征的通道维度分别设置为C/r和C。 f（·）和δ（·）是sigmoid和RELU的函数。最后，我们获得了通道注意力图w，以重新调整输入fc=wc·fc，（15）其中wc和fc表示第c个通道中的缩放因子和特征图利用这种信道关注，自适应地重新缩放LSRAG中的残差分量。如上所示，协方差归一化在我们的SOCA中起着然而，这种协方差归一化严重依赖于特征值分解，这在GPU平台上得不到很好的支持，从而导致训练效率低下。为了解决这个问题，如[18]中所探讨的，我们还应用了基于Newton-Schulz迭代的快速矩阵归一化方法[8]。在下一节中，我们将简要描述协方差归一化。11070N可以推断||Σ−I||2等于（Σ − I）的最大奇异值，即，1−<$λi小于1，iλi）满足收敛条件。在Newton-Schulz迭代之后，我们应用后补偿过程来补偿由预归一化引起的数据幅度，从而产生最终归一化的协方差矩阵Y=tr（）Y。（十八）3.5. 实施方式我们在SSRG结构中设置LSRAG数为G=20，并在SSRG的头和尾嵌入RL-NL模块（k=2）。在每个LSRAG中，我们使用m=10个残差块加上尾部的单个S0CA模块在SOCA模型中，我们使用了具有缩减比的1×1r=16。对于SOCA之外的其他卷积滤波器，滤波器的大小和数量设置为3×3，C=64，相对于iv ely。对于放大部分H↑（·），我们遵循[20，39]中的工作，并应用ESPCNN [28]来放大深度功能，然后是一个最终的卷积层与三个滤波器产生彩色图像（RGB通道）。3.6. 讨论非局部RNN（Non-local RNN）NLRN [22]介绍了在图像恢复中捕获长距离空间上下文信息的非本地操作。 NLRN和我们的SAN之间存在一些差异。首先，NLRN在递归神经网络中嵌入非局部操作。11071我们的SAN将深度卷积神经网络（CNN）框架中的非局部操作用于图像恢复，而我们的SAN将非局部操作用于图像SR。其次，NLRN只考虑了每个位置与其邻域之间的空间特征相关性，而忽略了信道方面的特征相关性。而我们的SAN主要集中在学习这样的通道方式的特征相关性与二阶统计的功能更强大的代表性能力。残差密集网络（RDN）。我们总结了RDN [39]和SAN之间的主要区别。一是基本模块的设计。RDN主要通过使用局部残差学习将密集块与局部特征融合相结合，而我们的SAN是基于残差块构建的。二是提高网络识别能力的途径。通道注意力[9，38]已被证明是有效的，更好的区分表示。然而，RDN不考虑这样的信息，而是注意利用来自所有卷积层的分层特征。相反，我们的SAN严重依赖于信道的注意力，以更好的区 分 表 示 。 因 此 ， 我 们 提 出 了 二 阶 通 道 注 意 力（SOCA）机制，有效地学习通道的特征相互依赖性。剩余通道注意力网络（RCAN）Zhang等人[38]提出在残差结构中引入残差，形成一个非常深的网络。RCAN与我们的SAN很接近，主要区别在于以下几个方面。首先，RCAN由具有长跳过连接的几个剩余组组成。而SAN栈通过共享源跳接的方式重复剩余组，使得更丰富的低频信息得以旁路。第二，RCAN只能利用局部感受场内的语境信息，而不能利用局部区域外的信息。而SAN可以通过结合非本地操作来缓解这个问题第三，为了增强网络的区分能力，RCAN通过全局平均池化仅考虑基于信道注意力的一阶特征统计。而我们的SAN基于二阶特征统计来学习通道注意力。据我们所知，这是第一次尝试调查的效果，这种注意力的基础上二阶特征统计的图像SR。接下来对这种注意机制的效果进行了进一步的分析。4. 实验4.1. 设置在[20，6，39，38]之后，我们使用来自DIV2K数据集[31]的800个高分辨率图像作为训练集。为了测试，我们采用了5个标准基准数据集：组5、组14、BSD 100、Urban100和Manga 109，它们各自具有不同的 特 性 。 我 们 使 用 Bicubic （ BI ） 和 Blur-downscale（BD）退化模型进行实验[36]。所有SR结果通过变换后的YCbCr空间的Y通道上的PSNR和SSIM度量来评估在训练过程中，我们通过随机旋转90°、180°、270°和水平平移来增强训练图像在每个最小批次中，提供8个尺寸为48×48的LR色块作为输入。我们的模型是由ADAM optimi训练的zor，β1=0。9，β2=0。99，ε=10−8。学习率初始化为10-4，然后每200个epoch减少一半我们提出的SAN已在Nvidia 1080Ti GPU上的Pytorch框架[23]上实现4.2. 消融研究如第3节中所讨论的，我们的SAN包含两个主要组件，包括非局部增强残差组（NLRG）和二阶信道注意力（SOCA）。非局部增强残差组（NLRG）。 为了验证不同模块的有效性，我们将NLRG与在Set5数据集上训练和测试的变体进行了比较。具体性能见表1。Base是指一个非常基本的基线，它只包含具有20个LSRAG的卷积层和每个LSRAG中的10个残差块，从而导致具有超过400个卷积层的深度网络。与[38]一样，我们还在Base模型中添加了长和短跳过连接。从Ta-表 1 中 我 们 可 以 看 到 ， Base 在 Set5 （ ×4 ） 上 达 到PSNR=32.00 dB。从Ra到Re的结果验证了单个模块的有效性，因为单独使用的模块提高了基本模型的性能。具体地，Ra和在浅层（SSRG之前）或深层（SSRG之后）添加单个RL-NL的Rb获得相似的SR结果，并且性能优于Base，这验证了RL-NL的有效性。当单独添加共享源跳过连接（SSC）（Rc）时，性能可以从32.00 dB提高到32.07分贝。主要原因在于共享源跳过连接允许绕过来自LR图像的更丰富的低频信息。当同时使用Ra和Rb（导致Rf）时，性能可以进一步提高。发现更多的RL-NL模块不能获得比我们的方法中的Rf更好的性能，因此我们在我们的方法中应用Rf来平衡性能和效率。二阶信道注意（SOCA）。 从Rd、Re、Rh和Ri的计算结果中也说明了SOCA的作用。具体地说，RD意味着通道注意力基于全局平均池化的一阶特征统计，从而导致一阶通道注意力（FOCA）。Re意味着信道注意力是基于二阶特征统计的，因此导致了我们的二阶信道注意力（SOCA）。可以发现，Rd和Re都比Ra到Rc的方法获得更好的性能，11072表1.不同模块的效果。我们在5中报告了Set5（4×）的最佳PSNR（dB）值。6×105次迭代。基地RaRbRc研发ReRfRgRhRiRL-NL（SSRG之前）RL-NL（SSRG之后）共享源跳过连接（SSC）二阶通道注意（SOCA）✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓32.0032.0432.0632.0732.1232.1632.0832.1032.1432.20HR双三美国有线电视新闻网[2]FSRCNN [3][第14话]PSNR/SSIM17.02/0.710118.39/0.802318.21/0.799418.66/0.8406Urban100（4×）：img 067Urban100（4×）：img 076EDSR [20] DBPN [6] RDN [39] RCAN [38] SAN 21.17/0.9052 20.31/0.8910 20.87/0.902321.29/0.912721.34/0.9081HR双三美国有线电视新闻网[2]FSRCNN [3][第14话]PSNR/SSIM21.59/0.632522.5619/0.731622.0382/0.680722.03/0.6948EDSR [20] DBPN [6] RDN [39] RCAN [38] SAN 23.95/0.7750 23.21/0.7455 24.08/0.780124.30/0.789624.53/0.7925图3. Urban100数据集上4×SR与BI模型的目视比较。 突出显示最佳结果频道关注这表明信道占用在决定性能方面起着更重要的作用。此外，与FOCA相比，无论是否与其他模块（例如，、RL-NL和SSC）。这些观察结果证明了我们的SOCA的优越性。4.3. 双三次降解（BI）为了测试我们的SAN的有效性，我们将我们的SAN与11种最先进的基于CNN的SR方法进行了比较：SR-CNN [1]，FSRCNN [3]，VDSR [12]，LapSRN [14]，Mem-[20]，[22]，[23]，[24]，[25]，[26]，[27]，[28]，[29][39]第38话，与[20，39，38]一样，我们还采用自集成方法来进一步改进我们的SAN，表示为SAN+。表2中报告了各种比例因子的所有定量结果。与其他方法相比在没有自集成的情况下，SAN和RCAN获得了非常相似的结果，并且优于其他方法。这主要是因为它们都采用通道注意力来学习特征的相互依赖性，从而使网络专注于更具信息性的特征。与RCAN相比，我们的SAN获得了更好的结果数据集（例如，，如Set5，Set14和BSD 100），具有丰富的纹 理 信 息 ， 而 对 于 数 据 集 （ 如 ， 、 Urban100 和Manga109）具有丰富的重复边缘信息。众所周知，纹理是高阶模式，具有更复杂的统计特征，而边缘是一阶模式，可以用一阶梯度算子表示。因此，我们基于二阶特征统计的SOCA在具有更多高阶信息的图像上工作得更好（例如，纹理）。视觉质量。我们还在图中显示了各种方法的放大结果。3，从中我们可以看出，大多数比较的超分辨率模型不能准确地重建网格，并且存在严重的模糊伪影。相比之下，我们的SAN获得更清晰的结果，并恢复更多 的 高 频 细 节 ， 如 高 对 比 度 和 尖 锐 的 边 缘 。 以“img076”为例，大多数比较的方法都产生了严重的模糊伪影.早期发展的双三次、SRCNN 、FSRCNN和LapSRN甚至失去了主要结构。较新的方法（例如，、EDSR、DBPN和RDN）可以恢复主要轮廓，但不能恢复更多的图像细节。与地面实况相比，RCAN和11073表2.BI降解模型的定量结果方法Set5产品14BSD100Urban100Manga109PSNR/SSIMPSNR/SSIMPSNR/SSIMPSNR/SSIMPSNR/SSIM双三233.66/.929930.24/.868829.56/.843126.88/.840330.80/.9339SRCNN236.66/.954232.45/.906731.36/.887929.50/.894635.60/.9663FSRCNN237.05/.956032.66/.909031.53/.892029.88/.902036.67/.9710VDSR237.53/.959033.05/.913031.90/.896030.77/.914037.22/.9750LapSRN237.52/.959133.08/.913031.08/.895030.41/.910137.27/.9740蔓梅237.78/.959733.28/.914232.08/.897831.31/.919537.72/.9740EDSR238.11/.960233.92/.919532.32/.901332.93/.935139.10/.9773SRMD237.79/.960133.32/.915932.05/.898531.33/.920438.07/.9761NLRN238.00/.960333.46/.915932.19/.899231.81/.9246−−/−−DBPN238.09/.960033.85/.919032.27/.900032.55/.932438.89/.9775RDN238.24/.961434.01/.921232.34/.901732.89/.935339.18/.9780RCAN238.27/.961434.11/.921632.41/.902633.34/.938439.43/.9786San238.31/.962034.07/.921332.42/.902833.10/.937039.32/.9792San+238.35/.961934.44/.924432.50/.903833.73/.941639.72/.9797双三330.39/.868227.55/.774227.21/.738524.46/.734926.95/.8556SRCNN332.75/.909029.30/.821528.41/.786326.24/.798930.48/.9117FSRCNN333.18/.914029.37/.824028.53/.791026.43/.808031.10/.9210VDSR333.67/.921029.78/.832028.83/.799027.14/.829032.01/.9340LapSRN333.82/.922729.87/.832028.82/.798027.07/.828032.21/.9350蔓梅334.09/.924830.01/.835028.96/.800127.56/.837632.51/.9369EDSR334.65/.92803.52/.846229.25/.809328.80/.865334.17/.9476SRMD334.12/.925430.04/.838228.97/.802527.57/.839833.00/.9403NLRG334.27/.926630.16/.837429.06/.802627.93/.8453−−/−−RDN334.71/.929630.57/.846829.26/.809328.80/.865334.13/.9484RCAN334.74/.929930.64/.848129.32/.811129.08/.870234.43/.9498San334.75/.930030.59/.847629.33/.811228.93/.867134.30/.9494San+334.89/.930630.77/.849829.38/.812129.29/.873034.74/.9512双三428.42/.810426.00/.702725.96/.667523.14/.657724.89/.7866SRCNN430.48/.862827.50/.751326.90/.710124.52/.722127.58/.8555FSRCNN430.72/.866027.61/.755026.98/.715024.62/.728027.90/.8610VDSR431.35/.883028.02/.768027.29/.072625.18/.754028.83/.8870LapSRN431.54/.885028.19/.772027.32/.727025.21/.756029.09/.8900蔓梅431.74/.889328.26/.772327.40/.728125.50/.763029.42/.8942EDSR432.46/.896828.80/.787627.71/.742026.64/.803331.02/.9148SRMD431.96/.892528.35/.778727.49/.733725.68/.773130.09/.9024DBPN432.47/.898028.82/.786027.72/.740026.38/.794630.91/.9137NLRG431.92/.891628.36/.774527.48/.734625.79/.7729−−/−−RDN432.47/.899028.81/.787127.72/.741926.61/.802831.00/.9151RCAN432.62/.900128.86/.788827.76/.743526.82/.808731.21/.9172San432.64/.900328.92/.788827.78/.743626.79/.806831.18/.9169San+432.70/.901329.05/.792127.86/.745727.23/.816931.66/.9222双三824.40/.658023.10/.566023.67/.548020.74/.516021.47/.6500SRCNN825.33/.690023.76/.591024.13/.566021.29/.544022.46/.6950FSRCNN820.13/.552019.75/.482024.21/.568021.32/.538022.39/.6730SCN825.59/.707124.02/.602824.30/.569821.52/.557122.68/.6963VDSR825.93/.724024.26/.614024.49/.583021.70/.571023.16/.7250LapSRN826.15/.738024.35/.620024.54/.586021.81/.581023.39/.7350蔓梅826.16/.741424.38/.619924.58/.584221.89/.582523.56/.7387MSLap826.34/.755824.57/.627324.65/.589522.06/.596323.90/.7564EDSR826.96/.776224.91/.642024.81/.598522.51/.622124.69/.7841DBPN827.21/.784025.13/.648024.88/.601022.73/.631225.14/.7987San827.22/.782925.14/.647624.88/.601122.70/.631424.85/.7906San+827.30/.784925.23/.649324.97/.603122.91/.636925.17/.7964SAN具有较好的恢复效果，恢复的图像细节较多，但恢复的图像更加清晰。这些观察结果验证了SAN的优越性，它具有更强的代表性。虽然由于可用在LR输入中（比例因子>4×），我们的SAN仍然可以通过共享源充分利用有限的LR信息跳过连接，并同时利用空间和通道特征相关性以获得更强大的特征表达式，从而产生更精细的结果。4.4. 具有模糊降尺度降级（BD）在[36，39]之后，我们还比较了具有模糊下降（BD）模型的图像上的各种SR方法。我们表3.BD降解模型的定量结果最佳和次佳结果突出显示并加下划线方法Set5产品14BSD100Urban100Manga109PSNR/SSIMPSNR/SSIMPSNR/SSIMPSNR/SSIMPSNR/SSIM双三328.78/.830826.38/.727126.33/.6918 23.52/.686225.46/.8149SPMSR332.21/.900128.89/.810528.13/.7740 25.84/.785629.64/.9003SRCNN332.05/.894428.80/.807428.13/.7736 25.70/.777029.47/.8924FSRCNN326.23/.812424.44/.710624.86/.6832 22.04/.674523.04/.7927VDSR333.25/.915029.46/.824428.57/.7893 26.61/.813631.06/.9234IRCNN333.38