快速、准确、轻量的超分辨率使用级联残差网络

快速、准确、轻量的超分辨率使用级联残差网络安南赫[0000 - 0003 - 1990 - 9516]、姜秉健[0000 - 0001 - 8541 - 2861]、孙庆亚[0000 -0001 - 8941 - 1188]阿茹大学计算机工程系{aa0dfg，byungkon，kasohn}@ ajou.ac.kr抽象。近年来，深度学习方法已成功应用于单图像超分辨率任务。尽管它们具有很好的性能，但由于需要大量计算，深度学习方法不能容易地应用于现实世界的应用在本文中，我们通过提出一种用于图像超分辨率的精确且轻量级的深度网络来解决这个问题。详细地说，我们设计了一个架构，图上实现了一个级联机制后的残留网络。为了进一步提高效率，我们还提出了级联残差网络的变体模型。 我们广泛的实验表明，即使使用更少的参数和操作，我们的模型也可以达到与最先进的方法相当的性能。关键词：超分辨率，深度卷积神经网络1介绍超分辨率（SR）是一种计算机视觉任务，其从低分辨率（LR）图像重建具体而言，我们关注的是单图像超分辨率（SISR），它使用单个LR图像执行SR由于从LR图像计算HR图像是多对一映射的事实，SISR通常难以实现。尽管有这样的困难，SISR是一个非常活跃的领域，因为它可以提供克服分辨率限制的承诺，并可以用于各种应用，如视频流或监控系统。最近，基于卷积神经网络（基于CNN）的方法在SISR任务中提供了出色的性能[6，20，24]。从具有三个卷积层的SRCNN [6]到具有超过160层的MDSR [26]然而，即使深度学习方法提高了SR图像的质量，它们也不适合现实世界的场景。从这个角度来看，设计轻量级的深度学习模型对于现实世界的应用程序是非常重要的建立精益模型的一个方法是减少2Namhyuk Ahn、Byungkon Kang和Kyung-Ah SohnVDSR（35.00/0.9602）LapSRN（35.67/0.9628）DRRN（35.58/0.9651）CARN（我们的）（38.50/0.9765）图1：与现有方法相比，我们的方法的超分辨率结果。参数。有很多方法可以实现这一点[11，19]，但最简单有效的方法是使用递归网络。例如，DRCN [21]使用递归网络来减少冗余参数，DRRN [35]通过向其添加残差架构来与标准CNN相比，这些模型有效地减少了模型参数的数量，并表现出良好的性能。然而，这些模型有两个缺点：1）在将输入图像馈送到CNN模型之前，它们首先对输入图像进行上采样，2）它们增加网络的深度或宽度，以补偿由于使用递归网络而造成的损失。这些点使模型能够在重建时保持图像的细节，但代价是增加了运算次数和推理时间。大多数旨在建立精益模型的工作主要集中在减少参数的数量上然而，如上所述，操作的数量考虑SR系统在移动终端上运行的情况。然后，从用户体验的角度来看，系统的执行速度也至关重要特别是电池容量，这在很大程度上取决于所执行的计算量，成为一个主要问题。在这方面，减少深度学习架构中的操作数量是一个挑战和必要的步骤，到目前为止在很大程度上被忽视了。另一场景涉及将SR方法应用于视频流服务。对于流媒体的需求已经暴涨，并且因此需要大的存储器来存储大量的多媒体数据。因此，必须在存储之前使用有损压缩技术压缩数据。然后，可以应用SR技术来将数据恢复到原始分辨率。然而，因为等待时间是流服务中最关键的因素，所以解压缩过程（即，超分辨率）必须实时执行。要做到这一点，必须使SR方法在操作数量方面是轻量级的。为了处理这些要求并改进最近的模型，我们提出了级联残差网络（CARN）及其变体CARN-移动（CARN- M）。我们首先建立我们的CARN模型，以提高性能和扩展将其提交给CARN-M，以优化其速度和操作数量。遵循FSRCNN [7]，CARN系列获取LR图像并计算HR利用CARN实现快速、准确和轻量的超分辨率3作为网络的输出。我们模型的中间部分是基于ResNet [13]设计的。ResNet架构已被广泛用于基于深度学习的SR方法[26，35]，因为它易于训练和性能优越。除了ResNet架构之外，CARN还在本地和全局级别使用级联机制来合并来自多个层的功能。这具有反映各种级别的输入表示以便接收更多信息的效果。除了CARN模型之外，我们还提供了CARN-M模型，该模型允许设计人员调整模型的性能和重量之间的权衡。它通过高效的残差块（残差-E）和递归网络架构来实现，我们将在第3节中更详细地描述。综上所述，我们的主要贡献如下：1）我们提出了CARN，一个基于级联模块的神经网络，它在SR任务上实现了高性能（图1）。①的人。我们的级联模块，通过多级表示和多个快捷连接有效地提高了性能。2)我们还提出了CARN-M的有效SR相结合的有效的残差块和递归网络计划。3)我们通过大量的实验表明，我们的模型只使用了少量的操作和参数，以实现有竞争力的结果。我们的CARN-M，这是更轻量级的SR模型，显示出可比的结果与其他少得多的操作。2相关工作自从AlexNet [23]在图像识别任务[5]中取得成功以来，许多深度学习方法已被应用于各种计算机视觉任务[9，27，30，40]。SISR任务就是这样一个任务，我们在第2.1节中概述了基于深度我们在本文中处理的另一个领域是模型压缩。最近的深度学习模型专注于压缩模型参数和操作以用于低功耗计算设备中的应用，这在现实世界的应用中具有许多实际益处我们在第2.2节简要回顾2.1基于深度学习的图像超分辨率最近，基于深度学习的模型在SISR任务中显示出显着的改进。Dong等人[6]首先提出了一种基于深度学习的SR方法SRCNN，它优于传统算法。然而，SRCNN与其深度相比具有大量的操作，因为网络将上采样图像作为输入。采用与SRCNN不同的方法，FSRCNN [7]和ESPCN[33]在网络的末端对图像进行上采样。通过这样做，与SRCNN相比，它导致操作数量的减少然而，如果在上采样过程之后没有足够的层，则整体性能可能降级。此外，它们不能管理多尺度训练，因为输入图像大小对于每个上采样尺度都不同。尽管事实上深度学习的力量来自于深层，但由于难度大，前述方法已经解决了浅层4Namhyuk Ahn、Byungkon Kang和Kyung-Ah Sohn(a) 纯ResNet(b) 级联残差网络图图2：纯ResNet（顶部）和拟议的CARN（底部）的网络架构。两个模型都被赋予LR图像，并在网络的末端上采样到HR。在CARN模型中，每个残差块被改变为级联块。蓝色箭头表示全局级联连接。在训练中为了更好地利用深度学习模型的深度，Kim et al. [20]提出了VDSR，其使用残差学习将LR图像x映射到其残差图像r。然后，VDSR通过将残差加回到原始图像中来产生SR图像y，即，y = x + r。另一方面，LapSRN [24]使用拉普拉斯金字塔架构来逐渐增加图像大小。通过这样做，与VDSR相比，LapSRN在极低分辨率的情况下有效地执行SR，操作次数更少。基于深度学习的SR的另一个问题是如何减少参数和操作。例如，DRCN [21]使用递归网络通过参与少量参数的冗余使用来减少参数。DRRN [35]通过结合递归和残差网络方案来改进DRCN，以使用更少的参数实现更好的性能然而，DRCN和DRRN使用非常深的网络来补偿性能损失，因此这些需要大量的计算资源。因此，我们的目标是建立一个模型，是轻量级的大小和计算。我们将在下一节中简要讨论以前解决此类模型效率问题的工作2.2高效神经网络人们对构建小型高效的神经网络的兴趣越来越大[11，16，19]。这些方法可分为两组：1）压缩预训练的网络，2）设计小而有效的模型。Han等人。[11]提出了深度压缩技术，包括修剪，矢量量化和压缩。X2X3X4X2X3X4ConvConv残余块级联块残余块1x1转换级联块1x1转换残余块级联块ConvShu e x21x1转换ConvShuffle x2ConvShuffle x2ConvShuffle x2ConvShu e x2ConvShuffle x3ConvShuffle x2ConvShuffle x3ConvConv利用CARN实现快速、准确和轻量的超分辨率5ReLU输入输出⊕×ReLUConvReLUConv输出输入组转换ReLU1x1转换输入残差（-E）1x 1转换输出输入残差（-E）1x 1转换共享输出（a）残差块（b）残差-E块（c）级联块（d）递归块图3：（a）残差块、（b）高效残差块（残差-E）、（c）级联块和（d）递归级联块的简化结构。（a）和（b）中的运算是用于残差学习的逐元素加法。zation 和 Huffman 编 码 以 减 小 预 训 练 网 络 的 大 小 在 后 一 类 中 ，SqueezeNet [19]构建了一个基于AlexNet的架构，并在少了50个参数的情况下实现了相当的性能水平 MobileNet [16]通过应用Sifre等人引入的深度可分离卷积来构建有效的网络。[34]。由于这种简单性，我们还将这种技术应用于残差块，并进行了一些修改，以实现精益神经网络。3该方法如第1节所述，我们提出了两个主要模型：CARN和CARN-M。CARN被设计为高性能SR模型，同时与最先进的方法相比，抑制了操作的数量。基于CARN，我们设计了CARN-M，这是一个更有效的SR模型的参数和操作。3.1级联残差网络我们的CARN模型基于ResNet [14]。CARN和ResNet之间的主要区别图2（b）以图形方式描绘了全局级联如何发生。中间层的输出被级联到更高层中，并且最终会聚在单个1x1卷积层上。注意，中间层被实现为级联块，其托管本地级联连接本身。这种局部级联操作如图2（c）和（d）所示局部级联几乎与全局级联相同，除了单元块是普通的残差块。为了形式化地表达实现，设f是卷积函数，τ是激活函数。然后，我们可以定义第i个残差块Ri，其6Namhyuk Ahn、Byungkon Kang和Kyung-Ah SohnRRCRRC当地L当地B×有两个卷积，然后是剩余加法，如R（Hi−1; Wi）= τ（f（τ（f（Hi−1; Wi，1））; Wi，2）+Hi−1）。（一）iRR R这里，H1是第i个残差块W1的输出是的参数集Wi，j是第i个块中的第j使用此符号，我们将ResNet的最终残差块的输出特征表示为Hu，其成为上采样块的输入。Hu=Ru ... . . R1. f（X;W）;W1ΣΣ. . . ;WuΣ.（二）注意，因为我们的模型在每个残差块之前具有单个卷积层，所以第一残差块获得f（X; Wc）作为输入，其中Wc是卷积层的参数。与ResNet相比，我们的CARN模型具有图1的块（c）中所示的局部级联块。3而不是普通残差块。在这里，我们将Bi，j表示为第i个级联块中的第j个残差块的输出，将Wi表示为第i个局部级联块的参数集然后，第i个局部级联块Bi被定义为i本地. Hi−1;WiΣ≡Bi，U，（3）当存在B1时，从B1中定义出U1，U1Bi，0=Hi−1Bi，u= f。B1，B1，0，. . . ，Bi，u−1，Ru. Bi，u−1;W uΣΣ;W i，uΣf或u= 1，. . . 、U.R c最后，我们可以通过结合局部和全局级联来定义最终级联块Hb这里，H0是第一卷积层的输出。对于我们的CARN和CARN-M，我们固定u=b= 3H0=f（X;Wc）Hb=f。ΣH0，. . . ，H b−1，Bu. H b−1;W b）]Σf或b=1，. . . 、B.（四）CARN和ResNet之间的主要区别在于级联机制。如图在图2中，CARN具有表示为蓝色箭头的全局级联连接本地和全局级别上的CAS-CADing具有两个优点：1）该模型结合了来自多个层的特征，这允许学习多级表示。2）多级级联连接表现为将信息从较低层快速传播到较高层（并且在反向传播的情况下，反之亦然）的多级快捷连接CARN采用了[25，28]中的多级表示方案，但我们将这种安排应用于各种特征级别以提高性能，如等式4所示通过这样做，我们的模型重建LR图像的基础上，多层次的功能。这有助于模型同时恢复图像的细节和上下文。因此，我们的模型不仅有效地改善了原始对象，而且还改善了复杂对象。B利用CARN实现快速、准确和轻量的超分辨率7××···· ·F×采用级联方案的另一个原因有两个：首先，信息的传播遵循多个路径[17，32]。其次，通过添加额外的卷积层，我们的模型可以学习使用给定的输入信息流选择正确的路径。然而，当我们只使用局部或全局级联中的一个时，多个快捷方式的强度降低，特别是局部连接。我们在第4.4节详细阐述了级联机制的影响，并提出了一个案例研究。3.2高效级联残差网络为了提高CARN的效率，我们提出了一个有效的残差（残差-E）块。我们使用与MobileNet [16]类似的方法，但使用组卷积而不是深度卷积。我们的残差-E块由两个33群和一个逐点卷积组成，如图所示。3（b）款。使用组卷积优于dependency卷积的优点是它使模型的效率可调。用户可以适当地选择组大小，因为组大小和性能处于折衷关系中使用剩余E块的成本效率分析如下。设K为内核大小，Cin，Cout为输入和输出通道的数量。因为我们通过填充保留了输入和输出的特征分辨率，所以我们可以将F表示为输入和输出特征大小。然后，普通残差块的成本为2（K K CinC位出道FF）。注意，我们仅对卷积层的成本进行计数，并且忽略加法或激活，因为普通残差块和有效残差块在加法和激活方面具有相同的成本量。设G为组大小。然后，由两个群卷积和一个逐点卷积组成的残差E块的成本如等式5中给出.2 ×K·K·CinΣC位出道·G·F·F+C在· C位出道·F·F（5）通过将普通残差块改变为我们的高效残差块，我们可以将计算量减少.2×K·K·CinC位出道·G··ΣF+Cin· C位出道· F· F1 1=+.（六）2×（K·K·C输入·C输出·F·F）G2K2由于我们的模型使用的所有组卷积的大小为3 - 3的内核，和通道的数量是恒定的64，使用一个有效的残差块，而不是一个标准的残差块可以减少计算从1.8到14倍，这取决于组的大小。为了找到性能和计算之间的最佳平衡，我们在第4.4节中进行了广泛的案例研究。为了进一步减少参数，我们应用了一种类似于递归网络所使用的技术。也就是说，我们使级联块的参数共享，有效地使块递归。图3（d）显示了应用递归方案后的这种方法将参数减少到原来的三倍。8Namhyuk Ahn、Byungkon Kang和Kyung-Ah Sohn××××3.3与最新型号的比较与SRDenseNet比较。SRDenseNet [37]使用密集块和跳过连接。与我们的模型的区别是：1）我们使用全局级联，这比跳过连接更通用。在SRDenseNet中，所有级别的特征都在最终密集块的末尾组合，但我们的全局级联方案连接所有块，表现为多级跳过连接。2）SRDenseNet通过级联操作保留密集块的局部信息使用附加的11个卷积层导致更高的表示能力。与MemNet比较。MemNet [36]和我们的动机是相似的。然而，与我们的机制有两个主要区别。1)在MemNet的存储器块内部，每个递归单元的输出特征在网络的末端连接，然后与11卷积融合另一方面，我们在局部块中的每个可能的点处融合特征，这可以通过额外的卷积层和非线性来提高表示能力。一般来说，由于训练的难度，然而，我们克服了这个问题，同时使用本地和全球级联机制。我们将在第4.4节讨论细节2）MemNet采用上采样图像作为输入，因此多重相加的数量比我们的大。我们模型的输入是LR图像，我们在网络的末端对其进行上采样，以实现计算效率。4实验结果4.1数据集单图像超分辨率数据集有很多种，但应用最广泛的是Yang等人的291图像集[39]和伯克利分割数据集[2]。然而，由于这两个数据集没有足够的图像来训练深度神经网络，因此我们额外使用了DIV2K数据集[1]。DIV2K数据集是一个新提出的高质量图像数据集，由800张训练图像、100张验证图像和100张测试图像组成。由于该数据集的丰富性，最近的SR模型[4，8，26，31]也使用DIV2K我们使用标准基准数据集，如Set5 [3]，Set14 [39]，B100 [29]和Urban100 [18]进行测试和基准测试。4.2实施和培训详情我们使用的RGB输入补丁的大小为64 - 64从LR图像进行训练。我们随机采样LR补丁，并通过随机水平翻转和90度旋转来增强它们我们使用ADAM优化器[22]通过设置β1= 0来训练模型。9，β2= 0。999，= 10 −8，步长为6×105。minibatch大小是64，学习率从10−4开始，每4× 105步减半。所有权重和偏置由θU（−k，k）初始化，其中k= 1/√c其中，c_in是输入特征图的通道数。利用CARN实现快速、准确和轻量的超分辨率9××× ××××29.2529.0028.7528.5028.2528.0027.7527.501210 103 410 10多次添加（G）图4：性能与Set14 4数据集上的操作和参数数量X轴和y轴表示Multi-Add和PSNR，并且圆的大小表示参数的数量。通过假设HR图像的分辨率为720 p来计算Mult-Add。最著名和有效的权重初始化方法由Glorot等人给出。[10]和He etal.[12]第10段。然而，这样的初始化例程倾向于将我们的多个窄11卷积层的权重设置得非常高，从而导致不稳定的训练。因此，我们从均匀分布中采样初始值以减轻初始化问题。为了以多尺度的方式训练我们的模型，我们首先将缩放因子设置为以下之一2,3和4因为我们的模型只能处理单一尺度对于每个批次。然后，如上所述，我们构造并论证我们的输入批。我们使用L1损失作为我们的损失函数，而不是L2。L2损失由于其与峰值信噪比（PSNR）的关系而被广泛用于图像恢复任务中。然而，在我们的实验中，L1提供了更好的收敛性和性能。L1损失的缺点是收敛速度比没有残留块的L2的收敛速度相对较慢然而，这个缺点可以通过使用ResNet风格的模型来缓解。4.3与最先进方法的我们将所提出的CARN和CARN-M与最先进的SR方法在两个常用的图像质量指标上进行比较：PSNR和结构相似性指数（SSIM）[38]。这里需要注意的一点是，我们用Mult-Add表示操作的数量。Mult-Adds是单个图像的复合乘法-累加运算的数量。我们假设HR图像大小为720 p（1280 × 720）以计算Multi-Add。在图4中，我们将我们的CARN家族与各种基准算法在Mult-Add和Set 14 4数据集上的参数数量方面进行比较。在这里，我们的CARN模型优于所有参数少于500万的最先进模型。特别是，CARN具有与DRCN [21]，SelNet [4]和SRDenseNet [37]相似的参数数量，但我们优于所有三个模型。SelNet（CVPRW17）MLapSRN（CVPR17）BTSRN（CVPRW17）CNF（CVPRW17）VDSRDRCN（CVPR16）CCV14）SRCNN（ECCV16）FSRCNN（EemNet（ICCV17）DRRN（CVPR17）enseNet（ICCV17）SRDCARN-M（我们的））CARN（我们的50K 300K 700K1500K5000K参数数量SR（CVPRW17）MD10Namhyuk Ahn、Byungkon Kang和Kyung-Ah Sohn×MDSR [26]实现了比我们更好的性能，这并不奇怪，因为MDSR具有8M个参数，这些参数几乎是我们的参数的六倍。CARN-M模型也优于大多数基准方法，并显示出与重型模型相当的结果。此外，我们的模型在计算成本方面是最有效的：CARN使用90.9GMult-Adds显示了第二好的结果，与SelNet [4]相当。这种效率主要来自许多最近模型[7，24，37]使用的后期上采样方法此外，我们的新的级联机制相比，具有相同的方式的模型表现出更高的性能。例如，使用几乎相同的计算资源，CARN以0.11PSNR的裕度优于SelNet。此外，CARN-M模型获得了与计算昂贵的模型可比较的结果，同时仅需要相对于SRCNN的类似数量的操作。表1还示出了在基准数据集上的性能的定量比较。请注意，MDSR被排除在此表之外，因为我们只比较与我们的参数数量大致相似的模型; MDSR的参数集的大小是第二大模型的四倍。我们的CARN在许多基准数据集上超过了所有以前的方法CARN-M模型使用非常少的操作实现了可比较的结果我们还想强调的是，尽管CARN-M比SRCNN或DRRN有更多的参数，但在现实世界的场景中是可以容忍的。SRCNN和CARN-M的大小分别为200 KB和1.6MB，在最近的移动设备上都为了使我们的模型更加轻量级，我们应用了多尺度学习方法。使用多尺度学习的好处是它可以使用单个训练模型处理多个尺度。这有助于我们在移动设备上部署SR应用程序时减轻沉重的模型大小负担;CARN（-M）只需要多个尺度的单个固定模型，而即使是最先进的算法也需要为每个支持的尺度训练单独的模型。这个属性非常适合于现实世界的产品，因为应用程序的大小对我们的模型使用多尺度学习增加了参数的数量，因为网络必须包含可能的上采样层。另一方面，即使执行多尺度学习，VDSR和DRRN也不需要这种额外的负担，因为它们在处理图像之前对图像进行上采样。图6，我们直观地展示了四个尺度的三个数据集（Set14，B100和Urban100）的定性比较可以看出，我们的模型比其他模型工作得更好，不仅可以准确地重建条纹和线条图案，还可以重建手和路灯等复杂物体。4.4模型分析为了进一步研究所提出的方法的性能行为，我们通过消融研究分析我们的模型。首先，我们展示了本地和全球级联模块如何影响CARN的性能接下来，我们将分析性能与参数和操作。利用CARN实现快速、准确和轻量的超分辨率11×表1：基于深度学习的SR算法的定量结果。红色/蓝色文本：最佳/次佳。缩放模型参数MultAddsSet5 Set14 B100 Urban100PSNR/SSIM PSNR/SSIM PSNR/SSIM PSNR/SSIMSRCNN [6]57K个52.7G 36.66/0.9542 32.42/0.9063 31.36/0.8879 29.50/0.8946FSRCNN [7]12K6.0G 37.00/0.9558 32.63/0.9088 31.53/0.8920 29.88/0.9020VDSR [20]665K612.6G 37.53/0.9587 33.03/0.9124 31.90/0.8960 30.76/0.91402DRCN [21]CNF [31][24]第二十四话DRRN [35]1，774K337K型813K二十九万七千9，788.7G 37.63/0.9588 33.04/0.911831.85/0.8942311.0G 37.66/0.9590 33.38/0.9136 31.91/0.896229.9G 37.52/0.9590 33.08/0.9130 31.80/0.89506，796.9G 37.74/0.9591 33.23/0.913632.05/0.897330.75/0.9133-30.41/0.910031.23/0.9188BTSRN [8]410K207.7G 37.75/-33.20/-32.05/-31.63/-MemNet [36]SelNet [4]CARN（我们的）677K974K1，592K623.9G37.78/0.959733.28/0.914232.08/0.8978225.7G37.89/0.9598 33.61/0.9160 32.08/0.8984222.8G 37.76/0.959033.52/0.9166 32.09/0.897831.31/0.9195-31.51/0.9312CARN-M（我们的）412K91.2G 37.53/0.9583 33.26/0.9141 31.92/0.8960 30.83/0.9233SRCNN [6]57K个52.7G 32.75/0.9090 29.28/0.8209 28.41/0.7863 26.24/0.7989FSRCNN [7]12K5.0G 33.16/0.9140 29.43/0.8242 28.53/0.7910 26.43/0.8080VDSR [20]665K612.6G 33.66/0.9213 29.77/0.8314 28.82/0.7976 27.14/0.82793DRCN [21]CNF [31]DRRN [35]1，774K337K型二十九万七千9，788.7G 33.82/0.9226 29.76/0.831128.80/0.7963311.0G 33.74/0.9226 29.90/0.8322 28.82/0.79806，796.9G 34.03/0.9244 29.96/0.834928.95/0.800427.15/0.8276-27.53/0.8378BTSRN [8]410K176.2G 34.03/-29.90/-28.97/-27.75/-MemNet [36]SelNet [4]CARN（我们的）677K1，159K1，592K623.9G 34.09/0.9248 30.00/0.8350 28.96/0.8001120.0G34.27/0.9257 30.30/0.8399 28.97/0.8025118.8G34.29/0.9255 30.29/0.8407 29.06/0.803427.56/0.8376-0.8404CARN-M（我们的）412K46.1G 33.99/0.9236 30.08/0.8367 28.91/0.8000 26.86/0.8263SRCNN [6]57K个52.7G 30.48/0.8628 27.49/0.7503 26.90/0.7101 24.52/0.7221FSRCNN [7]12K4.6G 30.71/0.8657 27.59/0.7535 26.98/0.7150 24.62/0.7280VDSR [20]665K612.6G 31.35/0.8838 28.01/0.7674 27.29/0.7251 25.18/0.7524DRCN [21]CNF [31][24]第二十四话1，774K337K型813K9，788.7G 31.53/0.8854 28.02/0.767027.23/0.7233311.0G 31.55/0.8856 28.15/0.7680 27.32/0.7253149.4G 31.54/0.8850 28.19/0.7720 27.32/0.728025.14/0.7510-25.21/0.75604DRRN [35]二十九万七千6，796.9G 31.68/0.8888 28.21/0.772027.38/0.728425.44/0.7638BTSRN [8]410K165.2G 31.85/-28.20/-27.47/-25.74/-MemNet [36]SelNet [4]SRDenseNet [37]677K1，417K2，015K623.9G 31.74/0.8893 28.26/0.7723 27.40/0.728183.1G 32.00/0.8931 28.49/0.778327.44/0.7325389.9G32.02/0.8934 28.50/0.778227.53/0.733725.50/0.7630-26.05/0.7819CARN（我们的）1，592K90.9G32.13/0.8937 28.60/0.7806 27.58/0.7349 26.07/0.7837CARN-M（我们的）412K32.5G 31.92/0.8903 28.42/0.7762 27.44/0.7304 25.63/0.7688级联模块。表2显示了对局部和全局级联模块影响的消融研究。在该表 中 ， 基 线 是ResNet， CARN-NL是 没 有 局 部 级 联 的CARN ， 并 且CARN-NG是没有全局级联的CARN。网络拓扑都是相同的，但是由于11个卷积层，参数的总数增加了高达10%。我们看到，仅具有全局级联的模型（CARN-NL）显示出比基线更好的性能，因为全局级联机制有效地将中到高电平频率信号从浅层携带到深层。此外，通过在上采样层之前收集所有特征，模型可以更好地利用多级表示。通过结合多级表示，CARN模型在重建图像时可以考虑来自许多不同感受野的各种信息12Namhyuk Ahn、Byungkon Kang和Kyung-Ah Sohn×××表2：在Set14_4数据集上测量的全局和局部级联模块的效果CARN-NL表示没有本地级联的CARN，并且CARN-NL表示没有本地级联的CARN。NG，无全局级联。CARN是我们的最终模型。基线CARN-NL康吴Carn局部级联全局级联✦✦✦✦#参数。1，444K1，481 K1，555K1，592KPSNR28.4328.4528.4228.52令人惊讶的是，仅使用本地级联块（CARN-NG）会损害性能。如He et al.[15]中，诸如快捷连接上的11卷积的乘法操作可能妨碍信息传播，并且因此导致优化期间的复杂性类似地，CARN-NG的局部级联块中的级联连接表现为残差块内的快捷连接因为这些连接由关联和11卷积组成也就是说，多级表示的优点限于每个局部级联块的内部。因此，由于级联连接中乘法操作的数量增加，使用级联连接似乎没有益处然而，CARN使用本地和全局级联级别，并优于所有三个模型。这是因为全局级联机制缓解了CARN-NG所面临的信息传播问题。详细地说，信息通过全局级联进行全局传播，并且局部级联块中的信息流与通过全局连接的信息流融合通过这样做，信息通过多个快捷方式传输换句话说，多级表示的优点被全局级联连接利用，这有助于信息传播到更高层。效率权衡。图5描绘了PSNR与PSNR的折衷研究。参数，以及PSNR与与高效残差块和递归网络相关的操作。在这个实验中，我们评估所有可能的组大小的有效的残差块的递归和非递归的情况下。在这两个图中，蓝线表示不使用递归方案的模型，橙色线表示使用递归级联块的模型。尽管所有有效模型的性能都比CARN差，这表明28.70的峰值信噪比，参数和操作的数量显着减少。例如，G64在参数和操作方面都减少了五倍。然而，与Howard et al.[16]，性能的下降在我们的情况下更为明显。接下来，我们观察使用递归方案的情况如示于图在图5 b中，Mult-Add没有变化，但是性能恶化，这导致了利用CARN实现快速、准确和轻量的超分辨率13G2G2rG4G4RG8G16G16RG32G32RG64G64RGConv递归GConvG4G2G8G2rG4RG16G8RG32G64G16RG32RG64RGConv递归GConv×二十八点半二十八点半28.25 28.2528.2028.1528.1028.05200 300 400 500600参数（千）1，500 2，000 2，5003，000多次添加（百万）28.2028.1528.1028.05(a)（b）操作的折衷-PSNR图5：使用有效残差块和递归网络在PSNR与参数（左）和PSNR与操作（右）。我们评估Set14上的所有型号，具有4个刻度。GConv表示组卷积的组大小，R表示具有递归网络方案的模型（即，G4R表示具有递归级联块的组四）。考虑到递归方案中的参数数量减少，这似乎是合理的。另一方面，图5a表明使用递归方案使得模型以较少的参数获得更好的性能。基于这些观察，我们决定在有效的残差块中选择组大小为4通过这样做，与CARN相比， CARN-M将参数数量减少了五倍，操作数量5结论在这项工作中，我们提出了一种新的级联网络架构，可以执行SISR准确和有效的。我们的架构背后的主要思想是从每个中间层到其他层添加多个级联连接。这样的连接是在本地（块明智的）和全球（层明智的）的水平，这使得信息和梯度的有效流动。我们的实验表明，采用这两种类型的连接大大优于那些只使用一个或根本没有。我们希望通过将我们的技术应用于视频数据来进一步发展这项工作许多流媒体服务需要大量存储来提供高质量的视频。结合我们的方法，可以设计存储低质量视频的服务，该低质量视频通过我们的SR系统以在运行中产生高质量视频谢谢。这项研究得到了韩国教育部资助的韩国国家研究基金会（NRF）的支持：NRF-2016 R1 D1 A1 B 03933875（K.A. Sohn）和NRF-2016 R1 A6 A3 A11932796（B.康）。14Namhyuk Ahn、Byungkon Kang和Kyung-Ah SohnHR双三SRCNNVDSR(PSNR/SSIM）（21.69/0.5837）（22.70/0.6661）（23.01/0.6925）漫画Set14LapSRN（23.02/0.6956）DRRN（23.11/0.7019）CARN（23.46/0.7254）CARN-M（23.31/0.7142）HR双三SRCNNVDSR(PSNR/SSIM）（22.50/0.5166）（23.28/0.5833）（23.49/0.6002）148089来自B100LapSRN（23.44/0.5964）DRRN（23.41/0.6003）CARN（23.92/0.6282）CARN-M（23.74/0.6164）HR双三SRCNNVDSR(PSNR/SSIM）（21.42/0.4797）（22.33/0.5450）（22.62/0.5647）图像来源：Urban100LapSRN（22.64/0.5643）DRRN（22.73/0.5705）CARN（23.08/0.5856）CARN-M（22.88/0.5759）HR双三SRCNNVDSR(PSNR/SSIM）（16.98/0.7041）（18.33/0.7967）（18.54/0.8264）图像来源：Urban100LapSRN（18.60/0.8358）DRRN（18.76/0.8413）CARN（19.38/0.8712）CARN-M（19.07/0.8569）图6：×4尺度数据集的视觉定性比较利用CARN实现快速、准确和轻量的超分辨率15引用1. Agustsson，E.，Timofte，R.：Ntire 2017挑战单幅图像超分辨率：数据集和研究。在：计算机视觉和模式识别会议（CVPR）研讨会论文集（2017）2. Arbelaez，P.，Maire，M.，福克斯角Malik，J.：轮廓检测与分层图像分割。IEEE transactions on pattern analysis and machineintelligence33（5），8983. Bevilacqua，M.，Roumy，A.，Guillemot角Alberi-Morel，M.：基于非负邻域嵌入的低复杂度单幅图像超分辨率。在：英国机器视觉会议（BMVC）（2012年）上的4. Choi，J.S.，Kim，M.：具有选择单元的深度卷积神经网络用于超分辨率。在：计算机视觉和模式识别会议（CVPR）研讨会论文集（2017）5. Deng，J.，Dong，W.，索赫尔河Li，L.J.，Li，K.，李菲菲：Imagenet：一个大规模的分层图像数据库。计算机视觉和模式识别会议（CVPR）（2009年）6. 董，C.，Loy，C.C.，他，K.，唐X：学习用于图像超分辨率的深度卷积网络。在：欧洲计算机视觉会议（ECCV）（2014年）7. 董，C.，Loy，C.C.，唐X：加速超分辨率卷积神经网络。在：欧洲计算机视觉会议（ECCV）（2016年）8. 范，Y.，施，H.，余，J.，Liu，D.，中国科学院，汉，W.，余，H.，王志，王，X.，Huang，T.S.：用于图像超分辨率的平衡两级残差网络在：计算机视觉和模式识别