没有合适的资源?快使用搜索试试~ 我知道了~
基于多尺度残差网络的图像超分辨率李俊成1[0000- 0001- 7314- 6754]、方发明 1[0000- 0003- 4511- 4813]、梅康福2[0000- 0001- 8949- 9597]、张贵旭 1[0000- 0003- 4720- 6607]1多维信息处理上海市重点实验室,华东师范大学计算机科学技术系中国上海cvjunchengli@gmail.com,{fmfang,gxzhang}@ cs.ecnu.edu.cn2江西师范大学计算机科学与信息工程学院中国南昌大学meikangfu@jxnu.edu.cn抽象的。 最近的研究表明,深度神经网络可以显著提高单图像超分辨率的质量。 目前的研究倾向于使用更深的卷积神经网络来提高性能。然而,盲目地增加网络的深度并不能有效地改善网络。更糟糕的是,随着网络深度的增加,训练过程中出现的问题越来越多,需要更多的训练技巧在本文中,我们提出了一种新的多尺度残差网络(MSRN),以充分利用图像的功能,它优于大多数国家的最先进的方法。在残差块的基础上,引入不同大小的卷积核,自适应地检测不同尺度下的图像特征同时,我们让这些特征相互作用,以获得最有效的图像信息,我们称这种结构为多尺度残差块(MSRB)。此外,每个MSRB的输出被用作全局特征融合的层次特征最后,所有这些特征被发送到重建模块,用于恢复高质量的图像。关键词:超分辨率·卷积神经网络·多尺度残差网络1介绍图像超分辨率,特别是单图像超分辨率,越来越受到学术界和工业界的关注。SISR目标从低分辨率(LR)图像重建高分辨率(HR)图像,这是一个不适定问题,因为LR和HR之间的映射具有多个解。因此,学习方法被广泛用于通过应用大型图像数据集来学习从LR到HR图像的映射。目前,卷积神经网络(CNN)已经表明它们可以在SISR问题中提供卓越的性能。2014年,Dong等人提出了一个称为SRCNN的SISR问题模型[1],这是第一个2Juncheng Li et al.将CNN应用于SR问题的成功模型。SRCNN是一个高效的网络,可以学习LR和HR图像之间的一种端到端映射,而不需要任何工程功能,并达到了当时最满意的性能。从那时起,许多研究都集中在建造更有效的网络来学习LR和HR图像之间的映射,提出了一系列基于CNN的SISR模型[2EDSR[9]是NTIRE2017 SR挑战赛的冠军。它基于SRResNet[8],同时通过删除归一化层以及使用更深更宽的网络结构来增强网络。这些模型在SISR问题中的峰值信噪比(PSNR)和结构相似性指数(SSIM [10])方面表现出色。然而,所有这些模型都倾向于构建更深、更复杂的网络结构,这意味着训练,使用这些模型会消耗更多的资源、时间和技巧。在这项工作中,我们重建了一些经典的SR模型,如SRCNN [1],EDSR[9]和SRResNet [8]。在重建实验中,我们发现大多数现有的SR模型存在以下问题:(a) 难以复制:实验结果表明,大多数SR模型对网络结构的细微变化都很敏感,有些SR模型由于缺乏网络结构而难以达到原论文的水平。同样,同一个模型通过不同的训练技巧,如权值初始化、梯度截断、数据归一化等,可以获得不同的性能,这意味着性能的提高可能不是由于模型结构的改变,而是由于使用了一些未知的训练技巧。(b) 特征利用不足:大多数方法盲目地增加网络的深度以提高网络的性能,而忽略了对LR图像特征的充分利用随着网络深度的如何充分利用这些特征对网络重建高质量图像至关重要。(c) 可扩展性差:使用预处理的LR图像作为输入将增加计算复杂性并产生可见伪影。因此,近年来的研究更多地关注于直接放大LR图像.因此,很难找到一个简单的SR模型,可以适应任何升级因素,或可以迁移到任何升级因素,只有轻微的调整网络架构。为 了 解 决 上 述 问 题 , 我 们 提 出 了 一 种 新 的 多 尺 度 残 差 网 络(MSRN)的SISR。此外,提出了一种多尺度残差块(MSRB)作为MSRN的构建模块。首先,我们使用MSRB在不同尺度上获取图像特征,这被认为是局部多尺度特征。其次,将各MSRB的输出进行全局特征融合。最后,将局部多尺度特征与全局特征相结合,最大限度地利用了LR图像的特征,彻底解决了特征在传输过程中消失的问题。此外,我们还引入了一个1×1核的卷积层作为瓶颈层,基于多尺度残差网络的图像超分辨率3得到全局特征融合。此外,我们利用了一个精心设计的重建结构,简单而有效,可以很容易地迁移到任何放大因子。我们在DIV2K [11]数据集上训练我们的模型,而没有特殊的权重初始化方法或其他训练技巧。我们的基础模型在基准测试数据集上显示出优于大多数最先进方法的性能。此外,通过增加M- SRB的数量或训练图像的大小,该模型可以获得更具竞争力的结果更令人兴奋的是,我们的MSRB模块可以移植到其他恢复模型的特征提取。本文的贡献如下:– 与 以 往 的 工 作 不 同 , 我 们 提 出 了 一 种 新 的 多 尺 度 残 差 块(MSRB),它不仅可以自适应地检测图像的特征,但也实现了在不同的尺度上的特征融合。这是第一个多尺度模型,因为在这个residual结构上。更重 要 的 是 , 它 是 因 为 你 不 能 超 越 现 有 的 模块。– 我们将我们的工作扩展到计算机视觉任务,结果超过了没有深层网络结构的SISR中最先进的方法。此外,MSRB还可以用于其他恢复任务中的特征提取,并显示出良好的效果。– 我们提出了一个简单的架构分层特征融合(HFFS)和图像重建。它可以很容易地扩展到任何放大因子。2相关作品2.1单幅图像超分辨率SISR问题大致可以分为三个主要阶段。早期的方法使用基于采样理论的插值技术,如线性或双三次。这些方法运算速度快,但不能重建出细节丰富、逼真的纹理。改进的工作旨在建立LR和HR图像之间的复杂映射函数这些方法依赖于从邻居嵌入到稀疏编码的技术。最近的工作倾向于建立一个端到端的CNN模型,通过使用大型训练数据集来学习从LR到HR图像的自从Dong et al.提出了SRCNN [1]模型,各种CNN架构已被用于SISR问题。以前的工作通常使用预处理的LR图像作为输入,通过双三次上采样算子将其上尺度到HR空间然而,这种方法已被证明[2],它会增加计算复杂性,并产生可见的伪影。为了避免这种情况,提出了新的方法,例如快速超分辨率卷积神经网络(FSRCNN [3])和高效子像素卷积网络(ESPCN [2])。上述所有模型都是浅网络(少于5层)。Kim等人[12]首先介绍了用于训练更深网络(20层)的残差架构,并取得了很好的性能。在此之后,人们提出了许多SR模型,包括DRCN [5],DRNN [7],LapSRN [6],SRResNet [8]和EDSR [9]。不幸的是,这些模型变得越来越深,并且非常难以训练。4Juncheng Li et al.(a) 剩余块(b)密集块(c)初始块Fig. 1.特征图可视化。分别表示残差块、密集块和MSRB的输出2.2特征提取块现在,已经提出了许多特征提取块。Inception Block的主要思想[13](图1)。1. (c))是找出最佳局部稀疏结构如何然而,这些不同的尺度特征简单地连接在一起,这导致局部特征的利用不足。2016年,Kim等人[12]提出了一个残差学习框架(图1)。(a))以简化网络的训练,从而使它们能够实现更具竞争力的结果。之后,Huang等人引入了致密块(图1)。(b))。残差块和密集块使用单一大小的卷积核,并且密集块的计算复杂度以更高的增长率增加。为了解决这些缺点,我们提出了一种多尺度残差块。基于残差结构,我们引入了不同大小的卷积核,设计用于自适应地检测图像在不同尺度上的特征同时,在不同尺度的特征之间采用跳跃连接,实现了特征信息的共享和重用。 这有助于充分利用图像的局部特征。此外,块末尾的1×1卷积层可以用作瓶颈层,这有助于特征融合并降低计算复杂度。我们将在第3.1节中给出更详细的描述。3该方法在这项工作中,我们的目的是从低分辨率图像LR重建超分辨率图像SR。ILR是IHR的低分辨率版本,通过双三次运算获得。我们将图像转换为YCbCr颜色空间,并仅在Y通道上进行训练。对于具有C个颜色通道的图像,我们用大小为W×H×C的张量描述ILR,并用rW×rH×C表示IHR,ISR,其中C= 1,表示Y通道,r表示放大因子。我们的最终目标是学习一个端到端的映射函数F,ILR和IHR。 给定一个训练数据集。我说,我说,我们解决了i ii=1基于多尺度残差网络的图像超分辨率51图2. 我们提出的模型的完整架构网络分为特征提取和重构,不同颜色的方块代表不同的操作,图片右上方给出了具体的描述。以下问题:θ=arg min 1000NLSR(Fθ(ILR),IHR),(1)θNii=1其中θ={W1,W2,W3. Wm,b1,b2,b3. bm},并不需要对多层神经网络的数据结构进行分析。LSR是用于最小化差异的损失函数在SR和HR之间。最近,研究人员还致力于寻找一种优越的损失我我功能,以提高网络性能。使用最广泛的图像ob-目标优化函数是MSE函数和L2函数。虽然这些方法可以获得高的PSNR/SSIM,MSE优化和L2优化问题的解决方案往往会产生过度平滑的纹理。目前,已经提出了多种损失函数,如VGG函数[4]和Char-bonnier罚函数[6].相反,我们发现他们的绩效改善是边际的。为了避免引入不必要的训练技巧并减少计算量,我们最终选择了L1函数。因此,损失函数L_SR可以定义为:SR LR HR <$LR HR <$L(F θ(Ii),Ii)=<$F θ(Ii)− Ii?(二)如图2所示,这是我们提出的模型的完整架构。我们的模型将未经处理的LR图像作为输入,通过网络直接上采样到高分辨率空间。我们的模型可以分为两个部分:特征提取模块和图像重建模块。特征提取模块由两种结构组成:多尺度残差块结构(MSRB)和层次特征融合结构(HFFS)。3.1多尺度残差块为了在不同尺度下检测图像特征,提出了多尺度残差块(MSRB)方法。在这里,我们将提供这种结构的详细描述如图3所示,我们的MSRB包含两个部分:多尺度特征融合和局部残差学习。6Juncheng Li et al.1图3.多尺度残差块(MSRB)的结构。多尺度特征融合:与以往的工作不同,我们构建了一个双旁路网络,不同的旁路使用不同的卷积核。 通过这种方式,这些旁路之间的信息可以彼此共享,以便能够检测不同尺度的图像特征。该操作可以定义为:3×5×3× 35× 51× 1其中w和b分别表示权重和偏置,上标表示它们所在的层数,而下标表示层中使用的卷积核的大小σ(x)=max(0,x)表示ReLU函数,[S1,p1],[P1,S1],[S2,P2]表示关联运算。令M表示发送到MSRB的特征图的数量。因此,第一卷积层的输入和输出具有M个特征图。第二个所有这些特征图都被连接并发送到1×1卷积层。该层将这些特征映射的数量减少到M,因此我们的MSRB的输入和输出具有相同数量的特征映射。独特的架构允许多个MSRB一起使用。局部剩余学习:为了使网络更高效,我们对每个MSRB采用剩余学习。形式上,我们将多尺度残差块(MSRB)描述为:′Mn=S +Mn−1,(8)其中Mn和Mn−分别表示MSRB的输入和输出′运算S+Mn−1通过快捷连接执行,S1=σ(w13<$Mn−1+b1),(3)P1=σ(w15<$Mn−1+b1),(4)S2=σ(w2n[S1,P1]+b2),(五)基于多尺度残差网络的图像超分辨率7的增订条文值得一提的是,局部残差学习的使用使得计算复杂度大大降低。同时,提高了网络的性能。3.2分层特征融合结构对于SISR问题,输入和输出图像是高度相关的。充分利用输入图像的特征并将其传输到网络的末端进行重建是至关重要然而,随着网络深度的增加,这些特征在传输过程中逐渐消失。针对这一问题,人们提出了多种方法,其中跳接法是最简单有效的方法。 所有这些方法都试图通过不同的路径创建不同的连接。然而,这种方法不能充分利用输入图像的特征,而且会产生太多的冗余信息,导致盲目性。实验中我们注意到随着深度的增加,网络的空间表达能力逐渐下降,而语义表达能力逐渐增强。此外,每个MSRB的输出包含不同的功能。因此,如何充分利用这些层次特征将直接影响重建图像的质量在这项工作中,一个简单的层次特征融合结构。我们将MSRB的所有输出发送到网络的末端进行重建。一方面,这些特征图包含大量冗余信息。另一方面,直接使用它们进行重建将大大增加计算复杂度。为了从这些分层特征中自适应地提取有用的信息,我们引入了一个瓶颈层,这对于具有1×1内核的卷积层是必不可少的。分层特征融合结构(HFFS)的输出可以用公式表示为:F LR= w [M0,M1,M2,., (10)[(10)(20)当M0是所有层的第一个编码器的输出时,Mi(i=10)表示第i个MSRB的输出,并且[M0,M1,M2,.,表示级联操作。3.3图像重建以前的工作密切关注学习LR和HR图像之间的映射函数然而,这种方法引入了冗余信息,增加了计算复杂度。受其启发,最近的工作倾向于使用未放大的LR作为输入图像来训练可以直接上采样到HR维度的网络。相反,很难找到一种SR模型,它能够迁移到任何升级因子,只需对网络架构进行微小的调整。此外,这些网络中的大多数往往是固定的放大因子(x4),没有给出迁移到其他放大因子的具体说明。8Juncheng Li et al.图第四章 几种常用图像重建结构的比较(×4)。PixelShuffle [2]和去卷积层广泛用于SISR任务。如图4所示,有几个常见的重建模块。以放大倍数为4为例,这些模块均采用pixelShuffle或反卷积操作,以放大倍数为2为基础逐步重建SR图像。然而,随着放大因子的增加(例如,×8),网络变得更深,伴随着更多的不确定性训练问题。此外,这些方法不适用于奇数上尺度因子,而人们可能会期望上尺度因子的缓慢增长(例如×2,×3,×4,×5)而不是指数增长。为此,我们提出了一个新的重建模块(图。4(我们的)),这是一个简单、高效和灵活的结构。多亏了pixelshuffle [2],我们的模块可以通过微小的调整迁移到任何升级因子。表1中我们提供关于反射结构的全面配置信息。在我们的网络中,对于不同的放大因子,我们只需要改变M的值,其变化可以忽略不计。实验结果表明,该结构在不同的尺度放大因子下都有较好的性能。4实验在本节中,我们将在几个基准测试数据集上评估我们的模型的性能我们首先介绍用于训练和测试的数据集,然后给出实现细节。接下来,我们将我们的模型与几种最先进的方法进行比较。最后给出了一系列定性分析实验结果。此外,我们还展示了MSRB在其他低级计算机视觉任务上的一些结果。4.1数据集在以前的研究中使用最广泛的训练数据集包括291张图像,其中91张图片来自[14],另外200张图片来自[15]。有些方法将ImageNet [16]作为训练数据集,因为它包含更丰富的样本。在我们的工作中,我们选择DIV2K[11]作为我们的训练数据集,这是一个新的高质量图像数据集,用于图像恢复挑战。在测试过程中,我们选择基于多尺度残差网络的图像超分辨率9表1.有关重建结构的详细配置信息。对于不同的放大因子,我们只需要改变M的值。图层名称输入通道输出通道内核大小转换输入64 64×2×2 3×3PixelShuffle(×2)64×2×264/转换输出64 1 3×3转换输入64 64×3×3 3×3PixelShuffle(×3)64×3×364/转换输出64 1 3×3转换输入64 64 ×4×4 3×3PixelShuffle(×4)64×4×464/转换输出64 1 3×3转换输入64 64×8×8 3×3PixelShuffle(×8)64×8×864/转换输出64 1 3×3conv输入6464×M×M3×3PixelShuffle(×M)64×M×M64/转换输出64 1 3×3五个广泛使用的基准数据集:Set 5 [17],Set 14 [18],BSDS 100 [19],Ur-ban 100 [20]和Manga 109 [21]。这些数据集包含各种各样的图像,可以完全验证我们的模型。在之前的工作中,我们所有的训练和测试都是基于YCbCr颜色空间中的亮度通道,并且使用放大因子:×2,×3,×4,×8进行训练和测试。4.2实现细节在[6]之后,我们以三种方式增加训练数据:(1)缩放(2)旋转(3)太棒了在每个训练批次中,我们随机提取16个LR补丁,大小为64×64,一个epoch具有1000次反向传播迭代 我们使用ADAM优化器[22]通过设置学习率lr = 0来训练我们的模型。0001.在我们的最终模型中,我们使用8个多尺度残差块(MSRB,N = 8),每个MSRB的输出有64个特征图。同时,每个瓶颈层(1×1卷积层)的输出有64个特征图。我们使用Pytorch框架实现MSRN,并使用NVIDIA Titan Xp GPU对其进行训练。我们不使用特殊的权重初始化方法或其他训练技巧,代码可在https://github.com/MIVRC/MSRN-PyTorch上获得。4.3与最先进方法的我们将我们的模型与10种最先进的SR方法进行了比较,包括Bicubic,A+[23],SelfExSR [20],SRCNN [1],ESPCN [2],FSRCNN [3],VDSR[4],DR-CN [5]、LapSRN [6]和EDSR [9]。为了公平起见,我们重新训练了大多数这些模型(除了EDSR [9],EDSR的结果由他们的原始论文提供10Juncheng Li et al.考虑到比较的平等性,我们用两个常用的图像质量指标:PSNR和SSIM来评估SR图像。此外,所有报告的PSNR/SSIM测量都是在亮度通道上计算的,并且从每个边界移除M个像素(M代表放大因子)。表2.最先进方法的定量比较红色文本表示最佳性能,蓝色文本表示次佳性能。请注意,EDSR结果不是由我们重新训练的,而是由原始论文提供的算法规模Set5PSNR/SSIM设置14PSNR/SSIM公司简介PSNR/SSIMUrban100PSNR/SSIMManga 109PSNR/SSIM双三次x233.69/0.928430.34/0.867529.57/0.843426.88/0.843830.82/0.9332A+[23] x236.60/0.954232.42/0.905931.24/0.887029.25/0.895535.37/0.9663[20]第二十话36.60/0.953732.46/0.905131.20/0.886329.55/0.898335.82/0.9671SRCNN [1] x236.71/0.953632.32/0.905231.36/0.888029.54/0.896235.74/0.9661ESPCN [2] x237.00/0.955932.75/0.909831.51/0.893929.87/0.906536.21/0.9694FSRCNN [3] x237.06/0.955432.76/0.907831.53/0.891229.88/0.902436.67/0.9694VDSR [4] x237.53/0.958333.05/0.910731.92/0.896530.79/0.915737.22/0.9729DRCN [5] x237.63/0.958433.06/0.910831.85/0.894730.76/0.914737.63/0.9723[6]第一次37.52/0.958133.08/0.910931.80/0.894930.41/0.911237.27/0.9855EDSR [9] x238.11/0.960133.92/0.919532.32/0.9013-/--/-MSRN(我们的)x238.08/0.960533.74/0.917032.23/0.901332.22/0.932638.82/0.9868双三次x330.41/0.865527.64/0.772227.21/0.734424.46/0.741126.96/0.8555A+[23] x332.63/0.908529.25/0.819428.31/0.782826.05/0.801929.93/0.9089[20]第二十话32.66/0.908929.34/0.822228.30/0.783926.45/0.812427.57/0.7997SRCNN [1] x332.47/0.906729.23/0.820128.31/0.783226.25/0.802830.59/0.9107ESPCN [2] x333.02/0.913529.49/0.827128.50/0.793726.41/0.816130.79/0.9181FSRCNN [3] x333.20/0.914929.54/0.827728.55/0.794526.48/0.817530.98/0.9212VDSR [4] x333.68/0.920129.86/0.831228.83/0.796627.15/0.831532.01/0.9310DRCN [5] x333.85/0.921529.89/0.831728.81/0.795427.16/0.831132.31/0.9328[6] 2016年12月33.82/0.920729.89/0.830428.82/0.795027.07/0.829832.21/0.9318EDSR [9] x334.65/0.928230.52/0.846229.25/0.8093-/--/-MSRN(我们的)x334.38/0.926230.34/0.839529.08/0.804128.08/0.855433.44/0.9427双三次x428.43/0.802226.10/0.693625.97/0.651723.14/0.659924.91/0.7826A+[23] x430.33/0.856527.44/0.745026.83/0.699924.34/0.721127.03/0.8439美国[20]30.34/0.859327.55/0.751126.84/0.703224.83/0.740327.83/0.8598SRCNN [1] x430.50/0.857327.62/0.745326.91/0.699424.53/0.723627.66/0.8505ESPCN [2] x430.66/0.864627.71/0.756226.98/0.712424.60/0.736027.70/0.8560FSRCNN [3] x430.73/0.860127.71/0.748826.98/0.702924.62/0.727227.90/0.8517VDSR [4] x431.36/0.879628.11/0.762427.29/0.716725.18/0.754328.83/0.8809DRCN [5] x431.56/0.881028.15/0.762727.24/0.715025.15/0.753028.98/0.8816[6] 2016年12月31.54/0.881128.19/0.763527.32/0.716225.21/0.756429.09/0.8845EDSR [9] x432.46/0.896828.80/0.787627.71/0.7420-/--/-MSRN(我们的)x432.07/0.890328.60/0.775127.52/0.727326.04/0.789630.17/0.9034双三次x824.40/0.604523.19/0.511023.67/0.480820.74/0.484121.46/0.6138A+[23] x825.53/0.654823.99/0.553524.21/0.515621.37/0.519322.39/0.6454美国[20]25.49/0.673324.02/0.565024.19/0.514621.81/0.553622.99/0.6907SRCNN [1] x825.34/0.647123.86/0.544324.14/0.504321.29/0.513322.46/0.6606ESPCN [2] x825.75/0.673824.21/0.510924.37/0.527721.59/0.542022.83/0.6715FSRCNN [3] x825.42/0.644023.94/0.548224.21/0.511221.32/0.509022.39/0.6357VDSR [4] x825.73/0.674323.20/0.511024.34/0.516921.48/0.528922.73/0.6688DRCN [5] x825.93/0.674324.25/0.551024.49/0.516821.71/0.528923.20/0.6686[6] 2016年12月26.15/0.702824.45/0.579224.54/0.529321.81/0.555523.39/0.7068MSRN(我们的)x826.59/0.725424.88/0.596124.70/0.541022.37/0.597724.28/0.7517包括我们的模型和10种最先进方法的SR方法的评价结果如表2所示我们的模型在不同的放大因子和测试数据集上都有很大的优势可以看出,我们的结果略低于EDSR [9]。但值得注意的是,EDSR[9]使用基于多尺度残差网络的图像超分辨率113. 我 的 世 界 SPECIFICATIONSCOMPARISON ( x4 ) . “R G B”m 是 R G Bchannels中的model i s,“Y”m是Y C b C r colour s p ace中的lumm n n a nc e channel中的model i s,“M”m是mill l ion。算法特征提取过滤层深度参数更新通道EDSR [9]32块256 69 69 43M1×106RGBMSRN(我方)8块64 44 28 6.3M 4× 105Y图5. SISR上三个不同特征提取块(残差块[12],密集块[24]和MSRB(我们的))绿线代表我们的模型,它在不同的放大因子下获得了最佳结果。RGB通道进行训练,同时,数据增强方法不同。为了更好地说明与EDSR [9]的差异,我们在表3中显示了模型规格的比较EDSR [9]是一个优秀的模型,获得了惊人的结果。然而,它是一个深度和广度的网络,包含大量的卷积层和参数。换句话说,训练这个模型将花费更多的内存、空间和数据集。相比之下,我们模型的规格比EDSR [9]小得多,这使得它更容易复制和推广。图6和图7我们在不同的数据集上呈现了具有不同放大因子的视觉性能我们的模型可以重建清晰和自然的图像,以及优于其他国家的最先进的方法。这可能是由于MSRB模块可以检测不同尺度的图像特征并将其用于重建。为了更好地说明,可以在https://goo.gl/bGnZ8D上找到由我们的模型重建的更多SR图像。4.4定性分析MSRB的好处:在这项工作中,我们提出了一种有效的特征提取结构:多尺度残差块。该模块能够自适应地检测不同尺度下的图像特征,充分挖掘图像的潜在特征。为了验证我们的模块的有效性,我们设计了一组比较实验来比较SISR任务中的残差块[12],密集块[24]和MSRB的性能基于MSRN结构,我们取代了网络中的特征提取模块。三个网络包含不同的特征提取块,并且每个网络仅包含一个特征提取块。为了快速验证,我们在这部分使用了一个小的训练数据集,所有这些12Juncheng Li et al.×2:SRCNN[1] ×2: LapSRN[6] ×2: MSRN(我们的)Orignal(HR)×3:SRCNN[1] ×3: LapSRN[6] ×3: MSRN(我们的)Orignal(HR)×4:SRCNN[1] ×4: LapSRN[6] ×4: MSRN(我们的)Orignal(HR)图6.目视比较×2、×3、×4 SR图像。我们的MSRN可以重建具有锐利边缘的逼真图像。×8:SRCNN[1] ×8: LapSRN[6] ×8: MSRN(我们的)Orignal(HR)图7.在大规模(×8)SR任务上,MSRN与其他SR方法的视觉比较。显然,MSRN可以重建具有尖锐边缘的真实感图像基于多尺度残差网络的图像超分辨率13图第八章不同MSRB数的MSRN性能比较(a) 残余块(b)密集块(c)MSRB(我们的)图9.特征图可视化。分别表示残差块[12]、密集块[24]和MSRB的输出模型在相同的环境中通过105次迭代来训练。结果(图5)表明,我们的MSRB模块在所有上采样因子上都优于其他模块。如图9所示,我们将这些特征提取块的输出可视化。值得注意的是,激活是稀疏的(大多数值为零,如黑色可视化所示),一些激活图可能全为零,这表明过滤器失效。很明显,MSRB的输出包含更多的有效激活图,这进一步证明了该结构的有效性。增加MSRB数量的好处:众所周知,增加网络的深度可以有效地提高性能。在这项工作中,增加MSRB的数量是最简单的方法,以获得良好的结果。为了验证MSRB数目对网络性能的影响,我们设计了一系列的实验。如图8、随着MSRB数量的增长,我们的MSRN性能虽然通过使用更多的MSRB可以进一步提高网络的性能,但这将导致网络更加复杂在权衡网络性能和网络复杂度的同时,我们最终使用了8个MSRB,结果接近EDSR,但模型参数的数量仅为EDSR的七分之一。其他任务的性能:为了进一步验证我们提出的MSRB模块的有效性,我们将其应用于其他低级计算机视觉任务,14Juncheng Li et al.(A.1)输入(A.2)输出(B.1)输入(B.2)输出图10. 分别用于图像去噪和图像去雾的应用实例特征提取如图10,分别给出了图像去噪和图像去雾的结果很明显,我们的模型在其他低级计算机视觉任务上取得了令人5讨论和未来的工作为了使SISR重建的图像更加逼真,提出了许多训练技巧例如,[4]、[9]中使用了多尺度(这里的尺度表示尺度因子)混合训练方法,[9]中提出了几何自适应方法我们相信这些训练技巧也可以提高我们的模型性能。然而,我们更倾向于探索一个有效的模型,而不是使用训练技巧。虽然我们的模型表现出了优越的性能,但在大的放大因子下,重建图像仍然不够清晰。在未来的工作中,我们将更多地关注大规模下采样图像重建。6结论本文提出了一种有效的多尺度残差块(MSRB)算法,用于自适应地检测不同尺度下的图像特征。在MSRB的基础上,提出了多尺度残差网络(MSRN)。它是一种简单有效的超分辨率模型,可以充分利用超分辨率图像的局部多尺度特征和层次特征,得到精确的超分辨率图像。此外,我们通过将MSRB模块应用于其他计算机视觉任务,如图像去噪和图像去雾,取得了可喜的成果7致谢本工作是国家自然科学基金重点项目( No.100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000061731009) 、国家自然科学基金(No. 上海市教育发展基金会、上海市教育委员会和华东师范大学共同制定了《中国管教育发展纲要》(编号:61501188)。基于多尺度残差网络的图像超分辨率15引用1. Dong,C.,Loy,C.C.,他,K.,唐X:学习深度卷积网络实现图像超分辨率。参见:欧洲计算机视觉会议,Springer(2014)1842. S h i,Wen z heandCaba ll ero,J o seandHus z a'r,Feren c andTot z,J ohannesandA i tken , Andrew P and Bishop , Rob and Rueckert , Daniel andWang,Zehan.:使用高效的亚像素卷积神经网络实现实时单图像和视频超分辨率。在:IEEE计算机视觉和图形学会议论文集。(2016) 18743. Dong,C.,Loy,C.C.,唐X:加速超分辨率卷积神经网络工作。In:EuropeanConferenceonComputerrVision,Springger(2016)3914. Kim,J.,Kwon Lee,J.,Mu Lee,K.:使用深度卷积网络实现精确的图像超 分 辨 率 。 In : Proceedings of the IEEE conference on computer visionandpatternrecognition. (2016)16465. Kim,J.,Kwon Lee,J.,Mu Lee,K.:用于图像超分辨率的深度递归卷积网 络 。 In : ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition. (2016)16376. Lai,W.S.,Huang,J.B.,Ahuja,N.,Yang,M.H.:用于快速和精确超分辨率的深度拉普拉斯金字塔IEEE计算机视觉与模式识别会议第2卷(2017年)57. Tai,Y.,Yang,J.,Liu,X.:基于深度递归残差网络的图像超分辨率。IEEE计算机视觉与模式识别会议论文集。第1卷(2017年)58. L edig,C.,L., Husza'r,F., Caballero,J., Cunningham,A., A.,A., Aitken,A.,Tejani,A.,Totz,J.,Wang,Z.,等:使用生成对抗网络的照片级真实感单图像在:IEEE计算机视觉和模式识别会议(2017年)9. Lim,B.,儿子S Kim,H.,不S Lee,K.M.:增强型深度残差网络用于单个图像的超分辨率。在:IEEE计算机视觉和模式识别研讨会会议。第1卷(2017年)410.Wang,Z.,Bovik,A.C.,谢赫,H. R.,Simoncelli,E.P.:图像质量评估:从误差可见性到结构相似性。IEEE transactions on image processing 13(4)(2004)600-61211.Agustsson,E.,拉弗特,R.:Ntire 2017单图像超分辨率挑战:数据集和研究。在:IEEE计算机视觉和模式识别研讨会。第3卷(2017年)212.他,K.,Zhang,X.,Ren,S.,Sun,J.:深度残差学习用于图像识别。在:IEEE计算机视觉和模式识别会议论文集。(2016)77013.塞格迪角,Liu,W.,Jia,Y.,Sermanet,P.,Reed,S.,Anguelov,D.,Erhan,D.,Vanhoucke,V.,Rabinovich,A.:更深入地进行卷积。在:IEEE计算机视觉和模式识别会议(2015)1-914.Yang,J.,Wright,J.,Huang,T.S.,Ma,Y.:通过稀疏表示实现图像超分辨率。I.非专利申请人登记册19(11)(20 10)286115.Martin,D.,Fowlkes,C.,Tal,D.,Malik,J.:人类分割自然图像数据库及其在评价分割算法和测量生态统计中的应用在:第八届IEEE国际计算机会议论文集。(2001年)41616Juncheng Li et al.16.Russakovsky,O.,Deng,J.,Su,H.
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功