嵌入式块残差网络：单图像超分辨率恢复

4180嵌入式块残差网络：一种单图像超分辨率递归恢复模型邱亚军云南大学qyjyun@gmail.com王如欣联盟愿景创新rosinwang@gmail.com俊成陶大鹏云南大学dapeng. gmail.comSIAT，中国科学院jun. siat.ac.cn摘要单图像超分辨率技术能够从低分辨率图像中恢复丢失的结构和纹理，受到了研究界的广泛关注。在这个领域中表现最好的包括深度或广度卷积神经网络，或递归神经网络。然而，这些方法强制使用单个模型来处理所有类型的纹理和结构。一个典型的操作是，某个层恢复的纹理的基础上恢复的前层，忽略图像纹理的特性。在本文中，我们认为，图像中的低频和高频信息具有不同程度的复杂性，应恢复模型的不同表示能力。受此启发，我们提出了一种新的嵌入式块残差网络（EBRN），这是一个增量恢复纹理超分辨率的进展。具体来说，模型中的不同模块恢复不同频率的信息对于低频信息，我们使用网络的较浅模块来恢复;对于更高频率的信息，我们使用更深的模块来恢复。大量的实验表明，所提出的EBRN模型实现了优越的性能和视觉改善对国家的最先进的。1. 介绍单图像超分辨率（SISR）技术已经引起了学术界和工业界的广泛关注。该技术旨在从单个低分辨率（LR）图像恢复高分辨率（HR）图像，这为克服各种计算机分辨率限制提供了机会这些作者对这项工作的贡献是相等的。[2]陶德是通讯作者。(a) HR（b）EDSR（c）Ours图1.来自Set14数据集的Barbara图像，放大因子为4。视觉应用，如安全，医学成像[37]和物体识别[3]。SISR问题是不适定的，因为对于任何LR输入都存在多个HR解为了克服这个问题，大多数方法（例如基于深度卷积神经网络的方法）通过从外部低分辨率和高分辨率样本对学习映射函数或通过涉及HR特征空间的先验知识来约束解空间。基于学习的方法在文献中表现最好，特别是深度或宽卷积神经网络，因为它们具有很高的代表性。该模型具有广泛的参数和良好的学习过程，具有拟合大量训练数据和挖掘自然图像底层结构的能力大多数方法提倡设计一个端到端的学习过程，以促进培训和推理。这种设计的性能改善来自于参数数量的增加和神经连接的精细化。然而，由于模型复杂，计算量和内存消耗大，影响了实际应用。上述问题的原因是基于深度模型的方法未能考虑图像的频率特性，而这在常规图像处理技术中被广泛使用。特征状态4181自然图像由不同频带的信息组成，每个频带包含不同复杂度的结构和纹理。因此，通过使用不同的基函数来提取不同的信息带，如在小波分析中[6]。在包括SISR在内的图像恢复任务中，各波段信息的恢复需要特定的恢复函数。考虑到不同频带的特征分布不同，低频信息由简单的结构和纹理组成，需要更简单的函数进行恢复;较高频率的信息包括复杂的结构和纹理，其中期望更复杂的恢复功能。在这一点上，现有的基于深度模型的方法不区分图像频率。这些模型中每一层的任务对于浅层，参数可能适合低频信息（具有简单纹理），但不适合高频信息（具有复杂纹理）。对于深层，参数可以拟合高频信息，但过拟合低频信息。模型复杂度和频率之间的不一致性是限制基于CNN的深度方法性能的关键问题。虽然残差连接提供了一种将信息分离为恢复的信息和未恢复的信息的方法，但是残差结构与频率分离原理无关。相反，他们主张残余连接以密集和直接的方式将浅层的信息为了在模型架构和频带之间建立联系，需要详细阐述残差思想。我们在图1中举例说明了一个例子，从中我们可以看到，EDSR无法很好地恢复书上的纹理[29]。该方法利用残余连接，然而，未能通过使用非常深的架构来恢复简单的相反，结果中会出现复杂的我们的结果显示出更好的视觉特性。这种比较验证了EDSR [29]的缺点，即深层很容易过度拟合图像的低频信息。基于上述分析，本文提出了一种用于单幅图像超分辨率的嵌入式块残差网络（EBRN）具体来说，块残差模块（BRM）是我们模型中的基本模块，它将数据流分为超分辨率流和反投影流。前一个流程恢复了低频的大部分结构和纹理，后一个流程计算了高频的信息，这些信息有待于更深层的恢复。整个模型是多个BRM的嵌入。每个BRM都堆叠在其AN的反投影流前体BRM。以这种方式，BRM负责恢复较低频率的信息，将较高频率的信息传递给更深的BRM。为了融合所有BRM的输出，我们还提出了一种递归融合技术，该技术稳定了训练中的特征流和梯度流，并鼓励更快的训练收敛速度在多个SISR数据集上的大量实验说明了所提出的方法的最先进的性能，并验证了模型复杂度和图像频率的相关性综上所述，本工作的主要贡献如下：1. 提出了用不同复杂度的模型来恢复图像中不同频率的信息的思想。在坏的情况下，较低频率的信息可能被较深的模型过度恢复，而较高频率的信息将被较浅的模型恢复不足2. 我们提出了一个块残差模块（BRM），试图恢复图像的结构和纹理，同时通过- ING难以恢复的信息，以更深的模块。这使得每个BRM专注于适当频率的信息，这对于确保模型复杂度和图像频率的相关性是重要的。3. 提出了一种新的嵌入多个BRM的方法，该方法可以根据每个模块的输出有效地提高最终重建的质量我们还实证表明，该模型优于国家的艺术。2. 相关工作SISR是一个活跃的研究领域，有着悠久的历史。现有文献可分为三类：基于插值的方法[20，9]，基于重建的方法[5，38]和基于学习的方法。虽然传统方法有一个很长的列表，但由于页面长度的限制，我们在这里重新查看了表现最好的方法，特别是基于深度Dong等人[7]将CNN [26]引入SR任务，并提出了由三层网络组成的SRCNN模型，以学习从LR图像到HR图像的映射与传统算法相比，该模型取得了更好的性能。Kim等人。 [21]提出了VDSR模型，该模型使用具有20层的非常深的网络，该网络与SRCNN产生了改进的性能该方法的一个主要贡献是采用残差学习，它鼓励在训练过程中的快速Lai等人 [25]提出了lapSRN方法，该方法将原始LR图像作为输入，并逐步重建子带残差4182HR图片Kim等人。 [22]提出了DRCN方法，这是第一个将递归学习纳入SIS的方法。R. 为了在CNN中重用每个层的特征，Tong et al.[42]通过增加卷积层之间的密集连接，开发了DenseNet[14]Lim等人 [29]通过去除传统残差网络中不必要的模块设计了EDSR模型，该模型获得了NTIRE2017 SR挑战赛的冠军[40]。Sajjadi等人 [35]比较了EnhanceNet中损失函数的不同组合的性能，并根据经验得出结论，感知损失、纹理匹配损失和抗损失的组合效果最好。Li等人 [39]提出了MenNet来解决深度网络缺乏长期记忆的问题。该方法引入了一个由递归单元和门单元组成的知识块，通过自适应学习过程显式地挖掘持久记忆为了减少模型参数，提高模型的实用性，Ahn等 [1]提出了一种级联残差网络（CARN），该网络通过使用较少参数的级联机制获得了良好的性能。Haris等人[11]开发了一种新的架构，称为DBPN。该模型利用迭代的上下采样层，为每个阶段的项目错误DBPN还提高了超分辨率性能，产生了优异的结果，特别是建立了新的最先进的性能对于大比例因子，例如多个数据集上的× 8。增强版D-DBPN在NTIRE 2018 [41]中获得了8倍放大的最佳表现 ， 并 赢 得 了 NTIRE 2018 SR Challenge 的 冠 军 。Zhang等人 [48]提出了一种不同于其他CN-N模型的RDN模型，即：该模型没有充分利用LR图像的几何特征。Hui等人 [16]提出了具有轻量级架构和低计算复杂度的信息蒸馏网络（IDN）Zhang等人。 [47]指出，以前的SR模型平等对待每个通道，阻碍了CNN的代表能力他们提出RCAN通过引入信道注意机制来解决这个问题。Li等人。 [28]提出了MSRN模型来探索LR图像的多尺度信息。上述基于深度学习的方法旨在提高恢复图像的PSNR/SSIM指标然而，现有的研究表明，解决方案的L2目标函数是一个平均版本的多个真正的人力资源解决方案。关于这一点，研究了感知损失[19]，以恢复纹理的视觉愉悦结果例如，Ledig等人。 [27]提出了SRGAN，它涉及照片般逼真的自然图像。结果没有产生高的PSNR值，但通过使用由对抗损失和内容损失组成的感知损失产生逼真的视觉效果。Wang等人 [43]提出了SFTGAN模型，该模型涉及空间特征模块，濕濿瀂濶濾 濥濸瀆濼濷瀈濴濿濴濷濷濼瀇濼瀂瀁ାାଵାାଵ瀈瀃ାାଶ濟瀂濶濴濿濥濸瀆濼濷瀈濴濿濟濸濴瀅瀁濼瀁濺瀆瀈濵瀇瀅濴濶瀇濼瀂瀁瀈瀃图3.块残差模块。纹理层，将先验的语义类别集成到网络中，生成更逼真和视觉上令人愉悦的纹理。Park等人。 [32]提出了SRFeat模型来解决基于GAN的方法倾向于包含与输入图像无关的不太有意义的高频噪声的问题该模型涉及特征域上的附加Wang等人。 [44]开发了ESRGAN，通过补偿改进子网络来消除SRGAN结果中的人为伪影。上述文献综述表明，基于深度学习的方法，特别是CNN和GAN，已经实现了对SISR的显著当比例因子为×2、×3和×4时，可能会达到瓶颈，×8的恢复成为一个主要关注近期出版物。的增加在尺度因子方面，我们发现现有的模型没有考虑图像频率和模型复杂度，导致复杂模型对简单纹理的过度恢复，而简单模型对复杂纹理的恢复不足因此，为了缓解这个问题，这项工作从不同的角度出发，开发了一个适当的架构，将频率范围的信息与适当复杂度的模型相关联。3. 该方法在这一节中，我们将详细介绍所提出的EBRN模型，并分析网络如何处理不同频率的信息。 该架构如图2所示，其中基本模块是BRM，如下所示。3.1. 块残差模块块残差模块（BRM）旨在恢复部分HR信息，同时将剩余信号传递到更深的模块进行恢复。在这方面，该模块包含两个数据流：超分辨率流和反投影流。超分辨率流是一种基本的反卷积网络，其将LR特征图Ix作为输入，并通过使用反卷积层的堆栈（也4183图2.所提出的嵌入式块残差网络的架构。称为转置卷积）和三个卷积层。该流程的输出是超分辨特征映射Ox，其中x是模型中BRM的索引。去卷积层的另一种选择是子像素卷积层[36]，它可以提高性能，但会产生更多的参数。考虑到性能和模型效率之间的权衡，选择去卷积层用于放大。为了计算超分辨率流尚未恢复的信息，反投影流采用以下操作：首先将去卷积的特征图下采样所计算的残差传递超分辨率流未能恢复的信息。然后，该残差由局部残差学习阶段处理，输出形成下一个BRM的输入的编码特征集合Ix+1BRM的设计如图3所示。所有卷积层都使用3×3×64卷积核。除了用于下采样的层之外的层被设置为步幅为1×1并且填充大小为1×1。下采样图层的参数根据以下公式设置：放大因子，即，输出特征图具有与输入特征图相同的空间大小局部残差学习阶段是为了鼓励训练的快速收敛速度通过这种设计，我们经验性地发现超分辨率流可以恢复较低频率的信息，而难以恢复的较高频率的信息则传递给后面的模块。3.2. 嵌入式块残差网络嵌入式块残差网络（EBRN）由多个BRM组成，如图2所示。在第一次BRM之前，提出了一个初始特征提取模块来制定特征图的形状。在这个模块中，第一个卷积层产生256通道的特征图，然后是两个卷积层，每个卷积层输出64通道的特征图。的这些层中的卷积核大小为3×3。BRM是以嵌入的方式而不是简单的堆叠方式组合的。也就是说，第一BRM堆叠在初始特征提取模块的输出上，第二BRM连接到第一BRM的反投影流的输出，等等。每个BRM负责恢复由其先行BRM的反投影流产生的残差特征图。请注意，最后一个BRM仅包含丢弃反投影流的超分辨率流。通过这种方式，较低频率的信息仅通过具有低模型复杂度的较浅BRM。另一方面，将频率较高的信息流到模型复杂度较高的深层BRM中，可以缓解欠拟合问题。因此，更深的BRM总是试图恢复浅BRM没有恢复的东西。 这与我们的动机是一致的。另一个重要的观点是，我们将某些频率的信息与适当复杂度的子网络相它不需要在复杂纹理上拟合简单模型，也不因此，这些子网络中的参数的数量可以显著地减少。HRLRଵଵᇱ ଵBRMଶଶ此外ᇱ ଶBRMଷଷᇱ ଷBRM高频BRM低频嵌入式块残差学习重建特征提取concat…………4184澾濥濸濟濨x+1X上投影单元Ht0[LtLtetL0 −Ht1+[Ht]向下投影单元Lt0[Ht]Ht0 −etHLt1+[Lt]Conv德孔夫ConvLt0德孔夫Conv德孔夫Ht0Zhao等人 [49]指出，使用L2损失函数训练的SR模型不能保证更好的 PSNR/SSIM与其他损失函数相比。在这里，我们首先选择L1损失作为所提出的模型的训练目标，这被证明可以加快训练的收敛速度图4.剩余模块。图5. DBPN中的上投影和下投影单元还保持对相应信息的高恢复性能。为了结合所有BRM的输出，我们注意到，由深层模块恢复的信息可以帮助改善浅层模块的恢复。对此，我们提出了一种递归融合技术，而不是简单的求和。具体来说，两个相邻BRM的超分辨率流的输出被求和，然后是卷积层。假设第（x+1）个模块的输出为Ox+1。熔融工艺是与L2损失相比。作为第二步，我们采用L2损失来微调模型，这可能会导致更高的PSNR性能。有关培训的更多详细信息，请参见第5.2节。4. 讨论在本节中，我们主要讨论了所提出的模型与其相关方法之间的差异4.1. EBRN与残差网络残差网络[13]最近在各种计算机视觉任务中表现出在SIS- R中，第一个使用残差学习思想的模型是VD-SR [21]，与其竞争对手相比，它取得了优越的性能。残差网络相对于传统CNN模型的优势在于，残差学习促进了网络中特征的传递，并消除了梯度消失问题，使网络更容易训练。在这项工作中，我们利用残差学习的想法，这是不同于传统的残差网络。例如，如图3所示，所提出的模型不使用批量归一化（BN）[17]层，因为BN′=f（Ox+O′），（1）层限制了特征归一化期间中间特征的范围灵活性另一个重要的分歧-其中f是卷积层的函数这样的进行递归融合过程，直到达到第一个BRM与简单求和相比，该技术允许我们以平滑的方式处理输出，从而得到更好的重建。此外，为了避免训练中的梯度消失问题，我们建议将每个BRM的输出直接连接到图像重建模块。如图2所示，我们通过级联层结合所有BRM的输出，然后再通过重构子网络。这种设计有两个优点：1)缩短了到深度BRM的误差传播方式，鼓励训练中的快速收敛速度，以及2）模型的中间特征图被重用以用于重新生成。建设，这是有益的。重建子网络使用3×3×64卷积核，而最后一层产生3通道RGB图像。3.3.损失函数SISR的现有损失函数包括L1损失、L2损失、对抗性损失[10]和感知损失[19]。当前的工作旨在恢复尽可能接近原始HR图像的图像，因此选择像素级损失。我们遵循的建议参考来自如何计算残差以及残差传达的内容。在残差网络中，残差信号是输入和输出之间的差在该模型中，一种残差信号是某个频率范围的信息，另一种残差信号是原始LR特征与反向投影LR特征之间的差异在每个BRM中，第二残留信号对于SR是重要的，因为它明确地传达了哪些信息将由随后的BRM恢复。4.2. EBRN与深度反投影网络与当前工作类似的方法是由Haris等人提出的深度反投影网络（DBPN）。[11]。该方法反复利用上采样层和下采样层，为每个阶段的投影误差提供误差反馈机制。误差可以有效地改善模型中深层的恢复。这两种方法的区别在于两个方面：1）在每个上下投影单元中，DBPN直接将LR残差映射到HR空间，而我们模型中的LR残差包含更高频率的信息，这些信息被馈送到更深的子网络中进行映射。O濖瀂瀁瀉濕濡濥濸濟濨4185BRM1BRM2BRM3BRM4BRM5BRM6BRM7BRM8BRM9BRM100.30.25表1.不同特征融合技术的比较。红色表示最佳性能（×4）。0.20.15表2.BSD100（×4）上运行时间（秒）的比较。0.11 2 3 4 5频带（从低到高）BRM数量45678910PSNR32.0532.2332.3532.4432.5132.6532.79表3. 性能与Set5上的BRM数量（×4）。图6.不同频带上不同BRM输出的能量分布DBPN利用LR残差和HR残差，目标是每个上投影和下投影单元尝试最小化这些残差，而我们的方法将残差信号与不同频率的信息相关联，并且每个BRM负责恢复相应的信息。动机的差异导致所提出的模型比DBPN具有更少的参数，但产生比DBPN更好的性能。5. 实验在本节中，我们提出的实验细节和分析，以验证所提出的模型的有效性5.1. 数据集在[29]之后，我们使用DIV2K [40]数据集进行训练，这是一个高质量（2K分辨率）的图像增强数据集，包含800个训练图像，100个验证图像和100个测试图像。放大系数-包括×2、×4和×8用于训练和模型评估。 采用5个标准基准数据集其中Set 5 [4]、Set 14 [46]、BSD- S100 [2]由自然场景组成，Urban 100 [15]包含具有大量规则纹理图案的城市场景，Manga 109 [31]是日本漫画的数据集。5.2. 实现细节为了准备训练数据，我们通过使用双三次插值对训练HR图像进行下采样来收集三个训练数据集，每个训练数据集对应于一个放大因子，即，×2，×4和×8。 数据扩充技术用于-包括水平、垂直翻转和90°旋转。考虑到训练细节，该模型采用RGB通道图像作为输入和输出。LR图像被随机裁剪为64×64块图像，然后以32的批量大小送入模型。地面实况HR补丁图像的大小由放大因子使用[12]中提出的方法初始化模型权重，并将偏差初始化为零。参数化整流线性单元（PRelu）[12]用作激活函数。为了确保训练过程中的数值稳定性，我们将LR和HR图像的像素范围缩放为[0，1]。使用Adam [23]优化算法- m，其中β1= 0.9，β2= 0.999，ε=10−8。 学习率最初设置为10−4，每100个epoch降低10倍。所有实验均使用Pytorch [33]框架实现，并在NVIDIA TITAN X GPU设备上进行评估。5.3. 模型分析在本节中，我们进行了一系列实验来验证所提出的动机，并研究参数对模型性能的影响。回想一下不同频率范围的信息应该由不同复杂度的模型处理的动机。为了验证这一点，我们在图6中说明了不同频带上不同BRM输出的能量分布。基于不同层次的小波系数计算不同频带结果表明，较浅的BRM的输出包含更多的低频信息，而较深的BRM的输出倾向于揭示更多的高频信息。我们还通过烧蚀实验研究了该模型的性能，包括模型性能与特征融合技术之间的相关性，以及模型性能与BRM数目之间的相关性。表1揭示了所提出的递归特征融合技术的优越性，与简单的求和运算相比，能量比方法Set5产品14PSNRSSIMPSNRSSIMEBRN（总和）递归融合32.6332.790.90180.903228.8929.010.78950.7903模型VDSR DRCN lapSRN DRRN蔓梅IDNEBRN时间0.0710.9840.023 4.43735.8870.0070.0344186图7.四个例子的可视化不同的解释。方法规模Set5产品14BSD100Urban100Manga109PSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIM双三233.660.929930.240.868829.560.843126.880.840330.800.9339SRCNN [7]236.660.954232.450.906731.360.887929.500.894635.600.9663VDSR [21]237.530.959033.050.913033.050.896030.770.914037.220.9750N3Net [34]237.57---31.98-30.80---DRCN [22]237.630.958833.040.911831.850.894230.750.913337.570.9730[25]第二十五话237.520.959133.080.913031.080.895030.410.910132.270.9740MemNet [39]237.780.959733.280.914232.080.897831.310.919532.720.9740EDSR [29]238.110.960233.920.919532.320.901332.930.935139.100.9773D-DBPN [11]238.090.960033.850.919032.270.900032.550.932438.890.9775印尼文[16]237.830.960033.300.914832.080.898531.270.9196--NLRN [30]238.000.960333.460.915932.190.899231.810.9249--MSRN [28]238.080.960533.740.917032.230.901332.220.932638.820.9868CARN [1]237.760.959033.520.916632.090.897831.920.9256--RDN [48]238.240.961434.010.921232.340.901732.890.935339.180.9780RCAN [47]238.270.961434.120.921632.410.902733.340.938439.440.9786EBRN（我们的）238.350.962034.240.922632.470.903333.520.940239.620.9802双三428.420.810426.000.702725.960.667523.140.657724.890.7866SRCNN [7]430.480.862827.500.751326.900.710124.520.722127.580.8555VDSR [21]431.350.883028.020.768027.290.072625.180.754028.830.8870N3Net [34]431.50---27.34-25.23---DRCN [22]431.530.885428.020.767027.230.723325.140.751028.970.8860[25]第二十五话431.540.885028.190.772027.320.727025.210.756029.090.8900MemNet [39]431.740.889328.260.772327.400.728125.500.763029.420.8942EDSR [29]432.460.896828.800.787627.710.742026.640.803331.020.9148D-DBPN [11]432.470.898028.820.786027.720.740026.380.794630.910.9137印尼文[16]431.820.890328.250.773027.410.729725.410.7632--NLRN [30]431.920.891628.360.774527.480.730625.790.7729--MSRN [28]432.070.890328.600.775127.520.727326.040.789630.170.9034CARN [1]432.130.893728.600.780627.580.734926.070.7837--RDN [48]432.470.899028.810.787127.720.741926.610.802831.000.9151PFF [24]432.740.902128.980.7904------RCAN [47]432.630.900228.870.788927.770.743626.820.808731.220.9173EBRN（我们的）432.790.903229.010.790327.850.746427.030.811431.530.9198双三824.400.658023.100.566023.670.548020.740.516021.470.6500SRCNN [7]825.330.690023.760.591024.130.566021.290.544022.460.6950VDSR [21]825.930.724024.260.614024.490.583021.700.571023.160.7250[25]第二十五话826.150.738024.350.620024.540.586021.810.581023.390.7350MemNet [39]826.160.741424.380.619924.580.584221.890.582523.560.7387EDSR [29]826.960.776224.910.642024.810.598522.510.622124.690.7841MSRN [28]826.590.725424.880.596124.700.541022.370.597724.280.7517D-DBPN [11]827.210.784025.130.648024.880.601022.730.631225.140.7987RCAN [47]827.310.787825.230.651124.980.605823.000.645225.240.8029EBRN（我们的）827.450.790825.440.654225.120.607923.320.649825.510.8085表4.最先进方法的平均性能红色字体表示表现最好，蓝色字体表示表现第二好气这两个模型具有相同数量的BRM（即，第10段）。表3列出了不同尺寸的EBRN模型的性能。在实际应用中，模型参数的个数是影响SISR的一个重要因素.如前面部分所讨论的，所提出的嵌入策略可以显著减少参数的数量，这在这里通过与现有技术的比较得到了验证。如图9所示，具有10个BRM的EBRN模型表现出比MDSR [29]，D-DBPN [11]，RCAN [47]和EDSR [29]更好的性能和更少的参数，这些参数是重新定义的。最近发表的SR方法。EBRN也优于传统的小模型，包括 SRDenseNet [42] ， DRCN [22] ， LapSRN [25] ，VDSR [21]，FSRCNN [8]，SRCNN [7].这些结果表明，所提出的EBRN执行有限的参数，由于其精心设计的架构。5.4. 与最新技术水平的比较在本节中，我们将所提出的模型与最先进的模型进行比较，包括SRCNN [7]，VDSR [21]，DRC- N [22]，lapSRN [25]，EDSR [29]，RDN [48]，IDN [16]，M-4187(a) HR（b）Bicubic（c）VDSR（d）DRCN（e）LapSRN（f）EDSR（g）IDN（h）MSRN（i）我们的图8.通过不同方法恢复的选定零件的可视化放大因子为4。3332.5EBRNMDSRRCAN实时应用程序。我们选择四个示例进行可视化，如图7所示示例的细节在图8中放大并可视化，从中可以观察到，所提出的方法可以合成更多的D-DBPN32SRDenseNetEDSR令人愉悦的纹理和结构。竞争对手产生有缺陷的纹理，这可能是由于不适合的LapSRN复杂纹理上的模型或模型的过拟合31.53130.530DRCNVDSRFSRCNN简单的地区。6. 结论在本文中，我们的动机是，不同频率的信息应恢复的模型，0 5 10 15 20 25 30 35 40 45参数数量图9. PSNR与参数数量的关系。比较在具有× 4放大因子的Set5上进行。[28][29]峰值信噪比（PSNR）[18]和结构相似性指数（SSIM）[45]被用作评估指标。遵循共同设置并且为了公平比较，我们使用变换的YCbCr空间的亮度通道（Y）进行质量测量。该模型以RGB图像为输入，提取Y通道输出，颜色转换后。通过使用双三次插值合成LR图像。表4给出了不同方法的×2、×4和×8性能，从中我们可以看出，所提出的方法实现了最佳的PSNR，所有病例的SSIM评分。关于推理时间，我们使用竞争对手发布的代码，这些代 码在具有4.2GHz Intel i7CPU，32GB RAM和Nvidia TITANX GPU卡的服务器上进行评估。在表2中，我们比较了几种有效方法的运行时间，表明所提出的模型满足要求不同的复杂度，并提出了一种嵌入式块残差网络的单图像超分辨率。我们认为，现有方法的局限性是由模型对复杂纹理的欠拟合和对简单结构的过拟合造成的。 因此，我们开发了一个块残差模块，可以恢复部分图像信息，同时将剩余的信息传递到更深的层。 这些模块被嵌入以形成深层架构。一个精心设计的子网络也被设计用于有效的特征融合。利用该模型，较低频率的信息由浅BRM恢复，而较高频率的信息由较深的BRM恢复综合实验证明了所提出的思想的有效性。鸣 谢 本 工 作 得 到 国 家 自 然 科 学 基 金 项 目 61772455 、61772508、U1713213，云南省自然科学基金项目2018 FY001（-013），云南大学国家自然科学基金优秀青年人才项目 2018YDJQ004 ， 深 圳 技 术 项 目 （ J-CYJ20170413152535587，JCYJ 20180507182610734），CAS关键技术人才计划。峰值信噪4188引用[1] Namhyuk Ahn、Byungkon Kang和Kyung-Ah Sohn。使用级联残差网络实现快速、准确、轻量的超分辨率。在欧洲计算机视觉会议论文集，2018年9月。[2] 巴勃罗·阿贝莱斯，迈克尔·梅尔，查利斯·福克斯，还有吉坦德拉·马利克.轮廓检测和分层图像分割。IEEETransactionsonPatternAnalysisandMachineIntelligence，33（5）：898[3] Yancheng Bai ， Yongqiang Zhang ， Mingli Ding ， andBernard Ghanem.用生成式对抗网络在野外寻找微小的面孔。在IEEE计算机视觉和模式识别会议论文集，第21-30页，2018年。[4] Marco Bevilacqua、Aline Roumy、Christine Guillemot和Marie Line Alberi-Morel。基于非负邻域嵌入的低复杂度单幅图像超分辨率2012.[5] Shengyang Dai，Mei Han，Wei Xu，Ying Wu，YihongGong，and Aggelos K Katsaggelos.Softcuts：一种用于彩色图像超分辨率的软边缘平滑先验。IEEE Transactionson Image Processing，18（5）：969[6] 英格丽·多贝西小波变换、时频局部化与信号分析。IEEE Transactions on InformationTheory，36（5）：961[7] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang.学习用于图像超分辨率的深度卷积网络。在 欧 洲 计 算 机 视 觉 会 议 论 文 集 ， 第 184-199 页 。Springer，2014.[8] Chao Dong，Chen Change Loy，and Xiaoou Tang.加速超分辨率卷积神经网络。在欧洲计算机视觉会议论文集，第391-407页。施普林格，2016年。[9] 克劳德·杜雄。一维和二维的Lanczos滤波。应用气象学杂志，18（8）：1016-1022，1979。[10] Ian Goodfellow 、 Jean Pouget-Abadie 、 Mehdi Mirza 、Bing X-u 、 David Warde-Farley 、 Sherjil Ozair 、 AaronCourville和Yoshua Bengio。生成性对抗网。神经信息处理系统进展论文集，第2672-2680页，2014年[11] Muhammad Haris Gregory Shakhnarovich 和 NorimichiUkita。用于超分辨率的深反投影网络。在IEEE计算机视觉和模式识别会议论文集，第1664-1673页[12] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.深入研究整流器：超越人类水平的图像分类性能。在IEEE计算机视觉国际会议论文集，第1026-1034页[13] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议上，2016年6月。[14] 高煌，刘壮，劳伦斯·范德马腾，和K-利安·Q.温伯格密集连接的卷积网络-工程. 在IEEE计算机视觉和模式识别会议上，2017年7月。[15] Jia-Bin Huang，Abhishek Singh，and Narendra Ahuja.单图像超分辨率从变换的自我范例。IEEE计算机视觉和模式识别会议论文集，第5197-5206页，2015年[16] Zheng Hui，Xiumei Wang，and Xinbo Gao.通过信息放大网络实现快速准确的单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第723-731页，2018年。[17] Sergey Ioffe和Christian Szegedy。批次标准化：通过减少内部协变量偏移来加速深度网络训练。arXiv预印本arXiv：1502.03167，2015。[18] Michal Irani和Shmuel Peleg。用于图像增强的运动分析 ： 分 辨 率 、 阻 塞 和 透 明 度 。 Journal of VisualCommunication Image Representation，4（4）：324[19] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。在欧洲计算机视觉会议论文集，第694-711页中。施普林格，2016年。[20] 罗伯特·凯斯数字图像处理中的三次卷积插值。IEEETransactionsonAcoustics ， Speech ， andSignalProcessing，29（6）：1153[21] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.使用非常深的卷积网络实现精确的图像超分辨率。在IEEE计算机视觉和模式识别集，第1646-1654页[22] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.用于图像超分辨率的深度递归卷积网络。在IEEE计算机视觉和模式识别会议论文集，第1637-1645页[23] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[24] 舒空和查尔斯·福克斯。使用预测滤波器流进行图像重建。arXiv预印本arXiv：1811.11482，2018。[25] 赖伟胜，黄家斌，纳伦德拉·阿胡贾，杨明轩。深拉普拉斯金字塔网络实现快速和精确的超分辨率。在IEEE计算机视觉和模式识别会议论文集，第624-632页[26] Yann LeCun、Bernhard Boser、John S Denker、DonnieHenderson 、 Richard E Howard 、 Wayne Hubbard 和Lawrence D Jackel。反向传播应用于手写邮政编码识别。神经计算，1（4）：541-551，1989。[27] Chri s tianLedig ， LucasTheis ， FerencHus z'r， Jo seCa