实时图像超分辨率的自注意负反馈网络

沙特国王大学学报实时图像超分辨率的自注意负反馈网络刘祥斌a，b，c，陈淑琪a，b，c，宋丽萍a，b，c，马欣·沃兹尼亚克d，刘帅a，b，c，刘a湖南省智能计算与语言信息处理重点实验室，湖南师范大学，No. 庐山路36号，长沙，中国b湖南师范大学信息科学与工程学院庐山路36号，长沙，中国c湖南湘江人工智能学院，No. 庐山路36号，长沙，中国d西里西亚理工大学应用数学系，波兰格利维采，Kaszubska 23阿提奇莱因福奥文章历史记录：收到2021年2021年7月14日修订2021年7月20日接受2021年7月29日在线提供保留字：超分辨率自我关注负反馈网络SSIMPSNRA B S T R A C T在实时图像增强领域，图像超分辨率是一个重要的研究热点。作为一种图像超分辨率方法，深度学习可以提取更稳定、更高层次的特征。然而，图像超分辨率处理是一个不适定问题。由于缺乏自注意负反馈机制，现有方法不能较好地约束低分辨率图像到高分辨率图像的映射空间，生成的高分辨率图像不符合人眼视觉感知。为此，本文提出了一种自注意负反馈网络（SRAFBN）来实现实时图像SR，该网络模型通过自注意负反馈模型约束图像映射空间，选择图像的关键信息，从而生成满足人眼视觉感知的更高质量的图像。具体地，首先利用递归神经网络（RNN）构造多个负反馈模块，并且每个模块生成HR图像。然后，通过自注意机制提取生成图像的关键信息。最后，将提取的信息进行融合以生成最终的HR图像。实验结果表明，提出的SRAFBN网络模型不仅具有更高的峰值信噪比和SSIM，而且可以重建出更真实、更清晰的实时图像。版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍将低分辨率实时图像重建成高分辨率实时图像被称为图像超分辨率（Ha等人， 2019年，这是一个非常具有挑战性的问题。 在信息社会中，实时图像超分辨率一直受到人们的高度重视，并已应用于医学、数字电视、工业检测、监视和军事侦察等重要领域。这项技术可以直接增强*通讯作者：西里西亚理工大学应用数学系，Kaszubska23，Gliwice，Poland（M.Woz'niak）. 智能计算与语言信息处理湖南省重点实验室，湖南湖南省长沙市庐山路36号师范大学Liu）.电子邮件地址：xbliufrank@hunnu.edu.cn（X. Liu），liushuai@hunnu.edu.cn（ S.Chen ） ， 201970293274@smail.hunnu.edu.cn （ L.Song ） ， marcin. polsl.pl（M. Woz'niak），liushuai@hunnu.edu.cn（S. Liu）.沙特国王大学负责同行审查在不升级成像系统硬件设备的情况下，在软件算法级上提高图像质量，以满足实际应用。目前，在图像处理领域，该技术已成为讨论热点（Wu et al.， 2014;Zhen等人，2011; Zhang等人， 2017年）。用于图像超分辨率的方法包括插值、重建和学习（Inoue等人，2010; Zhang等人，2013年; Zerofte等人，2013年; Zerofte等人，插值方法将低分辨率（LR）图像中的已知像素的平均值作为高分辨率（HR）图像中的缺失像素。这种方法可以应用于图像的平滑区域，但在图像的边缘和角落等不连续区域，这种方法会产生模糊现象。重建方法是图像退化模型的逆应用，它利用“图像退化模型”的逆计算该方法虽然改善了插值方法的锯齿、模糊等缺陷，但要找到适合实际成像过程的图像退化模型是非常具有挑战性的基于学习方法的过程：首先，对海量数据进行分析，提取关键参数。其次，关键参数https://doi.org/10.1016/j.jksuci.2021.07.0141319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comX. Liu，S.陈湖，澳-地Song等人沙特国王大学学报6180在学习过程中不断优化最后，建立了从LR图像到HR图像的映射模型，以重建高质量的图像。随着深度学习技术的快速发展，基于深度学习的图像检索策略也被大量开发出来。由于这些方法具有简单但非线性的表示模块，因此可以获得更高、更抽象的数据表示，并可以学习更高级的图像间映射关系目前，这类方法已成为目前最主流的超分辨率方法。目前，基于深度学习的实时图像超分辨率然而，人类在观察物体时，一般先观察物体的整体轮廓，然后通过神经系统中的负反馈机制获得物体的有效信息，并利用视觉注意机制集中物体视觉系统中的负反馈机制和自我注意机制在这些方法中没有得到体现其结果是，网络没有约束映射空间，而是盲目地提高图像的分辨率，而没有关注图像的关键信息，不利于图像的高质量重建。针对这一问题，提出了一种基于自注意负反馈网络的实时图像超分辨率网络。网络中的浅层可以学习图像的轮廓等低级信息，而高级网络可以学习图像的纹理细节等高级信息。网络通过反馈机制将高级信息路由回模型的输入，这反过来又引导网络更好地编码低级信息。就像人类的视觉系统观察一个物体一样，它首先看物体的整体轮廓，然后判断这个物体是什么第二，逐步搜索感兴趣区域进行重点观察，滤除其他干扰信息。网络的各个反馈模块产生的图像特征的层次信息是不同的。利用注意力机制对不同层次的图像特征赋予不同的权值，然后提取不同层次之间的关键信息，融合到最终的重建图像中。这样重建的HR图像不仅质量高，而且能够突出图像的关键信息，符合人眼的视觉感知，有利于图像的信息传输本文的主要创新点如下：首先，提出了自注意机制通过这个该机制能合理分配重建网络中各负反馈模块的权重，筛选出图像的关键信息，更适合实时图像的重建。其次，提出了一种基于自注意力负反馈模型的SR实时图像网络。通过在负反馈网络中引入自注意机制，该网络充分利用了人类视觉感知中的负反馈模型和自注意机制，重构出更高质量的HR图像。实验结果表明，该方法是可行的，在客观索引和细节纹理信息恢复方面都具有优势。本文的结构安排如下：第一部分是对本文所做工作的初步介绍。第二部分详细讨论了相关的工作第三部分是本文的创新之处。第四部分，对模型进行了验证，并对实验结果进行了分析。最后，对本文的工作进行了总结，并对未来的工作进行了展望。2. 相关作品2.1. 深度学习随着计算机硬件的快速发展，计算机的计算能力得到显著提升，深度学习技术得到广泛应用。在图像SR领域，基于深度学习的表示策略具有简单但非线性的表示模块，可以获得更高更抽象的数据表示，可以学习图像之间更高级的映射关系。它已成为目前最主流的SR方法。例如，超分辨率卷积网络模型（SRCNN）由Dong等人提出（Dong等人，2014年）首次提出，其核心思想是学习HR图像和LR图像之间的非线性映射关系该网络在通信技术上取得了压倒性的质的优势为了提高SRCNN网络的训练速度和图像质量，Dong的团队（Dong等人， 2016）提出了一种快速超分辨率卷积神经网络模型（FSRCNN），其特点是不需要在网络外放大图像尺寸。由于以前的网络模型层次较浅，无法提取更深层次的信息，而直接增加网络模型的深度会出现过拟合现象，导致输出结果变因此，Kim等人提出了甚深超分辨率（VDSR）（Kim等人，2016年）。该模型利用残差学习来增加模型的深度，可以较好地解决过拟合现象，重建图像的质量也得到了提高。为了加快模型训练速度，Kim et al. （Kim等人，2016）提出了一种用于图像超分辨率的深度递归卷积网络模型（DRCN），在VDSR的基础上加入递归连接实现权值共享和模型压缩。Lim等人（Lim等人， 2017）提出了基于增强深度增强残差网络的单图像超分辨率增强深度残差网络（EDSR），通过去除残差块中不必要的批量归一化层并扩大模型大小。Zhen et al. （Li等人，2019 ） 提 出 了 一 种 基于人类视觉负反馈机制的图 像 SR 反 馈 网 络（SRFBN），该网络使用高层信息来细化低层表示。具体来说，在一个约束递归神经网络（RNN）的中间状态被用来实现这种反馈模式。反馈块是为了解决反馈布线问题，并生成更有效的高级信息。实验结果表明，与现有方法相比，SRFBN模型能够重建出更高质量的图像2.2. 自我注意机制源于人类视觉系统的自注意机制人类在观察外界事物时，习惯于有目的地观察事物的某些关键部分--完全根据自己的需要，而不是从整体上观察事物自注意机制通过赋予模型各部分不同的权重，获得更多的关键信息，使模型在相同的计算和存储条件下，能够做出更准确的判断许多研究者对自我注意机制提出了不同的观点，并将其应用到各个领域的深度学习模型Wang等人 （Wang等人， 2018）首次将自注意机制引入图像处理领域，提出了一种非局部神经网络。通过使用自注意机制来建立远程依赖关系，网络计算任意两个位置之间的相互作用，而不是局限于相邻点。X. Liu，S.陈湖，澳-地Song等人沙特国王大学学报6181ð·ÞðÞ·这样，就可以保留更多的信息Fu等 （Fu等人， 2019）提出了一种用于场景分割的双注意力网络（DANET），结合自注意机制，分别捕获空间维和通道维上的特征依赖关系，从而建立更丰富的局部上下文依赖关系，增强特征表达能力，实现更有效的场景分割。在标准卷积网络中，每个卷积层神经元的感受野大小是相同的。卷积网络很少考虑视觉神经元感受野的大小。因此，Li等人（Li等人，2019）提出了一种新型的选择性核网络（SKNET）网络模型，该模型使神经元能够自适应地调整大小不同大小的输入信息的感受野。 网络中存在多个分支，不同的注意力在网络中产生不同的效应接受领域的Zhang等人（Zhang等人，2019年）提出了一种自注意生成对抗网络（SAGAN），它使用注意力驱动来建模图像生成任务。传统的GANs只能在低分辨率的特征图上生成空间局部点的函数，而图像的细节可以通过在SAGAN的所有功能位置。实验结果表明，将自注意力模型集成到GAN框架中可以有效地增强图像，在ImageNet上获得更好的性能。Giannis等人（Daras等人，2020）对SAGAN进行了改进，引入了一个新的局部稀疏注意层，保留了平面几何形状和局部特征。实验证明，在Image-Net上可以获得非常突出的FID分数和清晰的视觉效果。2.3. 负反馈机制反馈被定义为当系统的输出（全部或部分）作为迭代因果过程的一部分被路由回输入时发生的过程反馈机制允许网络根据对前一状态的输出反馈来调整网络的参数，从而获得模型的最佳效果 近年来，反馈机制已被用于许多图像处理网络框架中（Sanding和Ximei，2010; Bai等人， 2019年）。例如，Luo等人（Sanding and Ximei，2010）设计了一种仿人闭环视觉系统模型，引入反馈机制和高层知识指导，解决了当前计算机视觉领域精度差、噪声影响大、计算复杂度高的问题，并将其应用于车牌定位系统。结果表明，基于该模型的车牌定位系统具有较好的容错性和较高的定位精度，能够有效解决光照不均匀、车牌衰落和复杂背景干扰下的车牌定位问题。由于视觉和惯性测量的同时定位与建图（SLAM）的实时性和精度之间的不平衡，Bai等人提出了一种基于视觉和惯性测量的SLAM方法。 （Bai等人， 2019）提出了一种立体视觉惯性定位和地图构建（VISLAM）的反馈机制，以重建精确和实时的地图。该方法的核心思想是VISLAM系统的前后端可以相互促进优化。通过将基于卡尔曼滤波器（KF）的后优化结果反馈到前，减小了由于KF估计线性化而引起的运动估计误差此外，更高精度的前端运动估计为后端提供了更准确的初始状态，加快了后端优化。在图像超分辨率方面，引入反馈机制，改善网络结构。例如，Han et al. （Han等人，2018）设计了一种新的具有时延反馈模型的网络双状态递归网络（DSRN）。该网络同时使用低分辨率图像（LR）和高分辨率图像。分辨率图像（HR）信号，以通过延迟反馈在两个方向上交换状态信号。实验结果表明，所设计的DSRN具有较低的内存消耗和较高的预测精度。 为了解决LR和HR图像之间的相互依赖性，Haris等人（Haris等人，2018）提出了深度反投影网络（DBPN），通过迭代上下采样层反馈每一级的投影误差，能够重构出更好的结果，尤其是大尺度因子。由于人类视觉感知系统的反馈机制尚未开发，Zhen etal. （Li等人， 2019）设计了一种图像超分辨率反馈网络SRFBN，它利用约束递归神经网络RNN的负反馈模块来实现这种反馈模式。所设计的SRFBN具有良好的图像生成效果大量的实验结果证明了所设计的SRFBN与现有模型相比具有优越性。受SRFBN的启发，将自我注意模型引入负反馈机制。在负反馈过程中，对各负反馈模块输出的特征图像进行相关处理，以获得更高质量的重建图像。3. 方法3.1. 实时图像SR网络模型实时图像SR的主要目的是基于给定的实时LR图像来估计实时SR图像，使得生成的SR尽可能接近真实HR图像。目前，通过监督学习训练的超分辨率网络虽然能有效地提高实时图像的分辨率，但不能生成符合人类视觉感知的高质量图像。为了有效地克服这一问题，本文提出了一种自注意负反馈网络来重建实时图像。该网络模型通过自注意负反馈机制对图像的关键信息进行筛选，从而获得更高质量的图像整个网络是通过学习残差来解决HR图像和LR图像之间的映射关系（ He et al. ， 2016 ） ，主 要包 括三 个模 块。 第一 个模 块是 由3x3conv和1x1conv组成的特征提取模块，第二个模块反馈模块是基于循环神经网络RNN实现负反馈的反馈模块，重构模块是基于自注意机制的重构模块整个网络的流程图如图所示。1 .一、3.2. 特征提取模块和负反馈模块在特征提取模块中，利用两个卷积层提取低质量图像（LR）信息L0作为负反馈模块的输入。公式如下：L0¼ C2H2OC 2H2OLR;K2H2O3;3H2O;K2H2O1;1H2O1其中，表示卷积运算，并且K表示卷积核。在负反馈模块中，采用跳变连接的方式，进一步提高了网络的性能。同时，代码解码框架（Mao等人，（1603）用于解决实时LR图像和实时HR图像之间的映射关系。主要实现思路如下：第一，由于有用的图像信息会丢失在基于池化操作的底层图像修复领域，采用卷积网络结构提取映射关系。该网络由多层卷积和去卷积组成。卷积层用于编码，X. Liu，S.陈湖，澳-地Song等人沙特国王大学学报6182ð·Þ[1/2····]Fig. 1. 自我注意负反馈图像的超分辨率网络流程图。提取图像的特征和提取图像的抽象信息相应的去卷积层用于解码，负责恢复图像细节。然后，卷积层的特征图和去卷积层的对应特征图被跳跃连接。在添加相应的像素之后，通过非线性激活函数进入负反馈模块的下一个反馈模块的网络结构如图所示。 二、如图2所示，该网络包含1x1的多个降维卷积层、多个编码卷积层和对应的解码卷积层。其中，1x1的降维卷积层用于融合特征图像并进行降维操作。编码卷积层主要用于提取图像的抽象特征，而解码卷积层则用于恢复图像细节并生成相应的HR图像细节。负反馈模块的整个实现过程是：首先，编码构建层和对应的解码构建层形成一个映射组，每个映射组中编码构建层的输出通过跳转连接线跳转到所有映射组的解码构建层的输入。然后，每个映射组中的解码卷积层的输出跳转到所有映射组中的编码卷积层的输入，通过1x1降维卷积层进行信道号的降维操作利用跳跃的方式通过这种连接，可以将映射组的输入与前面所有映射组的输出信息同时结合起来，从而较好地解决了网络层数增加带来的梯度消失问题，在一定程度上促进了网络的优化。在负反馈过程中，RNN主要用于实现负反馈运算.在每个周期输入公式如下：FBnFBBDFBn-1;L00 0 22FBn表示负反馈模块在第n次迭代后的输出特性，FBBD表示负反馈模块中的运算。3.3. 自注意机制重构模块自注意机制可以减少对外部信息的依赖自注意机制通常被认为是一种特殊的神经网络，它通过对输入的不同部分分配不同的权重，从大量的内部信息中过滤出关键信息。本文通过引入自注意机制，对各个负反馈模块输出的HR图像赋予不同的权重自注意机制的结构如图所示。3.第三章。这个机构的输入是矢量A1：0; 1：0; 1：0; 1：0其中向量A的维数等于负反馈模块的数目。通过全连接层、非线性激活函数ReLu和全连接层，图二. 负反馈模块结构图。图三.自我注意机制的结构。X. Liu，S.陈湖，澳-地Song等人沙特国王大学学报6183ð ð·ÞÞ1/4f············· gSigmoid函数规范化了输出。该机构的输出在自我注意机制的重构模块中，FBn首先通过去卷积生成残差特征图，然后降低特征维数损失n/4SRn-LR105loss< $Lossω WT60步骤4：通过损失函数L1更新网络参数，并将损失最小的参数保存为模型。在测试过程中，最后一次迭代生成的SRn通过卷积C生成与最终输出图像通道数公式如下：Resn¼CDeconvFBn-1;k3; 33其中Resn是第n次迭代的残差特征图。在每次迭代中，将残差图像Resn和上采样图像Upsample相加以获得迭代HR图像。的公式如下：SRn¼ResnUpsample2014其中SRn是在RNN网络的第n个循环中生成的HR图像，并且上采样是通过双三次插值获得的HR图像。在RNN循环的每一次迭代之后，使用注意力机制给每一次迭代生成的SRn图像赋予一个权值，每一次迭代都参与损失函数的计算。权值乘以每次迭代的损失，得到每次训练的损失值，用于指导网络在下一次训练中更好地重建高质量图像。公式如下：损失n/4SRn-LR105其中Lossn表示第n个RNN循环的损失值loss< $Lossω WT60其中，Loss^fLoss1;Loss2;Loss3;·· ·g表示由RNN迭代损失组成的损失向量，wn表示第n次迭代由自注意机制产生的权重值，Ww1;w2;w3表示迭代权值组成的权向量，loss表示每次训练后的损失。在网络训练结束时，将损失最小的训练参数保存为模型。在测试过程中，模型提取RNN循环最后一次迭代生成的高质量图像作为最终输出。3.4. 网络模型算法本文构建的网络模型可分为三个步骤：特征提取、反馈学习和注意力重构。第一步：使用ASRFBN网络的特征提取模块提取图像特征信息。L0¼C2H2O C2H2OLR;K2H2O3;3H2O;K2H2O1;1H2O1第二步：在负反馈模块中，提取的LR图像的特征信息通过编解码框架和反馈迭代进行处理，从而得到HR图像的特征。FBnFBBDFBn-1;L0 00 22步骤3：通过自注意网络机制，为负反馈网络中的每个负反馈模块提供权重，以获得每次训练的HR图像。Resn¼CDeconvFBn-1;k3; 33SRn¼ResnUpsample2014的RNN被用作模型的最终输出4. 实验4.1. 数据集和评价指标训练网络模型阶段：本文使用DIV2K（Agustsson和Jumefte，2017）的训练部分（数据集包含1000张高清图像，其中800张用于训练，100张用于验证，100张用于测试）作为训练样本。同时，为了获得更充足的数据量和更可靠的网络模型，本文将通过对训练样本进行180度翻转来扩大训练样本。经过数据增强后，本文的训练样本共有1600幅高清图像和1600幅低清晰图像。测试网络模型阶段：本文使用公共基准数据集：set5数据集（ Bevilacqua 等人， 2012 ）， 设置14 个数据集（ Zeyde 等人，2010）和B100数据集（Martin等人， 2001）来测试训练的网络模型，并使用峰值信噪比（PSNR）和结构相似性（SSM）（Wang etal.， 2004）作为评价指标。 为了使生成的图像更符合人的视觉感知，一些实验引入了NIQE（Natural Image Quality Evaluator）（Shao et al. 2016）作为辅助评价指标。其中，set5数据集和set14数据集分别由5幅和14幅图像组成，B100数据集包括100幅自然图像。评价指标介绍：PSNR是最常用、应用最广泛的图像客观评价指标。它是基于对应像素之间的误差，即基于对误差敏感的图像质量评价。SSM是一种全参考图像质量评价指标，从亮度、对比度、结构三个方面衡量图像相似性。NIQE是一种无参考图像的客观评价指标。它通过提取自然景观中的特征并将其拟合到多元高斯模型中来测试测试图像。该模型实际上测量待测试图像的多元分布的差异。该分布由从一系列正常自然图像中提取的4.2. 培训详情4.2.1. 网络输入大小及总体结构参数设置该网络在监督训练过程中需要一对LR图像和HR图像。LR图像通过HR图像的下采样获得。因此，随着放大比例的增大，LR图像的尺寸减小。为了使不同放大模型的输入一致，本文将模型的输入尺寸设置为36x36。将网络模型的输入通道的数量设置为3，将提取的中间特征的数量设置为64，将输出特征的数量设置为3，将编码和解码映射组设置为6，并且将循环迭代的数量设置为4。在注意力网络中，我们首先初始化权重矩阵A = [1.0，1.0，1.0，1.0]。中间隐藏层中的神经元数量设置为10，输出层中的神经元数量设置为4，并且通过sigmoid函数对学习的权重进行归一化。单回路的网络结构图和自注意机制结构图如图4所示，X. Liu，S.陈湖，澳-地Song等人沙特国王大学学报6184-见图4。 单环网络结构和自注意机制结构。表1表3负反馈模块中卷积层和解卷积层的详细参数设置规模层内核大小大步填充X2Conv11x110德孔夫6x622Conv26x622X3Conv11x110德孔夫7x732Conv27x732X4Conv11x110德孔夫8x842Conv28x842表4重建模块中卷积层和解卷积层的详细参数设置规模层内核大小大步填充X2解卷积222conv110X3解卷积322conv110X4解卷积422conv 1 1 0卷积层和去卷积层在不同的尺度层。4.2.3. 实验环境和训练参数设置本实验是在Windows 10，64位系统下基于python操作环境下实现的。硬件包括：Intel（R）core（TM）i5 8300 h CPU处理器，NVIDIA GeforceGTX 1060 GPU。网络的损失函数设置为L1，更新算法为Adam，学习率为0.0001，迭代次数为1000，batch_size为8。表2特征提取模块中卷积层的详细参数设置。层内核大小大步填充Conv23x311Conv11x110相应的卷积层和解卷积层表示输出通道的数量。4.2.2. 网络中卷积和反卷积的参数设置整个网络分为特征提取模块、负反馈模块和图像重建模块。除了最后一层卷积，本文使用PReLU（He et al.，ICCV 2015）作为所有卷积和去卷积层的激活函数。其中，卷积层和去卷积层在不同尺度下的输出特征图维度如表1所示。特征提取模块中的卷积层参数在不同放大倍率下保持不变，具体设置见表2。不同尺度的负反馈模块中卷积层和解卷积层的参数设置如表3所示。不同尺度的重构模块中的卷积层和解卷积层的参数设置如表4所示。4.3. 实验结果在本文中，提出的网络模型和双三次（井上等人， 2010）、SRCNN（Dong等人， 2014）、VDSR （Kim等人， 2016）、SRFBN（Li等人，2019）、FDNN（Fc等人，2020）网络模型在基准集上对图像超分辨率性能进行评估，结果如表5所示。同时，本文还在基准数据集上用NIQE指标对SRFBN模型和SRAFBN模型生成的高质量图像进行了评价，证明了所生成的图像质量图像符合人类视觉感知。结果示于表6中。此外，本文还对手机摄像头在现实世界中直接拍摄的实时LR图像进行了超分辨率处理，效果如图所示。 五、从表5中可以看出，在基准数据集下，我们提出的模型在PSRN和SSIM中与SRFBN进行了比较，这充分证明了我们提出的模型的有效性从表6可以看出，在基准数据集下，我们提出的模型的NIQE值低于SRFBN。这证明了我们的模型在较高的PSRN和SSIM的情况下具有更好的视觉感知。如图 4、在GT_1图像中，SRFBN和SRAFBN模型都能明显提高图像分辨率，SRAFBN能较好地重建图像信息例如，SRAFBN图像中用红色圈出的单词比SRFBN图像中更清晰，并且SRAFBN图像的整体清晰度高于SRFBN图像的整体清晰度。在GT_2图像中，SRAFBN图像的佛像和道路裂缝比SRFBN图像清晰规模层特征尺寸X2X3X4convdeconvconvdeconvconv36x3672x7236x36108x10836x36解卷积144x144X. Liu，S.陈湖，澳-地Song等人沙特国王大学学报6185表5平均PSNR / SSIM结果表（粗略数字为最佳结果）。数据集规模双三次PSNR/SSIMSRCNNPSNR/SSIMPSNR/SSIMSRFBNPSNR/SSIMFDNNPSNR/SSIMSRAFBN（我们的）PSNR/SSIMSet5X233.66/0.929936.66/0.954237.53/0.959038.04/0.9607-/-38.07/0.9607X330.29/0868232.75/0.929033.67/0.921034.48/0.927933.68/0.921334.60/0.9285X428.42/0.810430.48/0.862831.35/0.883032.30/0.805931.17/0.881332.35/0.8969设置14X230.24/0.868832.45/0.906733.05/0.913033.62/0.9172-/-33.71/0.9182X327.55/0.774229.28/0.821529.78/0.832030.33/0.842429.80/0.832030.46/0.8451X426.00/0.702727.49/0.750128.02/0.768028.68/0.783627.93/0.765128.70/0.7843B100X229.56/0.843131.36/0.887931.90/0.896032.20/0.8895-/-32.23/0.9001X327.21/0.738528.41/0.786328.83/0.799029.13/0.805828.80/0.797629.18/0.8075X425.96/0.667526.90/0.710127.29/0.726027.61/0.737027.22/0.723627.67/0.7392表6平均NIQE结果表（粗略数字为最佳结果）。SRFBN SRAFBN（我们的）5. 结论本文提出了一种新的超分辨率实时图像网络（自注意负反馈超分辨率网络SRAFBN）通过在SRFBN网络中加入自注意机制，为负反馈模块分配合理的权值，捕捉图像中的关键信息，电话：+86-551 - 8888888图像. SRAFBN图像中的GT_3图像、文字和周围树枝比SRFBN图像更清晰。在GT_4图像中，SRAFBN图像中的草堆比SRFBN图像中的草堆更真实，证明了在引入注意机制后，重建的图像可以更符合人类视觉系统。在GT_5图像中，SRAFBN图像中的数字比SRFBN图像中的数字更清晰。模型不仅在PSRN、SSIM和NIQE等客观指标上取得了较好的效果，而且能够重构出更符合人眼视觉感知的图像纹理，特别适合于实时图像增强。虽然本文提出的网络模型提高了实时图像的质量，但时间消耗并不低于现有的网络模型。因此，减少实时图像的超分辨率时间将是我们以后研究的方向和目标。图五. 2级实时图像超分辨率（GT图像是LR图像直接在查看软件上放大的效果）。X46.21596.2133LR图像和HR图像之间的更深映射关系B100X25.06615.0501学习，并重建HR图像。实验X35.88155.7451结果表明，所提出的方法Set5X25.44915.3847X36.51596.4889X47.22797.1336设置14X25.18835.1374X35.79875.7368X. Liu，S.陈湖，澳-地Song等人沙特国王大学学报6186竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。引用V.K.伦C.的方法，Xin-Ying，X.u.，例如，2019.基于深度学习的单图像超分辨率：综述。Int.J. 自动。Comput. 1（4），413-426.Wu ，X. ，中国农业科学院， Xiao，S. ，张玉，‘Registration based super-resolutionreconstruction for 2014年第36届IEEE医学和生物学工程学会国际年会，芝加哥，IL，美国，2014年8月，pp.2444-2447，Zhen，J.，王，H.，熊志，字，例如，用于视频监控的具有稀疏表示的快速人脸幻觉TheFirst Asian Conference on Pattern Recognition，Beijing，China，Nov，2011，pp.一七九至一八三张，T.，杜，Y.，卢，F.，2017.基于多点统计和等距映射的遥感图像超分辨率重建。遥感9，（7），724。井上，K.，Murahira，K.，Taguchi，A.，“提高图像二次扩展线性插值的精度”。2010年第18届欧洲信号处理会议，奥尔堡，丹麦，2010年8月，pp。1316-1320。张，K.，高，X.，陶，D.，等人，943-946赫夫特河，De，V.，古尔，L.V.，2013.锚定邻域回归用于快速基于示例的超分辨率。在：IEEE计算机视觉国际会议论文集，pp。 1920-1927年。赫夫特河，Smet，V.D.，古尔，L.V.， 亚洲计算机视觉会议，Springer，Cham，2014，pp. 111-126Peleg，T.，Elad，M.，2014.基于稀疏表示的单幅图像超分辨率统计预测模型。IEEE传输图像处理。23（6），2569-2582。董，C. ，Loy，C.C. ，他，K. ，“Learning a Deep Convolutional Network for ImageSuper-Resolution”。欧洲计算机视觉会议。Springer，Cham ，Sept，2014，pp.184-199。董，C.，Loy，C.C.，唐，X.， Springer，Cham，2016年9月，第391 -407页。金，J.，Kwon Lee，J.，Mu，L.K.，2016.使用深度卷积网络实现精确的图像超分辨率。在：IEEE计算机视觉和模式识别会议论文集，pp。 1646-1654年。金，J.，李，J. K.，李，K.M.，2016.用于图像超分辨率的深度递归卷积网络。在：IEEE计算机视觉和模式识别会议论文集，pp。 1637-1645年。Lim，B.，儿子S Kim，H.，例如，2017.增强的深度残差网络用于单图像超分辨率。在：IEEE计算机视觉和模式识别研讨会会议论文集，pp。 136-144。Li，Z.，杨杰，刘志，例如，2019.图像超分辨率反馈网络。在：IEEE/CVF计算机视觉和模式识别会议论文集，pp。 3867-3876。王，X.，格希克河，巴西-地古普塔，A.，例如，2018.非局部神经网络。在：IEEE计算机视觉和模式识别会议论文集，pp。 7794-7803。Fu，J.，刘杰，Tian，H.，例如，2019年。双注意力网络在场景分割中的应用。在：IEEE/CVF计算机视觉和模式识别会议论文集，pp。 3146-3154。Li，X.，王伟，Hu，X.，例如，2019.选择性内核网络。在：IEEE/CVF计算机视觉和模式识别会议论文集，pp。510- 519张洪，古德费洛岛，澳-地Metaxas，D.，“Self-attentiongenerative adversarial networks”，International conference on machine learning。PMLR，2019年，第7354 - 7355页7363.Daras，G.，Odena，A.，张洪，例如，2020. Your local GAN：为生成模型设计二维局部注 意力机制 。在： IEEE/CVF计算机 视觉和模 式识别会 议论文集 ， pp。14531-14539。桑丁湖，Ximei，S.，2010.视觉检测系统反馈机制的研究。Comput. Eng.36（001），197-200.Bai，J.，高，J.，Lin，Y.，（1996年），例如，2019.一种新的基于反馈机制的立体视觉-惯性SLAM。IEEE Access 7，147721-147731。Han，W.，张，S.，Liu，D.，中国科学院，“通过双状态递归网络实现Haris，M.，Shakhnarovich，G.，Ukita，N.，2018.用于超分辨率的深度反投影网络。在：IEEE计算机视觉和模式识别会议论文集，pp。 1664-1673年。他，K.，张，X.，Ren，S.，例如，2016.用于图像识别的深度残差学习。在：IEEE计算机视觉和模式识别会议论文集，pp。 770- 778Mao，X.J.，Shen，C.H.，杨，Y.B.，Agustsson，E.，赫夫特河， 2017年IEEE计算机视觉和模式识别研讨会（CVPRW）IEEE，2017年。Bevilacqua，M.，Roumy，A.，吉列莫角例如，‘Low-complexity single-image super-resolution based on nonnegative neighbor embedding ,’ Proceedings of the 23rdBritish BMVA Press，2012Zeyde河，Elad，M.，Protter，M.，“使用稀疏表示的单图像放大”，曲线和曲面国际会议。Springer，Berlin，Heidelberg，2010，pp. 七一一七三○马丁，D.，Fowlkes，C.，Tal，D.，等人 ICCV 2001，IEEE，2001，2，第416 -423页。王志，Bovik，A.C.，谢赫，H. R.，例如，2004.图像质量评估：从误差可见性到结构相似性。IEEE Trans.图像处理。 13（4），600-612。邵，X.，Zeng，T.Y.，Wang，Z.H.，2016.基于NIQE的印刷图像无参考质量评价方法。Packaging J 8（4），35-39.他，K.，张，X.，Ren，S.，深入研究整流器：超越人类在图像网络分类上的表现。IEEE计算机视觉国际会议论文集。ICCV 2015，第1026 -1034页Fc，A.，Ky，B.，Jl，B.，2020.解卷积神经网络图像超分辨率。神经网络132，394-404。