图像超分辨率反馈网络的深度学习方法

3867图像超分辨率李震1杨静蕾2刘郑3杨晓敏1裴光吉全4吴伟1张1四川大学、2加州大学圣塔芭芭拉分校、3英属哥伦比亚大学、4仁川国立大学摘要输出图像超分辨率（SR）的最新进展探索了深度学习的力量，以实现更好的分辨率。Ft1FeedbackFt施工性能 然而，反馈机制-普遍存在于人类视觉系统中的nism在现有的基于深度学习的图像SR方法中尚未得到充分利用。在本文中，我们提出了一个图像超分辨率反馈网络（SRFBN），以改善低层次的表示与高层次的信息。具体地说，我们在一个带有约束的递归神经网络（RNN）中使用隐藏状态来实现这种反馈方式。输入块（一）更清楚出来一个反馈块的目的是处理反馈连接，并产生强大的高层次的representations。SRFBN具有较强的早期重建能力，可以逐步生成最终的此外，我们还引入了一种课程学习策略，使网络能够很好地适用于更复杂的任务，其中低分辨率的IM-1000。Sr及时展开SR1SR2SR3年龄被多种类型的退化破坏前-LRLR LR LR大量的实验结果表明，所提出的SRFBN的优越性相比，国家的最先进的方法。 代码可以在https：//github上找到。t1（b）第（1）款t102t3com/Paper99/SRFBN_CVPR19。1. 介绍图1.本文还介绍了反馈机制的实例构成的网络。 蓝色箭头表示反馈连接。(a)在一次迭代中通过隐藏状态进行反馈。反馈块（FB）接收输入Fin和隐藏的信息状态，然后传递其隐藏状态Ft出去图像超分辨率（SR）是一种低层次的计算机视觉任务，其目标是从低分辨率（LR）图像重建高分辨率（HR）图像。它本质上是不适定的，因为可能会产生多个HR图像在相同的LR图像中。为了解决这个问题，已经提出了许多图像SR方法，包括基于插值的方法[45]、基于重建的方法[42]和基于学习的方法[33，26，34，15，29、6、18]。自从Dong等人[6]首先介绍了一种浅层卷积神经网络（CNN）来实现图像SR，基于深度学习的方法吸引了广泛的关注，邮箱：{arielyang，wuwei}@ scu.edu.cn出来F在3868到下一次迭代和输出。 (b)我们反馈方案。近年来，由于其卓越的重建性能而备受关注。基于深度学习的方法的好处主要来自于它的两个关键因素，即，深度和跳跃连接（剩余或密集）[18，36，31，11，47，46，37]。第一个提供了强大的能力来表示和建立更复杂的LR-HR映射，同时用更大的感受野来表达更多的上下文信息第二个因素可以有效地缓解简单地堆叠更多层以加深网络所引起的梯度消失/爆炸问题随着网络深度的增加，参数的数量也在增加。一个大容量的网络将占用巨大的3869存储资源，并遭受过拟合问题。为了减少网络参数，经常使用递归结构。最近的研究[22，10]表明，许多具有递归结构的网络（例如，DRCN [19]和DRRN[31]）可以外推为单状态回流神经网络（RNN）。与大多数传统的基于深度学习的方法类似，这些具有递归结构的网络可以以前馈方式共享信息。然而，前馈的方式使得它不可能为前层访问有用的信息，从以下的层，即使采用跳过连接在认知理论中，连接皮层视觉区域的反馈连接可以将反应信号从高阶区域传递到低阶区域[17，9]。受这种现象的启发，最近的研究[30，40]将反馈机制应用于网络架构。这些架构中的反馈机制以自顶向下的方式工作，将高级信息带回先前的层并细化低级编码信息。在本文中，我们提出了一种新的网络图像SR，即超分辨率反馈网络（SRFBN），以改善低层次的信息，使用高层次的通过反馈连接。所提出的SRFBN本质上是一个带有反馈块（FB）的RNN，它是专门为图像SR任务设计的。FB由多组上采样和下采样层构成，这些层具有密集的跳过连接，以生成强大的高级表示。受[40]的启发，我们使用FB的输出，即，一个隐藏的状态 在 展 开 的 RNN ， 以 实 现 反 馈 的 方 式 （ 见 图 。 1（a））。每次迭代中的隐藏状态流入下一次迭代以调制输入。为了确保隐藏状态包含HR图像的信息，我们在训练过程中将损失连接到每次迭代。我们的反馈方案的原理是，粗糙SR图像的信息可以帮助LR图像重建更好的SR图像（见图2）。（b）款。此外，我们设计了一个课程的情况下，其中的LR图像是由一个复杂的退化模型。对于每个LR图像，其用于连续迭代的目标HR图像基于再加工难度从容易到困难排列。这种课程学习策略很好地帮助我们提出的SRFBN处理复杂的降解模型。实验结果表明，我们提出的SRFBN对其他国家的最先进的方法的优越性。综上所述，我们的主要贡献如下：• 提出了一种图像超分辨率反馈网络（SRFBN），该网络采用反馈机制，nism高级信息通过反馈连接在自上而下的反馈流中提供。同时，这种具有反馈连接的递归结构提供了较强的早期重建能力，只需要几个参数。• 提出了一种反馈块（FB），它不仅有效地处理反馈信息流，而且通过向上和向下扩展丰富了高层表示.采样层和密集跳过连接。• 提出了一种基于神经网络的SRFBN训练策略，其中HR图像具有增加的将重建难度作为连续迭代的目标输入网络这种策略使网络能够逐步学习复杂的退化模型，而同样的策略不可能解决那些只有一步预测的方法。2. 相关工作2.1. 基于深度学习的图像超分辨率深度学习在包括图像SR在内的各种计算机视觉任务中表现出了卓越的性能。Dong等人[7]首先在图像SR中引入三层CNN来学习复杂的LR-HR映射。Kim等人[18]将CNN的深度增加到20层，以便在LR图像中使用更多的上下文信息。在[18]中，使用跳过连接来克服网络变得更深时优化的困难。最近的研究采用了不同的跳跃连接来实现图像SR的显着改善。SRResNet[21]和EDSR[23] 应 用 了 来 自 [13] 的 剩 余 跳 过 连 接 。SRDenseNet[36]应用了[14]中的密集跳过连接Zhang等人[47]在其RDN中组合局部/全局残差和密集跳过连接。由于这些网络架构中的跳跃连接以自底向上的方式使用或组合分层特征，因此低级别特征只能接收来自先前层的信息，由于小的感受野的限制而缺乏足够的上下文信息。这些低层特征在后续层中被重用，从而进一步限制了网络的重建能力。为了解决这个问题，我们提出了一个超分辨率反馈网络（SRFBN），其中高层信息以自上而下的方式流经反馈连接，以使用更多的上下文信息来校正低层特征。同时，在跳跃连接的帮助下，神经网络更深入，并拥有更多的参数。这样的大容量网络占用了大量的存储资源，并且存在过拟合问题.为了有效地减少网络参数并获得更好的泛化能力，采用了递归结构[19，31，32]。特别是，递归结构在所提出的SRFBN中对实现反馈过程起着重要作用（见图11）。（b）款。2.2. 反馈机制反馈机制允许网络携带输出的概念来纠正以前的状态。近日3870I1SrItSRITSRI1ItITRe sRe s Re s3x3 Conv 3x3 Conv德孔夫上采样F1上采样德孔夫Ft德孔夫上采样FT出来出来出来F1出来Ft1出来FtFT1出来出来FBFBFBF1Ft在在FT3x3转换3x3转换在3x3转换3x3转换3x3转换3x3转换我LR我LR我LR3x3转换德孔夫上采样FB3x3转换3x3转换SrSR1SRtSRT展开LRLRLR LR图2.我们提出的超分辨率反馈网络（SRFBN）的架构。蓝色箭头表示反馈连接。绿色箭头表示全局剩余跳过连接。反馈机制已被许多网络架构用于各种视觉任务[5，4，40，11，10，28]。对于图像SR，一些研究也显示了引入反馈机制的努力基于反投影，Hariset al. [11]设计了上下投影单元，实现迭代误差反馈。Han等人[10]应用延迟反馈机制，在双状态RNN中的两个循环状态之间然而，从LR图像到最终SR图像的信息流在他们的网络架构中仍然是前馈的，这与我们的不同。与我们最相关的工作是[40]，它将具有高级信息的隐藏状态转换为输入图像的信息，以实现卷积递归神经网络中的反馈。然而，它的目的是解决高层次的视觉任务，例如。分类. 为了适应图像SR中的反馈机制，我们精心设计了一个反馈块（FB）作为SRFBN中的基本模块，而不是像[40]中那样使用ConvLSTM我们的FB中的信息通过密集的跳跃连接有效地在分层中流动实验结果表明，我们的FB具有优于ConvLSTM1的重建性能，因此更适合于图像SR任务。2.3. 课程学习课程学习[2]是一种逐步增加学习目标难度的有效策略。早期的课程学习工作主要集中在单一的任务上。Pentina等人[27]以连续的方式将课程学习扩展到多个任务Gao等人[8]利用课程学习解决图像恢复中的固定问题。由于他们的网络仅限于一次性预测，因此他们通过在训练过程中随着时间的增加，根据任务的复杂性提供不同的训练数据来执行课程在图像1进一步的分析见我们的补充材料。SR，Wang等人，[38]为金字塔结构设计了一个课程，该课程逐渐将金字塔的新级别融合到先前训练的网络中，以将LR图像放大到更大的尺寸。虽然以前的作品集中在一个单一的退化过程，cess，我们执行课程的情况下，LR图像被损坏的多种类型的退化。包含从容易到困难的决定的课程可以解决一个查询，以逐渐恢复损坏的LR图像。3. 图像超分辨率反馈网络反馈系统包含两个要求(1)迭代性和（2）重新路由系统的输出以校正每个循环中的输入。这种迭代因果过程有助于实现我们的图像SR反馈方案的原理：高级信息可以指导LR图像恢复更好的SR图像（见图11）。（b）款。在所提出的网络中，有三个不可或缺的部分来执行我们的反馈方案：（1）在每次迭代时绑定损失（以迫使网络在每次迭代时重建SR图像，从而允许隐藏状态携带高级信息的概念），（2）使用递归结构（以实现迭代过程），以及（3）在每次迭代时提供LR输入（以确保需要细化的低级信息的可用性）。这三个部分的缺失将使网络无法驱动反馈流。3.1. 网络结构如图2，我们提出的SRFBN可以展开为T次迭代，其中每次迭代t按时间顺序从1到T. 为了使SRFBN中的隐藏状态带有输出的概念，我们在每次迭代时都绑定了损失损失函数的描述见第2节。3.3.放置在每次迭代t中的子网络包含三个部分：LR特征提取块（LRFB）、反馈块（FB）和重构块（RB）。的3871Res在出来在0出来G出来GGG出来在Sr=IHR，我HRHR0outinResGg g1 2g每个块的权重跨时间共享。在每次迭代t处的全局残差跳过连接递送上采样图像以绕过子网络。因此，子网络在每次迭代t的目的是恢复残差图像It当输入低分辨率图像时ILR.我们将Conv（s，n）和Deconv（s，n）分别表示为卷积层和解卷积层，其中s是滤波器的大小，n是滤波器的数量LR特征提取块由Conv（3，4m）和Conv（3，m）组成。m表示滤波器的基数。我们为LR特征提取块提供LR输入ILR，从中我们获得浅图3.反馈块（FB）。从LR到LR，主要包括上采样操作和下采样操作。在FB的开头，Ft和Ft−1是一致的。通过Conv（1，m）进行指定和压缩，以细化输入fea-包含LR图像的信息的特征Ft：tt−1在Ft=fLRFB（ILR），（1）其中fLRFB表示LR特征提取块的操作Ft然后用作FB的输入在通过反馈信息F输出来吸引F，产生结果，精细输入特征Lt：Lt=C0（[Ft−1，Ft]），（5）其中，C0是指初始压缩操作，0中的1[F t−1，F t]指的是F t−1和F t的级联。此外，F_in被视为初始隐藏状态F_out。于t t于第t次迭代的FB通过反馈连接和浅特征Ft接收来自前一次迭代Ft−1的隐藏状态。Ft表示FB的输出令Hg和Lg是由下式给出的HR和LR特征图：在第t次迭代时FB中的第g个投影组。Htcan通过以下方式获得在外层FB的数学公式为：Ht=C↑（[Lt，Lt，.，Lt]），（6）g g0 1g−1Ft=fFB（Ft−1，Ft），（2）其中C↑指 到 的 上取样操作使用出来于G在第g个投影群上的Deconv（k，m） 对应-其中fFB表示FB的操作，实际上表示如图所示的反馈过程第1（a）段。FB的更多细节可以在Sec. 3.2.重建块使用Deconv（k，m）将LR特征Ft升级为HR特征，并使用Conv（3，c_out）生成残差图像It。重建块的数学公式为：因此，Lt可以通过以下方式获得：Lt=C↓（[Ht，Ht，.， Ht]）、（7）其中C↓是指在第g个投影组处使用Conv（k，m）的除了第一个投影组之外，我们在C↑和C↓之前添加Conv（1，m）以提高参数和计算效率。t个re=fRB（Ft）、（3）为了利用来自每个投影组的有用信息并映射输入LR特征Ft+1的大小，其中表示重构块的操作。下一次迭代，我们进行特征融合（图中的绿色箭头）。3）对于由投影组生成的LR特征，输出图像It在第t次迭代时，可以得到生成FB的输出：持有人：Ft= CFF（[Lt，Lt，...， Lt]）、（8）t tSR水库+fUP （ILR）、（4）出来1 2 G其中fUP表示上采样内核的操作。上采样内核的选择是任意的。我们在这里使用双线性上采样内核在T次迭代之后，我们将得到总共T个SR图像（I1，I2，...，IT）。其中CFF表示Conv（1，m）的函数。3.3.课程学习策略我们选择L1损失来优化我们提出的净-1 2TSrSR SR3.2.反馈块如图3，FB在第t次迭代时接收反馈信息F t-1，以校正低电平工作不 目标 HR图像（IHR，IHR，...，（HR）放置在我们建议的网络中的多个输出中。（I12，.，IT）对于单一降解模型是相同的。对于复杂的退化模型，1 2T出来t1Fout不H1HG不H不GF不出来Lt0Lt1LtGLTGFtin1x1转换德孔夫Conv1x1卷积解卷积1x1转换转换1x1卷积解卷积1x1转换转换1x1转换我我3872出来tt¨在表示Ft，然后传递更强大的高-作为下一次迭代的输出（IHR，IHR，.，我人力资源）是根据排序的困难，T迭代的任务来执行课程。网络中的损失函数可以用公式表示为：和重建块。FB包含G项目-元素按顺序分组，其中具有密集的跳过连接。每个投影组，可以投影HR功能L（Θ）=1ΣTTt=1¨WüIHR -我...SR1、（9）3873Sr其中Θ表示我们网络的参数。Wt是一个常数因子，它表明了第t次迭代的输出值.正如[40]所做的那样，我们将每次迭代的值设置为1，这表示每个输出具有相等的贡献。关于复杂退化模型的目标HR图像设置的详细信息4.43.4. 实现细节我们使用PReLU[12]作为除了最后一层之外的所有卷积和去卷积层尺寸16为了充分利用LR图像的上下文信息输入面片大小的设置在选项卡中列出。1.使用[12]中的方法初始化网络参数亚当[20]被用来优化网络的参数，初始学习率为0.0001。每200个epoch，学习率乘以0.5。我们使用Pytorch框架实现我们的网络，并在NVIDIA 1080TiGPU上训练它们。每个子网中的层与[11]相同，我们在Conv（k，m）和Deconv（k，m）中为不同的比例因子设置各种k，以执行上采样和下采样操作。对于×2标度我们将Conv（k，m）和Deconv（k，m）中的k设置为6，有两个步幅和两个填充。然后，对于×3比例因子，我们设置k=7，其中有三个步幅和两个填充。 最后针对×4比例因子，我们设置k=8，四个步幅和两个步幅$”%##个$”%##个服装双我们将SR图像IT上一次重复！！作为我们最终的SR结果，除非我们在每次迭代时专门分析每个输出图像。我们的网络可以处理灰度和彩色图像，所以cout自然可以是1或34. 实验结果4.1. 设置数据集和指标。我们使用DIV2K[1]和Flickr2K作为训练数据。为了充分利用数据，我们采用数据增强[23]。 我们在PSNR和SSIM[39]指标下评估了五个标准基准数据集的SR结果：[25][26][27][28][29][2为了与以前的工作保持一致，定量结果仅在亮度（Y）通道上进行评估。退化模型。为了与现有模型进行公平的比较，我们将双三次下采样作为我们的标准退化模型（表示为BI），用于从地面真实HR图像生成LR图像。为了验证我们的课程学习策略的有效性，我们进一步进行了两个实验，涉及另外两个多退化模型，如[47]在第二节中所做的那样。4.4和4.5.3。我们将BD定义为一种退化模型，该模型将高斯模糊应用于HR图像，然后进行下采样。在我们的实验中，我们使用标准差为1.6的7x7大小的高斯核进行模糊。 除了BD降解外模型，DN退化模型被定义为双三次向下-采样后加入高斯噪声，水平30。比例因子×2×3×4输入面片大小60 ×6050 ×5040 ×40表1.输入面片大小的设置。培训设置。 我们用批处理训练所有网络-(a)（b）第（1）款图4.标度因子为×4的4.2. T和G的研究在本小节中，我们探讨了迭代次数（记为T）和反馈块中投影组的数量（记为G）的影响。在随后的实验中，滤波器的基数m被设置为32。我们首先通过将G固定为6来研究T的影响。从图中可以看出。图4（a）示出了在反馈连接的帮助下，与没有反馈连接的网络（T=1）相比，重建性能显著提高。此外，随着T的不断增加，重建质量不断提高。换句话说，我们的反馈块肯定有利于跨时间的信息流。然后，我们通过将T固定为4来研究G的影响。图4（b）表明，由于较深网络的代表能力较强，较大的G导致较高的准确性。总之，选择较大的T或G都有助于更好的结果。值得注意的是，小T和G仍然优于VDSR[18]。在下面的讨论中，我们使用SRFBN-L（T=4，G=6）进行分析。号预测月1第2第3月4SRFBN-L-FF30.6931.7432.0032.09SRFBN-L31.8532.0632.1132.11表2.反馈对比例因子×4的Set5的影响。4.3. 反馈与前馈为了研究我们网络中反馈机制的本质，我们在这一小节中比较了反馈网络和前馈网络。3874我们首先证明了其前馈对应的反馈机制的优越性。通过简单地断开除了最后一次迭代之外的所有迭代的损失，网络因此不可能将输出的概念重新路由到低级表示，然后退化为前馈表示（然而仍然保留其递归特性），表示为SRFBN-L-FF。SRFBN-L和SRFBN-L- FF都有四次迭代，产生四个中间输出。然后，我们比较所有的中间- ate SR图像从两个网络的PSNR值结果见表 。 2. SRFBN-L 在 每一 次 迭 代中 都 优于 SRFBN-L-FF，由此我们得出结论，反馈网络能够产生高质量的早期预测，而不是前馈网络。实验还表明，我们提出的SRFBN确实受益于反馈机制，而不是仅仅依赖于递归的功率。图像，这进一步导致更精确的剩余图像。这在一定程度上反映了反馈网络比前馈网络具有更强的早期反应能力的原因第二个观察结果是，在处理相同的任务时，反馈网络与前馈网络相比在前馈网络中，特征图从第一次迭代（t=1）到最后一次迭代（t=4）变化很大：边缘和轮廓在早期迭代中被勾勒出来，然后原始图像的平滑区域在后期迭代中被抑制。这些不同的模式表明，前馈网络通过层形成了信息的层次结构，而反馈网络则允许将其大部分精力用于进行自校正过程，因为它可以在初始迭代时获得良好的特征表示。这进一步表明租金结构除了上述关于t出 在第t次迭代由于前期亏损的必要性，我们还进行了两次交易，验证其他部分的有效实验（在第2节中讨论）3)形成我们的反馈系统。通过在迭代中关闭权重共享，所提出的 网 络 中 的 PSNR 值 在 Set5 上 从 32.11dB 降 低 到31.82dB，比例因子×4。通过在除第一次迭代外的每次迭代时断开LR输入，PSNR值会降低0.17dB。t= 1t= 2t= 3t= 4t= 1t= 2t= 3t= 4在反馈网络中，将促使先前的层在subse.quent迭代to generate生成better representation表示.模型从头从pretrained不含CL与CL不含CL与CLBDDN29.7826.9229.9626.9329.9826.9630.0326.98表3.BD和DN退化模型的课程学习研究。在Set5上评估平均PSNR值。图5.前馈和反馈网络的平均特征图。为了更深入地挖掘反馈和前馈网络之间的差异，我们将平均特征图可视化”！SRFBN-L和SRFBN-L-FF中的每次迭代，如图所示。五、每个平均特征图都是图6.性能和参数数量。在设置5上使用比例因子× 4评价结果。红点代表我们t出 在通道尺寸中，其大致代表建议网络。第t次迭代时反馈块的输出我们具有全局残差跳跃连接的网络旨在重新覆盖残差图像。换句话说，我们的网络的任务是抑制原始输入图像的平滑区域[16]并预测高频分量（即，边缘和轮廓）。从图5中，我们有两个观察结果。首先，与前馈网络相比，在早期迭代中，从反馈网络获得的特征图包含更多的负值，显示出更强的抑制输入平滑区域的效果4.4. 课程学习如第4.1，我们现在提出我们的两个实验的两个不同的退化模型，即。BD和DN，以显示我们的课程学习策略的有效性。我们根据恢复困难制定课程例如，为了引导网络逐步学习恢复BD算子损坏的图像，我们提供高斯模糊HR图像作为（中间）地面实况前馈反馈F！的F3875从而网络仅需要在早期迭代中学习单个下采样算子的逆在后续迭代中提供原始HR图像作为高级挑战。具体而言，我们凭经验提供模糊的HR图像在前两次迭代和原始HR图像在剩余的两次迭代的BD退化模型的实验。对于DN退化模型的实验，我们在前两次迭代中使用有噪声的HR图像，在最后两次迭代中使用无噪声的HR图像。我们还研究了这种策略与两种常见的培训过程的兼容性，即。从头开始训练，并在BI降级模型上预训练的网络上进行微调。结果显示在Tab. 3推断，当前学习策略很好地帮助我们提出的SRFBN处理BD和DN退化模型在这两种情况下。我们还观察到，在BI退化模型上预训练的网络上进行微调会导致比从头开始训练更高的PSNR值。在参数小于1000 K的网络中，SRFBN-S可以获得最好的SR结果。这表明我们的方法可以很好地平衡参数数目和重建性能。与D-DBPN和EDSR等参数较多的网络相比，本文提出的SRFBN和SRFBN+分别只需要D-DBPN和EDSR的35%和8%的参数，就可以获得具有竞争力的结果。因此，与其他最先进的方法相比，我们的网络是轻量级的，更有效4.5.2 BI降解模型对于BI退化模型，我们将SRFBN和SRFBN+与七种最先 进 的 图 像 SR 方 法 进 行 了 比 较 ： SRCNN[7] ，VDSR[18]，DRRN[31]，SRDenseNet[36]，MemNet[36]，EDSR[23]，D-DBPN[11].定量结果见表1。4是从相应的公共代码重新评估。显然，我们提出的SRFBN可以超过几乎所有的比较方法。与我们的方法相比，EDSR使用了更多的滤波器HR双三次VDSRDRRN（256 vs. 64），D-DBPN采用更多的训练图像（DIV2K + Flickr 2K +ImageNet vs. DIV2K+Flickr2K）。然而，我们的SRFBN可以获得有竞争力的结果，与他们相比。另外，也可以看出，我们的‘img_092’SRFBN+优于几乎所有的比较方法。我们在图7中显示了比例因子×4的SR结果。一般来说，建议的SRFBN可以产生更令人信服的结果。对于“BokuHaSitatakaKun”im的SR结果HR双三次VDSRDRRN来自Manga109的年龄，DRRN和MemNet甚至分裂了VDSR、EDSR和D-DBPN无法恢复清晰图像。所提出的SRFBN产生清晰的图像，‘BokuHaSitatakaKun’蔓梅EDSRD-DBPN SRFBN（我们的）非常接近地面真相。此外，对于图7.具有比例因子的BI×4。4.5. 与最新技术水平的比较SRFBN 与 一 个 更 大 的 基 础 数 量 的 过 滤 器（m=64），这是来自SRFBN-L，实现比较。自集成方法 [35] 也 用 于 进 一 步 提 高 SRFBN 的 性 能 （ 表 示 为SRFBN+）。最后给出了一个轻量级网络SRFBN-S（T=4，G=3，m=32），并与现有的参数较少的方法进行了比较。4.5.1网络参数本 实 验 中 考 虑 的 最 先 进 的 方 法 包 括 SRCNN[7] ，VDSR[18] ， DRRN[31] ， MemNet[36] ， EDSR[23] ，DBPN-S[11]和D-DBPN[11]。com-计 算 结 果 见 图 10 。 6 的 网 络 参 数 和 重 建 效 果（PSNR）。从Urban100中，所有比较方法的SR图像的纹理方向都然而，我们提出的SRFBN充分利用高层信息采取自校正过程，从而可以获得更忠实的SR图像4.5.3BD和DN降解模型的结果如上所述，所提出的SRFBN使用BD和DN退化模型的课程学习策略进行训练，并使用DIV2K基于BI退化将提出的SRFBN和SRFBN+与SRCNN[7]，VDSR[18]，IRCNN G[43]，IR-CNN C[43]，SRMD（NF）[44]和RDN[47]进行比较。因为为了避免降级失配，针对BD和DN降级模型重新训练SRCNN和VDSR。如Tab.所示。5、所提出的SRFBN和SRFBN+在几乎所有定量结果上都优于其他现有方法。3876数据集规模双三SRCNN[七]《中国日报》VDSR[18个国家]DRRN[三十一]蔓梅[32个]公司简介（我们的）EDSR[23日]D-DBPN[第十一届]SRFBN（我们的）公司简介（我们的）×233.66/0.929936.66/0.954237.53/0.959037.74/0.959137.78/0.959737.78/0.959738.11/0.960238.09/0.960038.11/0.960938.18/0.9611Set5×3×430.39/0.868228.42/0.810432.75/0.909030.48/0.862833.67/0.921031.35/0.883034.03/0.924431.68/0.888834.09/0.924831.74/0.889334.20/0.925531.98/0.892334.65/0.928032.46/0.89680.8980-0.8980 -0.8980 -0.8980 -0.898034.70/0.929232.47/0.898334.77/0.929732.56/0.8992×230.24/0.868832.45/0.906733.05/0.913033.23/0.913633.28/0.914233.35/0.915633.92/0.919533.85/0.919033.82/0.919633.90/0.9203产品14×3×427.55/0.774226.00/0.702729.30/0.821527.50/0.751329.78/0.832028.02/0.768029.96/0.834928.21/0.772130.00/0.835028.26/0.772330.10/0.837228.45/0.777930.52/0.846228.80/0.7876-/-28.82/0.786030.51/0.846128.81/0.786830.61/0.847328.87/0.7881×229.56/0.843131.36/0.887931.90/0.896032.05/0.897332.08/0.897832.00/0.897032.32/0.901332.27/0.900032.29/0.901032.34/0.9015B100×3×427.21/0.738525.96/0.667528.41/0.786326.90/0.710128.83/0.799027.29/0.726028.95/0.800427.38/0.728428.96/0.800127.40/0.728128.96/0.801027.44/0.731329.25/0.809327.71/0.7420-/-27.72/0.740029.24/0.808427.72/0.740929.29/0.809327.77/0.7419×226.88/0.840329.50/0.894630.77/0.914031.23/0.918831.31/0.919531.41/0.920732.93/0.935132.55/0.932432.62/0.932832.80/0.9341Urban100×3×424.46/0.734923.14/0.657726.24/0.798924.52/0.722127.14/0.829025.18/0.754027.53/0.837825.44/0.763827.56/0.837625.50//0.763027.66/0.841525.71/0.771928.80/0.865326.64/0.8033-/-26.38/0.794628.73/0.864126.60/0.801528.89/0.866426.73/0.8043×230.30/0.933935.60/0.966337.22/0.975037.60/0.973637.72/0.974038.06/0.975739.10/0.977338.89/0.977539.08/0.977939.28/0.9784Manga109×3×426.95/0.855624.89/0.786630.48/0.911727.58/0.855532.01/0.934028.83/0.887032.42/0.935929.18/0.891432.51/0.936929.42/0.894233.02/0.940429.91/0.900834.17/0.947631.02/0.9148-/-30.91/0.913734.18/0.948131.15/0.916034.44/0.949431.40/0.9182表4.比例因子×2、×3和×4的平均PSNR/SSIM值，BI退化模型。最佳性能以红色显示，第二佳性能以蓝色显示。数据集模型双三SRCNN[七]《中国日报》VDSR[18个国家]IRCNN G[四十三]IRCNN C[四十三]SRMD（NF）[第四十四届]RDN[47个]SRFBN（我们的）公司简介（我们的）Set5BDDN28.34/0.816124.14/0.544531.63/0.888827.16/0.767233.30/0.915927.72/0.787233.38/0.918224.85/0.720529.55/0.824626.18/0.743034.09/0.924227.74/0.802634.57/0.928028.46/0.815134.66/0.928328.53/0.818234.77/0.929028.59/0.8198产品14BDDN26.12/0.710623.14/0.482828.52/0.792425.49/0.658029.67/0.826925.92/0.678629.73/0.829223.84/0.609127.33/0.713524.68/0.630030.11/0.836426.13/0.697430.53/0.844726.60/0.710130.48/0.843926.60/0.714430.64/0.845826.67/0.7159B100BDDN26.02/0.673322.94/0.446127.76/0.752625.11/0.615128.63/0.790325.52/0.634528.65/0.792223.89/0.568826.46/0.657224.52/0.585028.98/0.800925.64/0.649529.23/0.807925.93/0.657329.21/0.806925.95/0.662529.28/0.808025.99/0.6636Urban100BDDN23.20/0.666121.63/0.470125.31/0.761223.32/0.650026.75/0.814523.83/0.679726.77/0.815421.96/0.601824.89/0.717222.63/0.620527.50/0.837024.28/0.709228.46/0.858124.92/0.736228.48/0.858124.99/0.742428.68/0.861325.10/0.7458Manga109BDDN25.03/0.798723.08/0.544828.79/0.885125.78/0.788931.66/0.926026.41/0.813031.15/0.924523.18/0.746628.68/0.857424.74/0.770132.97/0.939126.72/0.842433.97/0.946528.00/0.859034.07/0.946628.02/0.861834.43/0.948328.17/0.8643表5. BD和DN降级模型下比例因子× 3的平均PSNR/SSIM值。最佳性能以红色显示，第二佳性能以蓝色显示。SR图像中更精确的细节。通过上述比较，进一步表明了SRFBN在处理BD和DN退化模型时的鲁棒性和有效性。《蝴蝶》Set5‘img_044’fromHR双三次SRCNN VDSRIRCNN_G SRMDNF RDN SRFBN（我们的）HR双三次SRCNN VDSRIRCNN_C SRMD RDN SRFBN（我们的）5. 结论在本文中，我们提出了一种新的网络图像SR称为超分辨率反馈网络（SRFBN），忠实地重建SR图像，通过增强低层次的表示与高层次的。网络中的反馈块（FB）可以有效地处理反馈信息流以及特征重用。此外，提出了一种课程学习策略，使网络能够很好地适用于更复杂的任务，其中低分辨率图像被复杂的退化模型破坏。综合实验结果表明，所提出的SRFBN可以提供图8.BD和DN退化模型的可视化结果，比例因子×3。第一组图像显示了从BD退化模型获得的结果第二组图像显示了DN退化模型的结果。在图8中，我们还示出了来自标准基准数据集的具有BD和DN退化模型的两组视觉结果。与其他方法相比，本文提出的SRFBN能有效地减小失真，通过使用非常少的参数，与现有技术的方法谢谢。本文的研究得到了国家自然科学基金项目（No.61701327和No.61711540303）、四川省科学技术厅科学基金项目（No.2018GZ 0178）的资助。3877引用[1] Eirikur Agustsson和Radu Timofte。Ntire 2017挑战单幅图像超分辨率：数据集和研究。在CVPRW，2017年。[2] YoshuaBengio ， Je´ ro meLouradour， RonanCollobert ，andJa-son Weston.课程学习。InICML，2009.[3] Marco Bevilacqua，Aline Roumy，Christine Guillemot，Marie-Line Alberi-Morel.基于非负邻域嵌入的低复杂度单幅图像超分辨率在BMVC，2012年。[4] Chunshui Cao，Xianming Liu，Yi Yang，Yinan Yu，Jiang Wang ， Zilei Wang ， Yongzhen Huang ， LiangWang，Chang Huang，Wei Xu，Deva Ramanan，andThomas S.煌仔细看，三思而后行：用反馈卷积神经网络捕获自上而下的视觉注意力。在ICCV，2015年。[5] Joao Carreira ，Pulkit Agrawal，Katerina Fragkiadaki，and Ji- tendra Malik. 迭 代 误 差 反 馈 人 体 位 姿 估 计 。CVPR，2015。[6] Chao Dong ， Chen Change