146970基于注意力的多参考学习图像超分辨率0Marco Pesavento Marco Volino Adrian Hilton0视觉、语音和信号处理中心0英国萨里大学0{m.pesavento,m.volino,a.hilton}@surrey.ac.uk0摘要0引用超分辨率网络（AMRSR）是一种根据低分辨率图像自适应地将多个参考图像中最相似的纹理转移到超分辨率输出的方法，同时保持空间一致性。使用多个参考图像和基于注意力的采样，证明在多个基准数据集上，相对于最先进的参考超分辨率方法，可以实现显著改进的性能。最近提出了参考超分辨率方法，通过提供来自高分辨率参考图像的附加信息，克服了图像超分辨率的不适定问题。多参考0超分辨率扩展了这种方法，提供了一个更多样化的图像特征池，以克服固有的信息缺失，同时保持内存效率。引入了一种新颖的基于注意力的层次化采样方法，用于学习低分辨率图像特征和多个参考图像之间的相似性，基于感知损失。消融实验证明了多参考和基于注意力的层次化采样对整体性能的贡献。感知和定量的真实评估表明，即使参考图像与目标图像明显不同，性能也有显著改善。项目网站可在https://marcopesavento.github.io/AMRSR/找到。01. 引言0图像超分辨率（SR）旨在从低分辨率（LR）输入图像估计出一个感知上合理的高分辨率（HR）图像[38]。由于LR和HR图像之间固有的信息缺失，这个问题是不适定的。经典的超分辨率图像处理[24]和基于深度学习的方法[37]在大幅度放大（4倍）时会产生视觉伪影。为了克服这个限制，最近的研究引入了参考图像超分辨率（RefSR）的子问题[6, 41,46]。给定一个输入0参考图像 真实图像块 低分辨率图像块0CSNLN [22] RSRGAN [42] SRNTT [44] AMRSR（我们的方法）0图1：所提出的网络利用N M =4个参考图像（左上角）对低分辨率输入进行超分辨率处理（右上角）。与其他最先进的方法相比，其超分辨率输出具有最佳的视觉质量。0低分辨率图像和类似的高分辨率参考图像，RefSR方法估计一个高分辨率图像。单个参考图像的参考超分辨率已经证明在减少视觉伪影的同时，提高了性能，实现了大规模的放大。在本文中，我们将参考超分辨率推广到使用多个参考图像，提供了一组图像特征，并提出了一种新颖的基于注意力的采样方法来学习参考特征和低分辨率输入之间的感知相似性。所提出的基于注意力的多参考超分辨率网络（AMRSR）通过引入层次化的基于注意力的映射将低分辨率输入特征子向量映射到高分辨率参考特征向量，将学习注意力集中在低分辨率输入上。这样就可以使用多个高分辨率参考图像进行训练，而不需要在内存占用上显著增加现有的单参考超分辨率方法的扩展。图1定性地说明了所提出的AMRSR方法与最先进的单图像超分辨率（CSNLN [22]，RSR-GAN[42]）和RefSR（SRNTT [44]）方法的性能对比。给定NM个参考图像，AMRSR生成一个4倍的超分辨率图像，它在感知上是合理的，并且具有与真实高分辨率图像相似的细节水平。本文提出的AMRSR方法的主要贡献是：GANs were introduced to solve the problems of the resid-ual networks by focusing on the perceptual quality of theimage. However, their generative nature leads to the cre-ation of unnatural textures in the SR image. RefSR ap-proaches were applied to eliminate these artefacts by learn-ing more accurate details from reference images. One ofthe first RefSR networks is CrossNet [46], which uses opti-cal flow to align input and reference, limiting the matchingof long distance correspondences. CrossNet was improvedwith two-stage cross-scale warping modules, adding to theoptical flow alignment a further warping stage [32]. The op-tical flow introduces artefacts when misaligned referencesmust be handled. The “patch-match” approach correlatesthe reference and input images by matching similar patches.In an early, non deep learning framework [6], patches ofdownsampled reference image are matched with gradientfeatures of the LR image. This work was adapted by Zhenget al. [45] to perform semantic matching as well as to syn-thesise SR features through a CNN. More recently, Zhanget al. proposed SRNTT [44], which swaps the most similarfeatures of the reference and the LR image through con-volutional layers. TTSR [39] refines the matching mech-anism by selecting and transferring only relevant texturesfrom the reference image. SSEN [28] performs the patch-match through deformable convolution layers using an off-set estimator. MASA [21] adds a spatial adaptation moduleto handle large disparity in color or luminance distributionbetween reference and input images. CIMR [8] is the onlymethod in the literature that exploits multiple references.It selects a smaller subset from all the features of genericreference images without performing any comparison withthe LR input, neglecting similar textures of the references.Our approach utilises a hierarchical patch-match method tosearch for relevant textures among all the feature vectors ofmultiple references, increasing the possibility to find moresimilar high-quality textures. It performs an attention-basedsimilarity mapping between the references and subvectorsof the LR input, improving performances. Finally, it sig-nificantly reduces the GPU usage of the patch-match ap-proaches, facilitating the reproducibility of RefSR studies.146980• 将单参考超分辨率推广到0多个参考图像，同时通过基于部分的机制提高内存效率。0• 基于层次注意力的自适应采样用于0通过低分辨率图像特征和多个HR参考图像之间的感知相似性学习。0• 在0与最先进的单图像RefSR相比，图像超分辨率的性能有了显著的提高。0AMRSR应用于图像和3D模型纹理映射SR，其中有多个HR参考图像可用。该方法在基准数据集上进行了评估，并且证明了显著的性能提升。我们引入了3个新的多参考SR数据集，将其提供给基准未来的SR方法。02. 相关工作02.1. 单图像超分辨率（SISR）0当Dong等人[9]使用卷积神经网络（CNN）解决这个问题时，SISR任务取得了突破性进展。从这项工作开始，深度学习的应用逐渐取代了经典的SR计算机视觉方法[37]。Dong等人的先驱性工作[9]是0属于一组使用均方误差（MSE）作为目标函数的SR方法。VDSR [14]展示了深层架构的重要性，而SRResNet[15]和EDSR[19]则展示了使用残差块[12]来减轻训练的好处。0通过跳跃连接[33]、递归结构[31]和通道注意力[43]等多种改进残差结构的方法进一步提高了SISR的准确性。最先进的CSNLN[22]集成了一个跨尺度的非局部注意力模块，以学习LR和HR图像之间的依赖关系。其他工作提出了轻量级网络来减少计算成本[20,23]。这些残差网络忽略了人类的感知，只追求PSNR和SSIM的高值，产生模糊的SR图像[37]。生成对抗网络（GANs）是由Ledig等人在SR任务中引入的，旨在提高SR图像的感知质量。SRGAN[15]通过用相对论对抗损失替换对抗损失来改进SRGAN的性能。RSRGAN[42]通过训练一个排序器来开发一个排名内容损失，从而获得最先进的视觉结果。03D外观超分辨率：只有两个0深度学习的工作通过超分辨率纹理映射来增强3D物体的外观。该方法提供了一种改进的方法。0由Li等人提出的[18]处理了LR纹理映射及其法线映射，以将模型的几何信息纳入学习中。创建法线映射的预处理引入了0在第二项工作中[25]，引入了大量的计算成本。0基于冗余的编码器从LR图像生成模糊的纹理映射，然后由SISR解码器去模糊。它的主要目标不是超分辨率，而是从一组LR多视图图像中创建纹理映射。02.2. 基于参考的超分辨率（RefSR）03. 自适应多参考超分辨率0在本节中，我们介绍了提出的AMRSR网络，旨在利用多个HR参考图像进行训练和推理，同时保持内存效率。引入了一种分层注意力的方法，用于从LR输入到HR参考图像的图像特征匹配。!!"#$$%&'!r=1r=(!r=2!)*i=1i=("INPUTFEATURE EXTRACTORIMAGE SUPER-RESOLUTION!!(#"#$! )!%!(#"#$%")!%#(#&')!!(#&')!((#&')c=1c=)!c=1c=!!O=!"#$%" = 1" = 2" = 3!!,#,$%&!#,$%&!$'"&'()"#$(&')'"&)!()"#$(&')'*()+,)!"#$',(&',"&'!"#$',(&',"&)!!"#$.,(&'!"#$.,(&)"146990图2：AMRSR推理概述。给定LR输入图像和NM个参考图像，AMRSR包括三个模块：特征提取；分层注意力相似性；和图像SR采样。结果输出是LR输入图像的HR重建。0使用感知损失进行LR输入到HR参考图像的分层注意力特征匹配。分层注意力允许使用多个HR参考图像，而不会显著增加GPU内存需求，并且在性能上优于全局相似性搜索（第5.2节）。多参考问题0超分辨率问题可以表述如下：给定LR输入I LR和一组HR参考图像{I m0m = 1，估计0以ILR的结构和多个参考图像的外观细节分辨率为基础，生成空间上连贯的SR输出ISR。SR输出应该包含感知上合理的HR外观细节，而不引入视觉伪影，如模糊、振铃或不自然的不连续性，这些伪影在先前用于大尺度上采样因子（>2�）的SR方法中观察到。03.1. 方法概述0图2展示了所提出方法的概述，包括以下阶段。特征提取：为了减少GPU内存消耗，使用多个参考图像，对LR输入I LR和HR参考图像{I m0m = 1被划分为N I和N R0分别。使用预训练的VGG-19网络[29]从这些部分提取图像特征。分层注意力相似性：计算0将LR图像的特征映射到HR参考图像的最相似特征。推断出LR输入的特征向量与每个参考图像的特征向量之间的相似度sk。然后基于最相似的特征对多个参考图像进行采样。此过程按照l = NL级的分层结构执行，其中输入特征向量的注意力相似性映射。输出O是一个包含与输入特征最相似的参考特征的特征向量。图像超分辨率：给定特征相似性映射O，卷积网络将LR输入I LR超分辨为SR输出ISR，该输出保持了输入的空间连贯性和参考图像的HR外观细节。与先前的RefSR方法[17, 21, 28, 39,44]采用的补丁匹配不同，AMRSR在LR输入和参考图像的子向量之间执行特征相似性匹配，以便将学习注意力集中在输入特征上。0图3：具有N L = 3级的分层注意力相似性。0特征。特征向量包含N个输入图像的特征，每个特征是表示特定图像特征的值矩阵。我们将整个矩阵分成子矩阵，并对其进行相似性映射。这改善了每个子矩阵中最相似特征的学习，从而提高了性能（表6）。有关符号的概述，请参阅补充材料（表2）。03.2. 特征提取0为了在神经域中进行相似性匹配，必须检索LR输入和参考的特征向量。先前的RefSR方法的一个问题是在HR参考图像上进行的补丁匹配需要高GPU内存使用。为了解决这个问题，我们将输入和参考图像分别划分为N I和NR个子部分。这些部分的特征向量使用VGG-19网络[29]进行提取，如图2的第二部分所示。输入的每个部分的特征向量被划分为N C个子向量{{φ c0c = 1执行基于注意力的0基于LR输入的相似性。为简单起见，我们假设N I =1（输入图像未分割为部分），并将集合表示为φ c（I LR），不失一般性。如果N I >1，则对每个部分重复算法，并将输出连接起来。为参考{{φ r（I m0（表示为φ r（I m0ref））。将输入和参考0将图像分成部分，并按层次顺序推断它们之间的相似性，建立了一种提高性能并减少GPU内存需求的高效机制。这对于在固定的GPU内存大小内实现多参考SR是很重要的。03.3. 分层注意力相似性0此阶段的目标是将LR输入的特征映射到HR参考图像的最相似特征。输出是一个包含值的特征向量(1)(x, y) = OMapping is repeated at multi-scales with three feature ex-tractor levels to achieve robustness to the variance of colourand illumination [44]. The final output, obtained when thesimilarity mapping is performed for all the levels of the hi-erarchy, is a feature vector O = O147000这些最相似的参考特征。对于层次结构的每个级别l，计算LR输入子向量和参考特征之间的相似性图。然后，考虑相似性图的最大值检索最相似的特征。使用这些特征创建一个新的特征向量，并用于计算下一级层次结构中的相似性图和特征向量。相似性图s l0l的k通过卷积评估0LR输入的子向量φ c（I LR）与O l−1，r，m之间的关系0ref，它可以是输入参考特征向量0tors φ r（I m0ref）如果l = 1或在级别0l = l−1（其中包含参考{I m0ref}）：0s 0k = φ c（I LR）�0P k（O l0ref）0|| P k（O l0ref）||0k = c，如果l = 1，k = r或k = m，否则。P是通过应用patch-match方法得到的补丁：Ol−1，r，m的补丁0ref与φ c（I LR）卷积以计算0计算相似性。当相似性图s l0评估k，向量O l0ref con-0包含O l−1的最相似特征0ref是通过ap-创建的0应用两种不同方法之一创建特征向量：01. 输入注意力映射（l = 1）：在第一层中0通过最大化输入的每个子向量创建一个特征向量：0O10ref（x，y）= P k�（φ r（I m0ref））（x，y）（2）0k� = argmax0k = c0s0k（x，y）0O10ref（x，y）表示（x，y）中的单个值0创建的特征向量O1，r，m的位置0值对应于k�补丁P（φ r（I m0ref）中s1最高的0相似性值s10对LR的每个子向量进行k（x，y）0输入特征向量。02. 参考注意力映射（l > 1）：用于后续0层次结构的级别，通过最大化新的相似性s l创建一个特征向量0对特征进行k映射0在前一级中创建的向量。0O_l,k0参考 (x, y) (3)0k � = argmax0k0s0k (x, y)0k = r 或 k = m，取决于正在处理的层级。O_l,k 的值0在 (x, y) 位置的参考是0O_l−1,k 的值0在所有0s0O_l−1,k 的 s_l最高的参考 (x, y) 0参考。0包含0参考图像的特征与 LR输入的每个特征最相似的特征。处理完层次结构的最后一级时，计算出 N_K 个权重集合W_k，作为 φ_c(I_LR) 和 O_l−1,k 的数量积的最大值。0在前一级中生成的参考向量。0W_k = max(φ_c(I_LR) ∙ O_l−1,k0参考) (4)0然后从这些集合中检索出最终的权重 W：W 的位置 (x, y) 的权重与方程 3 中第 k � 个集合W_k � 的位置 (x, y) 的权重相同，其中 l = N_L：W(x, y) = W_k �(x, y)。对于 N_L = 3层层次结构，如图 3 所示：l =1：输入向量的每个子向量与每个参考图像的每个部分之间的特征相似性映射。输入：φ_c(I_LR)，φ_r(I_m0参考)，k = c. 输出：{{O1,m,r0r = 1.0l = 2：输入子向量与单个参考图像的所有 N_R部分之间的特征相似性映射，对每个参考图像重复。输入：φ_c(I_LR)，{{O1,m,r0r = 1,0k = r. 输出：{O2,m0m = 1.0l = 3：输入之间的特征相似性映射0输入：φ_c(I_LR)，子向量和所有参考图像。0{O2,m0m = 1, k = m. 输出：O = O30参考。03.4. 图像超分辨率0在最后阶段，使用生成网络对 I_LR进行超分辨率处理，利用层次相似性映射的向量信息，同时保持 I_LR 的空间一致性。这些向量是0通过网络的不同层 h中的通道级连接将纹理嵌入输入特征向量中。我们修改了Zhang 等人 [44]使用的生成器的架构，因为批归一化层可以降低密集像素值预测的准确性[40]。更多细节请参见补充材料。定义了纹理损失以强化I_LR 和获得的 O 之间的纹理交换效果：0L_tex =0X0h0|| Gr(φ_h(I_SR ∙ W_h)) - Gr(O_h ∙ W_h) || (5)0其中 Gr(∙) 计算 Gram 矩阵。不同之处在于0从 [44] 中，权重图 W_h 在 N M 个参考图像中计算。HR图像特征与 I_LR更相似的权重将更高。因此，基于参考图像的相似性，自适应地将外观从 {I_ref} 转移到 I_SR。此外，网络最小化：0• 对抗性损失 L_adv，以提高视觉质量0SR 输出的稳定训练，我们使用 WGAN-GP [11]的梯度惩罚特性。RRDBNet [35 ]26.2/.782829.56/.805335.7/.910246.25/.9790MDSR [19 ]26.43/.78229.96/.813735.84/.910746.06/.9784NLR [ 18 ]––3.13/.894142.2/.9731MAFSRN [23 ]26.57/.785330.05/.814135.78/.910146.06/.9785SRNT-l227.62/.820130.16/.817635.91/.9120*46.28/.9791*TSR-l227.02/.80129.97/.812335.35/.9083*37.50/.9709*MASA-l227.49/.814530.42/.826335.53/.9046*46.11/.9784*AMRSR-l228.32/.839430.95/.843836.82/.924846.86/.9814147010• 重建 L1 损失，因为已经证明0开始比 L2 损失 [39] 的性能更好。0• 感知损失 [13] L_p，以提高相似性0在特征空间中预测和目标之间的差异。04. 数据集0据我们所知，目前没有多参考基准数据集可用（只有单个参考[44]）。为了实现我们的多参考SR目标，我们引入了三个数据集：01. CU4REF：该数据集是从单参考数据集CUFED5[44]构建的。从CUFED数据集[36]中定义了4组图像，每组图像与低分辨率输入图像具有不同的相似度水平。我们使用这些组中的图像作为参考图像。训练集包含3957组低分辨率和参考图像，测试集包含126组（每个低分辨率图像有4个参考图像）。2.HUMAP：为了创建67个合成人类纹理地图的参考图像，我们从几个网站[2,3,4,5]下载它们的3D模型，并在Blender[1]中渲染了8个相机视图。还添加了从16个多视图图像中提取的两个真实人类纹理地图。由于数据量较少，我们通过将纹理地图裁剪成补丁（256x256大小）[18]来增加数据集。训练数据集包含5505组补丁和参考图像。测试数据集由5个纹理地图的336组组成，每个纹理地图由6个主题的16个视频摄像机捕获和使用5x5 FLIRGrasshooper3相机阵列的2个人的纹理地图[7]。3.GEMAP：包含与8个参考图像关联的通用低分辨率纹理地图。纹理地图来自3DASR数据集[18]，该数据集由其他数据集（[16]，[27]，[26]，[10]，[47]，[48]）的多视图图像和3D点云创建而成。对于[16]的纹理地图，参考图像的创建方法与HUMAP相同。对于其他纹理地图，采用DSLR相机拍摄的HR多视图图像作为参考图像。低分辨率纹理地图与HUMAP中的裁剪方式相同。训练数据集包含2032组，测试数据集包含290组。0为了评估AMRSR在RGB图像上的泛化能力，我们在Sun80数据集[30]上进行了测试，该数据集包含80张自然图像和一系列与输入图像显著不同的网络搜索参考图像。05. 结果和评估0本节介绍了AMRSR如何通过定量和定性比较优于其他最先进的方法。然后，对网络配置和多个参考图像的优势进行了两项消融研究。比较了最先进的RefSR方法的GPU内存需求，证实了AMRSR的效率。低分辨率输入通过双三次插值获得。0方法 CU4REF Sun80 GEMAP HUMAP0面向PSNR0SRResNet [15] 26.28/.7823 29.80/.8121 35.71/.9093 46.06/.97850EDSR [19] 25.52/.7652 28.74/.7876 35.36/.9051 45.92/.97840NHR [18] – – 33.13/.8981 36.15/.95440RCAN [43] 26.63/.7880 30.07/.8156 36.00/.9123 46.33/.97910CSNLN [22] 26.94/.7958 30.25/.8197 34.24/.9042 46.11/.97920面向视觉的0SRGAN [15] 23.63/.6761 25.97/.6570 31.56/.8551 41.68/.95250ESRGAN [35] 23.69/.6884 26.42/.7005 32.34/.8664 42.78/.96690RSRGAN [42] 25.49/.7494 29.10/.7873 33.90/.8892 43.44/.97070CrossNet [46] 26.00/.7576 29.16/.7834 32.95/.8741 30.30/.93170SSEN [28] 22.71/.7169 26.58/.7824 25.86/.8150 35.61/.94460SRNTT [44] 26.42/.7738 29.72/.7984 34.78/.8963* 45.03/.9743*0TTSR [39] 25.59/.7645 28.23/.7595 34.22/.8912* 35.32/.9566*0MASA [21] 24.84/.7311 27.16/.7129 34.38/.8850* 43.27/.9598*0AMRSR 27.49/.8145 30.42/.8263 35.80/.9122 45.56/.97710表1：不同SR方法的PSNR/SSIM值。*表示参考图像缩小了2倍（见第5.2节）。0从其真实HR图像进行4倍下采样（4�）并在YCbCr空间的Y通道上评估SR结果的PSNR和SSIM。AMRSR的参数是：N M= 4，N I = 1，CU4REF数据集的N R =1，其他所有数据集的N R =16（见第5.2节）。为了将输入子向量与架构结构整合，NC 的值为：0N C ( x ) = length ( φ ( I LR )( relu 3 0length ( φ ( I LR )( reluq 1) 30q =1 ) / 4 (6)0其中q表示用于多尺度时尚方法的三个不同层。更多评估和结果请参见补充材料。05.1. 与最先进的方法进行比较0使用最先进的SISR和RefSR方法进行定性和定量比较。0SISR方法是以PSNR为导向的EDSR [19]，0MDSR [19]，RRDBNet [35]，SRResNet [15]，RCAN[43]，NHR [18]，NLR [18]，CSNLN [22]，MAFFSRN[23]和以视觉为导向的SRGAN [15]，ESRGAN0SSEN [28]，SRNTT [44]，TTSR [39]和MASA[21]（发布于2021年6月）。我们使用第4节中提供的数据集以相同的训练配置训练每个网络。使用对抗损失进行训练通常会降低定量结果。为了与以PSNR为导向的方法进行公平比较，我们只使用重建损失训练我们的模型、SRNTT、MASA和TTSR（以“l2”后缀命名）。NHR和NLR在HUMAP和GEMAP上进行测试，因为它们需要法线图（使用Blender[1]检索）。0定量比较：PSNR和SSIM值0每种方法的定量比较结果如表1所示，表分为两部分：上部分是以PSNR为导向的网络；下部分是以视觉为导向的GANs和RefSR。最高分数以红色突出显示，第二高分数以蓝色显示。粗体红色数字是PSNR和视觉导向方法中最高的。AMRSR-Ground truthRCAN [43]CSNLN [22]RSRGAN [42]Ref. imagesTTSR [39]SRNTT [44]AMRSR (ours)147020图4：对CU4REF（前两个示例），Sun80（第三和第四个示例），GEMAP（第五个示例）和HUMAP（最后一个示例）上最先进的SR方法进行定性比较。每个示例显示了参考图像。在单参和视觉导向方法的四个数据集中都获得了最高的PSNR和SSIM值0定性比较：图4显示了SR考试结果。0我们评估中考虑的最相关方法的示例。以PSNR为导向的方法（RCAN，CSNLN）产生的SR输出更模糊，细节不够清晰。以视觉为导向的方法（RSRGAN，SRNTT，TTSR）产生的结果呈现出不愉快的效果。0AMRSR的SR输出比其他结果更清晰，细节更锐利，没有模糊和不自然的不连续性，如示例的放大补丁所示。质量比其他结果更高。0用户研究评估：为了进一步评估SR输出的视觉质量，我们进行了用户研究。我们将AMRSR与其他五种0SR输出质量，我们进行了用户研究，将AMRSR与其他五种方法进行比较。我们向60名受试者展示了50对随机的SR输出。每对输出包括CSNLN RCAN RSRGAN TTSRSRNTT8688909294969810097.8±1.1698.5±0.97 98.1±1.0790.1±2.3897.1±1.32AMRSR 1ref26.77/.788226.71/.786926.63/.784126.48/.7804SRNT-l227.62/.820127.21/.8039 27.05/.80326.92/.7969TSR-l227.02/.80126.48/.7809 26.40/.79226.35/.784MASA-l227.49/.8145 26.6/.78126.60/.786326.5/.7843AMRSR1-l227.92/.829327.51/.815227.40/.811427.24/.8080dst.bykatmsPSNR26.59/.78426.67/.790––26.42/.78027.06/.80527.10/.806t.hSRNTAMRSR 1fer-ngr-et-147030百分比(%)0图5：用户研究中偏好AMRSR的用户百分比。误差线表示95%的置信区间。0算法 L1 L2 L3 L40Cross-Net [46] 25.98/.7582 25.98/.7582 25.97/.7581 25.97/.75810SSEN [28] 22.71/.7169 22.43/.7114 22.30/.7131 22.13/.70840SRNTT [44] 26.42/.7738 26.34/.7690 26.27/.7682 26.24/.76780TTSR [39] 25.59/.7645 25.08/.7442 24.98/.7414 24.95/.74120MASA [21] 24.84/.7311 24.27/.7093 24.25/.7077 24.23/.70570表2：使用与低分辨率输入不同相似性水平的单一参考图像对AMRSR和RefSR方法进行定量比较。通过用户研究，我们展示了AMRSR的性能。50对随机的SR输出被展示给60名受试者，每对输出包括AMRSR的图像和其他方法生成的图像之一。用户被要求选择视觉质量最好的图像。图5的Y轴上的数值表示选择AMRSR输出的用户百分比。AMRSR在用户投票中获得了超过90%的支持，明显优于其他方法。0不相似参考图像的影响：输入图像与参考图像之间的相似性0低分辨率输入和参考图像之间的不相似性显著影响了RefSR方法的性能[44]。按照[44]的设置，我们评估了不相似参考图像对低分辨率输入的影响，测试了CUFED5测试集的四个相似性水平（从L1到L4），这些相似性水平是通过计算输入图像和参考图像之间SIFT特征的最佳匹配数量来定义的。属于L1的参考图像具有最高数量的匹配，而L4的参考图像具有最低数量。即使相似性水平降低，我们的网络在使用单一参考图像时获得了最高的PSNR和SSIM值（表2），证实了AMRSR在参考图像与低分辨率输入不相似时的更高效率。为了展示利用多个参考图像的效果，我们在CU4REF数据集上评估了RefSR方法，通过将图像的参考图像与数据集中的其他图像进行交换。表6的定量结果和图3的视觉比较展示了使用多个不相似参考图像的好处。即使这些参考图像与低分辨率输入非常不相似，AMRSR仍能在多个参考图像中找到更多相似的块。对于不相似的参考图像，AMRSR的PSNR和SSIM值均高于其他方法，也高于使用单一参考图像（AMRSR1）时的值。该研究证明了AMRSR自适应采样的性能，即使对于具有不相似特征的参考图像也是如此。0与CIMR [8]的比较：我们比较了AMRSR0TTSR [39] SRNTT [44] CrossNet [46] SSEN [28] MASA [21] AMRSR 1 AMRSR0视觉 25.08/.746 26.17/.765 25.98/.758 22.83/.7148 24.17/.703 26.36/.775 26.47/.7800表3：与低分辨率输入不相似的参考图像的PSNR/SSIM值。0真实图像参考图像0AMRSR0图6：使用与低分辨率输入不相似的多个参考图像获得的超分辨率输出的视觉比较。0算法 视觉导向 PSNR导向0CUFED5 Sun80 CUFED5 Sun800SRNTT [44] 25.61/.764 27.59/.756 26.24/.784 28.54/.7930CIMR [8] 26.16/.781 29.67/.806 26.35/.789 30.07/.8130AMRSR N M = 4 26.87/.795 30.53/.829 27.57/.820 31.10/.8470AMRSR N M = 8 26.92/.796 30.64/.832 27.63/.821 31.24/.8510AMRSR N M = 16 26.98/.797 30.69/.834 27.69/.823 31.29/.8520AMRSR N M = 32 27.01/.798 30.75/.835 27.75/.824 31.35/.8540AMRSR N M = 64 27.08/.800 30.80/.836 27.81/.826 31.41/.8540表4：AMRSR和CIMR利用多个参考图像的定量比较。CIMR的结果来自[8]。0与CIMR[8]相比，这是唯一的其他多参考超分辨率方法。AMRSR在CUFED5数据集（13,761张图像）上按照[8]中的设置进行训练。我们随机地将来自OutdoorScene（OST）数据集[34]的 N M个参考图像与每个低分辨率输入图像相关联。CIMR在使用参考池从300个参考图像中选择一部分特征向量的情况下进行评估。我们通过将300个图像中的 N M个参考图像随机地与低分辨率输入图像相关联来评估AMRSR。表4中呈现的结果表明，在多个参考图像的情况下，AMRSR优于CIMR。05.2. 消融研究0参考图像数量：AMRSR的一个重要贡献0我们的工作是从多个参考图像中传输高质量纹理，以增加相似低分辨率输入和高分辨率参考特征之间的匹配。为了证明这一点，我们通过改变参考图像的数量来测试AMRSR。对于CU4REF和Sun80数据集，比较了使用1、2、4个参考图像的结果。对于HUMAP和GEMAP，还考虑了使用8个参考图像。表5给出了不同情况下的PSNR和SSIM数值，包括相关工作的第二好结果（“第二好”）。增加参考图像的数量会导致更高的PSNR和SSIM值。通常情况下，最大数量的参考图像获得的数值最高。即使只使用一个参考图像，AMRSR也优于第二好的技术。图8证实了使用多个参考图像的优势。在纹理映射示例中，当使用4个参考图像时，人物头发更加清晰，因为它们是从模型的侧面传输的，而使用1或2个参考图像时，侧面是不可见的。同样，窗户PSNR-Oriented-ref),htion.usence.
我的内容管理
展开
