基于参考图像的超分辨率任务解耦框架

59310基于参考图像的超分辨率任务解耦框架0黄一轩1*，张晓云1*†，傅宇1，陈思恒1,2，张亚1,2，王彦峰1,2†，何大智101 上海交通大学合作伙伴创新中心，2 上海人工智能实验室0{huangyixuan,xiaoyun.zhang,fyuu11,sihengc,yazhang,wangyanfeng,hedazhi}@sjtu.edu.cn0C2-Matching Ours0（a）参考图像未充分利用问题0参考输入和参考图像0C2-Matching Ours参考考图像0（b）参考图像错误使用问题0RRDB0图1.当前最先进的RefSR方法存在（a）参考图像未充分利用问题和（b）参考图像错误使用问题，这是由于不恰当的耦合框架。具体而言，对于参考图像未充分利用问题，即使参考图像与输入具有高度相似的内容，RefSR方法也未能充分传输详细纹理。至于参考图像错误使用问题，当前方法在参考图像没有相关内容时引入了模糊和伪影，甚至比SISR方法更糟糕。我们针对RefSR提出了一种新颖的解这些问题。摘要0基于参考图像的超分辨率（RefSR）在高频细节恢复方面取得了令人印象深刻的进展，这要归功于额外的高分辨率（HR）参考图像输入。尽管与单图像超分辨率（SISR）相比具有优势，但现有的RefSR方法很容易出现参考图像未充分利用问题和参考图像错误使用问题，如图1所示。在这项工作中，我们深入研究了这两个问题的原因，并进一步提出了一种新的框架来缓解这些问题。我们的研究发现，这些问题主要是由于当前方法的不恰当的耦合框架设计所致。这些方法在一个模块中同时进行输入低分辨率（LR）图像的超分辨率任务和从参考图像中提取和传输纹理的任务，容易引入LR和参考图像特征之间的干扰。受到这一发现的启发，我们提出了一种新的框架，将RefSR的两个任务解耦，消除了LR图像和参考图像之间的干扰。超分辨率任务利用LR图像本身进行上采样。纹理传输任务从参考图像中提取并传输丰富的纹理到超分辨率任务的粗略上采样结果中。大量实验证明，与最先进的方法相比，我们的方法在定量和定性评估上都有明显的改进。0* 相等贡献（共同第一作者）。†通讯作者。01. 引言0单图像超分辨率（SISR）的目标[10，016, 26,38]是从低分辨率（LR）图像中恢复图像的高分辨率（HR）细节。它在图像增强、视频监控和遥感成像等领域得到了广泛应用。由于SISR的病态本质，当尺度因子较大（×4）时很容易产生视觉伪影。为了解决这个问题，基于参考图像的超分辨率（RefSR）近年来引起了广泛关注。与仅使用单个LR输入的SISR相比，RefSR [13, 22, 27, 36, 40,41]通过额外的HR参考图像对LR图像进行超分辨率处理，可以为超分辨率图像提供丰富的真实纹理。RefSR可以应用于许多场景，如双摄像头[31]和视频流媒体[25]。0当前的RefSR方法主要是基于参考图像和低分辨率图像之间的对齐来传输纹理，例如空间对齐[27, 41]和补丁匹配[13,22, 36,40]。对齐后，RefSR方法将低分辨率图像和对齐的参考图像特征连接起来作为输入，并通过一些精心设计的架构（如注意机制[36]和空间适应模块[22]）将详细纹理传输到输出中。0尽管与SISR相比性能更好，但当前方法很容易受到参考未充分利用问题（即参考纹理转移不足）的困扰。59320(a) 耦合框架0图0图0参考图像的超分辨率和纹理转移任务的耦合框架0RefSR0(b) 任务解耦框架0图0超分辨率纹理转移0图0图0纹理提取0SISR0纹理提取0图0图2. 框架比较。 (a)在LR和参考图像对齐后，之前的耦合框架使用单一网络同时处理LR输入的超分辨率和纹理转移，很容易在LR和参考图像之间引入干扰，导致参考未充分利用问题和参考误用问题，如图1所示。 (b)我们的框架将RefSR过程解耦为LR图像的超分辨率和纹理转移。在超分辨率中，我们独立地对LR输入进行超分辨率处理，不受参考图像的干扰。在纹理转移中，我们从参考图像中提取纹理信息，然后将详细的纹理转移到粗略上采样的结果中。0如图1所示，当前RefSR方法存在参考图像未充分利用问题（即参考纹理转移不足）和参考图像误用问题（即无关参考内容导致结果恶化）。这两个问题主要是由于当前RefSR方法的不适当的框架设计造成的，这些方法将LR图像的超分辨率任务和参考图像的纹理转移任务耦合在一个单一模块中。如图2(a)所示，大多数RefSR方法设计了一个单一模块来执行超分辨率任务和纹理转移任务，使用LR特征和对齐的参考特征的串联作为输入。同时使用卷积操作处理LR和参考图像会相互干扰。具体来说，一方面，如果参考图像与输入的LR图像非常相似，模型应该更加集中于将对齐的参考特征转移到输出中。然而，输入的LR图像可能会干扰纹理转移过程，导致参考未充分利用问题，即模型输出对齐的参考图像和LR图像的平均值，如图1(a)所示。另一方面，如果参考内容与LR输入图像无关，不一致的参考将干扰LR图像的超分辨率任务，在同时处理LR和参考图像时，会导致参考误用问题，如图1(b)所示。0为了解决这两个问题，如图2(b)所示，我们提出了一种基于解耦RefSR的超分辨率任务和纹理转移任务的新框架。超分辨率的解耦任务旨在在不受参考图像干扰的情况下对LR图像进行粗略的超分辨率处理。纹理转移任务是从参考图像中提取纹理，并进一步将详细的纹理转移到超分辨率任务的结果中。此外，为了稳定地从参考图像中提取和转移丰富的纹理，我们提出了纹理0在五个基准数据集CUFED5、Sun80、Urban100、Manga109和WR-SR上，实验证明我们的方法在定量和定性上都超过了现有的方法。总结起来，我们的贡献包括： •我们深入研究了RefSR中参考图像未充分利用和参考图像误用的原因。这两个问题主要是由于当前RefSR方法的不适当的耦合框架造成的。 •为了解决这两个问题，我们提出了一种基于解耦超分辨率任务和纹理转移任务的RefSR新框架。超分辨率任务独立地对LR图像进行上采样，而纹理转移任务从参考图像中提取和转移纹理。 •实验结果表明，我们提出的方法在定量和定性上都明显优于现有的RefSR方法。02. 相关工作0单图像超分辨率。单图像超分辨率（SISR）旨在仅使用单个低分辨率图像进行高分辨率图像的恢复。近年来，基于深度学习的方法[9, 10, 15-17, 20, 21, 26, 29, 38,39]在SISR任务上取得了出色的性能。然而，由于均方误差（MSE）损失，大多数方法得到的图像过于平滑。为了提高视觉质量，提出了感知损失[14]和对抗损失[18, 33,37]。尽管感知损失和对抗损失改善了视觉质量，但这些方法很容易产生幻觉和伪影。基于参考图像的图像超分辨率。参考图像的图像超分辨率（RefSR）的目标是通过额外的参考图像进行高分辨率图像的恢复[22，59330输入和参考 GT 模型-两者模型-低分辨率图像0输入和参考0(a) 缓解参考图像未充分利用问题 (b) 缓解参考图像错误使用问题0图3.消除低分辨率图像和参考图像之间的干扰可以缓解参考图像未充分利用和参考图像错误使用的问题。（a）当我们移除低分辨率图像输入时，模型-参考会从相关高质量参考图像中传递更多纹理。（b）当我们移除无关的参考图像时，模型-低分辨率克服了参考图像干扰导致的模糊和伪影。0超分辨率方法[27, 34-36, 40,41]是通过额外的高分辨率参考图像对低分辨率图像进行超分辨率重建，而单图像超分辨率只使用低分辨率图像。我们可以通过图像检索方法[6]获取参考图像。RefSR方法通过对低分辨率图像和参考图像进行对齐来传递纹理信息。Cross-Net[41]通过两个图像之间的光流估计对参考图像和低分辨率图像进行对齐。SSEN[27]进一步使用可变形卷积提取参考特征。然而，上述空间对齐方法的致命局限是它们都缺乏建立两个不同图像之间的远距离相关性的能力。因此，提出了基于块匹配的方法[13,22, 36, 40]。SRNTT[40]在多尺度特征上进行块匹配，然后将纹理信息转移到低分辨率图像中。TTSR[36]将Transformer架构引入到RefSR中，硬注意力和软注意力可以更好地提取参考特征。MASA[22]提出了一个空间适应模块来解决低分辨率图像和参考图像之间潜在的大分布差异。为了明确匹配图像，C2-Matching[13]将对比学习和知识蒸馏引入到块匹配步骤中，克服了低分辨率图像和参考图像之间的转换差距。然而，大多数当前的RefSR方法都是设计为同时对低分辨率图像进行上采样并通过单个模块从参考图像中传递纹理，这很容易导致参考图像未充分利用和参考图像错误使用的问题，如图1所示。相比之下，我们的框架将超分辨率任务和纹理传递任务解耦，排除了低分辨率图像和参考图像之间的干扰，从而在很大程度上解决了这两个问题。03. RefSR 框架的分析03.1. RefSR 的耦合框架0给定一个低分辨率图像 I LR作为输入，基于参考图像的超分辨率（RefSR）旨在生成高分辨率图像。0通过额外的高分辨率参考图像 I Ref 的指导，使用 RefSR方法对低分辨率图像 I LR进行超分辨率重建。如图2(a)所示，大多数现有方法[13, 22,36, 40]的框架可以总结为耦合框架。耦合框架首先对 I LR和 I Ref 进行对齐，得到 LR 特征 F LR 和对齐的参考特征 Falign Ref，然后重建高分辨率图像。0I RefSR = G([F LR, F align Ref]), (1)0其中G表示RefSR网络，[，]表示连接操作。03.2.参考不足问题和参考误用问题的分析0由于LR图像和参考图像之间的干扰，耦合框架很容易导致参考不足问题和参考误用问题。因此，我们想知道是否可以通过分离LR图像和参考图像的处理来解决这两个问题。为了进一步研究这两个问题，我们重新训练了最近的最先进方法C2-Matching [13]模型，针对以下设置：•Model-Ref：只输入对齐的参考图像来重建最终的HR图像，没有LR图像。因此，该模型只处理来自参考图像的纹理转移任务。•Model-LR：只输入LR图像来重建SR图像，没有参考图像。因此，该模型变成了具有单个图像输入的SISR模型。•Model-Both：同时输入LR图像和对齐的参考图像来重建最终的HR图像。参考不足问题。如图3(a)所示，当给出相似的参考图像时，仅使用参考图像的Model-Ref的结果与地面实况图像具有更相似的细节纹理，而同时输入LR图像和参考图像的Model-Both的结果则较少。实验表明，该模型可以更充分地从参考图像中转移纹理。�������������������������������������������������������59340卷积0基本块 基本块0像素重排0残差块 纹理提取0特征提取器0相关计算0基于流的对齐0可变形对齐0编码器0解码器0纹理转移0单图像超分辨率0图4.任务解耦框架概述。对于超分辨率任务，单图像超分辨率网络将输入图像ILR上采样为高分辨率图像ISISR，并获得其特征FSISR，同时确保结构和内容信息。对于纹理转移任务，我们首先计算ISISR和参考图像IRef之间的空间相关矩阵M。基于空间相关矩阵M，我们使用纹理提取模块通过两种不同的对齐方法，基于流的对齐和可变形对齐，从IRef中提取纹理特征FTex。最后，自适应纹理转移模块将详细纹理FTex转移到FSISR，并得到最终的输出图像IRefSR。0当消除输入LR图像的干扰时，很大程度上消除了LR图像的参考不足问题。参考误用问题。如图3(b)所示，当给出不相关的参考图像时，Model-LR消除了Model-Both结果的模糊和伪影。因此，通过消除不相符的参考内容的影响，RefSR模型可以更好地对LR图像进行上采样。消除不相关的参考图像减轻了参考误用问题。总之，通过将RefSR的超分辨率和纹理转移过程分离，参考不足问题和参考误用问题都得到了很大程度的缓解。因此，受到这一发现的启发，我们设计了一种基于解耦超分辨率任务和纹理转移任务的新框架。04.我们的方法04.1. 概述0在这项工作中，为了解决参考图像未充分利用和参考图像误用的问题，我们提出了一种基于解耦超分辨率任务和纹理转移任务的新框架。我们为输入图像和参考图像设置了两个不同的任务。具体而言，期望输入LR图像提供结构和内容信息，而参考图像仅用于计算与输入LR图像之间的空间相关性。然后，根据参考图像和LR输入之间的相似性，将纹理特征从参考图像转移到SISR特征FSISR中：0因此，输入LR图像ILR和参考图像IRef分别提供了结构和内容信息，然后将它们逐步集成。我们提出的框架的概述如图4所示，包括两个主要部分：超分辨率任务中，我们仅通过输入LR图像自身进行上采样，没有任何来自参考图像的干扰，得到初始高分辨率图像ISISR和其特征FSISR：0FSISR = FSR(ILR)，(2)0其中FSR表示SISR模型，我们使用RRDB[33]作为基本块。至于纹理转移任务，我们从参考图像中提取并转移精细纹理特征到SISR特征FSISR。我们首先通过纹理提取模块提取参考纹理特征FTex：0FTex = FTE(IRef, ISISR)，(3)0其中FTE表示纹理提取模块。值得注意的是，ISISR仅用于计算参考图像和输入LR图像之间的空间相关性。然后根据参考图像和LR输入之间的相似性，将纹理FTex转移到FSISR中，通过自适应纹理转移模块：SISRthe alignment module, we use two feature extractors to mapISISR and IRef into the same feature space. The architec-ture of the two feature extractors are shared. After that, weuse the operation of patch matching [40] in the feature spaceto calculate the spatial correlation mapHW ×H′W′o = P + Eo(FF tex, FSISR),(7)m = σ(Em(FF tex, FSISR)),(8)FDtex = D(FRef , o, m),(9)FRefSR = Conv(FT ex) · C + FSISR,(10)LT exrec = ||IHR − (ISISR + IT ex)||1,(11)59350图像，得到最终的RefSR输出IRefSR：0IRefSR = FATT(FTex, FSISR)，(4)0其中FATT表示自适应纹理转移模块。04.2. 使用对齐进行纹理提取0纹理提取的关键任务是如何处理参考图像IRef在空间上的对齐：0在ISISR和IRef之间。然后我们从相关矩阵M计算索引图P和置信度图C：0Pi = arg max j Mij，Ci = max j Mij。(5)0索引图P可以被视为ISISR和IRef之间的流信息。受到视频超分辨率任务[3, 5, 30, 32]和视频帧插值任务[1, 2, 7,19]的启发，我们使用两种不同的方法进行对齐。第一种方法是基于流的变形。将P视为流图，我们对FRef进行反向变形操作，得到对齐的特征。第二种方法是可变形对齐[8]。之前的研究[4]表明，由于偏移多样性，可变形对齐相对于基于流的对齐具有显著的改进。然而，可变形对齐的训练是不稳定的，可能会导致偏移溢出[4]，从而限制了性能。为了克服可变形对齐的不稳定性，我们将可变形对齐和基于流的对齐相结合。两种方法的结合利用了可变形对齐中的偏移多样性和基于流的对齐的稳定性。基于流的对齐。给定流信息P，我们直接对特征图FRef进行变形操作，得到FFtex，遵循[22,36, 40]：0FFtex = W(FRef, P)，(6)0其中W表示空间变形操作。可变形对齐。由于训练可变形卷积(DCN)的困难，受到可变形卷积在视频超分辨率任务中的使用[5,32]的启发，我们采用光流来引导可变形对齐，类似于[5]。空间变形的结果FFtex被用来估计DCN的偏移量o和调制掩码m：0其中E o和Em表示卷积层的堆叠，σ表示sigmoid函数。然后我们对FRef进行DCN操作，得到对齐的特征F Dtex：0其中D表示可变形卷积。我们通过卷积层融合F F tex和FDtex，得到纹理特征F Tex。通过解码器，我们得到纹理图像I Tex。为了提取高频细节纹理，I T ex受到HR图像IHR和SISR图像I SISR的残差监督。04.3. 自适应纹理传输0为了准确地结合SISR特征F SISR和参考特征F Tex的内容，我们设计了自适应纹理传输模块，根据两个图像之间的相似性混合F T ex和F SISR，以适应性地选择F Tex中的纹理，防止不对齐的纹理恶化输出，我们使用在公式（5）中计算的置信度图C来抑制不对齐纹理区域的权重：0其中Conv表示卷积层。然后经过八个残差块进行恢复，我们得到最终的输出IRefSR。关于置信度图C的更多细节请参见补充材料。04.4. 实现细节0所提出框架的总体网络通过两个步骤进行训练：1）单图像超分辨率网络的训练。2）纹理提取和传输网络的训练。SISR网络的训练。为了确保SISR结果的内容信息，我们只使用重建损失来训练SISR网络，该损失由L1损失计算得到。训练完成后，我们固定SISR网络。纹理传输网络的训练。从SISR网络获得的超分辨率图像ISISR用于特征对齐步骤。纹理传输网络有两个输出进行监督，纹理提取结果I T ex和最终结果IRefSR。为了让网络提取高频细节纹理信息，我们采用地面真实图像I HR和I SISR的残差作为监督（关于L T exrec的更多讨论请参见补充材料）：0至于最终输出，我们采用重建损失L rec，感知损失L per [14 ]和对抗损失L adv [ 11 ]。L rec，L per和Ladv的权重分别为1，10-2和10-4。初始训练速率设置为10-4。MSISRSRCNN [10]25.33/0.74528.26/0.78124.41/0.73827.12/0.85027.27/0.767EDSR [21]25.93/0.77728.52/0.79225.51/0.78328.93/0.89128.07/0.793RRDB [33]26.41/0.78329.99/0.81425.98/0.78829.87/0.90727.96/0.793RCAN [38]26.33/0.78129.97/0.81425.99/0.78730.11/0.90827.91/0.793SRGAN [18]24.40/0.70226.76/0.72524.07/0.72925.12/0.80226.21/0.728ENet [24]24.24/0.69526.24/0.70223.63/0.71125.25/0.80225.47/0.699ESRGAN [33]21.90/0.63324.18/0.65120.91/0.62023.53/0.79726.07/0.726RankSRGAN [37]22.31/0.63525.60/0.66721.47/0.62425.04/0.80326.15/0.71959360表1.与最先进方法的定量比较。我们使用PSNR/SSIM指标进行评估。最佳和次佳性能分别用红色和蓝色标记。我们提出的方法在当前SISR和RefSR最先进方法上取得了显著的优势。0方法 CUFED5 Sun80 Urban100 Manga109 WR-SR0RefSR0CrossNet [41] 25.48 / 0.764 28.52 / 0.793 25.11 / 0.764 23.36 / 0.741 - SRNTT [40] 25.61 /0.764 27.59 / 0.756 25.09 / 0.774 27.54 / 0.862 26.53 / 0.745 SRNTT -rec [40] 26.24 / 0.78428.54 / 0.793 25.50 / 0.783 28.95 / 0.885 27.59 / 0.780 TTSR [36] 25.53 / 0.765 28.59 / 0.77424.62 / 0.747 28.70 / 0.886 26.83 / 0.762 TTSR -rec [36] 27.09 / 0.804 30.02 / 0.814 25.87 /0.784 30.09 / 0.907 27.97 / 0.792 MASA [22] 24.92 / 0.729 27.12 / 0.708 23.78 / 0.712 27.34 /0.848 - MASA -rec [22] 27.54 / 0.814 30.15 / 0.815 26.09 / 0.786 30.28 / 0.909 - C 2 -匹配 [13]27.16 / 0.805 29.75 / 0.799 25.52 / 0.764 29.73 / 0.893 27.80 / 0.780 C 2 -匹配 -rec [13] 28.24 /0.841 30.18 / 0.817 26.03 / 0.785 30.47 / 0.911 28.32 / 0.8010我们的 27.37 / 0.816 28.85 / 0.768 25.80 / 0.776 30.12 / 0.889 27.40 / 0.769 我们的-rec 28.64 / 0.850 30.31 / 0.820 26.71 / 0.807 31.23 / 0.917 28.52 / 0.8070表2. CUFED5测试集上不同级别的定量比较。'L1'是最相关的参考图像，'L4'是最不相关的。'LR'表示直接使用LR图像本身作为参考。对于不同的参考级别，我们的方法都获得了最佳性能。0方法 L1 L2 L3 L4 LR0PSNR / SSIM PSNR / SSIM PSNR / SSIM PSNR / SSIM PSNR / SSIM0CrossNet [41] 25.48 / 0.764 25.48 / 0.764 25.47 / 0.763 25.46 / 0.763 25.46 / 0.763 SRNTT-rec [40] 26.15 / 0.781 26.04 / 0.776 25.98 / 0.775 25.95 / 0.774 25.91 / 0.776 SSEN -rec[27] 26.78 / 0.791 26.52 / 0.783 26.48 / 0.782 26.42 / 0.781 - CIMR -rec [35] 27.32 / 0.80527.05 / 0.799 26.92 / 0.796 26.86 / 0.794 - TTSR -rec [36] 26.99 / 0.800 26.74 / 0.791 26.64 /0.788 26.58 / 0.787 26.43 / 0.782 MASA -rec [22] 27.35 / 0.814 26.92 / 0.796 26.82 / 0.7930C 2 -匹配 -rec [13] 28.24 / 0.841 27.39 / 0.813 27.17 / 0.806 26.94 / 0.799 26.53 / 0.7840我们的 -rec 28.64 / 0.850 27.77 / 0.821 27.46 / 0.815 27.23 / 0.807 26.83 / 0.79405. 实验05.1. 数据集和评估指标0训练数据集。CUFED5[40]训练集由11,871对图像组成，每对图像都有一个分辨率为160×160的HR图像和一个参考图像。我们使用4倍的尺度因子训练我们的模型。测试数据集。为了评估我们的方法，我们采用了五个基准数据集：CUFED5 [40]测试集，Sun80[28]，WR-SR [13]，Urban100 [12]和Manga109[23]。CUFED5测试集包含126对图像，每个输入图像都有5个不同相似度级别的参考图像。Sun80有80个图像，每个图像有20个参考图像。WR-SR包含80个图像，每个图像都有0一个参考图像通过Google图像搜索获得。我们按照[13, 36,40]的方法在Urban100和Manga109上评估我们的方法。Urban100有100个建筑图像，具有高度的自相似性，因此我们使用LR图像作为参考图像。对于Manga109数据集，我们随机选择数据集中的HR图像作为参考图像。评估指标。RefSR结果使用YCrCb空间的PSNR和SSIM指标进行评估。05.2. 与最先进的方法比较0定量比较。我们将提出的方法与以下SISR和RefSR方法进行比较。SISR方法包括SRCNN [10]，EDSR [21]，RCAN[38]，SRGAN [18]，ENet [24]，ESRGAN [33]59370HR RCAN ESRGAN SRNTT TTSR MASA C 2 -匹配 我们的输入和参考0图5.CUFED5测试集上的视觉比较。我们将提出的方法与6种不同的SISR和Ref最先进的方法进行比较。在这些方法中，只有RCAN是使用l1损失进行训练的，其他方法都是使用GAN损失进行训练的。与其他RefSR和SISR方法相比，我们的方法恢复了更真实的纹理。(放大以获得最佳视图)0和RankSRGAN [37]。至于RefSR方法，包括Cross-Net[41]，SRNTT [40]，TTSR [36]，MASA[22]和C2-Mathcing[13]。C2-Mathcing是最近的最先进方法，它在PSNR和SSIM上都取得了最佳性能。表1显示，我们的方法在所有五个数据集上都优于现有的最先进方法。定量比较表明，我们提出的模型与标准CUFED5基准上的最先进方法相比，有着显著的0.4dB改进。定性评估。在图5中，我们展示了与最先进的SISR和RefSR方法的视觉比较。我们的方法可以实现更令人满意的视觉质量，具有更多从参考高分辨率图像中转移的细节纹理。如图5的第一行所示，我们的方法可以恢复出更逼真的细节。此外，在图5的最后一行，我们的方法获得了清晰的字母，而其他方法生成了伪影或模糊的结果。对无关参考的鲁棒性。为了评估对无关参考的鲁棒性，我们在CUFED5测试集上将我们的方法与其他RefSR方法在不同参考级别上进行了比较。表2显示了五个相关程度的结果。对于不同的相似度水平，我们的方法都取得了最佳性能，这不仅证明了我们在纹理转移方面的优势，也证明了我们的方法对无关参考的鲁棒性。05.3. 消融研究0在本节中，我们对我们方法中的两个关键组成部分进行消融研究：(1)任务解耦。0框架，(2)纹理提取和转移模块。任务解耦框架。我们将没有我们框架中的SISR部分的模型设置为基准，通过一个单一网络实现超分辨率和纹理转移。表3评估了任务解耦框架的有效性。在类似参考的情况下，对于RefSR数据集CUFED5、Sun80和WR-SR，我们都获得了超过0.26dB的增益。同时，在图6(a)中，具有解耦框架的模型可以产生与GT非常相似的逼真图像，其中更多的纹理和细节从参考图像中转移过来。定量评估和定性比较都表明，RefSR任务的任务解耦框架可以促使模型从参考图像中提取和转移更多的纹理。在没有类似参考的情况下，对于SISR数据集Urban100和Manga109，表3证明了解耦框架相比基准方法的显著提升超过1dB。此外，图6(b)显示了基准方法很容易导致模糊和伪影，而我们的解耦框架方法缓解了这个问题并获得了更多的细节。结果证明，任务解耦框架在给定无关参考的情况下更加稳健。总之，我们的框架有效地解耦了RefSR的超分辨率任务和纹理转移任务，从而获得更好的性能。纹理提取模块。表4评估了基于流的对齐和可变形对齐在纹理提取模块中的有效性。我们训练了以下变体。(A)没有参考的基准SISR。(B)具有参考的基准SISR。59380表3. 解耦框架消融研究的定量评估。解耦框架在五个数据集上带来了巨大的改进。特别是在Urban100和Manga109上，我们获得了超过1dB的改进。0解耦 CUFED5 Sun80 Urban100 Manga109 WR-SR0无解耦 28.36/0.842 30.01/0.812 25.66/0.769 29.98/0.901 28.16/0.797 解耦28.64/0.850 30.31/0.820 26.71/0.807 31.23/0.917 28.52/0.8070无解耦 解耦 HR输入图像0没有解耦 有解耦 HR输入图像0（b）没有相似参考内容的情况。图6.解耦框架消融研究的定性比较。（a）有相似参考的情况。具有解耦框架的模型能够从参考中转移更真实的纹理。（b）没有相似参考的情况。具有解耦框架的模型可以恢复更多细节。（放大以获得最佳视图）0表4.纹理提取和传输模块消融研究的定量评估。PSNR/SSIM是在CUFED5上计算的。0ID 流 DCN ATT PSNR/SSIM0（A）26.41/0.783（B）27.91/0.832（C）28.29/0.843（D）28.50/0.848（E）28.64/0.8500输入基准+流+DCN0+流+DCN参考HR+流+DCN+ATT0图7.纹理提取和传输模块的消融研究。0基于流的（Flow）对齐。（C）具有可变形卷积（DCN）对齐。（D）同时具有流和DCN对齐。（E）进一步具有自适应纹理传输（ATT）。与（A）相比，设置（B）和（C）将SISR任务转变为RefSR任务，由于额外的参考图像，增益超过1dB。（C）的性能优于（B），表明在RefSR中，可变形对齐优于基于流的对齐。如图7所示，可变形对齐和基于流的对齐可以恢复不同区域的清晰纹理。因此，我们在纹理提取模块中结合了这两种对齐方法。如表4所示，（D）取得了显著的改进。0与（B）和（C）相比，（D）的结果在（B）和（C）中聚合了逼真的纹理。总之，在结合基于流的对齐的稳定性和可变形对齐的优越性之后，该模型获得了更好的性能。自适应纹理传输。如表4中的最后一行所示，以及图7中的”Flow+DCN+ATT”结果，自适应纹理传输模块对从纹理提取模块获得的纹理进行了改进，并在标准CUFED5基准测试中进一步提高了0.14dB的PSNR。06.结论在本文中，我们首先深入研究了RefSR中的参考未充分利用问题和参考错误使用问题，这是由于不当的耦合框架设计所致。因此，我们提出了一种新颖的框架，将超分辨率任务和纹理传输任务解耦，用于RefSR。对于LR图像，超分辨率任务仅通过LR本身对LR图像进行粗略上采样。对于参考图像，纹理传输任务从参考图像中提取和传输逼真的纹理。进一步提出了纹理提取和自适应纹理传输模块，以更充分地迁移纹理。在五个基准测试上进行的广泛实验证明了我们提出的方法在定量和定性上优于现有方法。致谢本工作得到了中国国家重点研发计划（2019YFB1804304），超高清视频和音频制作与呈现国家重点实验室，BirenTechResearch，上海数字媒体处理与传输重点实验室（STCSM18DZ2270700）和111计划（BP0719010）的部分支持。59390参考文献0[1]鲍文博，赖伟胜，马超，张晓云，高志勇，杨明焕。基于深度的视频帧插值。在IEEE Conf. Comput. Vis. PatternRecog.，页3703-3712，2019年。50[2] 鲍文博，赖伟胜，张晓云，高志勇，杨明焕。Memc-net:运动估计和运动补偿驱动的视频插值和增强的神经网络。IEEETrans. Pattern Anal. Mach. Intell.，2019年。50[3] Kelvin CKChan，王新涛，于科，董超，陈长乐。Basicvsr：在视频超分辨率及其它领域中寻找基本组件。在IEEE Conf. Comput. Vis.Pattern Recog.，页4947-4956，2021年。50[4] Kelvin CK Chan, Xintao Wang, Ke Yu, Chao Dong和ChenChange Loy. 理解视频超分辨率中的可变形对齐.在AAAI上，2021年。50[5] Kelvin CK Chan, Shangchen Zhou, Xiangyu Xu和ChenChange Loy. BasicVSR++:通过增强的传播和对齐改进视频超分辨率.在IEEE计算机视觉和模式识别会议研讨会上，2021年。50[6] Yangdong Chen, Zhaolong Zhang, Yanfei Wang, YuejieZhang, Rui Feng, Tao Zhang和Weiguo Fan. AE-Net:通过注意力增强网络进行细粒度的基于草图的图像检索. 在PatternRecognition上，页码为108291，2022年。30[7] Xianhang Cheng和Zhenzhong Chen.通过增强的可变形可分离卷积进行多帧视频插值.IEEE模式分析与机器智能杂志，2021年。50[8] Jifeng Dai, Haozhi Qi, Yuwen Xiong, Yi Li, GuodongZhang, Han Hu和Yichen Wei. 可变形卷积网络.在国际计算机视觉会议上，页码为764-773，2017年。50[9] Tao Dai, Jianrui Cai, Yongbing Zhang, Shu-Tao Xia和LeiZhang. 用于单图像超分辨率的二阶注意力网络.在IEEE计算机视觉和模式识别会议上，页码为11065-11074，2019年。20[10] Chao Dong, Chen Change Loy, Kaiming He和XiaoouTang. 使用深度卷积网络的图像超分辨率.IEEE模式分析与机器智能杂志，38(2)：295-307，2015年。1, 2, 60[11] Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, VincentDumoulin和Aaron C Courville. 改进的Wasserstein GANs训练.在Adv. Neural Inform. Process.Syst.上，页码为5767-5777，2017年。50[12] Jia-Bin Huang, Abhishek Singh和Narendra Ahuja.从变换的自我示例中进行单图像超分辨率.在IEEE计算机视觉和模式识别会议上，页码为5197-5206，2015年。60[13] Yuming Jiang, Kelvin C.K. Chan, Xintao Wang, ChenChange Loy和Ziwei Liu.通过C2匹配实现鲁棒的基于参考的超分辨率.在IEEE计算机视觉和模式识别会议上，页码为2103-2112，2021年。1, 3, 6, 70[14] Justin Johnson, Alexandre Alahi和Li Fei-Fei.用于实时风格转换和超分辨率的感知损失.在欧洲计算机视觉会议上，页码为694-711，2016年。2, 50[15] Jiwon Kim, Jung Kwon Lee和Kyoung Mu Lee.使用非常深的卷积网络进行准确的图像超分辨率.在IEEE计算机视觉和模式识别会议上，页码为1646-1654，2016年。20[16] Jiwon Kim, Jung Kwon Lee和Kyoung Mu Lee.图像超分辨率的深度递归卷积网络.在IEEE计算机视觉和模式识别会议上，页码为1637-1645，2016年。1, 20[17] Wei-Sheng Lai, Jia-Bin Huang, Narendra A