双相机超分辨率：基于参考的高质量图像恢复方法的研究

2001×具有对齐注意力模块的双相机超分辨率王腾飞1 *谢嘉欣1 * 孙文秀2严琼2陈奇峰11香港科技大学2商汤科技研究及Tetras.AI摘要我们提出了一种基于参考的超分辨率（RefSR）的新方法，重点是双相机超分辨率（DCSR），它利用参考图像获得高质量和高保真度的结果。我们提出的方法概括了标准的基于补丁的空间对齐操作的特征匹配我们进一步探索作为RefSR的一个有前景的应用的双相机超分辨率，并且构建由来自智能手机中的主相机和长焦相机的146个图像对组成的数据集。为了弥合真实世界图像和训练图像之间的领域差距，我们提出了一种用于真实世界图像的自监督领域自适应策略。 在我们的数据集和一个pub上进行了大量的实验-LIC基准测试表明，我们的方法在定量评估和视觉比较方面都比现有技术有明显的改进。我们的代码和数据可在https://tengfei-wang.github.io/Dual-Camera-SR/index.html上获得。1. 介绍由于有限的装配空间，大多数智能手机制造商采用由多个定焦镜头组成的非对称相机系统，而不是用于光学变焦的变焦镜头。如图1，最常见的配置有双摄像头，具有广角（主摄像头）和长焦镜头，具有不同的视场（FoV）。由于两个镜头中的视点差异和不同的图像信号由于这两幅图像以不同的焦距捕捉同一场景，我们是否可以使用长焦图像作为参考来增强广角图像的分辨率为了回答这个问题，我们研究了基于参考的超分辨率（RefSR），重点是双相机超分辨率（DCSR）。RefSR的关键挑战在于（1）如何有效地建立低分辨率信息与低分辨率信息之间的对应关系1等贡献放置（LR）和参考图像（Ref）（特征扭曲），以及（2）如何整合参考信息以改善输出图像质量（特征融合）。已经广泛观察到，类似的语义块和纹理图案倾向于在具有可变位置、取向和大小的相同或高度相关的图像中重现[23，46]。为了从参考图像中搜索和利用这些相关图案，先前的基于学习的方法采用逐块匹配（块匹配[44，43]，基于块的注意力[34，35]）或逐像素对准（光流[45]，偏移[28]），具有不同的优点和缺点。逐像素对准能够处理非刚性变换，但是通常不太稳定并且由于可靠的流动或偏移估计的困难而易于生成扭曲的结构[6]，特别是对于大部分未对准的参考图像。逐块匹配可以实现引人注目的扭曲性能，因为它以显式方式评估LR和Ref块之间的相似性分数然而，普通块级匹配缺乏对空间未对准的鲁棒性，例如，缩放或旋转面片。如图1，即使在参考图像中可获得高度相似的块，先前的方法也不足以利用这些线索，并且倾向于对未对准的Ref和LR块求平均以产生模糊图像。先前RefSR方法的另一个限制是它们难以直接应用于由智能手机捕获的高分辨率图像。RefSR数据集[43]中的参考图像通常小于512 512。因此，大多数方法在整个参考图像上全局搜索超分辨率线索。然而，全局搜索策略的存储器消耗对于高分辨率情况（例如，4K）。真实世界图像和训练图像之间的域间隙也会降低缩放性能[13，40，5]。为了解决这些问题，我们提出了一种深度RefSR方法，重点是双摄像头超分辨率。首先，我们将基于香草补丁的注意力推广到对齐的注意力模块，该模块基于显式匹配搜索相关补丁，同时隐式学习补丁间变换以减轻空间错位。其次，为了防止参考补丁闲置和贡献较少的超分辨率结果，我们强加了保真度2002RefRSRGANTTSR我们的RSRGANTTSR我们的图1.智能手机双摄像头系统演示。长焦图像和广角图像在重叠的FoV（由白色虚线指示）内共享类似的内容，同时存在各种未对准。我们以长焦图像为参考，对广角图像进行超分辨，以结合大视场和高质量的细节。与最先进的SR方法RSRGAN [39]和TTSR [35]相比放大查看详细信息。参考图像上的损失。为了将我们的方法推进到真实世界的图像中，我们还提出了一种自监督自适应策略。我们的论文的主要贡献可以概括为：我们是第一个探索现实世界的双摄像头超分辨率（广角和长焦相机）。我们提出了一种自监督域自适应方案，以弥合现实世界的图像和下采样图像之间的域差距。我们提出对准注意模块和自适应融合模块来改进RefSR架构。我们的方法在定性和定量上优于最先进的方法。我们认为施加一个显式的保真度损失的参考图像和执行显式的高频融合的图像空间的超分辨率质量的重要性。2. 相关工作2.1. 单幅图像超分辨率近年来，SISR [11]一直在积极探索在SRCNN [9]之后，MDSR [18]将残差块引入到超分辨率区域。RCAN[41]通过信道注意力进一步改进了残差块。为了提高视觉质量，Johnson等。[15]提出了感知损失，以最小化特征距离。SRGAN [17]采用生成对抗网络[12]来实现更真实的纹理。ESRGAN [32]用残差中残差密集块增强了SRGAN。[39]第三十九话GAN与一个训练有素的排名器，给出排名分数。CSNLN [23]提出了跨尺度非局部注意力来寻找高质量重建的自相似性。2.2. 基于参考的超分辨率RefSR通过提供高分辨率参考图像来减轻SISR的不适定性先前的基于学习的方法采用逐块匹配或逐像素对准来进行特征扭曲。逐像素对齐方法通常构建密集的对应图，并且逐像素地扭曲参考特征图。Zheng等人[45]提出了估计输入和参考图像之间的光流然而，它仍然是一个具有挑战性的问题，可靠的流量估计在很大程度上错位的地区。Shim等人[28]提出用可变形卷积[8]而不是光流来隐式估计偏移。偏移量翘曲比流动对应物更快、更灵活，但通常不太稳定。分片匹配通过显式计算相似性得分来搜索相关分片，因此更稳定，具有更好的可解释性。Zhang等人[43]采用Patch Match [2]来扭曲由预训练的VGG网络[ 29 ]提取的特征。使用固定的VGG网络作为特征提取器，他们的方法不与重建网络联合训练提取器。Yang等人[35]和Xie等人[34]进一步提出采用可学习的提取器，并用基于补丁的注意力替换补丁匹配，这允许端到端的学习管道。这些补丁级别的扭曲方法可以找到语义相似的补丁，但几何未对准L1 L2LRL1 > L2Ref颜色不匹配LRRefFoV差异LR类似的补丁可在Ref分辨率差LRRef远摄LR广角场景···2003对齐对齐对齐↑↑·×对齐关注对齐Attention对齐关注对齐关注���−���argmax余弦相似度矩阵P,3你好，2Max（索引图）C（置信图）,1编码器自适应融合自适应融合自适应融合解码器自适应融合L1234图2.概述我们的方法。我们首先在特征空间中为每个ILR块在余弦距离下匹配最近的IRef块Φ。不同尺度下的参考特征FRef然后通过对齐的注意力进行扭曲，并与SR特征FSR进行自适应融合根据该匹配。在与高频IHF的最终融合之后，网络产生高保真输出ISR。对贴片间未对准不鲁棒（例如，缩放和旋转的块），这通常导致模糊的结果。为了解决这个问题，我们提出了对齐的注意力模块，通过估计分片对齐参数来鲁棒地扭曲空间未对齐的分片2.3. 双摄像头超分辨率双摄像头超分辨是以长焦图像为参考对广角图像进行大多数相关工作采用传统的全局正确性和配准技术。Park等人[25]和Liu等人[19]假设在广角和远摄对之间没有视差，并且仅全局地校正亮度和颜色。一些先前的工作考虑了输入和参考之间的几何未对准。他们通过中心裁剪HR和执行随机仿射变换来模拟远程图像，并将此任务制定为图像配准。Yu等人[37]对SURF[4]特征应用RANSAC算法[10]Manne等人[20]在ORB特征[ 26 ]上应用FLANN算法[24]进行几何配准。然而，在真实世界的长焦照片和模拟的长焦照片之间存在巨大的域差距[13，5]，并且先前的方法通常在实际配置中显示出显著的性能下降代替全局图像配准，我们制定DCSR作为RefSR的设置，并提出了一个端到端的管道和训练策略。据我们所知，我们是第一个基于学习的真实世界双摄像头超分辨率方法。以IRef为条件。如图2所示，我们的端到端流水线由两部分组成：具有对齐注意力模块的特征扭曲（第3.1节），以及具有自适应融合模块的特征融合（第3.2节）。 为了利用由IRef提供的高级和低级信息，遵循先前的工作[43，35]，我们经由编码器ΦRef提取不同尺度级别的参考特征F Ref。 在每个尺度下，我们对FRef执行对齐的注意力以使其变形以匹配LR以用于稍后的融合。该模块可以鲁棒地匹配相关的块并且进一步对准这些块以减轻方向和尺度的差异之后，对准的特征F Ref以及高频率残差IHF与由匹配置信度引导的LR信息顺序地积分。3.1. 对齐注意力的特征变形我们的方法源于这样的观察，即类似的块倾向于在具有不同尺度和方向的相关图像中重现[3]。对齐的注意力旨在搜索这些相关的参考补丁，并将它们扭曲以与LR对应物对齐。在[43]之后，我们首先执行逐块匹配[7]以粗略地扭曲参考，这在下面简要回顾。ILR和IRef首先经由共享编码器Φ（）嵌入到特征图中，并且密集地（步幅=1）划分为3 × 3个块，其中表示双三次上采样。然后，我们计算每对LR片i和Ref片j之间的余弦距离Si，j。对于每个LR补丁，我们希望选择最相关的Ref补丁用于稍后的特征融合。匹配的索引图P和置信度图C被获得为：Pi= arg maxSi，j，Ci= maxSi，j。（一）3. 方法jj给定ILR和IRef，我们的目标是生成具有高质量细节的高分辨率图像ISR索引图指示最相关的参考补丁-Pi，并且置信度图给出每个LR-补丁-i的置信度。2004索引图对齐经纱������������ℎ������concat⊙���经纱L������������ℎ������局部比对匹配对齐匹配匹配匹配对齐模糊模糊×7…3………6…1图3.对准注意模块和自适应融合模块的图示。（一）.对齐的注意力应用索引图P以粗略地扭曲F_ref，然后将补丁与学习的局部变换精细对齐。（b）.自适应融合应用附加卷积层g以聚合置信图C中的邻居信息。匹配置信度Ci。现在可以根据索引图来扭曲参考块，以获得粗略匹配的图像IRef和特征表示为：参考SRF融合=g（C）·h（FSR，F）+F，（3）参考匹配其中g（·）和h（·）是可学习的卷积层。这样一个简单的匹配方案[43，7，35]执行STA-bly在寻找类似的补丁。然而，如图1，即使在IRef中可获得高度相似的贴片，通常也存在取向和尺度上的未对准到目前为止，粗略扭曲的参考对旋转和缩放不鲁棒，这可能通过对未对准的Ref和LR求平均而产生模糊输出受[3，14，8]启发，我们另一个问题是，从融合特征重建的图像往往会丢失高频细节。受最近的工作[36]的启发，该工作通过使用注意力地图添加回图像残差来生成高频细节对齐的高频（HF）残差可以表示为建议将逐块空间变换A估计为HF对齐=（I Ref− I Ref↓↑）对齐。然而，不同-进一步对齐FRef中的所有匹配补片：A=T（concat（I LR↑，I Ref ））。（2）而不是像[14]那样预测全局变换从修复任务[36]中输入，其中HF细节在缺失区域中没有约束，在超分辨率中，细节需要与原始LR内容一致。为了避免引入高频噪声，我们还在最终融合上使用可学习函数gr整个FRef，局部空间Transformer网络SR HF SR匹配T被设计成估计逐块对齐参数所有补丁 然后将FRef的每个片在-I=gr（C）·I对齐+解码器（F3.3.损失函数）的情况。（四）依赖于所估计的仿射矩阵来获得精细的对齐的参考特征F参考Ref对齐将使用我们生成以IRef为条件的输出图像，并且以便于通过特征融合生成ISR3.2.自适应特征融合直接特征融合（例如，级联、求和）未能考虑匹配的质量，这可能不可避免地带来不相关或噪声信息。因此，先前的工作[35]采用置信图作为特征融合的指导 但在原始置信度图中，C i是针对每个块i独立计算的，这意味着它反映了每个单个块的局部匹配置信度，并且相邻块之间的过渡不一定是平滑的。为了解决这个问题，我们在置信图中嵌入了一个额外的卷积网g。这是一种简单有效的方法来聚合邻居的信心，更一致和更高质量的结果。特征融合过程可以期望ISR接近地面实况IHR。 由于I HR和I Ref之间的不一致，我们发现使用I HR作为监督学习的严格标签会导致不令人满意的细节。因此，我们采用[21，22]中提出的重建项，其分别计算低频和高频带中的损耗：Lrec=<$ISR−IHR<$$>+δi（ISR，IHR），（5）我其中I模糊被3过滤3高斯核，其中σ =0的情况。五、δi（X，Y）=minjDxi，yj是SRpix el之间出来ℎconcat⊙⊗⊕F由I. F.2005的距离xi与其在一定距离下最相似的HR像素yiD[22，40]。 第一项使ISR在低频域与IHR保持相同的内容。 第二项灵活地实施类似于IHR的ISR的统计。2006L×我¨¨CSNLN [23] 24.73 0.743我们的-l27.30 0.807我们发现，仅使用上述损失会产生模糊的结果，因为损失不涉及对IRef的约束。直观地，图3（b）中的融合模块可以容易地忽略参考信息，并且降级为身份映射。在这种情况下，IRef对ISR生成的贡献较小。为了避免I Ref的峰值信噪比RefSRPSNR SSIM由[22]修改而来，其中δi是ISR之间的距离以及距离D下的IRef中的最近邻像素：Σδi（ISR，IRef）·ciL-菲德（六）=Σ c。1我我表1.CUFED5的定量比较具有更高匹配置信度ci的像素被赋予更大的用于优化的权重，因为这些像素可以在IRef中找到高度相关的线索。 这种保真度损失可以自适应地最大化ISR和I Ref之间的相似性。总损耗是L_rec和L_fid的加权和。峰值信噪比双三次33.20 0.893[39] 23.51 0.873RCAN [41] 33.94 0.911CSNLN [23] 36.10 0.927RefSRPSNRSSIMTTSR [35] 35.48 0.915TTSR-A1[35] 36.28 0.928我们的34.41 0.904我们的-A136.98 0.9333.4.自监督真实图像自适应（SRA）对于图1中的真实世界DCSR。1，我们将广角图像Iwide和长焦图像Itele分别作为ILR和IRef。我们的目标是超分辨I宽以产生ISR，但地面实况IHR不可用于计算上述损失。典型的训练设置是将原始的I宽和I远缩小一半以模拟训练输入，并且将原始的I宽视为用于监督学习的IHR。然而，我们发现在下采样图像上训练的模型在真实图像（原始I宽和I远）上显示出显着的性能为了弥合这一差距，受最近的作品[1，30，31]的启发，我们提出了一种自监督的真实图像自适应策略（SRA），以在没有地面事实的情况下用真实世界的输入来微调训练模型M具体来说，我们直接将训练集中的原始Iwide和Itele作为ILR和IRef，训练损失定义为：L=ISR↓ −Iwide+λLfid（ISR，Itele）（7）第一项强制ISR以保留I宽的内容，而第二项是传送I远细节。 在这个训练阶段之后，模型M ′= minM很好地推广到现实世界的输入。4. 实验4.1. 数据集CUFED5[43]它包含11，871个训练对和126个测试图像。每个测试图像都伴随有四个参考图像，按相似性级别排序HR和Ref的分辨率约为300 - 500。CameraFusion我们构建了一个新的双摄像头超分辨率数据集，其中包含146对4k广角和长焦图像，在不同的户外和室内场景。如图所示。1、他们共享同一个场景表2.CameraFusion数据集上的定量比较图4. CUFED5的用户研究结果。报告的值表明我们的结果对其他方法的偏好率但在ISP和视角上有所不同。一个引人注目的RefSR方法预计将显示出显着的优势，在重叠的FoV区域的SISR方法，同时实现可比或更好的性能，否则。4.2. 评价4.2.1CUFED 5的评价定量比较表1示出了在PSNR和SSIM方面对CUFED5的定量比较。已经证实，由于超分辨率的感知和失真之间的权衡[33]，视觉上更好的结果可能会遭受PSNR的性能下降。因此，我们遵循以前工作中的设置[43，35]重新训练我们的模型，仅使用l1损失进行公平比较。定性比较如图所示5、我们的方法在人脸、文本、物体和纹理上显示出更好的视觉质量。在第一个示例中，人脸在ILR和IRef中以不同的取向示出，而在最后一个示例中，游轮在IRef中示出比ILR更大的尺寸，因为它正向前移动到相机。尽管方向和尺度的错误对齐，我们的模型通过鲁棒的特征扭曲和融合成功地获得了高保真度的结果，而其他方法要么产生突然的伪影1SRCNN [9]25.33 0.745酒店[38]24.91 0.718MDSR [18]25.93 0.777CrossNet [45]25.48 0.764RDN [42]25.95 0.769SRNTT [43]25.61 0.764RCAN [41]26.06 0.769SRNTT-12[43] 26.24 0.784[16]第十六话24.92 0.730SSEN[28]26.78 0.791SRGAN [17]24.40 0.702FRM[34]24.24 0.724ENet [27]24.24 0.695TTSR [35]25.53 0.765ESRGAN [32]21.90 0.633TTSR-1[35]27.09 0.804RSRGAN [39] 22.31 0.635我们25.39 0.7332007输入RCAN [41] RSRGAN [39] CSNLN [23][35]第43话：我的世界图5. CUFED5的定性比较。我们的方法重建更清晰，更逼真的细节比现有的方法的脸，文本，对象和纹理。放大查看详细信息。或产生模糊的细节。在另外两个例子中，场景是统计的，但在ILR和IRef中具有不同的视点，并且我们重建可识别的文本和逼真的纹理。用户研究我们在AmazonMachanical Turk（AMT）上进行用户研究，以将我们的方法与最先进的SISR [23]和RefSR [43，35]方法进行比较。具体而言，我们每次为参与者提供两张图像（我们的和基线），并要求他们选择一张更真实的图像。我们共收集到16位参赛者的1,920张有效选票。如图4、我们超越以往的工作大幅度地。4.2.2CameraFusion评测为 了 评 估 我 们 的 双 相 机 超 分 辨 率 方 法 ， 我 们 在CameraFusion数据集上重新训练了我们的模型和基线。我们选择TTSR，CSNLN，RSRGAN和RCAN作为比较，考虑到它们的出色性能关于CUFED5具体地，通过将4K广角图像视为地面实况，我们将4K广角和长焦对下采样到2K分辨率以用于表2中的训练和我们还观察到重叠FoV（37.28 / 0.942）和其他区域（36.94 / 0.931）之间的性能差距很小。这意味着我们的方法是强大的参考图像具有不同的相似性水平。为了进行定性比较，我们使用全分辨率输入对训练模型进行微调，如第节所述。三点四分。在推理时，我们可以对4K分辨率的输入进行超分辨，以获得8K的结果。 与图在图6中，我们的方法正确地转移相关图案以在重叠的FoV内重建更高保真度的输出。它还在重叠的FoV之外实现了相当或更好的性能，其中对应的参考贴片不可用。2008输入（上）/参考（下）双三次RCAN [41] RSRGAN [39] CSNLN [23] TTSR [35]我们的图6.CameraFusion数据集上的定性比较绿色框表示输入和参考之间的重叠FoV区域放大查看详细信息。4.3. 消融研究4.3.1参考相似性水平为了分析我们的方法的性能如何与参考图像相关，我们在CUFED 5 [43]中对具有不同相似度的参考图像进行了实验。在表3中，L1提供最相似的参考图像，而L4是最不相关的级别。当相似性水平降低时，我们的模型遭受轻微的退化，这意味着我们的方法可以鲁棒地重建具有不同相似性水平的参考图像的图像4.3.2对齐注意力为了进一步展示对齐的注意力如何促进特征扭曲，我们直接将特征空间应用于相似性水平L1L2 L3L4CrossNet [45]25.48 /.76425.48 / .76425.47美元。76325.46 /.763SRNTT-A2[43]26.15 /.78126.04 / .77625.98 /.77525.95 /.774SSEN [28]26.78 /.79126.52 / .78326.48 /.78226.42 /.781TTSR-A1[35] 26.99 / .80026.74 / .79126.64 / .78826.58 /.787我们的-A127.30/.80726.92/.79526.80/.79126.70/.788表3.参考图像相似性水平上的消融结果。CUFED5为每个LR图像提供了四个参考图像，按照相似性级别进行排序，其中L1是最相关的一个。在具有和不具有对准注意力的情况下学习的dex映射以扭曲原始参考图像。注意，由于索引图最初被学习以扭曲特征图（而不是图像），所以扭曲的图像不是SR输出并且仅用于可视化。我们还通过基于流的方法[45]可视化扭曲的参考图像，并且2009对齐对齐特征融合方法PSNRSSIM逐元素求和26.850.794软融合[35]27.120.803自适应融合27.300.807表4. CUFED5上不同特征融合方法的消融研究。LR（a）贴片匹配（b）流对齐Ground Truth TTSR我们的无失真图9.烧蚀实验对保真度的损失。在保真度损失的情况下，我们可以获得更高保真的重建结果。输入我们的（不含SRA）我们的（含SRA）参考（c）我们的（不含调整）（d）我们的图7.对齐注意的消融研究。建筑物在输入图像和参考图像中呈现出不同的尺寸和视点，并采用不同的方法对参考图像进行变形。Ground Truth（a）LR（b）Soft Fusion参考（c）自适应融合（d）自适应融合（仅特征）（特征+残差）图8.自适应融合的消融研究。如（c）所示，仅在特征空间中进行自适应融合，高频细节未被完全传递。补丁匹配[2]进行比较。如图7，基于流的对齐导致扭曲的结构，而补丁匹配缺乏高质量的细节。相比之下，我们的模型可以减轻空间错位。4.3.3自适应融合表4提供了自适应融合的消融结果我们应用逐元素求和（将Fref加到FSR，其中out confidence guidance）、软融合[35]（fuseF参考和具有原始置信度图的FSR）和自适应融合图10. CameraFusion数据集上SRA的消融研究。放大查看详细信息。4.3.4保真度损失施加保真度损失以强制输出SR图像具有作为参考图像的高质量细节其关键思想是根据匹配置信度自适应地最大化Ref和SR之间的相似性。图9示出了在没有这种损失的情况下，网络无法准确地利用参考线索来进行高保真度生成，因为LR特征主导了重建过程。4.3.5自我监督实像适应如图所示。在没有所提出的自监督真实图像适配的情况下，真实世界相机照片上的超分辨率结果是模糊的。5. 结论本文主要研究基于参考的超分辨率方法，重点研究现实世界中的双摄像机变焦问题。为了减轻输入和参考图像之间的空间错位，我们提出了一个对齐的注意力模块更强大的功能扭曲。为了将我们的方法推进到现实世界智能手机图像的双摄像头超分辨率，我们设计了一个自监督域自适应方案，以将训练模型推广到现实世界的输入。大量的实验表明，我们的方法实现了com-ref对齐以及具有可学习置信度图的FSRpelling性能。分别随着自适应融合，我们观察到的性能，曼斯增益0.18 dB的软融合，这意味着从一个可学习的信心地图的好处。 如图图8中，通过进一步将自适应融合应用于高频残差，如等式8所示。4、模型可以生成更清晰的结构和更逼真的纹理。确认该项目由SenseTime合作研究基金资助。我们感谢欧阳浩和匿名评论者的有益讨论和建议。(fuseF2010引用[1] Michal Irani Assaf Shocher，Nadav Cohen.使用深度内部学习的“零拍摄”超分辨率。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。5[2] Connelly Barnes ， Eli Shechtman ， Adam Finkelstein ，andDanBGoldman.Patchmatch ： Arandomizedcorrespondence algorithm for structural image editing.ACM Trans.Graph. ，28（3）：24，2009. 二、八[3] Connelly Barnes ， Eli Shechtman ， Dan B Goldman ，Adam Finkelstein.广义补丁匹配对应算法。在欧洲计算机视觉会议上，第29-43页。施普林格，2010年。三、四[4] 赫伯特·贝、丁尼·图伊特拉尔斯和吕克·范古尔。Surf：加速健壮的功能。在欧洲计算机视觉会议上，第404-417页Springer，2006年。3[5] Jianrui Cai，Hui Zeng，Hongwei Yong，Zisheng Cao，and Lei Zhang.迈向真实世界的单幅图像超分辨率：新标杆、新模式。在IEEE计算机视觉国际会议论文集，第3086-3095页，2019年。第1、3条[6] Kelvin CK Chan，Xintao Wang，Ke Yu，Chao Dong，and Chen Change Loy.了解视频超分辨率中的可变形对齐。arXiv预印本arXiv：2009.07265，2020。1[7] 田启晨和马克施密特。快速的基于补丁的任意风格转移。arXiv预印本arXiv：1612.04337，2016。三、四[8] Jifeng Dai，Haozhi Qi，Yuwen Xiong，Yi Li，GuodongZhang，Han Hu，and Yichen Wei.可变形卷积网络。在Proceedings of the IEEE international conference oncomputer vision，第764-773页，2017年。二、四[9] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang.使用深度卷积网络的图像超分辨率。IEEETransactionsonPatternAnalysisandMachineIntelligence，38（2）：295-307，2015。二、五[10] Martin A Fischler和Robert C Bolles。随机样本一致性：一个范例模型拟合与应用程序的图像分析和自动制图。Communications of the ACM，24（6）：381-395，1981.3[11] Daniel Glasner、Shai Bagon和Michal Irani。从一个单一的图像超分辨率。在2009年IEEE第12届计算机视觉国际会议上，第349IEEE，2009年。2[12] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展，第26722[13] 顾金金、韩南路、左王梦、朝东。基于迭代核校正的盲超分辨率算法。在IEEE计算机视觉和模式识别会议论文集，第1604-1613页，2019年。第1、3条[14] Max Jaderberg，Karen Simonyan，Andrew Zisserman，等.空间Transformer网络。神经信息处理系统的进展，第2017-2025页，2015年。4[15] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。欧洲计算机视觉会议，第694施普林格，2016年。2[16] 赖伟胜，黄家斌，纳伦德拉·阿胡贾，杨明轩。深拉普拉斯 金字 塔网 络实 现快 速和精 确的 超分 辨率 。在Proceedings of the IEEE conference on computer visionand pattern recognition，pages 624-632，2017中。5[17] Chri s tianLedig ， LucasTheis ， FerencHus za'r ， Jo seCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew Aitken，Alykhan Tejani，Johannes Totz，ZehanWang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第4681-4690页二、五[18] Bee Lim ， Sanghyun Son ， Heewon Kim ， SeungjunNah，and Kyoung Mu Lee.用于单图像超分辨率的增强深度 残差 网络在IEEE计算 机视 觉和模 式识 别会议（CVPR）研讨会上，2017年7月。 二、五[19] Yucheng Liu和Buyue Zhang。用于环绕视图摄像机系统的 光 度 对 准 。 在 2014 年 IEEE 图 像 处 理 国 际 会 议（ICIP）中，第1827IEEE，2014。3[20] Sai Kumar Reddy Manne、BH Pawan Prasad和KS GreenRosh。非对称宽远摄相机融合高保真数码变焦。在计算 机 视 觉 和 图 像 处 理 国 际 会 议 上 ， 第 39-50 页 。Springer，2019年。3[21] Roey Mechrez ， Itamar Talmi ， Firas Shama ， and LihiZelnik- Manor.在上下文丢失的情况下保持自然图像统计亚洲计算机视觉会议，第427-443页。Springer，2018.4[22] Roey Mechrez，Itamar Talmi，and Lihi Zelnik-Manor.非对齐数据图像变换的上下文损失。在欧洲计算机视觉会议（ECCV）的会议记录中，第768-783页，2018年。四、五[23] Yiqun Mei ， Yuchen Fan ， Yuqian Zhou ， LichaoHuang，Thomas S Huang，and Humphrey Shi.基于跨尺度非局部注意的图像超分辨率和穷举式自样本挖掘。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，2020年。一、二、五、六、七[24] Marius Muja和David G Lowe。自动算法配置的快速近似最近邻。VISAPP（1），2（331-340）：2，2009. 3[25] Seoyoung Park ， Byeongho Moon ， Seonhee Park ，Seungy- ong Ko，Soohwan Yu，和Joonki Paik.用于双相机图像配准的亮度和颜色校正。2016年IEEE国际消费电子会议-亚洲（ICCE-Asia），第1-2页。IEEE，2016. 3[26] Ethan Rublee ， Vincent Rabaud ， Kurt Konolige ， andGary Bradski. Orb：一个有效的替代筛选或冲浪。2011年国际计算机视觉会议，第2564- 2571页。IEEE，2011年。3[27] Mehdi SM Sajjadi ， Bernhard Scholkopf ， and MichaelHirsch. Enhancenet：通过增强2011自动纹理合成。在IEEE计算机视觉国际会议论文集，第4491- 4500页，2017年。5[28] 沈久民朴振善仁素权具有相似性感知可变形卷积的鲁棒的基于参考的超分辨率。在IEEE/CVF计算机视觉和模式识别会议论文集，第8425-8434页一、二、五、七[29] Karen Simonyan和Andrew Zisserman用于大规模图像识别 的 非 常 深 的 卷 积 网 络 。 arXiv 预 印 本 arXiv ：1409.1556，2014。2[30] 德米特里·乌里扬诺夫，安德烈·维达尔迪，维克多·伦皮茨基。深度图像先验。在IEEE计算机视觉和模式识别会议（CVPR）论文集，第9446-9454页，2018年。5[31] 王腾飞，欧阳浩，陈奇峰。图像内画具有外-内学习和单色瓶颈。在IEEE/CVF计算机视觉和模式识别会议（CVPR）集，第5120-5129页5[32] Xintao Wang，Ke Yu，Shixiang Wu，Jinjin Gu，YihaoLiu ， Chao Dong ， Yu Qiao ， and Chen Change Loy.Esrgan：增强型超分辨率生成对抗网络。在欧洲计算机视觉会议（ECCV）的会议记录中，第0-0页，2018年。二、五[33] Zhihao Wang，Jian Chen，and Steven CH Hoi. 图像超分辨率的深度学习：一个调查。IEEE Transactions onPattern Analysis and Machine Intelligence，2020。5[34] Yanchun Xie，Jimin Xiao，Mingjie Sun，Chao Yao，and Kaizhu Huang.特征表示很重要：基于参考的图像超分辨率的端到端学习。欧洲计算机视觉会议，第230Springer，2020年。一、二、五[35] 杨富志，杨欢，付建龙，卢洪涛，郭百宁.学习纹理Transformer网络实现图像超分辨率。在IEEE/CVF计算机视觉和模式识别会议论文集，第5791-5800页，2020年。一二三四五六七八[36] Zili Yi，Qiang Tang，Shekoofeh Azizi，Daesik Jang，and Zhan Xu.用于超高分辨率图像修复的上下文残差聚合在IEEE/CVF计算机视觉和模式识别会议论文集，第7508-7517页4[37] Soohwan Yu ， Byeongho Moon ， Donggyun Kim ，Sehoon Kim，Wonhee Choe，Sangkeun Lee，and JoonkiPaik.利用配准和变分图像恢复对非对称双摄像机图像进行连续数字缩放。Mul-tidimensional Systems and SignalProcessing，29（4）：1959- 1987，2018. 3[38] 幻景月、孙晓燕、杨靖宇、凤舞。基于网络图像检索的地 标 图 像 超 分 辨 率 IEEE Transactions on ImageProcessing，22（12）：48655[39] 张文龙，刘一浩，董超，乔宇。Ranksrgan：具有图像超分辨率排名器的生成对抗网络。在IEEE国际计算机视觉会议集，第3096二五六七[40] Xuaner Zhang ， Qifeng Chen ， Ren Ng ， and VladlenKoltun.缩放学习，学习缩放。在IEEE/CVF计算机视觉和模式识别会议（CVPR）论文集，第3762-3770页，2019年。1、4[41] Yulun Zhang ， Kunpeng Li ， Kai Li ， Lichen Wang ，Bineng Zhong，and Yun Fu.基于极深残差通道注意力网络的图像超分辨率。在ECCV，2018。二五六七[42] Yulun Zhang，Yapeng Tian，Yu Kong，Bineng Zhong，and Yun Fu.用于图像超分辨率的残差稠密网络在IEEE计算机视觉和模式识别会议论文集，第2472-2481页，2018年。5[43] Zhifei Zhang，Zha