古代绘画盲超分辨率的对比学习

↓⊗视觉信息学5（2021）81单幅历史画盲超分辨率的对比学习施宏振，徐丹，何康健，张浩，岳莹莹云南大学信息科学与工程学院，云南ar t i cl e i nf o文章历史记录：收到2021年2021年11月17日接受2021年12月16日网上发售保留字：退化表示盲超分辨率对比学习历史绘画深度学习a b st ra ct现有的盲超分辨率方法大多是在像素空间显式估计核函数，通常存在较大的偏差，导致超分辨率性能较差。作为一项开创性的工作，DASR学习抽象表示来区分特征空间中的各种退化，有效地减少了退化估计偏差。因此，我们也采用的特征空间提取退化表示的古代绘画。然而，包括DASR在内的大多数盲SR方法都致力于消除由内核、下采样和加性噪声引入的退化。其中，下采样降级通常伴随着令人不快的伪影。为了解决这个问题，本文设计了一个基于对比学习的高分辨率（HR）表示编码器EHR，以区分下采样引入的伪影此外，为了优化盲SR的不适定性，我们提出了一种基于VGG-19的对比正则化（CR在CR的帮助下，SR图像被拉得更接近HR图像，并被推得远离双三次LR观测。受益于这些改进，我们的方法始终实现了更高的定量性能和更好的视觉质量，具有更自然的纹理，比专业绘画数据集上的最先进的方法版权所有©2021作者。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍古代绘画是人类文化遗产的重要组成部分，记载了人类文明和社会进步的重要历程。然而，由于长期保存过程中受到人为因素和自然因素的影响，大多数珍贵艺术品都出现了纹理模糊、褪色甚至划痕的现象。由于古画的珍贵性和数字修复技术的优点，它不仅可以避免二次损坏，而且有利于保存和传播，基于图像处理的数字修复技术单图像超分辨率（SISR）是目前最流行的数字图像修复技术之一，因其较高的实用价值而受到广泛关注SISR旨在从模糊或粗糙的低分辨率（LR）观察中获得具有更清晰纹理细节和更自然视觉效果的高分辨率（HR）图像，这特别符合历史绘画修复的要求通常，SISR可以大致分为三类，即，基于插值（Zhang和Wu，2006）、基于模型（Zhang et al. ，2012年）和基于深度学习的方法（深度学习*通讯作者。电子邮件地址：danxu@ynu.edu.cn（D. Xu）.https://doi.org/10.1016/j.visinf.2021.11.002等人，2013，2014; Peleg and Elad，2014; Dong et al. ，2014;Huanget al. ，2015; Kim et al. ，2016a; Zhang et al. ，2018 c;Dai et al. ，2019）。前两类可归因于传统方法。随着深度神经网络（DNN）的发展，基于学习的方法往往具有更好的特征表示能力、更强的推理潜力和更容易的端到端可训练框架（Krizhevskyet al. ，2012; Goodfellow et al. ，2016年）。因此，基于学习的方法已经主导了SISR领域，并取得了显着的性能改善。目前，大多数现有的基于DNN的方法假设LR图像被建模为以下退化过程：y=（xk）↓s+n（ 1）其中x表示HR图像，y是LR图像，k表示模糊核，是二维卷积运算，并且s是下采样算子（例如，双三次下采样）。n通常表示加性高斯白噪声。根据模糊核是否事先已知，基于深度学习的SISR方法可以大致分为非盲SR和盲SR。在非盲SISR中，核通常被在训练和测试阶段的一致性之后，许多基于DNN的方法在SISR中取得了显著的结果（Lai et al. ，2017; Lim et al. ，2017;Zhangetal. ，2018b，a; Dai et al. ，2019; Li et al. ，2019; He etal. ，2019; Huet al. ，2019）。然而，真正退化的古画2468- 502 X/©2021作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfH. Shi，D.Xu，K.He等人视觉信息学5（2021）8182X·⊗↓k，x{（3）图1.一、 原始绘画的 可 视 化 和相 应 的SR结果由我们的 方法产生。通常是完全未知的，并且比双三次核复杂得多。当假设的退化过程偏离实际过程时，SISR的性能将急剧下降。因此，非盲SR方法不能直接应用于艺术珍品。具有未知模糊核的SISR，其被归类为盲SR，更符合历史绘画。由于盲随机共振具有强大的处理未知、复杂、多变退化的能力，因此成为绘制随机共振任务的一种更合适的选择。此外，HR图像总是无法用于历史绘画。因此，在盲SR算法中需要求解两个变量，即x和k，其可以在数学上表示为：argminy−（xk）↓s（2）对于一个严重不适定的问题，同时求解两个变量是非常困难的。 为了简化这一问题，我们使用了两种方法（Gu et al. ，2019;Luo et al. ，2020）将盲SR分解为两个子问题，通常优化如下：k=K（y）x=argminy−（xk）↓s其中，K（）表示从LR图像y估计模糊核k的函数。另一个子问题是通过最小化LR图像y和退化图像（x k）s之间的偏差来优化SR图像x，其中退化图像由估计的核和对应的SR图像x生成。这两个子问题是实现在一个替代的方式（罗等。，2020）或以顺序方式（例如，IKC（顾等人，2019）和KernelGAN（Bell-Kligler et al. ，2019））。最后-测试方法极大地提高了盲SR的性能，但它们通常需要在测试阶段进行多次迭代，并且不能有效地减小估计误差最近，在DASR（Wang et al. ，2021）方法，在特征空间中学习区分性核表示，而不是在像素空间中显式地估计核对比学习（Hadsell et al. ，2006; Dosovitskiy等人，2014; Tian et al. ，2020; He et al. ，2020; Chen等人，2020）通过在特征空间中推正对和拉负对来实现无监督的核表示学习具体地，DASR（Wang etal. ，2021）假设内核表示在一个单一的图像是相同的，但在不同的图像不同。与显式核估计相比，学习抽象表示更容易。更关键的是，基于对比学习的表示学习是无监督的，非常适合那些总是无法获得地面真实的历史绘画。 实验表明，DASR比最先进的盲SR算法（Zhanget al. ， 2018a，c; Gu et al. ，2019; Soh etal. ，2020年）。为了更好地重建SR图像，我们还使用特征空间提取古画的抽象退化表示。然而，许多盲SR方法，包括DASR（Wanget al. ，2021），仅考虑模糊内核对SR性能的影响，忽略了广泛使用的双三次退化设置引入的不期望的伪影，这在Zhou和Susstrunk（2019）中得到了实验证实。在本文中，我们提出了一个HR表示编码器EHR的基础上对比学习，以区分双三次下采样引入的文物我们假设采样表示在双三次LR图像中是相同的，并且对于HR图像是不同的。然后将该HR表示馈送到SR模型中以参与超分辨率重建。该策略有效地使模型充分注意由双三次退化引入的不期望的伪影。此外，盲SR是一个严重不适定的问题，并且对于单个LR输入存在多个候选SR图像。映射函数的解空间可能非常大，这使得找到好的解非常耗时且困难。为了解决这个问题，对比正则化（CR）被用来减少SR优化空间，这限制SR结果的上界和下界。具体地，LR输入图像被双三次上采样为用作负对应物的基本SR结果，而HR图像可以被参考 作为积极的。在CR的约束下，SR图像被期望更接近HR而远离双三次SR。昂贵的实验表明，针对单个历史绘画的盲超分辨率（CLBSR）的对比学习比DASR实现了更好的性能，并且在绘画数据集上也领先于其他最先进的盲SR任务。在收敛之后，CLBSR被应用于现有的绘画，以获得更清晰的SR图像，如图所示。1.一、可视化结果表明，基于学习的SISR能有效地提高绘画质量。而且，CLBSR仅依赖于单一的古画，没有额外的数据，在文化遗产保护领域具有很好的推广性。2. 相关工作在本节中，我们简要回顾了几种主要的基于学习的非盲和盲SR方法以及基于对比学习的无监督表示学习的2.1. 非盲超分辨作为一个开拓性的工作，SRCNN（董等。，2014）采用3层卷积神经网络（CNN）来学习从内插LR图像到SR图像的映射。从那时起，以学习为基础的方法已经在SR社区中展示了出色的表现。许多DNN架构（Kim et al. ，2016a，b; Lim et al. ，2017;Zhang et al. ，2018 b，a）已被提议用于SISR。残差学习首先由VDSR引入SISR（Kim et al. ，2016a），将模型扩展到20层。DRCN（Kim et al. ，2016年b）提出了 一项H. Shi，D.Xu，K.He等人视觉信息学5（2021）8183;↓θfθf↓;SISR的递归神经网络模型 EDSR（Lim et al. ，2017）采用去除不必要的批归一化层的残差块来扩展模型大小。DenseSR（Zhangetal. ，2018 b）结合残差学习和密集连接，构建了一个超过100层的残差密集网络（RDN）。RCAN（Zhang et al. ，2018 a）将信道注意力和二阶信道注意力引入SISR以进一步提高性能。SAN（Dai et al. ，2019）利用二阶注意力机制的不同层之间的上述工作在模拟数据集上取得了显着的结果，这些数据集通常基于理想退化（即，双三次退化）。然而，实际的核通常比双三次核复杂得多。由于大的退化偏差，上述方法在实际应用中总是遭受急剧下降。2.2. 盲超分辨与非盲随机共振相比，盲随机共振涉及的模糊核本节将简要介绍现有的盲SR方法。在IKC中迭代地实现核校正和超分辨率（Guet al. ，2019），其逐渐减小核估计的误差虽然核估计的精度和SR性能明显提高，但IKC（Gu et al. ，2019年）需要三个独立的培训过程，这是非常复杂的。Kernel-GAN（Bell-Kligler et al. ，2019年）提出了一种完全无监督的方式进行核估计。KernelGAN（Bell-Kligler et al. ，2019）是最新的核估计算法，但估计精度仍然有限。RealSR（Ji et al. ，2020）估计了真实世界图像的内核和噪声，这是2020年真实图像SR轨道上图像恢复和增强（NTIRE）新趋势的赢家。DAN（Luo et al. ，2020）采用单个模型以端到端的方式交替地估计模糊核和恢复SR图像。与上述明确估计像素空间中的模糊核的方法不同，DASR（Wang et al. ，2021）学习潜在空间中的抽象内核表示，以实现盲SR任务的最新性能。表示学习更容易，对内核估计偏差具有更好的鲁棒性;它也以无监督的方式实现，并实现了盲SR任务的最新性能。因此，我们进一步开发了旧画的无监督表示学习。2.3.无监督表示学习到目前为止，使用基于DNN的模型从标记数据中学习高级表示已经在人工智能的不同领域取得了很好的性能然而，对于无处不在的真实数据，几乎没有现成的地面实况，并且手动注释高质量标签是极其昂贵的。因此，从未标记数据中提取有用的表示是一项非常迫切的需求，也是一项具有挑战性的工作。最近，无监督表示学习（Oord et al. ，2018; Bachman et al. ，2019; Chen etal. ，2020; He et al. ，2020），这些都是基于对比学习，受到了更多的关注。对比学习被训练来获得区分，以将相关信号拉在一起并将其他样本推开。而不是学习任务级目标，这些方法（Oordet al. ，2018年;巴赫曼等人，2019; Chen et al. ，2020; He etal. ，2020）最大化特征空间中的互信息，并在没有监督的情况下获得抽象表示。具有对比损失的无监督表示学习在自然语言处理中取得了成功（Radford et al. ，2018，2019; Devlin et al. ，2018年），它也显示了 其巨大的 力量，捕获计算机视觉领域中有用的视觉特征，例如图像重建（Hinton和Salakhutdinov，2006），去噪（Vincent et al. ，2008）、修复（Pathak et al. ，2016）、着色（Larsson et al. ，2017）、上下文预测（Noroozi和Favaro，2016; Santa Cruz et al. ，2017）和图像到图像翻译（Park et al. ，2020年）。在这项工作中，我们还采用对比学习来提取抽象退化表示，构建HR表示编码器EHR来区分由下采样引入的伪影，并设计对比正则化来优化SR图像。3. 方法3.1. 问题形成现有的盲SR方法（Gu et al. ，2019年;Bell-Kligler 等人，2019;Ji et al. ，2020; Luo et al. ，2020; Wang等人，2021年）致力于消除模糊核和噪声的干扰，这有助于SR模型生成视觉上令人愉快的结果。无论核是显式估计还是直接估计，现有盲SR模型的优化可以表示为：θf=argmin<$x−f（y，k，n;θf）<$（ 4）其中θf是映射函数f（y， k， nθf）的参数，表示盲SR模型。x、y、 k、 n分别表示SR图像、LR图像、模糊核、噪声。然而，现有方法忽略了由下采样操作引入的不期望的伪影θf=argmin<$x−f（y，k，↓s，n;θf）<$（ 5）其中，映射f（y，k，s，n θf）是改进的SR模型，其考虑了特定下采样s（即，双三次下采样器）。为了公平起见，我们参考DASR中的降级策略（Wang et al. ，2021）并且采用双三次下采样器、具有各向同性高斯核的无噪声退化模型以及具有各向异性高斯核和噪声的另一退化模型。3.2. 网络架构为了建立一个更适合于单个古画的盲SR模型，我们主要对DASR（Wang 等人，2021）：（1）我们提出了一种基于对比学习的无监督HR表示编码器E HR，可以帮助SR模型去除双三次下采样造成的伪影，（2）我们设计了基于对比学习的对比正则化（CL），可以更快地将SR结果拉近地面真实值，并将它们推离VGG网络空间中的负样本，这有效地加速了SR模型收敛，使SR结果看起来更自然。结合EHR、CL、退化表示编码器ERD和退化感知SR（DASR）块，建立了针对单个历史绘画的盲超分辨率的对比学习，如图所示。 2，其中ED和DASR块由DASR提出（Wang etal. ，2021年）。3.3. HR图像表示编码对于HR图像表示学习编码器E HR，其架构如图1所示。3，给定输入LR图像ILR作为查询块，来自相同LR数据集的其他LR图像作为负样本IL−R。相比之下，来自HR图像的补丁P+HR （即，图中用蓝色和红色框注释的补丁。 3），其具有与LR图像相同的大小，可以被称为H. Shi，D.Xu，K.He等人视觉信息学5（2021）8184−HR图二. 提出的盲超分辨率网络的结构。图3.第三章。 HR图像表示学习编码器E HR.作为阳性样本。最近的一些研究证实，各种负样本有利于良好的表征学习。因此，为了丰富阴性样本，我们使用来自同一批次的剩余LR图像作为阴性样本。然后将查询样本、正样本和负样本编码到特征空间在EHR在对比损失L HR的情况下，鼓励I LR与I P+HR相似，而与IL R 不同。3.4. 对比正则化对于对比正则化，我们分别构造SR结果I SR和地面实况IG+T作为锚点和正样本。对于阴性样本，来自输入批次的LR图像是双三次上采样到与SR结果相同的大小，即，我去BIC。对比损失函数中有两个相反的算子：一个将SR图像拉近正样本B12个以上LHR=∑− log∑exp（pi，pi/τ）N队列exp（p1. P J/τ）（六）、IGT，而另一个将它们从阴性样品推开IUP-BIC。为了获得良好的视觉感知，我们使用感知=1j=1i队列基于预训练的VGG-19来测量相似性其中N队列是负样本的数量，B表示批量大小，τ是超参数，p1表示第i个查询在特征空间中。具体地，对比正则化损失定义如下：样本，第2我是第i个阳性样本，pj表示Ni i我第j个负样本。队列LCR =∑−log∑Md（φ（ISR，φ（IHR）d（φ（Ii，φ（Ij）））（八）关于劣化表示学习编码器，i=1j=1SRUP−BICE D，这是由DASR提出的（Wang et al. 2021），如图所示。 4、HR图像表示编码器E HR联合提取其中φ是VGG-19中的特征层relu 5 -1，N是SR图像的数量。M是每个样本的阴性样本数核变量特征和丢弃降采样变量有限元分析图。核变量特征和下采样变量特征SR图像。我我SRj而我我是第i个查询和正样本，被馈送到一个三层多层感知器（MLP）投影头，然后交替输入到SR网络，以获得multidegradation表示。超额损失定义为：LDR=LHR+LD（ 7）其中，在DASR中提出了LD我H. Shi，D.Xu，K.He等人视觉信息学5（2021）8185−分别地，IUP_BIC是负队列中的第j个负样本，并且d（. ）是VGG-19空间中的L1距离损失HR图像表示编码器EHR、退化表示编码器ED和对比正则化CR采用具有六个CBN子模块和平均池化层的相同网络结构，其中卷积层和批归一化（BN）层由CBN子模块组成H. Shi，D.Xu，K.He等人视觉信息学5（2021）8186××总和总和×∑[客户端]∼各向异性高斯核，协方差矩阵=++在见图4。 退化表示编码器的体系结构ED.24.18/0.76314. 实验4.1. 数据集和训练细节我们在600上使用96 96的滑动窗口600岁绘画产生1225个绘画作物。ZSSR中提出的数据增强（Shocher et al. ，2018）然后应用于en-消融研究中，我们介绍了三种网络变体。模型1是整个网络，其包括HR图像表示编码器EHR、退化表示编码器ED以及对比正则化CR和退化感知SR网络。模型2从整个网络中删除了HR图像表示编码器EHR，而模型3排除了对比正则化CR。这三个模型的损失函数是将数据集丰富到122，500个样本。LR图像用于培训，1总和=LCR+LDR+L1，L2=LCR+LD+L1，L3=LDR+测试根据Eq. （一）.高斯核大小固定为21 21。无噪声退化与各向同性高斯内核和多退化与各向异性高斯内核和噪声进行了训练。各向同性核的宽度设置为[0. 二、二。0]、[0. 二三0]和[0. 二四0]。为L1。表1显示模型1同时超过模型2、模型3和DASR。在没有HR图像表示学习的情况下，不能很好地区分由双三次退化引入的伪影。如果没有对比正则化CR，模型3在绘画数据集上的表现不如模型1实验结果表明，HR图像表示学习高斯概率密度函数N（0，）由下式确定：两个随机特征λ1，λ2U（0. 2， 4），噪声水平设置为0， 10。在训练阶段，τ和N在等式中排队。（6）分别设为0.07和8192。Adam方法（Kingma和Ba，2014）用于优化，其中指数衰减率β1和β2分别设置为0.9和0.999。HR图像表示编码器EHR和劣化表示编码器ERD首先由LDR训练100个时期。然后，整个网络被训练500个epoch，其中LsumLCR LDR L1，其中L1损失在SR结果和HR图像之间。（EHR和ED）编码器和整个网络的初始学习率分别为10−3和10−4。4.2. 各向同性高斯核第一种退化类型由双三次下采样和各向同性高斯内核组成。在这一阶段，我们进行烧蚀实验，并将我们的模型与最近的几个SR网络进行比较，包括RCAN（Zhang et al. ，2018a），SRMD（Zhang等人，2018 c），MIBOR（Soh et al. ，2020）、IKC（Gu et al. ，2019）和DASR（Wang et al. ，2021年）。 为了检验 对提出的HR图像表示学习编码器EHR和对比正则化CR进行了消融实验，以研究它们对PSNR和SSIM中SR的在编码器EHR和对比正则化CR有效地提取准确的内核变体和下采样变体降级信息。在去除多重退化信息后，我们的方法实现了更高的定量性能，并产生了比DASR更令人愉快的视觉结果（Wang et al. ，2021年），如图 5和表2。为了进一步确认我们的方法的有效性，我们比较我们的方法RCAN（张等人。，2018a），SRMD（Zhang et al. ，2018 c），MIBOR（Soh et al. ，2020）、IKC（Gu et al. ，2019年）和DASR（Wang等人，2021年）。我们在绘画数据集上重新训练所有模型，以进行公平评估。为了保持DASR的实验配置，我们还在IKC中采用预测子网络P（Gu et al. ，2019）来估计内核。如表2所示，RCAN（Zhang et al. ，2018a）在单个双三次退化（即，，内核宽度0），并且其性能随着内核宽度的增加而迅速下降，这进一步表明RCAN在固定退化（即，双三次退化）上具有强大的性能，但是在未知退化（即，双三次退化）上具有较差的性能。看不见的内核）。表2中的定量结果显示盲SR方法（IKC（Gu et al. ，2019年），DASR（王 等人，2021）和我们的）都优于非盲SR方法（RCAN（Zhanget al. ，2018a），SRMD（Zhang et al. ，2018c）和MIBOR（Soh etal. ，2020））。结合IKC中提出的核预测器P（Gu et al. ，2019），SRMD（ZhangL表1消融研究。组件规模Sig01.22.43.6DASR（基线）24.11/0.753924.23/0.753324.25/0.757823.37/0.6611不含Ebic不含CR24.15/0.752124.27/0.761424.31/0.775424.27/0.752524.28/0.761423.38/0.660423.40/0.6630所有24.21/0.772124.43/0.783424.30/0.762523.45/0.6734H. Shi，D.Xu，K.He等人视觉信息学5（2021）8187表2PSNR和SSIM结果实现了无噪声退化与各向同性高斯内核。模型规模Sig00.61.21.8双三20.78/0.600220.67/0.593720.32/0.581220.01/0.5776RCAN28.80/0.867423.05/0.617522.82/0.613022.19/0.5701SRMD+P26.58/0.8037 25.92/0.8015 25.88/0.7019 24.93/0.7394IKC×227.68/0.836127.16/0.718527.03/0.702325.43/0.7559DASR28.04/0.865328.22/0.867528.07/0.862826.61/0.8174我们28.44/0.871928.66/0.874328.51/0.870026.95/0.8258模型规模00.81.62.4双三20.54/0.559920.23/0.547819.95/0.534619.68/0.5239RCAN26.67/0.778920.91/0.608119.98/0.551519.74/0.5873SRMD+P24.64/0.6028 23.81/07118 22.94/0.6804 21.89/0.6747IKC×326.13/0.725826.18/0.753924.14/0.711623.39/0.6862DASR26.24/0.737626.44/0.762826.35/0.767524.78/0.7119我们26.57/0.763826.85/0.777726.49/0.772824.98/0.7237模型规模01.22.43.6双三19.82/0.536419.55/0.524419.26/0.513518.91/0.5028RCAN24.45/0.687421.37/0.602320.33/0.523820.49/0.5374沪ICP备16006668号-1图五、 使用各向同性高斯核对无噪声退化进行可视化。等人，2018c）和MIBOR（Soh et al. ，2020年）能够更好地处理内核退化比RCAN（张等人。，2018 a）。如表2所示，IKC（Guet al. ，2019）工作良好，但其迭代核预测和校正方案非常复杂和耗时。与IKC相比（Gu et al. ，2019），DASR提取潜在空间中的内核表示，并实现了更好的作为比较，我们的工作优于DASR（Wang et al. （2021年），由于人力资源图像表示编码器E-HR和对比正则化CR.4.3. 具有各向异性高斯核和噪声的第二种退化类型包括双三次下采样、各向异性高斯核和噪声。我们还使用重新训练绘画数据集上的所有模型进行公平比较。IKC的重新训练的 核预测器P（Gu et al. （2019）使用IKC×423.76/0.675424.16/0.688523.91/0.702323.33/0.6559DASR24.11/0.653924.23/0.673324.25/0.687823.37/0.6611我们24.21/0.680124.43/0.683424.30/0.692523.45/0.6734H. Shi，D.Xu，K.He等人视觉信息学5（2021）8188表3在各向异性高斯核和噪声的降级上实现的PSNR结果。方法噪波模糊内核021.8721.1920.7620.4520.3820.3520.3120.3219.67RCAN521.5721.0620.3720.2220.212.2820.1920.0119.021021.1721.1220.4220.2720.2220.2420.1720.1518.78022.4322.3922.2122.0722.0522.0622.0722.0221.37SRMD+P522.3622.2222.0321.8921.8221.8621.8521.7321.231022.1822.0821.8721.0221.0721.0821.0221.0220.97023.0723.0222.9122.8322.8822.8723.8122.8422.58IKC522.8322.8922.4622.2222.2122.4722.3322.3822.161022.4722.5921.9721.3521.3121.3521.4021.2921.22023.3723.3623.2723.1723.2723.3723.1823.1422.89DASR523.0323.1222.6822.3822.4322.6522.4222.4722.201022.5822.6522.0321.6621.6222.0821.8021.6221.45023.4623.4923.3423.2123.2123.3423.2323.2023.04我们523.1823.2322.7922.5122.5022.7922.5822.4422.191022.7022.7622.1621.8021.8022.1621.9021.7321.42为了估计SRMD的内核退化（Zhang et al. ，2018 c）。表3显示了9个典型模糊核和不同噪声水平的PSNR结果。非盲随机共振方法，RCAN （ Zhang等 人 ， 2018a ） 和 SRMD （ Zhang et al. ，2018c），当劣化不同于预定义劣化时，遭受严重的性能下降。与盲SR方法相比，IKC（Gu et al. ，2019）和DASR（Wang et al. ，2021），我们的方法更好地推广了古代绘画，因为HR图像表示学习编码器EHR去除了由双三次下采样引入的伪影，并且对比正则化CR有助于生成更自然的细节。定量结果显示在表3中显示了这些发现。我们的工作取得了比其他方法更好的效果。5. 结论目前，现有的方法主要集中在退化的模糊，下采样和噪声，但忽略了额外的文物所产生的广泛使用的双三次退化设置基于DASR（Wang et al. ，2021），我们提出了一种HR图像表示编码器EHR来区分由双三次下采样引入的伪影。此外，对比正则化CR被用来加速收敛和优化SR结果在VGG特征空间。我们已经全面评估了我们的方法在绘制具有多个退化程度的 定量和定性实验也证明了我们的方法优于DASR（Wanget al. ，2021），并实现了具有多个降级的盲SR的最新性能。CRediT作者贡献声明石宏振提供本作品的创意，撰写初稿。徐丹：撰写-评论，资助研究。何康建：编辑。张浩：实验验证。Yingying Yue：实验验证。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢这 项 工 作 得 到 了 国 家 自 然 科 学 基 金 62162068 、 61761049 、61540062和62061049的部分支持，得到了云南省万人计划和云岭学者专项YNWR-YLXZ-2018-022的部分支持，部分由云南省科技厅-云南大学“双一流”建设联合基金项目批准号：2019FY003012。伦理批准本研究不包含任何作者对人类或动物受试者进行的任何研究引用Bachman，P.，Hjelm，R.D.，Buchwalter，W.，2019.通过最大化视图间的互信息来学习表示。arXiv预印本arXiv：1906. 00910。Bell-Kligler，S.，Shocher，A.，Irani，M.，2019.利用内增益函数的盲超分辨核估计。arXiv预印本arXiv：1909.06581。陈，T.，Kornblith，S.，Norouzi，M.，Hinton，G.，2020.视觉表征对比学习的一个简单框架。 参加：国际机器学习会议。PMLR，pp.1597-1607年。戴，T.，蔡杰，张玉，夏，S- T.，张，L.，2019.单图像超分辨率的二阶注意力网络。在：IEEE/CVF计算机视觉和模式识别会议论文集，pp。 11065-11074.Devlin，J.，张，M.- W.，李，K.， Toutanova，K.， 2018. Bert：为语言理解而进行的深度双向转换器的预训练。arXiv预印本arXiv：1810.04805。董，C.，Loy，C.C.，他，K.，唐，X.，2014.学习深度卷积网络实现图像超分辨率。参加：欧洲计算机视觉会议。施普林格，pp. 184-199。多索维茨基，A.，Springenberg，J.T.，Riedmiller，M.，布罗克斯，T.，2014.使用卷积神经网络的判别式无监督特征学习。Adv. 神经信息过程系统27，766古德费洛岛，澳-地本焦，Y.，库维尔，A.，2016年。深度学习麻省理工学院出版社.顾 ，J.， 卢， H.， 左，W. ， 董， C.， 2019.基 于迭 代核 校 正的 盲 超分 辨。 在 ：IEEE/CVF计算机视觉和模式识别会议论文集，pp。1604-1613年。哈德塞尔河，Chopra，S.，Y.莱昆，2006.通过学习一个不变映射来减少抽象性。2006年IEEE计算机协会计算机视觉和模式识别会 议 （CVPR'06）。卷2，IEEE，pp.1735-1742年。他，J.，董，C.，Jiao，Y.，中国科学院，2019.通过自适应特征修改层实现连续层次的调制图像恢复。在：IEEE/CVF计算机视觉和模式识别会议论文集，pp。11056-11064。他，K.，范，H.，吴，Y.，Xie，S.，格希克河，巴西-地2020.无监督视觉表征学习的动量对比。在：IEEE/CVF计算机视觉和模式识别会议论文集，pp。9729-9738。H. Shi，D.Xu，K.He等人视觉信息学5（2021）8189辛顿，通用电气，Salakhutdinov，R.R.，2006.用神经网络降低数据的维数。Science313（5786），504-507.Hu，X.， Mu，H.， 张，X.， 王志， Tan，T.， 孙，J.， 2019年。 Meta-SR：A放大率任意网络的超分辨率。 In：Proceedings IEEE/CVF计算机视觉和模式识别会议，pp. 1575-1584.黄杰B、辛格，A.，Ahuja，N.，2015.从转换的自我样本的单一图像超分辨率。在：IEEE计算机视觉和模式识别会议论文集，pp。5197-5206吉，X.，曹玉，Tai，Y.，Wang，C.，中国地质大学，李杰，黄，F.，2020.通过核估计和噪声注入实现真实世界的超分辨率。在：IEEE/CVF计算机视觉和模式识别研讨会会议论文集，pp。466-467.金，J.，李，J. K.，李，K.M.，2016.使用深度卷积网络实现精确的图像超分辨率。在：IEEE计算机视觉和模式识别会议论文集，pp。1646-1654年。金，J.，李，J. K.，李，K.M.，2016.用于图像超分辨率的深度递归卷积网络。在：IEEE计算机视觉和模式识别会议论文集，pp。1637-1645年。金 玛 ， D.P.， 巴 ， J.， 2014. Adam ： 随 机 最 佳 化 的方 法 。 arXiv预 印 本 arXiv ：1412.6980。克里热夫斯基，A.，萨茨克弗岛，巴西-地辛顿，通用电气，2012.使用深度卷积神经网络进行图像网分类。高级神经信息处理。系统25，1097-1105。Lai，W.-美国，黄杰B、Ahuja，N.，杨，M. H、2017.深度拉普拉斯金字塔网络实现快速准确的超分辨率。在：IEEE计算机视觉和模式识别会议论文集，pp。624-632Larsson，G.，迈尔，M.，Shakhnarovich，G.，2017.着色作为视觉理解的代理任务。在：IEEE计算机视觉和模式识别会议论文集，pp。6874-6883。Li，Z.，杨杰，刘志， 杨，X.， Jeon，G.， 吴伟， 2019. 图像超分辨率反馈网络。在：IEEE/CVF计算机视觉和模式识别会议论文集，pp。3867-3876。林湾，英-地儿子S Kim，H.，不S Mu Lee，K.，2017.增强的深度残差网络用于单图像超分辨率。在：IEEE计算机视觉和模式识别研讨会会议论文集，pp。136-144.罗志黄，Y.，Li，S.，Wang，L.，美国，Tan，T.，2020.展开了盲超分辨的交替优化。arXiv预印本arXiv：2010.02631。Noroozi，M.，Favaro，P.，2016.视觉表征的无监督学习通 过 解决拼图游戏。参加：欧洲计算机视觉会议。施普林格，pp. 69比84Oord，A.v.d.，李，Y.，维尼亚尔斯岛，澳-地2018.使用对比预测编码的表示学习。arXiv预印本arXiv：1807.03748。帕克，T.，埃夫罗斯，匿名律师，张，R.朱，J. -是的，2020.非成对图像到图像翻译的对比学习。参加：欧洲计算机视觉会议。施普林格，pp. 319-345Pathak，D.，Krahenbuhl，P.， 多纳休，J.， Darrell，T.， 埃夫罗斯，匿名律师， 2016. 上下文编码器：通过修复进行特征学习.在：IEEE计算机视觉和模式识别会议论文集，pp。2536-2544Peleg，T