超高清图像超分辨率方法研究和基线模型设计

1××××超高清图像超分辨率的张开浩1李东旭1罗文涵2Weenqi Ren3 B joürn Stenger4 Wei Liu2 HongdongLi1 Ming-Hsuan Yangg5，6，71澳大利亚国立大学2腾讯3IIE，CAS4乐天理工5谷歌研究6加州大学默塞德分校7延世大学摘要现代移动设备越来越多地允许以超高清（UHD）分辨率捕获图像，其包括4K和8K图像。然而，目前的单图像超分辨率（SISR）方法集中在超分辨率图像的分辨率高达高清晰度（HD），而忽略了更高分辨率的UHD图像。为了探索它们在UHD图像上的性能，本文首先介绍了两个大规模图像数据集，UHDSR4K和UHDSR8K，以基准测试现有的SISR方法。经过70，000个V100 GPU小时的训练，我们在七种不同设置下对4K和8K分辨率图像此外，我们提出了一个基线模型，称为网状注意力网络（MANET）的SISR。MANET在不同深度（水平）和不同水平的感受野（垂直）中应用注意机制。以这种方式，学习特征图之间的相关性，使网络能够专注于更重要的特征。1. 介绍单图像超分辨率（SISR）的任务是在低分辨率（LR）输入下产生高分辨率（HR）图像。在实践中，图像超分辨率具有广泛的应用，例如医学图像分析[33]，图像生成[19]和大距离人脸识别[53]。超分辨率图像本质上是不适定的，即一个LR图像可以对应于多个HR图像。为了解决这个问题，传统方法使用来自HR图像或LR范例图像的先验线索[14，12，46，13，6，22，47，11，18，37，31]。最近的深度学习方法消除了显式设计不同类型的先验的需要。网络以端到端的方式用相应的HR和LR图像有了足够的训练数据，深度学习模型已经取得了令人印象深刻的结果[8，44，32，20，35，26，51，52，29，43]。它们中的大多数都是基于高达2K分辨率的高清图像进行训练的，其中DIV8K [15]数据集是一个例外。第因此，尚不清楚它们在超高清（UHD）图像（包括4K和8K分辨率图像）的情况下如何执行。当前，越来越多的移动设备支持以这些分辨率捕获图像。UHD图像提供更好的视觉愉悦效果，并且它们也更好地训练SISR方法，适用于8或16等大的放大因子。在本文中，我们探讨了SR的性能，目前的SISR方法对这样的UHD图像。我们从互联网上收集了两个大规模的图像数据集，分辨率分别为4K和8K。4K数据集UHDSR4K包括分别用于训练和测试的5，999和2，100个8K数据集UHDSR8K分别包含2，029个训练图像和937个测试图像。据我们所知，UHDSR4K和UHDSR8K分别是4K和8K图像超分辨率的最大UHD图像数据集。样本图像如图所示1.一、我们提出了七个设置来评估现有方法的性能。这些包括不同的上采样因子，tors（从2到16），和两个额外的设置，以评估，uate共同的图像退化，模糊加下采样和下采样加噪声。我们在这些数据集上评估了十种最近的SISR方法，并在新的数据集上训练了相应的模型。在单个数据集上训练一个模型大约需要三周时间，所有模型的总训练时间超过70，000V100 GPU小时。通过进行这项基准测试研究，我们因此获得了对当前SISR模型在特定4K和8K设置中如何工作的全面理解，无论是在标准度量方面，如PSNR和SSIM，还是感知质量。此 外 ， 我 们 提 出 了 一 个 网 状 注 意 力 网 络（MANET），通过学习不同的特征映射之间的相互依赖关系，以提高特征表示能力特别地，MANET是一个网状结构，其水平和垂直层分别表示来自不同深度和不同感受野的特征图。在移动自组网中，一种新的网格注意模块被引入到同时学习从不同的深度和不同层次的感受野的功能之间的关系Fi-1476914770××××(a) 来自UHDSR4K数据集的样本图像。(b) 来自UHDSR8K数据集的样本图像。图1. 来自UHDSR4K和UHDSR8K数据集的样本图像。这两个数据集分别由大量4K和8K UHD图像组成。最后，来自水平和垂直层的特征图的加权和允许MANET集中于从输入LR特征到重构SR图像的信息深度和感受域总之，本文的贡献有三个方面：• 首先，我们介绍了两个大规模的UHD图像数据集的超分辨率。据我们所知，它们是4K和8K图像超分辨率领域中最大规模的UHD数据集。此外，两个数据集都提供了七个退化设置，以方便地评估SISR方法。• 其次，我们广泛评估了两个数据集上的最先进的SISR方法。通过这样做，我们能够了解这些方法的潜力和局限性。• 第三，我们提出了一个基线模型，称为MANET的SISR与一个新的网格注意力模块。实验验证了其在UHD SISR任务中的有效性。2. 相关工作2.1. SISR数据集文献中介绍了用于SISR培训和评估的几个数据集，包括T91 [47]，Set5[3]、BSDS 300 [27]、BSDS 500 [2]、通用-100 [10]、输出-[17]第一届中国国际汽车工业展览会[2018 - 04-28]DIV2K [36]、RealSR [5]、L20 [38]、DIV8K [15]，第14组[48]和Sun-Hays 80 [34]。 在这些数据集中，T91 [47]、Set5 [3]、BSDS300 [27]、BSDS500 [2]、General-100 [10]，PIRM [4]，Manga109 [28]，RealSR[5]，和Urban 100 [17]相对较小，分别包含5-595张图像用于训练和测试。图像分辨率范围从264204到8261169年王等人提供了一个大规模的OutdoorScene数据集，其中包括10，624张图像，但平均图像分辨率仅为553，440。DIV2K数据集是当前用于训练和测试2K图像超分辨率方法的标准数据集。它分别包含800和200张用于训练和测试的图像。Yang等人。 [45]发表了一个早期的SISR基准数据集，在229张分辨率低于2K的图像上评估了SISR方法。为了评估更高分辨率图像的性能，Timofte等人。[38]引入了L20数据集，包含3843 2870分辨率的图像。尽管这在UHD范围内，但是图像的数量最近，Gu等人。 [15]创建了DIV8K数据集，其中包含1，504张仅具有8K分辨率的图像。在本文中，我们专注于对标国家的最先进的深14771设置5 5BSDS500 500BSDS300 300一般-100 100户外场景10，624PIRM 200芒果109 109城市100 100RealSR 595DIV2K 1，000L20 20DIV8K 1，504UHDSR4K8,099313×336PNG432×370JPG435×367JPG435×381BMP553×440PNG617×482PNG826×1，169PNG984×797PNG1，541× 1，302PNG1，972× 1，437PNG3，843× 2，870PNG5，557× 3，935PNG3，840× 2，160PNGUHDSR8K 2，966 7，680×4，320 PNG×× × × ××××在4K和8K分辨率图像上的学习方法，并为此任务引入两个新的大规模数据集。有关流行的基准测试数据集的概述，请参见表12.2. 基于深度学习的SISR方法大多数最先进的SISR方法都基于深度学习[43]。对于SISR的经典解决方案，读者可以参考其他作品[39]。Dong et al.[8，9]首先采用深度学习进行图像超分辨率，此后提出了许多改进。例如，Kim et al.[21]提出了一种深度递归卷积网络（DRCN）。引入跳过连接来训练该网络。EDSR [26]是一种没有冗余模块的深度残差网络，并与多尺度处理相结合。近年来，高效的超分辨率图像也引起了人们的关注[23，20，10]。GAN在[24]中被引入，以增强所产生的HR图像的感知质量。类似地，GANs用于[41]使用对抗和感知损失函数来增强视觉质量而不是专注于逐像素重建，在[30]中，Sajjadi等人提出了一种新的网络，专注于自动纹理合成，以增强细节。在[16]中，开发了深度反投影网络（DBPN）来研究HR和LR图像之间的相互依赖性在[52]中学习了层次特征，以充分利用来自各种尺度的线索。本文还引入了稠密连接在[51]中介绍了残差通道注意网络（RCAN），其中提出了残差中残差（RIR）结构和通道注意模块。为了克服渠道关注度不足的问题，忽略不同层之间的相关 性 ， [29] 中 提 出 了 一 种 新 的 整 体 注 意 力 网 络（HAN），其由层注意力模块（LAM）和通道空间注意力模块（CSAM）组成Dai等人在[7]中也采用了SISR任务的注意力机制。具体来说，他们提出了一个二阶注意力网络（SAN）来利用中间层特征的相关性在[25]中也采用了反馈机制。利用RNN结构构造图像超分辨率反馈网络（SRFBN），利用不同尺度的信息对特征表示进行细化。3. 基准数据集我们提出了一个基准研究，通过评估最近的国家的最先进的算法对UHD图像超分辨率。为此，我们首先建立适当的数据集。下面介绍UHDSR4K和UHDSR8K数据集的采集过程，并介绍两个数据集用于评估所选方法的相关设置。表1. 单图像超分辨率数据集。我们介绍了两个新的大规模UHD（4K和8K）SR基准数据集。数据集大小Avg. 决议格式T9191264× 204PNG3.1. UHDSR数据集我们从互联网（Google，Youtube和Instagram）收集4K和8K的UHD图像，包含城市场景，人物，动物，建筑物，汽车，自然景观和雕塑等这些图像是在室外和室内场景中使用各种相机捕获的，如图所示。1.一、第一数据集UHDSR4K包括以下图像：3，840 2，160分辨率。 其训练集包含5，999张HR图像，测试集包含2，100张HR图像。训练集和测试集的城市场景是不同的。这两个集合在每个降级设置中还包含相同数量 的 LR 图 像 ， 如 下 一 节 所 示 。 第 二 个 数 据 集UHDSR8K由2029张用于训练的图像和937张用于测试的图像组成，具有不同的街道场景。图像分辨率为7，680×4，320。我们对这两个数据集分别应用了七种不同的降级设置，总共获得了超过77，000对HR和LR图像3.2. 图像降级设置真实世界的图像退化过程是复杂的，具有挑战性的准确捕捉。在大多数现有数据集中采用的策略是通过诸如下采样的特定操作来模拟退化过程。一些数据集包含从相同场景捕获的HR和LR图像对。其他方法使用逐像素配准来调整图像对。然而，由于我们只有原始分辨率的UHD图像，因此我们遵循模拟降级的策略[36，15]。 我们使用七种不同的降级设置，命名为2 、3 、3BD，3DN，4，8 、16 . 数字指示下采样因子，“D”14772+残余致密块Conv按元素求和 膨胀卷积......+C2起来C3HR输出......RDB3-1RDB1-1RDB2-NRDB2-nRDB2-1RDB3-NRDB3-n网格注意模块RDB1-NRDB1-n×C1LR输入图2. 所提出的网状注意力网络的架构。MAN以低分辨率图像作为输入，并使用残差密集块（RDB）和扩张卷积来提取不同级别的特征图和同一级别内的不同感受野两者都被送入一个网状注意力模块，以学习不同水平和不同感受野之间的相关性。最后，使用包括上采样和卷积的一组层来生成高分辨率图像。“N”代表被添加到LR图像的高斯噪声。字母的顺序指示操作的顺序，例如，类似于[52] 和 [49] ， 对 于 下 采 样 ， 我 们 使 用 双 三 次 插 值（BI）。 当模糊图像时，采用高斯模糊，其具有大小为7 - 7的核和1的标准偏差。六、将高斯噪声添加到图像中以模拟噪声效应。具体地，噪声水平（高斯噪声模型中的σ）被设置为30。4. 用于SR的在本节中，我们将介绍所提出的网状注意力网络（MAN）的网络架构。4.1. 网络架构如图2、提出的MAN由预处理模块、扩张卷积模块、网格注意模块和上采样模块四部分组成。可爱的模块。给定低分辨率图像，网络首先通过卷积层提取特征。然后应用扩张卷积来提取两个以上的特征，FRDB2− 1=HRDB 2− 1（FRDB 1− 1），（3）FRDB3− 1=HRDB 3− 1（FRDB 1− 1），（4）其中HRDB2-1和HRDB3-1分别是扩张参数设置为2和4的扩张卷积层的函数，以获得不同水平的感受野。FRDB2−1和FRDB3−1是它们的对应特征。所提出的扩张卷积模块具有N个RDB，并且第n个RDB和扩张卷积层的输出表示为：FRDB1−d=HRDB1−n（FRDB1−（n−1）），（5）哪里 HRDB1−n表示 的 第η RDB操作。FRDB1−（n−1）和FRDB1−n是它的输入和输出。对象对应的两个流中的操作第n个RDB表示为：FRDB2−n=HRDB 2−n（FRDB 1−n），（6）FC1 =HC1 （ILR），（1）FRDB3−n=HRDB3−n（FRDB1−n），（7）其中ILR、HC1和FC1是输入低分辨率im。其中HRDB2−n和HRDB3−n是扩张卷积层。它们的输入FRDB1−n从年龄，所述函数指示所述第一卷积层，以及分别经由第一层提取的特征扩展卷积模块。FCl被传递到扩张卷积模块以进一步提取特征。膨胀卷积模块由几个残差密集块（RDB）和一个膨胀卷积层组成。特别地，一个RDB首先将FC1作为输入来提取特征FRDB1− 1=HRDB 1− 1（FC 1），（2）14773其中HRDB−1和FRDB−1分别表示表示RDB及其提取特征RDB2−n的输出，其输出为F RDB2−n和FRDB3−n。所有的FRDB1−n，FRDB2−n，FRDB3−n都是相同的大小。网状注意力模块。在通过RDB和膨胀卷积层的集合获得三个层次特征之后，我们引入了网格注意模块以充分利用来自所有先前层的特征，允许利用来自水平和垂直方向的特征。水平方向上的注意模块允许所提出的模型从不同的层次来处理特征，而垂直方向上的注意模块允许所提出的模型从不同的层次来处理特征14774××××× ××·× × ××.........这是什么？特征图3 X N XH x W x C6 X高x宽x NC高x宽x NC图3. 所提出的网格注意模块的架构。在水平和垂直方向上应用注意机制来学习来自不同水平和不同感受野的特征图之间的依赖性。允许所提出的模型处理来自不同级别的感受野的特征。上述三个特征组被馈送到所提出的网格注意模块中，其被表示为：FMAM= HMAM（ concat（ FRDB1-1，...，FRDB3−N）），（八）其中HMAM和FMAM 分别是网格张力模块及其输出的函数。 我们将在第2节中详细讨论网格注意模块。四点二。上采样模块。在LR空间中获得网格关注特征之后，我们使用上采样模块，包括卷积层（C2）、上卷积层（UP）和另一个卷积层（C3）来重建高分辨率图像。该过程可以描述为：ISR=HUSM（FMAM），（9）其中FMAM是网格注意模块的输出。HUSM表示上采样模块中的操作其输出是高分辨率图像ISR。4.2. 网格注意模块为了对网络中不同深度的特征之间的相互依赖关系进行建模，我们提出了一个mesh at-tension模块来区别对待每一层的特征图，并学习它们之间的关系。在水平方向上，它学习不同深度特征之间的三组依赖关系。类似地，它在垂直方向上学习感受野的不同水平的特征之间的D组依赖关系。以这种方式，所提出的网络能够学习对应于各个领域的不同深度和级别的特征的不同注意力权重，并且因此实现更好的特征表示能力。如图3，当特征图被馈送到MAM中时，它们被重新成形并重新组合成两组。第一组由三个矩阵组成，每个矩阵的形状为NHWC，对应于图1中的一个流。二、将该矩阵与其转置相乘以导出N乘N相关矩阵，其中每个相关矩阵都是元件是，wi，j=φ（φ（FRDB）iφ（FRDB）Tj），i，j=1，2，3，. . . ，N，（十）其中φ和分别表示softmax和整形操作。FRDB是扩张卷积模块的输出，i和j是计算相关性的特征索引类似地，第二组特征由N个矩阵组成，其中每个矩阵具有3个HWC，对应于图1中的深度。二、将该矩阵与其转置相乘以导出3乘3相关矩阵，其中元素为wi，j=φ（（FRDB）i·（FRDB）jT），i，j=1，2，3.（十一）利用该公式，我们总共获得N +3个相关矩阵。 这两组特征图与这N +3个相关矩阵相乘以导出两组特征图（在大小方面与网格特征相同）。对这两组特征进行整形并分别与原始特征图相加，得到两组大小为3NH W C的特征图。它们沿着第一个轴连接，并重新整形为大小为6的张量HWNC，称为F矩阵。新的特征图F矩阵帮助所提出的MAN集中在相应场的不同深度和不同水平它被进一步馈送到卷积层中以创建大小为HWNC的新特征图用于后处理。MAM的输出可以表示为：FMAM 其中，H_one表示卷积。5. 实验和分析在本节中，我们对现有的SISR方法和我们提出的MANET在建议的UHDSR4K和UHDSR8K数据集上进行基准测试。5.1. 评价的SISR方法我们在基准研究中比较了十种最先进的SISR方法，DRLN [1]，HAN [29]，RDN [52]，RCANHWC x N X 33 x N x HWC3 x N x HWCXX+............重塑重塑XX网格特征HWC x 3 X N.........这是什么？.........这是什么？....................................CNN级联重塑N x 3 x HWC转置转置SoftmaxSoftmaxN x 3 x HWC14775×××××××× × ××× ××××××××× ××× ××× × ××表2. UHDSR4K数据集上SISR的代表性方法的性能比较。报告PSNR和SSIM值。规模度量SRCNNFSRCNNVDSRLapSRNEDSRDBPNRCANRDN韩DRLNManet2×PSNR42.11941.53543.31543.15343.61443.33043.59343.64243.64143.56043.742SSIM0.98380.98280.9860.98560.98630.98590.98620.98620.98640.98620.98653×PSNR34.08233.61435.115-35.674-35.57635.76935.54735.80835.842SSIM0.95030.94620.9575-0.9608-0.96080.96140.96010.96170.96183×BDPSNR29.68130.58732.729-35.046-35.13635.19935.13834.10735.240SSIM0.86720.88240.9187-0.9438-0.94480.94550.94490.93670.94573×DNPSNR30.02630.1230.916-31.557-31.61931.70331.56331.72531.589SSIM0.87560.88180.8959-0.9091-0.90900.91120.90850.91100.90884×PSNR30.58630.16231.54031.82332.07332.15732.16432.53232.17732.37232.218SSIM0.91310.90580.92490.92810.93100.93180.93110.93530.93140.93380.93158×PSNR25.42125.40125.92426.56326.81626.77226.81627.11626.85627.00926.877SSIM0.81260.81090.82620.84110.84690.84660.84830.85480.84890.85200.849316×PSNR22.51522.46422.73323.28523.47923.43423.62623.63923.65623.53623.523SSIM0.74980.73670.75690.77140.77500.77620.78120.78200.78210.78130.7805[2019- 05 -16][2019 -05]FSRCNN [10]和SRCNN [8]。所有方法都基于深度学习。5.2. 执行UHDSR4K和UHDSR8K数据集都有七个不同的降级设置。每个设置对应于用于训练SR模型的LR和HR图像对。对于基准中比较的每种方法LapSRN [23]和DBPN [16]未提供放大因子3的模型。 因此，我们不评估它们的设置3的性能，3BD和3DN。此外，几乎所有上述原始代码都不提供用于放大因子16的模型。在本文中，我们修改他们，使他们能够工作在16超分辨率的情况下。 我们将所有方法的训练epoch数设置为1000。所有模型都使用V100GPU训练约三周，因此总训练时数为24737102 =70，560。在基准研究中报告了最佳性能。 许多指标（如PSNR，SSIM [42]和LPIPS [50]）可用作定量指标。在本文中，我们使用PSNR和SSIM，因为它们是最流行的SR。具体地，我们在RGB空间中进行PSNR和SSIM的计算。基于块的计算仅应用于8K图像，其被裁剪为四个4K分辨率块5.3. UHDSR4K SR数据集我们首先评估了这十种方法和我们提出的MANET上的UHDSR4K图像，以探索他们的性能，曼斯对4K图像超分辨率。BI、BD和DN降解模型广泛用于SISR设置。表2显示了2×、3×、3×BD、3×DN、4×、8×和16×super的定量比较。分辨率设置。在十种最先进的方法中，就PSNR而言，RDN在2，4，8，16设置上实现了最好的性能。DRLN在3上实现了最佳性能BD设置，VDSR在3DN的情况下达到最佳性能。在SSIM方面，HAN在2上实现了最佳性能和16设置. DRLN在3和3BD设置。 RDN在3上实现最佳性能DN，4和8设置. 此外，基于结果，对于所有的方法它一般是越来越多难以随着上采样因子的增加而超分辨高质量图像。建议的移动自组网是基于从RDN的剩余密集块，并应用一个网格注意模块，以捕捉相关的特征，从中间层。因此，它在所有七个降级设置上都实现了令人满意的性能。特别地，它在2、3和3BD设置上优于当前最先进的SISR方法。我们还展示了不同方法在UHDSR4K数据集上，8、3BD和3图4中的DNSR。我们可以发现，虽然PSNR和SSIM表现出差异，但很难区分来自RCAN，RDN，HAN，DRLN和LMNet的定性结果同时，在HR图像和来自当前最先进的SISR方法的SR结果之间仍然存在明显的差距。如图4（b）和图4（c）所示，HR图像比SR版本更清晰同时，在一些情况下，即使SISR方法可以生成清晰的图像，细节仍然缺失，如图4（a）。5.4. UHDSR8K SR数据集为了评估8K SISR上的十种方法，我们在表3中提供了UHDSR8K数据集上的定量结果。基于PSNR值，HAN在2×、3×、3×BD降级设置下实现最佳性能。DRLN14776×× × × × ×××× ××× ××(a) UHDSR4K数据集上BI模型（×8）的可视化结果。(b) UHDSR4K数据集上BD模型（×3）的可视化结果。(c) UHDSR4K数据集上DN模型（×3）的可视化结果图4. 对应于UHDSR4K数据集上不同设置的视觉结果。从左至右：HR、双三次、SRCNN、VDSR、RCAN、RDN、HAN、DRLN和我们的结果。最好用彩色观看。表3. 与UHDSR8K数据集上SISR的代表性方法的性能比较。结果报告的PSNR和SSIM。规模度量SRCNNFSRCNNVDSRLapSRNEDSRDBPNRCANRDN韩DRLNManet2×PSNR55.59154.98055.98156.12856.64555.96757.32357.06157.16356.74057.371SSIM0.99650.99620.99670.99680.99710.99650.99720.99630.99700.99700.99733×PSNR51.05250.64451.716-52.280-52.54852.48752.56252.50252.544SSIM0.99350.99320.9938-0.9941-0.99430.99430.99440.99430.99433×BDPSNR44.38244.98846.900-48.599-48.66948.82548.83548.68948.862SSIM0.97890.98170.98520.9887-0.98880.98900.98910.98860.98913×DNPSNR35.29636.27036.871-37.860-37.90937.96237.89637.94837.893SSIM0.94150.95000.9546-0.9613-0.96240.96190.96230.96180.96184×PSNR49.47248.53350.03049.46250.23050.29950.51050.60450.56350.61450.686SSIM0.99110.99040.99190.99120.99190.99210.99220.99230.99220.99230.99248×PSNR37.81437.46638.53938.92839.17839.27339.32639.46039.35939.49739.289SSIM0.94860.94560.95310.95550.9570.95770.95820.95880.95830.95920.957816×PSNR30.79430.63231.38831.92432.14132.20632.47532.49132.51432.53532.463SSIM0.89150.89120.89750.90410.90640.90690.91000.91010.91020.91080.9095RDN在4、8和16设置上实现最佳性能，而RDN在3BD场景上实现最佳性能。在SSIM方面，2上表现最好三、三BD，3DN，4、8和16由RCAN、HAN、HAN、RCAN、RDN（和DRLN）、DRLN、和DRLN。我们还发现，建议的MANET实现了令人满意的性能的应用程序的8K图像SR。特别是，它的性能优于目前的2、3上最先进SISR方法BD和4.图4示出了不同方法在UHDSR8K数据集上的视觉比较。类似于4K图像超分辨率，8K图像SR也面临超分辨率图像不够清晰的问题，如图1B所示。图5（b）和图5（c）中所示的图像的细节，并且所生成的图像丢失了类似于图5（a）的细节。14777××××××××(a) UHDSR8K数据集上BI模型（16×）的可视化结果。(b) BD模型（3×）在UHDSR8K数据集上的可视化结果。(c) DN模型（3×）在UHDSR8K数据集上的可视化结果图5. 对应于UHDSR8K数据集上不同设置的视觉结果。从左至右：HR、双三次、SRCNN、VDSR、RCAN、RDN、HAN、DRLN和我们的结果。最好用彩色观看。5.5. 讨论对UHDSR4K和UHDSR8K数据集的评估结果导致了一些有趣的发现。首先，与2K图像SR相比，噪声和模糊在4K和8K SR的情况下具有更大的影响。在2K SR场景中，具有和不具有模糊和噪声的模型的结果（PSNR）没有显示出显著差异，例如。得双曲余切值.[29]在3个设置的情况下。然而，对于UHD图像SR，差异是明显的。当将图像超分辨为UHD图像（3）时，噪声和模糊是阻碍SR性能的重要因素。与模糊相比，噪声是更重要的因素。 3的结果，3BD和3选项卡中的DN23，图45和[29]支持这一发现。第二，如Tab中所示。如图3和图5（a）所示，我们可以按因子压缩图像以节省空间和传输带宽。例如，图像可以用双三次运算进行下采样以用于传输，并且它仍然可以以高质量（PSNR>= 30）重新存储。在8K图像的情况下，SR因子甚至可以高达16，而恢复的质量仍然令人满意。第三，在相同SR因子的情况下，来自8K图像的下采样图像提供比来自8K图像的下采样图像更多的细节。那些来自4K图像的，所以更容易恢复更高质量的图像，区别很明显。例如，在设置为2的情况下，8K的结果优于4K（Tab. 23）。6. 结论本文研究了单幅图像超分辨率在超高清（UHD）分辨率中的应用。我们介绍了两个大规模的UHD SR数据集，并评估了十个国家的最先进的SISR方法。此外，提出了一种用于SISR的基线模型，称为Mesh AttentionNetwork，以提高提取特征的表示能力未来，我们将添加更多设置，如32或64，以评估当前SR方法的极端SR性能，并探索新的模型，将图像超分辨率提升到UHD分辨率。致谢这 项 工作 得 到 了NSF CAREER Grant #1149783，ARC机器人视觉卓越中心（CE 140100016），ARC-Discovery（DP 190102261）的部分支持。和ARC-LIEF（190100080）赠款。14778引用[1] 赛义德·安瓦尔和尼克·巴恩斯。稠密残差拉普拉斯超分辨 率 。 IEEE Transactions on Pattern Analysis andMachine Intelligence，2020。5[2] 巴勃罗·阿贝莱斯，迈克尔·梅尔，查利斯·福克斯，还有吉坦德拉·马利克.轮廓检测和分层图像分割。IEEETransactionsonPatternAnalysisandMachineIntelligence，2010. 2[3] Marco Bevilacqua、Aline Roumy、Christine Guillemot和Marie Line Alberi-Morel。基于非负邻域嵌入的低复杂度单幅图像超分辨率2012年英国机器视觉会议。2[4] Yochai Blau 、 Roey Mechrez 、 Radu Timofte 、 TomerMichaeli和Lihi Zelnik-Manor。2018年PIRM感知图像超分辨率挑战赛在2018年欧洲计算机视觉会议论文集2[5] Jianrui Cai，Hui Zeng，Hongwei Yong，Zisheng Cao，and Lei Zhang.迈向真实世界的单幅图像超分辨率：新标杆、新模式。在IEEE国际计算机视觉会议论文集，2019。2[6] Hong Chang，Dit-Yan Yeung，and Yimin Xiong.通过邻域嵌入实现超分辨率。 法律程序中IEEE计算机视觉与模式识别会议，2004年。1[7] Tao Dai，Jianrui Cai，Yongbing Zhang，Shu-Tao Xia，and Lei Zhang.单幅图像超分辨率的二阶注意力网络。在IEEE计算机视觉和模式识别集，2019。3[8] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang.学习用于图像超分辨率的深度卷积网络。欧洲计算机视觉会议论文集，2014年。一、三、六[9] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang.使用深度卷积网络的图像超分辨率。IEEETransactionsonPatternAnalysisandMachineIntelligence，2015。3[10] Chao Dong，Chen Change Loy，and Xiaoou Tang.加速超分辨率卷积神经网络。在欧洲计算机视觉会议论文集，2016年。二、三、六[11] Weisheng Dong ， Lei Zhang ， Guangming Shi ， andXiaolin Wu.自适应稀疏域选择和自适应正则化的图像去模 糊 和 超 分 辨 率 。 IEEE Transactions on ImageProcessing，2011。1[12] 吉拉德·弗里德曼和拉南·法塔勒图像和视频从本地自我的例子升级。ACM Transactions on Graph-ics，2011. 1[13] William T Freeman ， Egon C Pasztor ， and Owen TCarmichael.学习低层次视觉。国际计算机视觉杂志，2000年。1[14] Daniel Glasner、Shai Bagon和Michal Irani。从一个单一的 图 像 超 分 辨 率 。 IEEE International Conference onComputer Vision，2009。1[15] 顾书航、Andreas Lugmayr、Martin Danelljan、ManuelFritsche、Julien Lamour和Radu Timofte。Div8k：多维8k分辨率图像数据集。InProceedings of theIEEE计算机视觉工作室国际会议，第3512-3516页。一、二、三[16] Muhammad Haris Gregory Shakhnarovich 和 NorimichiUkita。用于超分辨率的深反投影网络。在IEEE计算机视觉和模式识别会议论文集，2018。三、六[17] Jia-Bin Huang，Abhishek Singh，and Narendra Ahuja.单图像超分辨率从变换的自我范例。IEEE计算机视觉与模式识别会议论文集，2015年。2[18] Kui Jia，Xiaogang Wang，and Xiaoou Tang.基于跨图像空间的学习词典的图像变换。IEEE Transactions onPattern Analysis and Machine Intelligence，2012。1[19] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.为提高质量、稳定性和变异性而进行的干细胞生长。arXiv预印本arXiv：1710.10196，2017。1[20] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.使用非常深的卷积网络实现精确的图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，2016。一、三、六[21] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.用于图像超分辨率的深度递归卷积网络。在IEEE计算机视觉和模式识别会议论文集，2016。3[22] Kwang In Kim和Younghee Kwon。基于稀疏回归和自然图像先验的单幅图像超分辨率。IEEE Transactions onPattern Analysis and Machine Intelligence，2010。1[23] 赖伟胜，黄家斌，纳伦德拉·阿胡贾，杨明轩。深拉普拉斯金字塔网络实现快速和精确的超分辨率。在IEEE计算机视觉和模式识别会议论文集，2017年。三、六[24] Chri s tianLedig ， LucasTheis ， FerencHus za'r ， Jo seCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew Aitken，Alykhan Tejani，Johannes Totz，ZehanWang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，2017年。3[25] Zhen Li ，Jinglei Yang ，Zheng Liu ，Xiaomin Yang ，Gwang-gil Jeon，and Wei Wu.用于图像超分辨率的反馈网络。在IEEE计算机视觉和