超高清图像超分辨率方法研究和基线模型设计

142 浏览量更新于2025-01-16 收藏 2.08MB PDF 举报

超高清图像超分辨率的

张开浩

李

东旭

罗

文涵

Weenqi Ren

B joürn Stenger

Wei Liu

HongdongLi

Ming-Hsuan Yangg

，

澳大利亚国立大学

腾讯

IIE，CAS

乐天理工

谷歌研究

加州大学默塞德

分校

延世大学

摘要

现代移动设备越来越多地允许以超高清（

UHD

）分

辨率捕获图像，其包括

和

图像。然而，目前的单

图像超分辨率（

SISR

）方法集中在超分辨率图像的分

辨率高达高清晰度（

），而忽略了更高分辨率的

UHD

图像。为了探索它们在

UHD

图像上的性能，本文

首先介绍了两个大规模图像数据集，

UHDSR4K

和

UHDSR8K

，以基准测试现有的

SISR

方法。经过

，

000

个

V100 GPU

小时的训练，我们在七种不同设置下

对

和

分辨率图像此外，我们提出了一个基线模

型，称为网状注意力网络（

MANET

）的

SISR

。

MANET

在不同深度（水平）和不同水平的感受野（垂直）中

应用注意机制。以这种方式，学习特征图之间的相关

性，使网络能够专注于更重要的特征。

介绍

单图像超分辨率（ SISR ）的任务是在低分辨率

（LR ）输入下产生高分辨率（HR ）图像。在实践

中，图像超分辨率具有广泛的应用，例如医学图像分

析[33]，图像生成[19]和大距离人脸识别[53]。超分辨

率图像本质上是不适定的，

即

一个LR图像可以对应于

多个HR图像。为了解决这个问题，传统方法使用来自

HR图像或LR范例图像的先验线索[14，12，46，13，

6，22，47，11，18，37，31]。最近的深度学习方法

消除了显式设计不同类型的先验的需要。网络以端到

端的方式用相应的 HR 和LR图像有了足够的训练数

据，深度学习模型已经取得了令人印象深刻的结果

[8，44，32，20，35，26，51，52，29，43]。

它们中的大多数都是基于高达2K分辨率的高清图像

进行训练的，其中DIV8K [15]数据集是一个例外。

第因此，尚不清楚它们在超高清（UHD）图像（包括

4K和8K分辨率图像）的情况下如何执行。当前，越来

越多的移动设备支持以这些分辨率捕获图像。UHD图

像提供更好的视觉愉悦效果，并且它们也更好地训练

SISR方法，适用于

或

等大的放大因子。在本文中，

我们探讨了SR的性能，目前的SISR方法对这样的UHD

图像。我们从互联网上收集了两个大规模的图像数据

集，分辨率分别为4K和8K。4K数据集UHDSR4K包括

分别用于训练和测试的

，

999

和

，

100

个8K数据集

UHDSR8K分别包含

，

029

个训练图像和

937

个测试图

像。据我们所知，UHDSR4K和UHDSR8K分别是4K和

8K图像超分辨率的最大UHD图像数据集。样本图像如

图所示1.一、

我们提出了七个设置来评估现有方法的性能。这些

包括不同的上采样因子，tors（从2到16），和两个额

外的设置，以评估，uate共同的图像退化，模糊加下

采样和下采样加噪声。我们在这些数据集上评估了十

种最近的SISR方法，并在新的数据集上训练了相应的

模型。在单个数据集上训练一个模型大约需要三周时

间，所有模型的总训练时间超过70，000V100 GPU小

时。

通过进行这项基准测试研究，我们因此获得了对当

前SISR模型在特定4K和8K设置中如何工作的全面理

解，无论是在标准度量方面，如PSNR和SSIM，还是

感知质量。

此外，我们提出了一个网状注意力网络

（MANET），通过学习不同的特征映射之间的相互依

赖关系，以提高特征表示能力特别地，MANET是一个

网状结构，其水平和垂直层分别表示来自不同深度和

不同感受野的特征图。在

移动自组网

中，一种新的网

格注意模块被引入到同时学习从不同的深度和不同层

次的感受野的功能之间的关系Fi-

14769

14770

(a)

来自UHDSR4K数据集的样本图像。

(b)

来自UHDSR8K数据集的样本图像。

图1. 来自UHDSR4K和UHDSR8K数据集的样本图像。这两个数据集分别由大量4K和8K UHD图像组成。

最后，来自水平和垂直层的特征图的加权和允许

MANET集中于从输入LR特征到重构SR图像的信息深

度和感受域

总之，本文的贡献有三个方面：

•

首先，我们介绍了两个大规模的UHD图像数据集

的超分辨率。据我们所知，它们是4K和8K图像超

分辨率领域中最大规模的UHD数据集。此外，两

个数据集都提供了七个退化设置，以方便地评估

SISR方法。

•

其次，我们广泛评估了两个数据集上的最先进的

SISR方法。通过这样做，我们能够了解这些方法

的潜力和局限性。

•

第三，我们提出了一个基线模型，称为MANET的

SISR与一个新的网格注意力模块。实验验证了其

在UHD SISR任务中的有效性。

相关工作

2.1.

SISR数据集

文献中介绍了用于SISR培训和评估的几个数据集，

包括T91 [47]，Set5

[3]、BSDS 300 [27]、BSDS 500 [2]、通用-100 [10]、输

出-

[17]第一届中国国际汽车工业展览会[2018 - 04-28]

DIV2K [36]、RealSR [5]、L20 [38]、DIV8K [15]，第

14组

[48]和Sun-Hays 80 [34]。在这些数据集中，

T91 [47]、Set5 [3]、BSDS300 [27]、BSDS500 [2]、

General-100 [10]，PIRM [4]，Manga109 [28]，RealSR

[5]，

和Urban 100 [17]相对较小，分别包含5-595张图像用于

训练和测试。图像分辨率范围从264 204到826 1169

年王

等人

提供了一个大规模的OutdoorScene数据

集，其中包括10，624张图像，但平均图像分辨率仅为

553

，

440

。DIV2K数据集是当前用于训练和测试2K图

像超分辨率方法的标准数据集。它分别包含

800

和

200

张用于训练和测试的图像。Yang

等人。

[45]发表了一

个早期的SISR基准数据集，在229张分辨率低于2K的

图像上评估了SISR方法。

为了评估更高分辨率图像的性能，Timofte

等人。

[38]引入了L20数据集，包含

3843 2870

分辨率的图像。

尽管这在UHD范围内，但是图像的数量最近，Gu

等

人。

[15]创建了DIV8K数据集，其中包含1，504张仅

具有8K分辨率的图像。在本文中，我们专注于对标国

家的最先进的深

14771

设置5 5

BSDS500 500

BSDS300 300

一般

-100 100

户外场景10，624

PIRM 200

芒果

109 109

城市100 100

RealSR 595

DIV2K 1

，

000

L20 20

DIV8K 1

，

504

UHDSR4K

8,099

313×336 PNG

432×370

JPG

435×367 JPG

435×381 BMP

553×440 PNG

617×482

PNG

826×1，169 PNG

984×797 PNG

1，541× 1，302PNG

1，972× 1，437

PNG

3，843× 2，870PNG

5，557× 3，935

PNG

，

840

，

160

PNG

UHDSR8K 2

，

966 7

，

680

，

320 PNG

× × × ×

在4K和8K分辨率图像上的学习方法，并为此任务引入

两个新的大规模数据集。有关流行的基准测试数据集

的概述，请参见表1

2.2.

基于深度学习的SISR方法

大多数最先进的SISR方法都基于深度学习[43]。对

于 SISR 的经典解决方案，读者可以参考其他作品

[39]。Dong et al.[8，9]首先采用深度学习进行图像超

分辨率，此后提出了许多改进。例如，Kim et al.[21]提

出了一种深度递归卷积网络（DRCN）。引入跳过连

接来训练该网络。EDSR [26]是一种没有冗余模块的深

度残差网络，并与多尺度处理相结合。近年来，高效

的超分辨率图像也引起了人们的关注[23，20，10]。

GAN在[24]中被引入，以增强所产生的HR图像的感知

质量。类似地，GANs用于

[41]使用对抗和感知损失函数来增强视觉质量而不是

专注于逐像素重建，在[30]中，Sajjadi等人提出了一种

新的网络，专注于自动纹理合成，以增强细节。在[16]

中，开发了深度反投影网络（DBPN）来研究HR和LR

图像之间的相互依赖性在[52]中学习了层次特征，以

充分利用来自各种尺度的线索。本文还引入了稠密连

接在[51]中介绍了残差通道注意网络（RCAN），其中

提出了残差中残差（RIR）结构和通道注意模块。为

了克服渠道关注度不足的问题

，

忽略不同层之间的相

关性， [29] 中提出了一种新的整体注意力网络

（HAN），其由层注意力模块（LAM）和通道空间注

意力模块（CSAM）组成Dai等人在[7]中也采用了SISR

任务的注意力机制。具体来说，他们提出了一个二阶

注意力网络（SAN）来利用中间层特征的相关性在[25]

中也采用了反馈机制。利用RNN结构构造图像超分辨

率反馈网络（SRFBN），利用不同尺度的信息对特征

表示进行细化。

基准数据集

我们提出了一个基准研究，通过评估最近的国家的

最先进的算法对UHD图像超分辨率。为此，我们首先

建立适当的数据集。下面介绍UHDSR4K和UHDSR8K

数据集的采集过程，并介绍两个数据集用于评估所选

方法的相关设置。

表

单图像超分辨率数据集。我们介绍了两个新的大规模

UHD

（

和

）

基准数据集。

数据集

大小

Avg.

决议

格式

T91

264× 204

PNG

3.1.

UHDSR数据集

我们从互联网（Google，Youtube和Instagram）收集

4K和8K的UHD图像，包含城市场景，人物，动物，建

筑物，汽车，自然景观和雕塑等这些图像是在室外和

室内场景中使用各种相机捕获的，如图所示。1.一、

第一数据集UHDSR4K包括以下图像：

，

840 2

，

160分辨率。其训练集包含5，999张HR图像，测试集

包含2，100张HR图像。训练集和测试集的城市场景是

不同的。这两个集合在每个降级设置中还包含相同数

量的 LR 图像，如下一节所示。第二个数据集

UHDSR8K由

2029

张用于训练的图像和

937

张用于测试

的图像组成，具有不同的街道场景。图像分辨率为7，

680×4，320。

我们对这两个数据集分别应用了七种不同的降级设

置，总共获得了超过77，000对HR和LR图像

3.2.

图像降级设置

真实世界的图像退化过程是复杂的，具有挑战性的

准确捕捉。在大多数现有数据集中采用的策略是通过

诸如下采样的特定操作来模拟退化过程。一些数据集

包含从相同场景捕获的HR和LR图像对。其他方法使

用逐像素配准来调整图像对。然而，由于我们只有原

始分辨率的UHD图像，因此我们遵循模拟降级的策略

[36，15]。我们使用七种不同的降级设置，命名为

、

BD，

DN，

，

、

. 数字指示下采样因子，

“D”

剩余10页未读，继续阅读

cpongm

粉丝: 6

超高清图像超分辨率方法研究和基线模型设计

超分辨率研究

图像超分辨率处理

图像超分辨率技术

探索超高清图像演示：新数据集与高效基线模型

【性能提升必备】：海康威视相机图像质量与速度的终极调优

红外辐射建模：深度学习在辐射图像处理中的革命性应用

cole_02_0507.pdf

工程硕士开题报告：无线传感器网络路由技术及能量优化LEACH协议研究

【东海期货-2025研报】东海贵金属周度策略：金价高位回落，阶段性回调趋势初现.pdf

图像数据处理工具+数据(帮助用户快速划分数据集并增强图像数据集。通过自动化数据处理流程，简化了深度学习项目的数据准备工作)

最新资源