了多种采样因子的LR图像,这样训练出来的网络
可以测试多种采样因子的LR图像.Hu等
[32]
对SR-
CNN提出了两点改进,首先采用随机线性纠正单
元(Rando-mizedrectifiedlinearunit,RReLU)去
避免原有网络学习中对图像某些重要信息的过压
缩,然后用Nesterov加速梯度(Nesterov'sacceler-
atedgradient,NAG)方法去提升网络的收敛速度,
并且避免了网络在梯度更新的时候产生较大的震荡.
以往模型都是先利用双三次插值等方法将LR
图像上采样到HR空间,再在HR空间上提取特征,
从而重建成最后的HR图像,这种方法会增加计算
复杂度.为此,Shi等
[33]
提出了图6所示的高效子像
素卷积神经网络(Efficientsub-pixelconvolution-
alneuralnetwork,ESPCN)模型,该模型是第一个
能够在单独的K2GPU上实时处理1080p视频的
卷积神经网络,其核心思想是使用亚像素卷积层来
替代反卷积层实现上采样操作,网络的输入是未放
大尺寸的LR图像,提取特征也都是在低维空间下
进行,通过三个卷积层后,得到通道数为r
2
的特征
图(Featuremap),其中r为上采样的倍率,然后再
将尺寸为H×W×r
2
的特征图重新排列成rH×rW×1
的高分辨率图像.若需要获得不同上采样倍率的图
像,只需改变r的值.该模型的优点是运行时间比
以往基于卷积神经网络的模型快一个数量级,缺点
是当改变倍率时,需要重新训练模型.
Mao等
[34]
提出了图7所示的极深残差编解码
网络(Verydeepresidualencoder-decodernet-
works,RED-Net)模型,该网络模型由卷积层和反
卷积层组成,且卷积层与反卷积层呈对称分布,即
编码-解码结构.卷积层起到提取特征与去噪的作
用,反卷积层先接收去噪后的特征图像,再将其重
建成高分辨率图像,这样会使图像更为清晰.RED-
Net模型也采用了跳跃连接,但与ResNet
[35]
不同,该
跳跃是从卷积层到对应的反卷积层之间的跳跃连接.
Tai等
[36]
提出了图8所示的MemNet网络,与
传统的神经网络如VDSR
[7]
、DRCN
[37]
不同,这是一
ILR
Conv.1 ReLu.1
Conv.D-1
Conv.D (Residual)
ReLu.D-1
x
HR
yr
...
+
图5VDSR网络结构
[7]
Fig.5TheVDSRnetworkstructure
[7]
Low-resolution
image (input)
n
1
feature maps n
l-1
feature maps
r
2
channels
High-resolution image (output)
Hidden layers
Sub-pixel convolution layer
f
1
xf
1
f
l
xf
l
......
图6ESPCN网络结构
[33]
Fig.6TheESPCNnetworkstructure
[33]
10期 李佳星等:基于深度学习的单幅图像超分辨率重建算法综述 2345
评论0