超分辨率重建和 GAN 成像
在记录一张图像时,往往会因为成像系统本身的特性而导致空间分辨率的损失,比如光学
扭曲,模糊和噪声。通过改进光学硬件比如传感器,可以提高图像分辨率,但是这种办法的代
价高,且制作工艺难以改进,因此,使用信号处理技术来从低分辨率图像中获得高分辨率图像
成为了研究热点,这种方法被称为超分辨率重建。
超分辨率重建中的一个重要概念叫做降质模型,它描述了自然界中的高分辨率图像转换成
人眼观测到的低分辨率图像的整个过程,即高分辨率图像成像逆过程,为图像超分辨率技术提
供了坚实的理论基础。该模型认为,低分辨率图像的形成过程主要由以下三个因素共同影响:
运动变换、成像模糊和降采样。
根据重建算法的不同,超分辨率重建技术可分为以下三种:
1. 基于插值的超分辨率重建。此方法是最为直观的一种方法,它通过利用已有的像素点信
息,拟合未知的像素点,从而达到提高分辨率的目的。Ur 和 Gross[1]提出了一种不均匀插值的
方法,从一组空间上移位的低分辨率图像中获取一张高分辨率图像。该方法包括三个步骤:配
准,插值和恢复。配准指的是运动信息的估计,不均匀插值用来从非均匀间隔的低分辨率图像
中获得均匀间隔的高分辨率图像,恢复指的是移除模糊和噪声。该方法利用了 Papoulis 和 Brown
的广义多通道采样定理,而其中的线性通道对应于产生低分辨率图像(通过模糊和移位)的过
程以及重建过程。Hardie 等人[2]利用基于梯度的配准算法来估计所采集帧之间的偏移,并使用
加权最近邻插值方法来产生一张高分辨率图像,最后使用维纳滤波来减少系统引起的模糊和噪
声的影响。基于插值的方法的优点在于计算负载比较低,适合用在实时应用中。但是在这种方
法中,考虑到的降质模型有限,仅仅适用于当整组低分辨率图像的模糊和噪声特性相同时,另
外此方法也不能保证最优的重建算法,因为在图像恢复时忽略了插值阶段可能发生的错误。
基于重构的超分辨率重建。多图像(或经典)超分辨率算法主要是基于重构的算法,即它
们试图通过模拟图像形成模型来解决由于欠采样过程而在观察到的低分辨率图像中存在的混叠
伪像。此类算法从图像的降质模型出发,假定高分辨率图像是经过了适当的运动变换、模糊及