2
相关工作
2.1
图像恢复
从模糊的观察中恢复清晰的图像是一个长期的研究课题。Wang和Tao
[32]最近对解决这个问题的方法进行了调查当模糊核已知时,去卷积
算法寻求稳定地反转线性卷积运算当内核未知时
,盲
反卷积涉及更具
挑战性的情况[10,20,2]。
各种方法使用神经网络来估计来自图像的模糊核,并且应用经典
的非盲去卷积算法来执行实际的去模糊,或者作为单独的步骤或者作
为网络的集成部分 [31、28、4、35]。其他方法避开了经典的去卷
积,并训练CNN直接输出清晰的图像。Nah等人[22]和Noroozi等人[23]
使用多尺度端到端卷积架构去模糊单个图像。
Nah等人[22]和Kupyn等人[19]使用基于鉴别器的损失,这鼓励网络
在去模糊图像中产生逼真的内容。缺点是,网络原则上可能需要发明
虚构的细节,以实现现实主义的外观。我们认为这个方向在很大程度
上正交于我们的,并专注于从输入突发提取最大量的
多帧方法各种去模糊方法考虑组合来自多个模糊帧的信息[3,29,
38,37,39]。Delbracio等人[7]表明,对于静态场景,多帧盲去卷积的
典型困难可以通过在傅立叶域中组合每个帧的功率谱的良好保存的部
分来避免。Wieschollek等人[34]通过使用神经网络确定去卷积滤波器
和频谱平均权重来扩展这一点。最近Wieschollek et al.[33]提出了一种
神经方法,用于通过使用当被馈送新帧时更新估计的递归神经结构,
从模糊图像的任意长度突发直接预测清晰图像。我们的方法针对相同
的问题,具有根本不同的网络架构,而是同时将所有图像视为一
组
任
意大小的图像。
一些方法还旨在去除由视频中的个体对象的移动引起的局部模糊
[30,33,15,5]。我们的方法专注于相机抖动引起的模糊,其中帧之
间的相关性较弱,帧排序具有较小的尽管如此,我们证明,在实践
中,我们的方法是适用于流对齐的一般运动数据的苏等人。[30]第30
段。
多帧突发思想最近也被应用于去噪[12,11,21]。虽然我们的主要
关注点是去模糊,但我们用噪声很大的图像训练我们的模型,以提高
对现实世界成像缺陷的鲁棒性因此,我们的方法也学会了去噪的突发
到一个显着的程度。