时空滤波自适应网络STFAN：视频去模糊新方法

"本文主要介绍了视频去模糊领域中的一种新方法——时空滤波自适应网络（STFAN），该方法旨在解决由摄像机抖动、物体运动和深度变化引起的空间变化模糊问题。STFAN结合了前一帧的恢复信息与当前帧的模糊图像，通过滤波器自适应卷积（FAC）层实现帧间特征对齐和模糊去除，最后通过重构网络融合特征以恢复清晰视频帧。实验表明，STFAN在准确性、速度和模型大小等方面优于现有方法。" 正文： 在视频处理领域，视频去模糊是一个极具挑战性的任务，尤其在手持设备和无人机拍摄的动态场景中，由于设备抖动和快速运动，往往会导致视频出现不期望的模糊。这种低质量的视频不仅影响视觉体验，还会妨碍诸如目标跟踪、视频稳定和SLAM等高级视觉任务的性能。因此，开发高效视频去模糊算法显得至关重要。 传统的视频去模糊方法通常依赖于光流估计来对齐连续帧或近似模糊核。然而，光流估计的不准确可能导致去模糊过程中产生伪影，或者无法有效去除模糊。针对这一问题，作者提出了时空滤波自适应网络（STFAN）。STFAN创新地将对齐和去模糊过程整合在一个统一的神经网络框架中，利用前一帧的去模糊图像和当前帧的模糊图像作为输入。通过引入滤波器自适应卷积（FAC）层，STFAN能够对齐前一帧的去模糊特征，并从当前帧的特征中消除空间变化的模糊影响。 FAC层是STFAN的核心组件，它允许网络根据当前帧的特性动态调整滤波器，从而增强特征对齐和模糊去除的效果。通过这种方式，STFAN能更好地处理由于大运动和空间变化导致的模糊问题。实验结果表明，与其他如SRN[38]、GVD[9]、OVD[10]和DVD[36]等视频去模糊方法相比，STFAN在恢复清晰度、运算速度和模型复杂度上都表现出优势。 为了进一步验证STFAN的有效性，作者在基准数据集和真实视频上进行了定量和定性评估。实验结果显示，即使在具有大运动和空间变化模糊的困难场景中，STFAN也能生成更清晰的视频帧。当移除FAC层时，去模糊性能显著下降，这证明了FAC层在帧对齐和去模糊过程中的关键作用。 时空滤波自适应网络（STFAN）为视频去模糊提供了一种新的解决方案，它通过利用帧间信息和自适应滤波器进行特征融合，有效提升了去模糊效果，对于提高视频质量和推动相关视觉任务的发展具有重要意义。