2
相关工作
近年来,深度学习在许多图像恢复任务中取得了前所未有的成功,例
如超分辨率[11,24,28],去噪[46,55],
压缩伪影去除[10,12]、压缩感测[22,26,34]和去模糊[7,27,36,
37]。至于面部图像,已经开发了几种CNN架构用于面部幻觉[5,8,
17,59],并且还引入了对抗学习以提高视觉质量[52,53]。然而,这
些方法中的大多数都是针对非盲恢复提出的,并且受到专门任务的限
制。受益于深度CNN的强大建模能力,最近的研究表明,训练单个模
型来处理退化的多个实例是可行的(例如,不同的噪音水平)[35,
55]。 至于面孔幻觉,Yu et al.[53,54]提出了一种变革的判别网络,
以超分辨不同的未对齐的微小人脸图像。然而,盲恢复是一个更具挑
战性的问题,需要学习一个单一的模型来处理一个或多个退化类型的
所有实例。
深度盲复原的研究主要集中在盲去模糊方面,其目的是在退化参
数未知的情况下,从噪声和模糊观测中恢复出潜在的干净图像。基于
早期学习或基于CNN的盲去模糊方法[7,45,48]通常遵循包括模糊核
估计阶段和非盲去模糊阶段的传统框架随着CNN的快速发展和强大的
建模能力,最近的研究倾向于通过直接训练深度模型来绕过模糊核估
计,以从原始数据恢复清晰的
图像
[
16
,
27
,
36
- 38]
。
关于
模糊因子
,
Chrysos和Zafeiriou [9]利用修改的ResNet架构来执行面部去模糊,而Xu等
人[ 9 ]利用改进的ResNet架构来执行面部去模糊。[49]采用生成对抗网
络(GAN)框架对模糊人脸图像进行超分辨。值得注意的是,这种无
核端到端方法的成功取决于CNN的建模能力以及对干净图像和退化参
数的足够采样,这使得设计和训练变得困难此外,高度不适定的退化
进一步增加了仅从退化观测恢复正确精细细节的难度[31]。在这项工
作中,我们精心解决这个问题,结合高品质的引导图像和设计适当的
网络架构和学习目标。
还开发了几种基于学习和基于CNN的方法用于颜色引导的深度图
像增强[15,18,29],其中强度和深度图像之间的结构相互依赖性被
建模并用于重建高质量深度图像。对于引导的深度图像增强,Hui等
人[18]提出了一个CNN模型来学习多尺度指导,而Gu等人。[15]将加
权分析表示和截断推理用于动态指导学习。对于一般的引导滤波,Li
等人[29]构造基于CNN的联合滤波器以将结构细节从引导图像传递到
重构图像。然而,这些方法假设引导图像在空间上与劣化观察良好对
准。由于引导图像和退化观察通常在姿态和表情上不同,因此这种假
设通常不适用于引导面部恢复。到