全能图像恢复网络：一种无需损坏先验知识的全能图像恢复方法

1174520未知损坏的全能图像恢复0李博云1，刘晓2，胡鹏1，吴忠勤2，吕建成1，彭曦1�01  四川大学计算机学院。2  TAL教育，中国。0{liboyun.gm，penghu.ml，pengx.gm}@gmail.com;{liuxiao15，wuzhongqin}@tal.com;0lvjiancheng@scu.edu.cn0摘要0在本文中，我们研究了图像恢复中的一个具有挑战性的问题，即如何开发一种全能方法，能够从各种未知的损坏类型和级别中恢复图像。为此，我们提出了一种全能图像恢复网络（AirNet），它由两个神经模块组成，分别称为对比度引导的退化编码器（CBDE）和退化引导的恢复网络（DGRN）。AirNet的主要优点有两个。首先，它是一种一站式解决方案，可以在一个网络中恢复各种退化的图像。其次，AirNet不受损坏类型和级别的先验知识的限制，只使用观察到的损坏图像进行推理。这两个优点使得AirNet能够在实际场景中具有更好的灵活性和更高的经济性，其中损坏的先验知识很难得知，而退化会随着空间和时间的变化而变化。广泛的实验结果表明，所提出的方法在四个具有挑战性的数据集上优于17种图像恢复基线方法。代码可在https://github.com/XLearning-SCU/2022-CVPR-AirNet上获得。01. 引言0单图像恢复旨在从给定的退化对应中生成一个视觉上愉悦的高质量图像，例如噪声、雨天或模糊图像。在过去的几年中，图像恢复已被广泛应用于许多实际应用领域，从自动驾驶到医学成像和监控。尽管在特定领域，如去噪[5, 27, 40, 53-55]，去模糊[12, 32-34]，去雨[10, 11, 17,46, 50, 52]和去雾[1, 7, 9, 15, 19, 35, 37,38]方面取得了有希望的结果，但图像恢复在实践中遇到了以下障碍。一方面，需要知道正确的损坏类型（即退化）来选择一个竞争性模型，因为几乎所有现有的方法只能处理特定的退化。一旦退化类型甚至损坏比例发生变化，由于真实情况与用于模型构建或训练的先验之间的不一致性，模型的性能将变得不理想。另一方面，退化通常在复杂的环境中变化，例如，自动驾驶汽车可能连续甚至同时遭受雨天和雾天的影响。总之，我们非常希望开发一种能够从各种未知退化中恢复图像的全能方法。0�通讯作者0图1.我们基本思想的示意图。如图所示，大多数现有的多重退化方法通过将输入发送到特别设计的头部并使用相应尾部的输出来处理每个损坏。因此，它们需要提前了解损坏信息以指定正确的头部和尾部。与之不同的是，我们的全能图像恢复网络（AirNet）不受损坏类型和级别的先验知识的限制，在实际场景中具有更好的灵活性和更高的经济性。0退化）以选择一个竞争性模型，因为几乎所有现有的方法只能处理特定的退化。一旦退化类型甚至损坏比例发生变化，由于真实情况与用于模型构建或训练的先验之间的不一致性，模型的性能将变得不理想。另一方面，退化通常在复杂的环境中变化，例如，自动驾驶汽车可能连续甚至同时遭受雨天和雾天的影响。总之，我们非常希望开发一种能够从各种未知退化中恢复图像的全能方法。0损坏类型和级别，如图1所示。据我们所知，这样的不具体的图像恢复01注意，在本文中，“未知”是指不具体而不是未见的损坏，而“多重退化”是指给定图像仅包含一种退化，但数据集将包含多种退化。2174530迄今为止，该问题几乎没有得到解决。为了解决上述问题，我们提出了一种全能图像恢复网络（AirNet），它由两个模块组成。具体而言，对比度引导的退化编码器（CBDE）旨在通过利用具有相同退化的图像的一致性和不一致性来学习退化表示。在CBDE学习的退化表示的指导下，退化引导的恢复网络（DGRN）旨在恢复具有各种退化的图像。由于CBDE和DGRN的协同作用，AirNet具有两个高度期望的优点，即：i）它提供了一种一站式解决方案，用于恢复具有不同损坏类型和比例的图像；ii）它不受损坏类型和比例的先验知识的限制。值得注意的是，所提到的一站式解决方案与现有的所谓统一图像恢复方法[3, 8,23]在某些方面有所不同。一方面，方法[3, 8,23]必须指定损坏类型和比例，而我们的方法不需要。另一方面，它们通常将多个退化视为多任务学习问题，其中每个输入和输出头对应于具有给定损坏比例的预定损坏。相比之下，AirNet是一个单通道网络，不区分不同的损坏类型和比例，因此具有更好的灵活性和更高的经济性。总结一下，本研究的贡献和创新如下：0•据我们所知，AirNet可能是第一种以全能方式从多种污染中恢复图像的方法。由于我们的方法不需要事先了解任何退化信息进行恢复，因此更接近于真实世界的情况。0•AirNet以双重方式工作，通过对观察图像进行对比学习来学习退化表示，然后使用学习到的退化表示恢复清晰图像。值得指出的是，对比学习的成功在很大程度上依赖于正样本和负样本的构建。本文展示了一种新颖的方法，能够有效捕捉多重退化的特征。0•在不损失泛化能力的情况下，我们进行了大量实验证明AirNet在降噪、去雨和去雾方面的有效性，与17个基准方法进行了比较。02. 相关工作0在本节中，我们将简要回顾一些与本问题相关的最新发展和方法。0本文主要关注图像恢复和对比学习两个方面。02.1. 图像恢复0根据本文的重点，现有的图像恢复方法可以分为两类，即单一退化图像恢复（IRSD）和多重退化图像恢复（IRMD）。单一退化图像恢复：IRSD旨在从仅受特定退化类型污染且具有固定污染比例的退化观测中恢复出清晰图像。例如，作为开创性的深度降噪方法之一，DnCNN[53]无法处理多重退化情况，甚至在训练过程中未见过的噪声比例下会失败。其他图像恢复任务也面临类似的挑战，例如去模糊[2, 12, 29,32-34, 36]，去雨[10, 17, 24, 42, 46, 49, 50, 52]，去雾[1,15, 20, 25, 28, 35, 37, 38]。最近的一些工作[13, 26, 39,51]表现出一定的泛化能力，适用于不同的退化情况。然而，它们需要为不同的退化训练不同的模型，这在实践中并不是一个全能解决方案。多重退化图像恢复：最近，一些工作[3,23]通过采用多输入和多输出的网络结构将注意力转向IRMD。例如，李等人[23]提出了一个全能模型，可以处理多种恶劣天气的退化（例如雨、雾和雪），每种退化都由一个编码器专门处理。陈等人[3]提出了一种基于Transformer的图像恢复方法，通过使用多头和多尾的架构处理多重退化。与我们的方法最相似的方法可能是[8]。然而，该方法仍然需要事先了解输入的一些先验信息（例如噪声比例和JPEG质量），以便以元学习的方式对网络进行参数化。总之，尽管上述方法已经迈向了IRMD，但它们仍然需要事先了解退化信息，以便将输入发送到正确的头部或生成元信息。02.2. 对比学习0对比学习[4, 14,41]是最先进的无监督表示学习方法，旨在最大化正样本之间的相似性，同时最小化负样本之间的相似性，其中正样本和负样本是通过数据增强获得的。最近的一些研究表明，对比学习在图像恢复方面[43,47]的有效性。值得注意的是，尽管DASR[43]和我们的AirNet都利用对比学习来捕捉退化信息，但它们在某些方面有明显的区别。首先，正样本和负样本的定义不同。事实上，对比学习的成功在很大程度上依赖于构建3174540图2.所提出的AirNet的架构。（a）全能图像恢复网络（AirNet）；（b）对比退化编码器（CBDE）；（c）退化引导组（DGG）；（d）退化引导模块（DGM）。0正样本和负样本对是许多工作的重点[4]。其次，任务不同。简而言之，DASR专门设计用于图像超分辨率，而AirNet提出了处理多种退化的全能方法。第三，尽管任务不同，DASR需要指定图像超分辨率的比例，而AirNet不需要任何退化参数。03. 提出的方法0在本节中，我们详细介绍了所提出的方法，它包括对比退化编码器（CBDE，f_C(∙)）和退化引导恢复网络（DGRN，f_D(∙)），如图2所示。对于给定的退化图像x，AirNet首先将其输入到 f_C(∙) 中，学习潜在的退化表示z = f_C(x)。然后，x 和 z 进一步通过 f_D(∙)传递，得到恢复的图像 y' = f_D(x,z)。为了不失一般性，我们在本文中考虑了三种常见的退化，即噪声、雾和雨。接下来，我们将首先介绍整体损失函数，然后详细介绍两个子网络及其相应的损失。03.1. 目标函数0为了去除观察到的图像中的损坏，我们提出以下目标函数：0L = L_Rec + L_cl，(1)0其中 L_Rec 是地面真实值 y 和恢复的干净图像 y'之间的重建损失。第二个损失 L_cl是CBDE的对比损失。对于给定的退化图像 x，L_Rec的目标是最小化 y 和恢复的干净图像之间的 L_1 距离。0y' = f(x) 通过AirNet。数学上，0L_Rec = 10i=1 | f(x_i) - y_i | (2)0其中 T 是 x 的像素数，i 是像素的索引。与 L_Rec不同，L_cl是CBDE的特定损失，旨在学习不同退化的表示，同时保留它们可能的差异。更多细节将在第3.2节中介绍。03.2. 对比退化编码器0基于对比的退化编码器旨在从输入 x 中提取潜在的退化表示z。为了使AirNet能够处理多种非特定的退化，期望 z具有以下两个特性。首先，z应该适应不同的退化。换句话说，对于具有不同退化的输入，即使图像内容相同，相应的 z也应该不同。为了实现这一点，我们利用对比学习通过最大化具有相同退化的两个输入的一致性（即正样本），同时最小化不同退化之间的一致性（即负样本）来学习z。具体而言，对于退化表示 q，k+ 和 k-分别是相应的正样本和负样本。然后，L_cl 可以重新表述为0L_cl = -log exp(q ∙ k+ / τ) ∑ K i=0 exp(q ∙k-i / τ) (3)0其中 τ 是一个温度超参数，取值范围为 [14, 48]，K表示负样本的数量。具体来说，对于给定的输入 x，我们从x 中随机裁剪出两个补丁，分别命名为 x_q 和x_k+。由于同一图像中的退化应该是一致的，我们将 x_q和 x_k+ 视为正样本。F m,b,gDGM = Φm,b,gDGM(F m−1,b,g, z)= Φm,b,gDCN(F m−1,b,g|z) + Φm,b,gSF T (F m−1,b,g|z),(4)Φm,b,gDCN(F m−1,b,g|z) =wk·F m−1,b,g(p+pk+∆pk)·∆mk,4174550正样本对。相反，来自其他图像的补丁被视为相对于 x_q的负样本 x_k-。通过CBDE获得的补丁对应的中间表示v_q、v_k+ 和 v_k- 进一步被输入到一个两层MLP中，得到q、k+ 和k-。为了学习一个退化空间，其中不同退化的区分性得到保留，使用了公式3。0由于我们基于对比学习的解决方案，学习到的退化表示具有以下优势。确切地说，它不依赖于明确定义损坏图像与清晰图像之间关系的数学模型，而现有方法 [ 1 ,  37 ]则依赖于这样的先验知识。因此，它避免了对这种先验知识的依赖，其性能与确切定义无关。特别是当关系始终未知或不精确时，我们的方法在处理混合多种退化或来自自然界的退化（如雨和雾）时更具竞争力。另一方面，我们的方法将不同的退化统一到同一子空间中，同时保留它们的差异。相比之下，现有的单一/多重退化方法从不同的子空间中学习不同退化的表示，因此失去了退化之间的可比性和关系。例如，具有 0.1 和 0.2修复率的高斯噪声应该与雾化退化在潜在空间中更接近。显然，我们的对比退化表示具有这样的特性，对于处理具有多种退化的数据至关重要。0其次，z应尽可能保留空间结构以便于图像恢复。为此，我们采用CBDE 的第一层输出作为 z，而不是最后一层。换句话说，z是一个张量而不是向量，因此可以保留上下文信息。此外，由于 z与输入和中间层的输出具有相同的维度，它可以灵活地与其他特征连接，并与现有的神经网络（如 DCN [ 6 ] 和 SFT [44 ]）兼容。03.3. 退化引导恢复网络0通过 CBDE 学习到的 z ，DGRN用于从具有未知退化的输入中恢复清晰图像。如图 2所示，DGRN 由五个退化引导组 (DGG)构建，每个组又由五个退化引导块 (DGB) 组成。在每个DGB 中，采用两个退化引导模块 (DGM) 来在 z的引导下恢复清晰图像。0如上所述，DGM 是 DGRN 的基本模块，由可变形卷积(DCN) 层和空间特征变换 (SFT) 层组成。0数学上，0其中 Φ m,b,g DGM 是第 m 个 DGM 关于第 b 个 DGB的第 g 个 DGG的输出，F m − 1 ,b,g 是第 ( m − 1) 个DGM 关于第 b 个 DGB 的第 g 个 DGG的输出。Φ DCN 和Φ SF T 分别是 DCN 和 SFT 层。DGM的设计旨在实现以下两个目标。一方面，不同的退化应该具有不同的感受野，因此期望模型能够适应不同的退化。为此，DGM 使用了可变形卷积 (DCN) [ 56]，它可以根据调制偏移和掩码动态调整感受野。具体而言，给定一个可变形卷积核的 K 个采样位置，设 w k 和 p k ∈ {( − 1 ,  − 1) ,  ( − 1 ,  0) ,  ∙ ∙ ∙  ,  (1 ,  1) } 分别表示第 k个位置的权重和预定义的偏移量，则 DGM 中使用的 DCN层定义如下：0K是0(5) 其中 F m − 1 ,b,g ( p ) 表示特征图 F m − 1 ,b,g在位置 p 处的特征。∆ p k 和 ∆ m k 是位置 k的可学习偏移和调制标量。在我们的实现中，AirNet使用卷积层 conv ( ∙ ) 来学习 ∆ p k 和 ∆ m k ，其输入是 F m − 1,b,g 和 z 的连接。即，0(∆ p k , ∆ m k ) = conv(concat(F m−1,b,g, z)), (6)0其中concat(∙)是连接运算符。另一方面，由于不同的退化图像具有不同的潜在分布，期望该方法能够通过调整F的分布来缩小分布差距，从而具有更强的多重退化恢复能力。为此，DGM采用SFT[44]作为一个组件，根据z调整F的分布，即F m,b,g SF T =Φ m,b,g SF T ( F m−1,b,g | z )。 (7)0具体来说，SFT层旨在学习一个映射函数M，为给定的z输出一个调制参数(γ和β)。然后，SFT通过缩放和平移特征Fm−1,b,g进行仿射变换。数学上表示为：0F m,b,g SF T = Φ m,b,g SF T ( F m−1,b,g | γ, β ) = γ ⊙ Fm−1,b,g + β, (8)0其中⊙表示逐元素乘法，(γ, β) =M(z)。在我们的实验中，我们使用两个卷积层来实现M。5174560表1. 在BSD68和Urban100数据集上的图像去噪定量结果。最佳结果以粗体显示。0方法 BSD68 Urban1000σ = 15 σ = 25 σ = 50 σ = 15 σ = 25 σ = 500CBM3D [5] 33.50/0.9215 30.69/0.8672 27.36/0.7626 33.93/0.9408 31.36/0.9092 27.93/0.8404 DnCNN[53] 33.89/0.9290 31.23/0.8830 27.92/0.7896 32.98/0.9314 30.81/0.9015 27.59/0.8331 IRCNN [54]33.87/0.9285 31.18/0.8824 27.88/0.7898 27.59/0.8331 31.20/0.9088 27.70/0.8396 FFDNet [55]33.87/0.9290 31.21/0.8821 27.96/0.7887 33.83/0.9418 31.40/0.9120 28.05/0.8476 BRDNet [40]34.10/0.9291 31.43/0.8847 28.16/0.7942 34.42/0.9462 31.99/0.9194 28.56/0.8577 AirNet 34.14/0.935631.48/0.8928 28.23/0.8057 34.40/0.9487 32.10/0.9240 28.88/0.87020图3. 在BSD68数据库上与SOTA去噪方法的比较。建议对一些区域进行放大以获得更好的可视化和比较效果。04. 实验0在本节中，我们通过与17个基准线进行比较，在四个广泛使用的数据集上评估了提出的方法。接下来，我们将首先介绍实验设置，然后展示基准测试的定性和定量结果。最后，我们将进行一些消融研究，以验证我们方法的有效性。04.1. 实验设置0在本节中，我们介绍使用的数据集、基准线、评估指标和实现细节的详细信息。数据集：在我们的实验中，我们使用以下六个数据集进行评估，即BSD400、BSD68 [31]、WED[30]和Urban100用于去噪；Rain100L[49]用于去雨；RESIDE[22]用于去雾。具体来说，BSD400包含400个清晰的自然图像，BSD68包含68个自然图像。WED包含从互联网收集的4,744个自然图像，Urban100有100个清晰图像。对于图像去噪，我们使用BSD400和WED的组合作为训练集，使用BSD68和Urban100的组合作为测试集，类似于[55]。按照0对于去噪[40,53-55]，噪声图像是通过手动向清晰图像添加白高斯噪声来生成的，有三个损坏级别，即σ = 15, 25,50。对于去雨，我们在Rain100L上进行实验，该数据集包含200个雨天-清晰训练对和100个测试图像对。对于去雾，我们在RESIDE数据集[22]上进行实验，该数据集包括用于训练和测试的Outdoor Training Set (OTS)和SyntheticObjective Testing Set(SOTS)。简而言之，OTS包含72,135个户外有雾-清晰图像对，SOTS包含500个户外有雾-清晰图像对。0基准线：为了全面比较，我们将我们的方法与五种去噪方法、五种去雨方法、五种去雾方法、一种图像恢复方法和一种IRMD方法进行比较。具体来说，去噪基准线包括CBM3D[5]、DnCNN [53]、IR-CNN [54]、FFDNet[55]和BRDNet [40]。去雨基准线是DIDMDN [52]、UMRL[50]、SIRR [46]、MSPFN [17]和LPNet[11]。去雾基准线是DehazeNet [1]、MSCNN[37]、AOD-Net [21]、EPDN [35]和FDGAN[7]。图像恢复基准线是MPR-Net[51]。IRMD基准线是Decouple Learning (DL)[8]。为了全面展示有效性6174570表2. 在Rain100L数据集上的图像去雨定量结果。最佳结果以粗体显示。0指标DIDMDN [52] UMRL [50] SIRR [46] MSPFN [17] LPNet [11] AirNet0PSNR 23.79 32.39 32.37 33.50 33.61 34.90 SSIM 0.7731 0.9210 0.9258 0.9480 0.95830.96600图4. 在Rain100L数据库上的SOTA去雨方法的比较。建议对一些区域进行放大以获得更好的可视化和比较效果。0表3. 在SOTS数据集上的图像去雾定量结果。最佳结果以粗体显示。指标DehazeNet [1] MSCNN[37] AODNet [21] EPDN [35] FDGAN [7] AirNet0PSNR 22.46 22.06 20.29 22.57 23.15 23.18 SSIM 0.8514 0.9078 0.8765 0.8630 0.92070.90000为了验证我们方法的有效性，我们进行了两种不同的设置，即在特定的退化上逐个训练AirNet（OBO）和在所有退化上一次性训练AirNet（AIO）。换句话说，AIO下的AirNet是在包含三种退化（即噪声、雨和雾）和不同退化水平（即σ =15、25、50）的所有数据集的训练模型。评估指标：根据[7, 11,40]，我们使用两个常用的指标进行定量比较，即峰值信噪比（PSNR）[16]和结构相似性（SSIM）[45]。这些指标的较高值表示方法的性能更好。训练细节：我们在NVIDIAGeForce RTX 2080TiGPU上使用PyTorch进行实验。为了优化AirNet，我们使用默认的ADAM优化器[18]和最大迭代次数设置为1500。为了热身，我们首先通过优化Lcl进行100次迭代来训练CBDE。然后，我们使用L对整个网络进行1400次迭代的训练。学习率初始化为0.001，然后在60个epoch后降低为0.0001。之后，每经过125个epoch，学习率减半。在实验中，我们使用批量大小为...0的大小为400×N，补丁大小为128，其中N是退化类型的数量。04.2. 单一退化的比较0在本节中，我们展示了三个独立的图像恢复任务（即去噪、去雨和去雾）的定量和定性结果。去噪：表1报告了在BSD68和Urban100上与五种逐个设置下的去噪方法进行比较的结果。从结果中可以看出，AirNet在几乎所有测试中都取得了最佳结果。除了在定量评估上的优势外，AirNet在定性比较中也显示出优越性，如图3所示。由于空间限制，我们将更多结果放在补充材料中。去雨：从表2和图4可以看出，AirNet在所有去雨基线方法中也明显优于其他方法。例如，在PSNR和SSIM方面，AirNet分别比OBO设置下的最佳方法高出1.4和0.0074。去雾：如表3和图5所示，AirNet在PSNR方面略优于最佳基线方法。更具体地说，...BRDNet [40]32.26/0.897729.76/0.835526.34/0.693427.42/0.895223.23/0.895227.80/0.8434LPNet [11]26.47/0.778024.77/0.747721.26/0.552224.88/0.783720.84/0,827723.64/0.7379FDGAN [7]30.25/0.910328.81/0.868226.43/0.775729.89/0.932924.71/0.929428.02/0.8833MPRNet [51]33.54/0.927430.89/0.879727.56/0.779233.57/0.954225.28/0.954530.17/0.8990DL [8]33.05/0.914030.41/0.860626.90/0.740132.62/0.931426.92/0.931429.98/0.8755AirNet33.92/0.932931.26/0.888428.00/0.797434.90/0.967527.94/0.961531.20/0.90957174580图5. 在SOTS数据库上的SOTA去雾方法的比较。建议对一些区域进行放大以获得更好的可视化和比较效果。0表4. 在三个具有挑战性的数据集上的性能比较。最佳结果以粗体显示。0类型 方法 去噪 去雨 去雾 平均 BSD68 (σ = 15) BSD68 (σ = 25) BSD68 (σ = 50) Rain100L SOTS0逐个0BRDNet [40] 34.10/0.9291 31.43/0.8847 28.16/0.7942 33.15/0.9490 23.31/0.9116 30.30/0.8937 LPNet [11] 32.31/0.923627.87/0.8674 25.71/0.7656 33.61/0.9583 21.43/0.8631 28.19/0.8756 FDGAN [7] 31.11/0.9147 29.57/0.8770 27.12/0.789531.14/0.9422 23.15/0.9207 28.42/0.8888 MPRNet [51] 34.01/0.9334 31.34/0.8892 28.10/0.8014 38.26/0.9816 28.21/0.967231.98/0.9146 DL [8] 33.25/0.9225 30.38/0.8679 26.68/0.7415 33.94/0.9456 24.68/0.9243 29.79/0.8804 AirNet 34.14/0.935631.48/0.8928 28.23/0.8057 34.90/0.9660 23.18/0.9000 30.38/0.90000全部0从PSNR的角度来看，AirNet比FDGAN高0.03。然而，视觉结果显示，AirNet能够恢复更多人类喜欢的细节。04.3. 多重退化的比较0AirNet最吸引人的地方是它能够在一个框架中处理不同的未知退化。在本节中，我们进行实验来验证AirNet在这种设置下的有效性。为此，我们选择了五种IRSD方法（即BRDNet[40]，LP-Net [11]，FDGAN [7]和MPRNet[51]）和一种IRMD方法（即DL[8]）作为基准。为了公平和广泛的比较，我们使用前面提到的两种设置重新训练这些方法，即逐一和全部。如表4所示，可以观察到在大多数情况下，AirNet优于所有基准方法。需要指出的是，尽管DL也可以处理多种退化，但它需要知道损坏类型和级别，以便能够指定网络的头部和尾部。0网络的头部和尾部可以指定。04.4. 组合退化的结果0在本节中，我们使用不同组合的多种退化训练AirNet，以分析受损数据集对性能的影响。如表5所示，更多的退化将导致降噪更加困难，而从去雨和去雾任务中无法得出相同的结论。有趣的是，去雨对降噪有帮助，而去雾则受益于所有退化的组合。未来还需要进行更多的实证研究和理论分析。04.5. 空间变异退化的结果0在本节中，我们进行实验来证明AirNet在空间变异退化方面的有效性，即同一图像的不同区域具有不同的损坏。34.14/0.935531.49/0.892828.23/0.8058-----34.90/0.9657-----23.18/0.900034.11/0.935231.46/0.892328.19/0.804238.31/0.9824-33.97/0.933731.32/0.889128.06/0.7992-23.72/0.9375---32.50/0.946526.78/0.957733.92/0.933031.26/0.888128.01/0.797634.90/0.967527.94/0.9615PSNR25.0923.8322.7822.7127.2626.1031.42SSIM0.64570.50370.38830.37900.74100.75280.8922w.o. SFT34.12/0.935431.47/0.892428.22/0.805134.37/0.948432.07/0.923428.84/0.8691w.o. DCN34.03/0.934231.36/0.889828.08/0.798534.21/0.946731.83/0.919728.49/0.8597Ours34.14/0.935531.49/0.892828.23/0.805834.40/0.948732.10/0.924128.88/0.86998174590表5. 退化组合的消融研究。在表中，“ � ”表示带有退化的AirNet，“ − ”表示结果不可用，最佳结果以粗体显示。0退化 降噪 去雨 去雾0噪声 雨 雾 BSD68 ( σ  = 15 ) BSD68 ( σ  = 25 ) BSD68 ( σ  = 50 ) Rain100L SOTS0表6. 空间变异退化的定量结果。最佳结果以粗体显示。0方法 CBM3D [ 5 ] DnCNN [ 53 ] IRCNN [ 54 ] FFDNet [ 55 ] BRDNet [ 40 ] DL [ 8 ] Ours0表7. BSD68和Urban100的消融研究。最佳结果以粗体显示。0数据集 BSD68 Urban1000噪声水平 σ  = 15 σ  = 25 σ  = 50 σ  = 15 σ  = 25 σ  = 500为了达到这个目的，我们合成了一个降级版本的BSD68，其中包含空间变异噪声。具体来说，我们将每个清晰图像分为四个区域，分别添加了标准差为σ∈{0，15，25，50}的高斯噪声。表6显示，AirNet在这种评估协议下也能有效恢复潜在的清晰图像。04.6. 割舍研究0为了证明我们网络结构的有效性，我们在BSD68上进行了割舍研究，删除了DCN层和SFT层之一。从表7可以看出，DCN层和SFT层对于改善AirNet的性能都很重要。05. 结论0在本文中，我们提出了一种全能图像恢复网络（AirNet），它不受破坏类型和级别的先验限制。同时，该方法是一种解决不同破坏下图像恢复问题的全能解决方案，适用于各种实际场景，其中先验很难预知或退化可能随时间和空间变化。广泛的实验结果表明，AirNet在定性和定量方面具有优势。0定性和定量比较。06. 不足之处和更广泛的影响0尽管AirNet在三个图像恢复任务及其组合中表现出优势，但其在其他破坏（如模糊和下雪）方面的性能尚不清楚。此外，进一步探索不同组合退化导致不同结果的原因也是值得研究的，如第4.5节所示。从更广泛的视角来看，尽管AirNet可以适应不同的破坏并避免在不同破坏上使用同一算法的多个模型，但仍需要大量资源来优化该方法，从而导致碳排放和间接的气候变暖。0致谢0本工作得到中国国家重点研发计划资助，编号2020AAA0104500；得到国家自然科学基金委员会资助，编号U21B2040，U19A2081，61836006和U19A2078；得到四川大学明天推进生活基金资助。9174600参考文献0[1]蔡博伦，徐向民，贾奎，青春梅和陶大成。DehazeNet：用于单幅图像去雾的端到端系统。IEEE图像处理交易，25（11）：5187-5198，2016年1月。1，2，4，5，60[2] 曹晓春，任文琪，左旺盟，郭晓杰和HassanForoosh。使用文本特定多尺度字典的场景文本去模糊。IEEE图像处理交易，24（4）：1302-1314，2015年。20[3]陈翰庭，王云鹤，郭天宇，徐畅，邓一平，刘振华，马思伟，徐春静，徐超和高文。预训练的图像处理变换器。在IEEE计算机视觉和模式识别会议上，页12299-12310，2021年6月。20[4] 陈婷，Simon Kornblith，Mohammad Norouzi和GeoffreyHinton。对比学习视觉表示的简单框架。在机器学习国际会议上，页1597-1607，2020年7月。2，30[5] Kostadin Dabov，Alessandro Foi，VladimirKatkovnik和KarenEgiazarian。通过亮度-色度空间中的稀疏3D协作滤波和分组约束进行彩色图像去噪。在国际图像处理会议上，页313-316，圣安东尼奥，2007年9月。1，5，80[6]戴继峰，齐浩志，熊宇文，李毅，张国栋，胡瀚和魏一晨。可变形卷积网络。在国际计算机视觉会议上，页764-773，威尼斯，意大利，2017年10月。40[7]于东，刘一豪，张贺，陈世峰和乔宇。FD-GAN：具有融合判别器的生成对抗网络用于单幅图像去雾。在AAAI人工智能会议上，页10729-10736，纽约，2020年1月。1，5，6，70[8]范青南，陈东东，袁路，华刚，于能海，陈宝权。一种用于参数化图像算子的通用解耦学习框架。《IEEE模式分析与机器智能期刊》，43(1)：33-47，2021年1月。2，5，7，80[9]范鑫，王毅，唐先选，高仁杰，罗中轩。带有示例选择的两层高斯过程回归用于图像去雾。《IEEE视频技术电路与系统期刊》，27(12)：2505-2517，2016年1月。10[10] 付学阳，黄嘉斌，曾德禄，黄越，丁兴浩，JohnPaisley。通过深度细节网络从单幅图像中去除雨水。《IEEE计算机视觉与模式识别会议》，火奴鲁鲁，夏威夷，2017年6月。1，20[11] 付学阳，梁博荣，黄越，丁兴浩，JohnPaisley。轻量级金字塔网络用于图像去雨。《IEEE神经网络与学习系统期刊》，31(6)：1794-1807，2020年6月。1，5，6，70[12]高鸿运，陶鑫，沈晓勇，贾佳亚。具有参数选择共享和嵌套跳跃连接的动态场景去模糊。《IEEE计算机视觉与模式识别会议》，Online，2020年6月。0[15]何恺明，孙剑，唐晓欧。使用暗通道先验的单幅图像去雾。《IEEE计算机视觉与模式识别会议》，迈阿密，佛罗里达州，2009年6月。1，20[13]苟元标，李博云，刘子涛，杨松帆，彭曦。CLEARER：用于图像修复的多尺度神经架构搜索。《神经信息处理系统会议》，在线，2020年12月。20[14] 何恺明，范浩琦，吴宇新，谢赛宁，RossGirshick。动量对比用于无监督视觉表示学习。《IEEE计算机视觉与模式识别会议》，在线，2020年6月。2，30[15]何恺明，孙剑，唐晓欧。使用暗通道先验的单幅图像去雾。《IEEE计算机视觉与模式识别会议》，迈阿密，佛罗里达州，2009年6月。1，20[16] Quan Huynh-Thu和MohammedGhanbari。PSNR在图像/视频质量评估中的有效范围。《电子信件》，44(13)：800-801，2008年6月。60[17]姜奎，王中元，易鹏，陈晨，黄宝金，罗一敏，马佳艺，姜俊俊。用于单幅图像去雨的多尺度渐进融合网络。《IEEE计算机视觉与模式识别会议》，在线，2020年6月。1，2，5，60[18] Diederik P Kingma和Jimmy LeiBa。Adam：一种随机优化方法。《国际学习表示会议》，圣地亚哥，加利福尼亚州，2015年5月。60[19]李博云，苟元标，顾书航，刘子涛，周天意，彭曦。只看你自己：无监督和未训练的单幅图像去雾神经网络。《国际计算机视觉期刊》，129(5)：1754-1767，2021年5月。10[20]李博云，苟元标，刘子涛，朱宏远，周天意，彭曦。零样本图像去雾。《IEEE图像处理期刊》，29：8457-8466，2020年8月。20[21]李博毅，彭秀莲，王章阳，徐继正，冯丹。AOD-Net：一体化去雾网络。《国际计算机视觉会议》，威尼斯，意大利，2017年10月。5，60[22]李博毅，任文琪，傅登攀，陶大成，冯丹，曾文军，王章阳。单幅图像去雾及其拓展的基准测试。《IEEE图像处理期刊》，28(1)：492-505，2019年1月。50[23]李若腾，陈罗比，张龙发。一体化的坏天气去除方法使用架构搜索。《IEEE计算机视觉与模式识别会议》，在线，2020年6月。20[24]李霞，吴建龙，林宙辰，刘宏和查洪斌。用于单幅图像去雨的循环挤压激励上下文聚合网络。在欧洲计算机视觉会议上，页码262-277，德国慕尼黑，2018年9月。20[25]李岩，程德，孙建德，张定文，王楠楠和高新波。独立细节恢复网络的单幅图像去雾。arXiv.org，2021年9月。210174610[26] 刘丁，文必涵，范宇晨，陈长乐和Thomas SHuang。用于图像恢复的非局部循环网络。在神经信息处理系统上，页码1680-1689，加拿大蒙特利尔，2018年12月。20[27]刘建钊，林建新，李鑫，周伟，刘森和陈志波。LIRA：从未知混合失真中进行终身图像恢复。在欧洲计算机视觉会议上，页码616-632，2020年8月。10[28]刘日生，范鑫，侯敏军，姜志英，罗中轩和张磊。学习聚合传输传播网络进行除雾和更多。IEEE神经网络和学习系统交易，30（10