基于测试时间训练的多域单图像去雾

15831--基于测试时间训练的多域单图像去雾刘欢1，吴子军1，李良艳1，萨达夫·萨勒赫卡莱巴尔1，陈军1，王克燕21麦克马斯特大学，2西安电子科技大学liuh127，wuz146，lil61，salehkas，kywang@mail.xidian.edu.cnmcmaster.ca摘要近年来，由于采用了深度神经网络和各种数据集，在单图像去雾当训练和测试在单个数据集上进行时，大多数的预测方法表现良好。然而，它们无法使用在特定数据集上训练的去雾模型来处理不同类型的模糊图像。一种可能的补救方法是联合对多个数据集进行训练。然而，我们观察到这种训练策略往往会损害单个数据集上的模型性能出于这一观察结果，我们提出了一种测试时训练方法，该方法利用辅助网络来帮助去雾模型更好地适应感兴趣的领域。具体而言，在测试期间，辅助网络评估去雾结果的质量，然后通过自我监督来调整其参数，从而指导去雾网络改善质量。然而，包括的辅助网络并不能自动确保所需的性能改善。出于这个原因，采用Meta学习方法来使去雾和辅助网络的目标我们证明了所提出的方法的有效性，提供了广泛的支持实验。1. 介绍单幅图像去雾是低层计算机视觉中的一个经典而又活跃的研究课题，其目的是从退化的模糊图像中恢复出清晰的图像。最近，许多深度学习方法[5，10，14，22，25，26，31，35，45，49，50]已经提出通过训练神经网络来近似从模糊图像到无模糊地面实况的映射来解决这个问题。随着越来越多的去雾数据集的发布，如RESIDE [23]，O-Haze [3]和NH-Haze [2]，这些方法能够证明它们在处理不同烟雾模式方面的出色能力然而，有一个重要问题有待考虑，即，处理不同类型图1：四个数据集的GDN [26]，MSBDN [11]和DW-GAN [14]的平均PSNR值可以观察到，如果在单个数据集上进行训练和验证，则去雾方法执行得更好一个网络的模糊图像。具体地说，当前的方法通常在特定数据集的训练分割上进行训练，并在相应的测试分割上进行测试例如，通过验证在RESIDE室内训练集上训练的去雾模型来获得RESIDE室内测试集[23这种评估策略允许神经网络专注于特定领域，但回避了跨数据集学习通用模型的重要问题。一个看似简单的解决方法是在所有可用的数据集上联合训练一个去雾模型。然而，随着数据的增加，网络可以从考虑更多种类的雾模式中受益，从而提高每个数据集的性能[1]。令人惊讶的是，我们发现这种天真的解决方案实际上损害了单个数据集的去雾性能。事实上，从图1可以看出，当在单个数据集上进行训练和测试时，去雾模型表现得更好（与在单个数据集上进行训练和测试相反）。所有数据集合并）。这一不寻常的事实与通常认为数据的增加通常会导致性能的改善相矛盾。一种可能的解释是，26.9326.2526.1126.1325.7225.5824.7724.0923.9815832图2：使用t-SNE的图像特征可视化[42]。图像特征是使用在ImageNet [9]上预训练的ResNet18 [16]这些特征聚集在四个不同的中心，这一事实表明这些数据集的分布之间存在明显的差异。数据集具有特定的分布，该分布可能与另一个数据集的分布显著不同（参见图2）。图3显示了所考虑的四个数据集的代表性示例，其中可以观察到四个数据集的雾度模式和背景场景彼此显著不同。在RESIDE室内和室外数据集中，霾模式是均匀的，但背景场景有很大差异（室内与室外环境）。在O-Haze和NH-Haze数据集中，背景场景是一致的（户外环境），但烟雾模式具有显著的区别。在这种背景下，在多个数据集上学习通用的去雾模型可以被归类为多域学习（MDL）问题。在本文中，我们提出了一种方法，可以使一个单一的去雾模型，以应付多个领域。在这里，每个域由具有独特的雾模式和场景的数据集形成。我们的目标是找到一个模型，可以最小化的风险收集域的dehaz- ing任务。请注意，我们的问题定义与领域适应和多任务学习的相关领域有很大不同，因为前者旨在最小化特定目标领域的风险，而后者则对与单个领域配对的任务集合进行优化。原则上，可以通过遵循MDL中的常见实践来解决重新模拟的多域去雾问题。然而，这需要设计复杂的神经网络结构与域特定的模块，这是一个非常不平凡的和繁琐的任务。为了减轻设计负担，我们提出了一种新的MDL方法，通过帮助给定的去雾，RESIDE室内RESIDE室外O-Haze NH-Haze图3：RESIDE室内/室外、O-Haze和NH-Haze的代表性示例。使网络在需要时适应特定的域。为了实现这一点，我们提出了一种方法来调整在测试阶段的去雾网络。在该方法中，网络的参数使用自监督损失函数进行优化，该自监督损失函数基本上由称为辅助网络的另一实体提供。该网络被设计为使用成对的模糊和无模糊图像（跨多个域）来学习不同的模糊模式，并输出输入到其中的模糊图像的重建版本。在测试时，辅助网络使用其知识来评估去模糊网络的输出质量，即去模糊图像。换句话说，这个图像与其对应的模糊对应物一起被作为其输入提供给辅助网络。如果辅助网络的输出接近模糊图像，则预计会有小然而，如果去雾图像是有缺陷的，则可能在辅助网络处导出大的重建损失。考虑到去雾图像的质量可以用辅助网络的重建损失来表征，我们通过最小化这个损失函数来更新去雾网络的参数。现在自然会出现一个问题：如何通过最小化辅助网络的重建损失来保证去雾网络的端到端性能为了确保两个网络目标之间的一致性，我们采用元学习方法[8，13，41]。这里，元学习的目标是通过最小化辅助网络的重建损失来调整去雾网络的参数，使得基于经调整的参数的去雾输出更好地匹配地面实况无雾图像。我们的贡献可归纳如下。首先，我们指出了在单图像去雾中一个很大程度上未被注意的现象，即在多个数据集15833i=1我LLi=1--在单个数据集上表现出受损的性能。这导致设计一个去雾模型分布明智的独特的数据集作为MDL问题的制定。其次，我们提出了一个解决方案，通过引入一个测试时的训练方法，以更好地适应去雾网络的每一个单一的观察。最后，我们提供了大量的实验来证明我们提出的方法在解决多域去雾问题的有效性。2. 相关作品2.1. 单幅图像去雾大多数传统的单图像去雾方法[4，12，15，53]是基于使用统计先验的大气散射模型（ASM）中的参数估计然而，它们在处理复杂的真实场景时并不健壮。最近，通过使用深度学习方法在单图像去雾方面取得了重大进展。尽管[5，22，29，34，40，47]仍然依赖于ASM，但他们提出采用神经网络首先估计透射率，然后恢复它。由于ASM的局限性，使其不是建模复杂烟雾模式的有效方法，其他作品[6，11，17，24，26，27，31，32，35，46，51]使用端到端深度神经网络直接学习从烟雾图像到无烟雾对应物的映射。另一系列作品[7，21，37]主要关注使深度学习系统能够处理自然模糊图像。例如，在[37]中，在多个合成域上训练模型，并在特定的真实域上评估性能。数据集。我们的工作不同于[37]，因为模块可以激活对特定域负责的模型参数。这种方法仍然依赖于精确的网络设计。然而，我们提出的方法是模型不可知的，可以使用一个即插即用的方式。2.3.图像复原元学习，也称为学习学习，最近在计算机视觉社区引起了关注。特别是，模型不可知元学习（MAML）[13]被广泛用于图像恢复，以提高深度神经网络的泛化能力。例如，[30，39]采用MAML进行超分辨率。Meta目标是学习一个模型，可以快速适应新的场景。[8]提出使用元辅助学习[41]进行测试时动态场景去模糊。除了在处理的问题中的明显差异之外，我们的工作提供了关于测试时间训练的两个一般性见解[8]。1)可以通过构建与主网络分离（可能是现成的）的辅助网络来实现测试时间训练，以在测试时间期间提供自我监督。这个想法是广泛适用的。它解除了在一个框架中联合处理主要任务和辅助任务的负担，并为广泛采用测试时培训扫清了道路2)助手网络应该通过考虑手头问题的特殊特性（例如，ASM是唯一的去雾），以最大限度地提高效益的测试时间培训。3. 方法假设我们有N个去雾域{D}N的集合，其中M个配对的有雾和无雾图像。我们提出的网络的性能在不同的域上被验证。2.2.多领域学习多域学习（MDL）旨在使模型能够最大限度地降低多个域的风险。通常，模型参数可以根据其功能分为两个不同的部分。具体来说，当一部分专注于学习跨不同领域的共享表示时，另一部分学习特定于领域的映射关系[19，28，33，36，48]。最近的工作考虑开发一个通用的系统，没有明确学习跨域或域特定的表示。例如，[38]提出了一种基于单一模型的方法来解决医学成像中的问题。它使用元学习来动态估计损失函数中的超参数。注意[38]和我们的Meta目标之间的差异，即，我们的Meta目标是学习损失的一致性。[43]介绍了一种通用对象检测器，它由使用域注意模块的单个网络组成。这些年龄 我，吉姆。我们的目标是训练一个dehazi ng模型f能够在所有领域都表现良好但随着如前所述，我们通过实验发现，在单个领域上训练的模型通常可以优于在多个领域上训练的模型。在本节中，我们提出了一个解决此问题的可能解决方案。 首先，我们训练去雾网络通过最小化使用来自N个域的所有图像对，以下是常用的损失函数：Ldehaze（J，J） =Lsmoth（J，J） +LPer（J，J），（1）其中，J和J分别表示去雾和无雾图像，smooth和Per分别表示平滑L1和感知损失[18]参数λ用于得到两个损失函数的加权组合注意，去雾网络可以是任何现有的良好设计的模型。其次，我们将开发一个帮助网络工作gnash来学习下面的3.1节中的haze模式。它基本上是用于确定去雾图像的质量D15834LLLL模糊清晰传输图4：学习haze模式的辅助网络它由3个堆叠的剩余通道注意组组成，采用RCAN [52]。其由去雾网络产生。也就是说，如果J接近J，则在辅助网络处预期有小的重建损失。在测试期间，网络可以通过最小化辅助网络的重建损失来更新其参数，如将在3.2节中讨论的。尽管该方法有助于去雾网络在特定雾度输入上获得改进的去雾损失，但是，通常不能保证改进的性能。为了解决这个问题，我们最终在下面的章节3.3将除雾和重建损失相互关联一旦元训练完成，我们的设置就能够进行测试时间训练，这使得去雾网络能够以自我监督的方式产生更清晰的去雾结果3.1. 学习Haze模式如前所述，给定一个去雾图像，我们的目标是有效地确定其质量并指导去雾，网络，以产生更清晰的对应。为了实现这一目标，我们构建了一个辅助网络来明确地学习多个领域的雾模式，并使用这些预先学习的知识来确定去雾图像的质量。网络结构如图4所示，它将成对的模糊和无模糊图像作为输入，然后输出-将雾度图案的两个关键组成部分，即，透射率t（x）和全球大气光A。然后，我们使用改进的大气散射模型（ASM）来侦察-通过以下方式构造模糊图像：图5：学习的传输图的图示。控制雾度的常数。然而，在我们提出的对该模型的修改中，不再假设参数k如图4所示，通过神经网络导出传输t（x）。使用这种方法，可以导出传输即使雾度不均匀。图5中示出了学习传输的图示。还值得强调的是，采用ASM模型进行模糊图像重建的一个目的是避免神经网络可以直接将输入模糊图像粘贴到输出侧而不同时处理模糊图像和无模糊图像的琐碎解决方案。由于神经网络和ASM模型是完全不同的，我们可以使用损失在组合域上优化网络（见图4）：Lrec（I，I） =Lsmoth（I，I） +LPrec（I，I），（3）其中I和I′分别表示模糊图像和重建的模糊图像一旦辅助网络被训练为收敛，它就能够通过联合采用模糊和无模糊图像来重建模糊图像3.2. 基于雾度重构的去雾技术在测试时间期间，去雾网络输出可能不同于地面实况无雾图像J的去雾图像J。 所以，喂J和我（朦胧的图像）作为输入到辅助网络，它输出一个雾度图案，其可导致有缺陷的重建雾度图像I+。因此，相应的损失rec（I+， I）小于rec（I，I）其中I是输出当I和J（haze和haze-free）图像）被馈送到其中。I_t（x） =J（x）t（x） +A（1-t（x）），（2）其中，I（x）和J（x）分别是像素x注意，在传统的ASM中，t（x）被定义为t（x） =e-d（x），其中d（ x ）表 示场 景深 度， 并 且参 数 d（ x ） 是传 统的ASM。受此启发，我们在去雾网络上执行测试时训练，以最小化r∈ c（I+，I）. 具体来说，我们使用以下方法分五步更新除雾网络rec（I+，I）通过以下方式：d←CASMRCAGRCAGRCAGRCAGConv 3 × 3 ConcatC15835Li=1LLD--⇥其中λ1表示学习率。在此，Rbad是根据rebad的去雾模型的更新的算法1：Meta训练Requir e：预训练的网络工作：f，g能量损失请注意，测试时培训的除雾网络是纯粹的自我监督，通过使用朦胧的图像要求：学习率λ1输出量：D Hλ2我，即，它不需要任何人工标记。理想情况下，通过最小化r∈c（I+， I），可以预期由更新的去雾网络产生的图像J随时间变得更接近地面实况J因此，我们最终可以使用更新后的去雾图像来产生改进的去雾图像。尽管有开发辅助网络以确定输出去雾结果是否是输入模糊图像的干净不幸的是我们元学习模型参数学习而不收敛对一批训练数据进行采样， Ii，JiM;我做的每一件计算已更新的参数：d=更新：✓d←d-λ2rdLdehaze（fd（Ii），Ji）将在我们的消融研究中显示，在第4.5节中，最小化Lrec（I+，I）并不总是等于最小化工作费埃克塞特，而优化是在PSDd 上 执 行 的。 当量dehaze（J，J），这意味着即使有时去雾网络的产生的输出J，j远离地面实况J，它也可以被辅助网络采用以重建更接近I的模糊图像I，j 问题是lem可能是这两个损失并不一致其他的，缺乏明确的联系。3.3. 学习元目标受最近的元学习方法[8，41]的启发，其中测试时训练是通过辅助损失进行的，我们进一步提出了一种跨模型的元学习方法。元训练的目标是学习去雾模型参数，使得通过基于重建损失优化参数来自发地最小化在元训练之前，我们预先训练去雾和辅助网络工作（budd和budh）。他们是独立训练的EQ。（1）和方程（3）分别。给定成对的训练数据（Ii，Ji），我们使用重建损失更新去雾网络，如下所示：d=（5）直观地说，此更新使去雾网络能够产生可由助手网络采用的结果，得到改进的重建模糊图像。考虑到我们打算使用去雾网络来最小化去雾损失的事实，我们通过鼓励执行来更新去雾网络如果辅助网络可以使用去雾图像来获得改进的重建模糊图像，则去雾网络的效率被最大化。为此，我们的Meta目标被正式定义为：ar gmindehaze（fd（Ii），Ji）.（六）✓d注意，去雾损失是使用由更新的去雾网络产生的去雾图像f_f（I）来计算的(6) 可以使用如下的梯度下降来实现：✓d←d-λ2rdLdehaze（fd（Ii），Ji）其中λ2表示学习率。算法中总结了整个Meta学习过程. 1.一、最后，在元训练之后，更新的去雾和辅助网络可以使用。我们可以按照第3.2节中的流程进行测试时培训。4. 实验结果4.1. 数据集和评估指标我们的实验是在广泛使用的去雾数据集上进行的，包 括 O-Haze [3] ， NH-Haze [2] 和 RESIDE 室 内 / 室 外[23]。O-haze包含40个图像对，其中前35对用于训练，其余5对用于测试。NH-Haze由两个变种组成，将于2020年和2021年发布。我们通过结合两者来形成我们的NH-Haze数据集。对于NH-Haze 2020，我们采用官方列车，测试分裂。由于NH-Haze 2021的验证和测试数据没有公开发布，我们将前22对用于训练，另外3对用于测试。最后，我们的NH-Haze共有67个训练对和8个测试对。RESIDE数据集是单图像去雾的基准。我们遵循DADN [37]，通过选择3000个室内对和3000个室外对来形成训练集，并将它们裁剪为256 256的大小。在 测 试 中 ， 我 们 采 用 RESIDE 的 综 合 目 标 测 试 集（SOTS）。本文使用的定量评价指标是PSNR和SSIM[44]。此外，我们还对[12]中介绍的真实世界去雾数据集进行了域外验证。4.2. 实现细节我们首先在组合数据集上预训练选定的去雾网络和我们的辅助网络，该组合数据集由上述O-Haze，NH-Haze和RE组成。15836⇥⇥方法室内户外O型霾NH-Haze#参数运行时间单域27.79/0.95328.93/0.97223.23/0.80819.14/0.7103.84M0.028GDN [26]我们的多领域26.67/0.95126.83/0.95227.18/0.96227.26/0.96123.13/0.74723.21/0.74718.93/0.71619.04/0.7160.96M1.34M0.0281.043单域28.89/0.95630.76/0.97724.95/0.82419.82/0.74712.56M0.153MSBDN [11]我们的多领域28.53/0.96128.68/0.96130.31/0.97330.42/0.97423.97/0.76424.14/0.76619.51/0.72519.62/0.7263.14M3.52M0.1531.828单域29.65/0.96331.75/0.97824.50/0.79321.83/0.769206.04M0.076DW-GAN [14]我们的多领域28.84/0.94128.95/0.94231.21/0.97431.39/0.97424.02/0.78924.13/0.78920.44/0.76320.53/0.76251.51M51.89M0.0761.621表1：使用不同训练方案对多个数据集的去雾结果的定量比较。术语“单域”表示该方法在单个数据集上训练并在相对数据集上评估;术语“多域”表示使用组合数据集训练网络;术语“我们的”表示采用所提出的测试时间训练的结果。精度以PSNR/SSIM的形式表示。SIDE室内/室外数据集对于除网格之外的所有网络的训练，初始学习率设置为10-4DehazeNet [26]，设置为10-3。在Meta训练期间，等式中的学习率λ1和λ2。 （5）和（7）被固定为1。25 10-5和2。5 10-5，分别。亚当优化器[20]用于预训练和Meta训练。训练时的默认值为0.1=0。9，且x2=0。九九在测试时间训练阶段，我们执行5个梯度向上-每个模糊图像上的日期，并报告最终准确度。所有的实验都在Nvidia V100 GPU上进行。4.3. 多领域学习正如我们所指出的，在多个域上训练的神经网络在每个域上测试时通常是次优的在这里，我们提供定量的结果来investi-门这一现象。我们的实验是使用三种流行的基于学习的方法进行的，即，[26][27][28][29]具体来说，我们首先实现了单域训练和测试，其中去雾网络在单个数据集上进行训练，并在相对数据集上进行测试然后，我们采用相同的网络进行多域学习，其中去雾网络在由第4.1节中介绍的所有数据集组成的组合数据集上进行训练。单域学习和多域学习的结果在表1中示出，由“单域”和“多域”表示。可以观察到，多域学习方法的PSNR和SSIM都小于单域学习方法的PSNR和SSIM。这一事实表明，简单地收集数据集扩充的数据并不总是有用的。4.4. 最新技术水平的测试时间培训为了说明我们提出的方法的有效性，我们使用GDN[26]，MSBDN [11]和DW-GAN [14]作为去雾网络进行定量和定性实验。实验旨在表明，我们的助手网络可以帮助提高现有方法的性能。请注意，我们的方法适用于在多个域上训练的去雾网络。定量改进：表1总结了所有四个数据集的PSNR和SSIM指标。使用我们提出的测试时间训练的去雾网络的性能在术语“我们的”下报告。 谢谢对于三种网络的不同结构，我们可以观察到PSNR改善的变化。例如，在室内测试集上，我们的方法可以使多域学习GDN的PSNR提高0.16dB，而MSBDN和DW-GAN的PSNR分别提高了0.15dB和0.11dB。从表中可以很容易地看出，我们提出的测试时训练总是可以提高在多个域上训练的网络的性能。这进一步表明了我们提出的测试时训练方法的明智的模型不可知属性。定性改进：图6显示了O-HAZE和NH-HAZE的除雾结果。在这里，我们展开测试训练过程，以更好地理解我们的方法。在初始结果中显示了多个问题，可以通过进行所提出的测试时训练来解决。 在图6的第一行和第二行中，我们可以注意到严重的伪影被添加到去雾图像的天空区域。令人惊讶的是，这些伪影可以通过很少的梯度更新逐渐去除。在第三行和最后一行，更新前的结果仍然模糊不清。然而，我们的方法能够从初始结果中去除阴霾。最后，颜色失真的其他实例显示在第四行和第五行中，其中经过5次更新后，去雾网络可以生成更优雅的图像。算法效率：在这里，我们研究所提出的方法在参数的数量方面的效率。表1的最后一列报告了在四个域上去雾所需的由于我们的帮助网络的轻量级设计，通过将我们的方法与当前的去雾网络相结合，参数总数仍然与一个单一的去雾网络。特别是当我们的方法使用DW-GAN时，参数的数量增加可以忽略不计，但是PSNR被平均提升15837朦胧无更新1更新3更新5更新GT图6：O-Haze和NH-Haze数据集的定性结果。前三行的图像样本来自O-Haze，而其他的来自NH-Haze。经过少量的梯度更新后，所提出的测试时训练可以提高图像质量。0.12dB。此外，考虑到我们具有四个域的事实，如果在每个域上单独训练模型，则四个模型的部署是极其消耗内存的，因为需要存储四个参数集合;这一事实可以通过观察表1中的“信号域”的参数然而，我们也发现使用测试时间训练比一次性推理训练慢。这个问题可以通过更有效的测试时间训练来缓解。4.5. 消融研究我们的所有消融研究均使用GDN [26]（基线）进行。为了说明元学习方法的有效性，我们随后介绍了三个实验设置来揭示这一事实。它们被呈现为如下：（a）GDN+Helper：其中帮助器网络被直接用于提供测试时间监督;（b）GDN+Helper+联合训练：GDN仿真器的训练采用等式（1）和等式（2）。（1）和方程（3）作为损失函数，即，GDN以使得去雾和模糊重建损失最小化的方式进行优化;（c）GDN+助手+元学习：其中我们使用我们提出的方法。三种方法的定量结果是方法室内户外O型霾NH-HazeGDN26.67/0.95127.18/0.96223.13/0.74718.93/0.716（一）26.69/0.95027.16/0.96122.89/0.74318.65/0.712（b）第（1）款26.71/0.95127.19/0.96222.94/0.74518.71/0.713（c）第（1）款26.83/0.95227.26/0.96123.21/0.74719.04/0.716表2：我们方法的消融研究。数值以PSNR/SSIM的形式表示。(a)、（b）和（c）表示第4.5节中介绍的三种不同方法。如表2所示。可以观察到，在没有Meta训练以将去雾和辅助网络的目标相关联的情况下，辅助网络通常不能帮助去雾网络进一步收敛于看不见的图像。4.6. 基于真实场景对于上述实验，我们假设有雾和无雾图像来自相同的域，而忽略域外（OOD）问题。在这里，我们以真实数据[12]为例来验证我们所提出的方法的域泛化能力。为了进行比较，我们选择了四种最先进的单图像去雾算法，即，[15]，DehazeNet [5]，DADN [37]和AECR-NET [46]。 注意，这些方法DW-GANDW-GANMSBDNGDNMSBDNGDN15838Hazy DCP DehazeNet DADN AECR-Net GDN GDN+Ours图7：[12]中真实模糊图像的去雾方法比较。无更新1更新3更新5更新图8：在真实模糊图像上的去雾分解。遵循一个通用设置来使用RESIDE室内和室外数据集。此外，GDN [26]使用第4.1节中提到的组合数据集进行训练。有两个注意事项应该提到，见图7。首先，由于GDN是在组合数据集（包括O-Haze和NH-Haze数据集）上训练的，因此其去雾图像通常更清晰，视觉上更令人愉悦。例如，第三行显示了一座被薄雾覆盖的山。在这里，GDN完全去除了山的雾，而其他人不能有效地去除雾，并遭受颜色失真。尽管取得了这一成功，GDN也在天空区域产生严重的伪影这提醒我们，虽然多领域学习在某些地方是有益的，但它仍然需要进一步的研究来消除各种场景中的烟雾。其次，将我们的输出（GDN+Our）与vanilla GDN的输出进行比较，可以很容易地观察到伪影消失了，我们的去雾图像看起来更自然。另一个例子是在最后一行，GDN将山脉涂成黄色，而我们的结果呈现出更自然的颜色。此外，图8给出了在图7的第二行中呈现的真实图像上的去雾分解。我们可以观察到，重建的模糊图像揭示了去模糊图像的潜在问题通过最小化测试时的模糊重建损失，同时改善了去雾5. 结论在本文中，我们揭示了一个关键的问题，还没有考虑在单一的图像去雾，即，一个去雾- ing网络训练的多个域可以比只训练在一个单一的域更基于此观察，我们将问题公式化为多域学习设置，其中单个模型应仔细设计以在多个域上表现良好。为了解决这个问题，我们提出了一个辅助网络，以提供自我监督的去雾网络，并提高其性能在测试时间。还引入了元学习方法来处理来自辅助网络的监督信号不能总是帮助去雾网络获得改进的性能的问题大量的实验和分析有力地支持了我们的观察和所提出的方法。局限性和未来的工作。由于资源限制，我们目前的实验是使用四个有代表性的数据集和三个流行的去雾网络进行的。最好通过考虑更大的数据集和去雾网络来对我们的方法进行更全面的评估。了解到除去混浊朦胧侦察结果反式15839引用[1] Md Zahangir Alom，Tarek M Taha，Chris Yakopcic，Ste- fan Westberg ， Paheding Sidike ， Mst ShamimaNasrin，Mah- mudul Hasan，Brian C Van Essen，AbdulAS Awwal，and Vijayan K Asari.深度学习理论和架构的最新调查。电子学，8（3）：292，2019。1[2] 科德鲁塔岛安库提，科斯明·安库提，还有拉杜·蒂莫夫特. NH-HAZE：具有非均匀模糊和无模糊图像的图像去雾基准。在IEEE计算机视觉和模式识别研讨会会议论文集，IEEE CVPR 2020，2020。一、五[3] C. O.安库蒂角安库蒂河Chaefte和C.德·弗莱斯舒沃O-haze：一个去雾基准，具有真实的雾和无雾的户外图像。在2018年IEEE/CVF计算机视觉和模式识别研讨会（CVPRW）上，第867-8678页一、五[4] Dana Berman，Shai Avidan，等.非局部图像去雾。在IEEE计算机视觉和模式识别会议论文集，第1674-1682页，2016年。3[5] 蔡 博 伦 、 徐 祥 民 、 贾 奎 、 青 春 梅 、 陶 大 成 。Dehazenet：用于去除单一图像雾度的端到端系统。IEEE Transactions on Image Processing ， 25 （ 11 ） ：5187-5198，2016. 一、三、七[6] D. Chen，M.他，Q。范，J。廖湖Zhang，L.侯湖，澳-地Yuan和G.华用于图像去雾和去噪的门控上下文聚合网 络 。 2019 年 IEEE 计 算 机 视 觉 应 用 冬 季 会 议（WACV），第1375- 1383页，2019年。3[7] 陈泽元，王扬超，杨阳，刘东。PSD：由物理先验指导的原则性合成到真实去雾。在IEEE/CVF计算机视觉和模式识别会议（CVPR）中，第7180-7189页3[8] 池志祥、王扬、余元昊、唐晋。基于Meta辅助学习的动态场景去模糊测试时快速自适应.在IEEE/CVF计算机视觉和模式识别会议论文集，第9137-9146页二三五[9] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议，第248-255页。Ieee，2009年。2[10] Qili Deng，Ziling Huang，Chung-Chi Tsai，and Chia-Wen Lin. Hardgan：一个用于单个图像去雾的雾度感知表示蒸馏gan。在欧洲计算机视觉会议上，第722-738页Springer，2020年。1[11] Hang Dong，Jinshan Pan，Lei Xiang，Zhe Hu，XinyiZhang，Fei Wang，and Ming-Hsuan Yang.具有密集特征融合的多尺度增强去雾网络。在IEEE/CVF计算机视觉和模式识别会议论文集，第2157-2167页，2020年。一、三、六[12] Raanan Fattal 使 用 颜 色 线 进 行 去 雾 处 理 。 ACMtransactions on graphics（TOG），34（1）：1-14，2014。三五七八[13] Chelsea Finn，Pieter Abbeel，Sergey Levine.用于深度网络快速适应的模型不可知元学习。国际机器学习会议，第1126-1135页。PMLR，2017年。二、三[14] 傅明翰，刘欢，于彦坤，陈俊，王可研。DW-gan：用于非均匀除雾的离散小波变换gan在IEEE/CVF计算机视觉和模式识别会议论文集，第203-212页1、6[15] 何开明，孙建，唐晓鸥。使用暗通道前去除单个图像IEEEtransactionsonpatternanalysisandmachineintelligence，33（12）：2341-2353，2010. 三、七[16] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。2[17] 明宏，谢元，李翠花，曲燕云。基于异构任务模拟的图像去雾提取。在IEEE/CVF计算机视觉和模式识别会议上，第3462-3471页，2020年。3[18] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失，2016年。3[19] Mahesh Joshi ， Mark Dredze ， William Cohen ， andCarolyn Rose. 多领域学习：领域何时重要？ 在2012年自然语言处理和计算自然语言学习中的经验方法中，第1302-1312页3[20] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。6[21] Boyun Li，Yuanbiao Gou，Jerry Zitao Liu，HongyuanZhu，Joey Tianyi Zhou，and Xi Peng.零拍摄图像去模糊。IEEE Transactions on Image Processing，29：8457-8466，2020。3[22] Boyi Li，Xiulian Peng，Zhangyang Wang，Jizheng Xu，and Dan Feng.用于除雾及其他功能的一体化网络。ArXiv，abs/1707.06543，2017年。第1、3条[23] Boyi Li，Wenqi Ren，Dengpan Fu，Dacheng Tao，DanFeng，Wenjun Zeng，and Zhangyang Wang.对单图像去雾及其他方面进行基准测试。IEEE Transactions onImage Processing，28（1）：492-505，2018。一、五[24] Runde Li，Jinshan Pan，Zechao Li和Jinhui Tang。基于条件生成对抗网络的单幅图像去雾。在IEEE计算机视觉和模式识别会议论文集，第8202-8211页，2018年。3[25] Jing Liu ， Haiyan Wu ， Yuan Xie ， Yanyun Qu ， andLizhuang Ma.三叉戟去雾网络。在IEEE/CVF计算机视觉和模式识别会议（CVPR）研讨会上，2020年6月。1[26] Xiaohong Liu ， Yongrui Ma ， Zhihao Shi ， and JunChen.Grid- dehazenet：用于图像去雾的基于注意力的多尺度网络。在IEEE/CVF计算机视觉集，第7314一、三、六、七、八[27] Zheng Liu，Botao Xiao，Muhammad Alrabeiah，KeyanWang，and Jun Chen.用于单图像去雾的通用模型无关arXiv预印本arXiv：1810.02862，2018。315840[28] Hyeonseob Nam和Bohyung Han。视觉跟踪的多域卷积神经网络学习。在IEEE计算机视觉和模式识别会议的论文集，第4293-4302页，2016年。3[29] Y. Pang，J. Nie，J. Xie，J. Han和X.李Bidnet：没有显式视差估计的双目图像去雾。在2020年IEEE/CVF计算机视觉和模式识别会议（CVPR），第5930-5939页美国加利福尼亚州，2020年6月。IEEE计算机协会。3[30] Seobin Park，Jinsu Yoo，Donghyeon Cho，Jiwon Kim，and Tae Hyun Kim.通过元学习快速适应超分辨率在计算机Springer，2020年。3[31] Xu Qin，Zhilin Wang，Yuanchao Bai，Xiaodong Xie，and Huizhu Jia. Ffa-net：用于单图像去雾的特征融合注意力网络。AAAI人工智能会议论文集，34（07）：11908-11915，2020年4月。第1、3条[32] 曲燕云，陈一子，黄静颖，谢元。增强的pix2pix去雾网络。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR），第8152-8160页，2019年。3[33] Sylvestre-AlviseRebuffi ， HakanBilen 和 AndreaVedaldi。使用残余适配器学习多个视觉域。arXiv预印本iclrarXiv：1705.08045，2017. 3[34] Wenqi Ren ， Sibo Liu ， Hua Zhang ， Jinshan Pan ，Xiaoxun Cao，and Ming-Hsuan Yang.通过多尺度卷积神经网络实现单图像去雾。在ECCV，2016年。3[35] Wenqi Ren ， Lin Ma ， Jiawei Zhang ， Jinshan Pan ，Xiaoxun Cao，Wei Liu，and Ming-Hsuan Yang.基于选通融合在IEEE计算机视觉和模式识别会议集，第3253-3261页第1、3条[36] AliceSchoenauer-Sebag 、 LouiseHeinrich 、 MarcSchoenauer 、 Michele Sebag 、 Lani F Wu 和 Steve JAltschlauf 。 多 领 域 对 抗 学 习 。 arXiv 预 印 本 arXiv ：1903.09239，2019。3[37] Yuanjie Shao ， Lenehan Li