基于Transformer的去除不良天气条件影响的图像恢复

Rain Streak + Fog RemovalSnow RemovalRain drop RemovalWeather Type Queries253035[73][40][67]EFogRainSnowSnowRainFogFogSnowRainFogERainESnowEFogERainESnowtion is desired in photography. Early methods for weatherremoval involve modelling priors for weather conditionsusing empirical observations [13, 45, 46].These priorshave to be modelled separately for each weather condi-tion and a common prior modelled for all weather condi-tions is not effective. Recently, Convolutional Neural Net-works (CNNs) based solutions have been explored exten-sively for deraining [11, 37, 53, 56, 61, 63, 69, 70, 76], de-hazing [8,19,41,57,69,71,72], desnowing [29,44,73] andraindrop removal [37, 40, 66]. Transformer-based methods23530TransWeather：基于Transformer的去除受不良天气条件影响的图像恢复0Jeya Maria Jose Valanarasu, Rajeev Yasarla, and Vishal M.Patel Johns Hopkins University0{ jvalana1,ryasarl1,vpatel36 }  @jhu.edu0摘要0从图像中去除雨、雾和雪等不良天气条件是许多应用中的一个重要问题。文献中提出的大多数方法都是设计用于去除一种类型的退化。最近，提出了一种使用神经架构搜索的基于CNN的方法（All-in-One）来一次性去除所有天气条件。然而，由于使用多个编码器来适应每个天气去除任务，它具有大量的参数，并且在性能上仍有改进的空间。在这项工作中，我们专注于开发一种高效的解决方案来解决所有不良天气去除问题。为此，我们提出了TransWeather，这是一个基于Transformer的端到端模型，只有一个编码器和一个解码器，可以恢复任何天气条件下退化的图像。具体而言，我们利用了一种新颖的Transformer编码器，使用内部补丁Transformer块增强补丁内的注意力，以有效去除较小的天气退化。我们还引入了一个具有可学习的天气类型嵌入的Transformer解码器，以适应当前的天气退化。TransWeather在多个测试数据集上相对于All-in-One网络以及针对特定任务进行微调的方法都取得了显著的改进。TransWeather还在真实世界的测试图像上进行了验证，并发现比以前的方法更有效。实现代码可以在补充文档中找到。代码可在https://github.com/jeya-maria-jose/TransWeather获取。01. 引言0雨、雾和雪等天气条件会降低图像的可见性并破坏图像所捕捉到的信息。这严重影响了许多计算机视觉算法的性能，如检测、分割和深度估计[3, 5, 41, 52,59]，这些算法是自主导航和监视系统的重要组成部分[28,34-36]。因此，有必要从图像中去除不良的天气影响，以使这些视觉系统更加可靠。此外，一个没有任何天气退化的清晰图像也是理想的摄影效果。0(a) 任务特定网络 (c) TransWeather (我们的)0方法0Attn GAN [37] 0.280All-in-One [23] 0.330MPRNet [67] 0.180Swin-IR [27] 0.270TransWeather 0.140任务特定SOTA All-in-One [23] TransWeather (我们的)0测试1 雪100K-L 雨滴03.11dB06.34dB04.93dB0D 雾 D D0E0D0图1. 顶部行：天气去除框架 - (a)分别为雨、雾和雪设计的独立网络。 (b)All-in-One网络[23]提出了一个框架，每个任务都有单独的编码器，但是有一个通用的解码器。 (c)我们提出的方法Transweather只有一个编码器和一个解码器，并学习天气类型查询以高效地解决所有不良天气去除问题。底部行：性能比较 -TransWeather的单个模型实例在与All-in-One框架和为特定任务设计和训练的最先进网络进行比较时，实现了显著的性能提升，并且在推理过程中速度更快。23540也已经探索了用于天气去除任务的方法，其性能优于CNNs[38, 48,74]。这些方法大多只关注手头的一个任务，或者为每个任务单独微调模型。尽管它们取得了出色的性能，但这些方法并不适用于所有逆境天气去除问题，因为网络必须针对每个任务单独进行训练。这使得将它们应用于实时系统变得困难，因为必须有多个模型，使计算复杂化。此外，系统还必须在一系列天气去除算法之间进行决策和切换（图1（a）），使流程更加复杂。0最近，Li等人提出了一种全能天气去除网络，它是第一个提出的算法，可以接受任何天气条件下的退化图像作为输入并预测清晰图像。全能网络在雨、雾和雪去除的3个数据集上进行了测试，并取得了比之前的方法更好或可比的性能，这些方法在单独的数据集上进行了调整。全能网络是基于CNN的，并使用多个编码器。特别地，它为不同的天气退化使用单独的编码器，并使用神经架构搜索来找到解决问题的最佳网络（图1（b））。该网络仍然具有计算复杂性，因为存在多个编码器。据我们所知，除了全能网络[23]之外，文献中还没有提出其他适用于通用逆境天气去除的方法。尽管最近提出了像MPR-Net [67]、U-former [55]、Swin-IR[27]这样的通用恢复网络，并在多个数据集上进行了验证，但它们仍然在各个数据集上进行了微调，并没有为所有天气去除任务使用单个模型。0在这项工作中，我们提出了一种单编码器-单解码器变压器网络，称为TransWeather，一次性解决所有逆境天气去除问题。我们引入了天气类型查询来学习变压器解码器的任务（图1（c）），而不是使用多个编码器。在这里，多头自注意机制将天气类型查询作为输入，并将其与从变压器编码器提取的特征的键和值进行匹配。这些天气类型嵌入与网络一起学习，以理解和调整图像中存在的天气退化类型。解码的特征和从编码器获得的分层特征被融合并通过卷积块投影到图像空间。因此，TransWeather只有一个编码器和一个解码器，可以学习天气类型并生成清晰的图像。与CNN相比，变压器在提取丰富的全局信息方面表现出色。然而，我们认为当补丁的大小像ViT一样大时，我们无法充分关注补丁内的信息。像雨纹、雨滴和雪这样的天气退化通常很小。0因此，在单个补丁中可能会出现多个伪影。为此，我们提出了一种新颖的变压器编码器，其中包含补丁内变压器（Intra-PT）块。Intra-PT在原始补丁中创建的子补丁上工作，并挖掘较小补丁的特征和细节。因此，Intra-PT专注于主要补丁内的关注以有效去除天气退化。我们使用高效的自注意机制计算子补丁之间的注意力，以保持计算复杂性低。通过实验证明，引入Intra-PT块可以提高变压器的性能，并帮助其更好地适应天气去除任务。我们以与全能网络类似的配置训练我们的网络，并在多个测试数据集上获得了优越的性能，包括雨去除、雪去除、雾去除甚至这些天气退化的组合。我们还超过了专门针对这些单独任务在这些数据集上进行微调的方法。我们还展示了TransWeather在推理过程中的快速性能。最后，我们还在真实世界的天气退化图像上测试了TransWeather，与之前的方法相比取得了出色的性能。TransWeather可以成为未来通用天气去除框架的高效骨干。本工作的主要贡献如下：0•我们提出了TransWeather-一种仅使用变压器的单个编码器和单个解码器的高效解决方案，用于处理所有恶劣天气去除问题。我们建议使用天气类型查询来高效处理全能问题。0•我们提出了一种新颖的变压器编码器，使用内部补丁变压器（Intra-PT）块来满足低级别视觉任务（如天气去除）中的细节特征提取。0•我们在多个数据集上实现了最先进的性能。我们还验证了所提方法在实际图像上的有效性。02. 相关工作0去除恶劣天气问题，如去雨[16，0[21, 25, 51, 61, 65, 76]，去雾[1, 2, 10, 22, 42,69]，去雪[29, 44, 44, 73]和去雨[37, 39, 40,66]在文献中得到了广泛探索。去雨纹：杨等人[61]使用循环网络将雨层分解为不同类型的雨纹层，以去除雨水。张等人[70]提出使用条件GAN进行图像去雨。Yasarla等人[64]探索使用高斯过程将合成雨数据与真实世界雨数据进行迁移学习。Quan等人[39]使用互补级联网络在统一框架中去除雨纹和雨滴。有关各种去雨方法的更详细调查可参见[62]。去雾：李等人[18]提出了一种考虑大气光和透射图的CNN网络，用于去雾。I = T ⊙ (B +Ri) + (1 − T) ⊙ A,(2)23550去雾：任等人[43]提出了对朦胧图像进行预处理以生成多个输入，从而引入色彩失真来进行去雾。Zhang和Patel[68]提出了一种金字塔CNN网络用于图像去雾。Zhang等人[72]提出了一种层次密度感知网络用于图像去雾。0去雨滴：You等人[66]提出使用时间信息进行基于视频的雨滴去除。钱等人[37]使用注意力GAN去除雨滴，并引入了一个新的数据集。Quan等人[40]使用双重注意机制去除雨滴的影响。0除雪：Desnow-Net[29]是最早提出的基于CNN的方法之一，用于从图像中去除雪。李等人[20]提出了一种堆叠的稠密网络用于除雪。陈等人[6]提出了JSTASR，其中提出了一种大小和透明度感知的方法来去除雪。最近，DDMSNet[72]提出了一种使用语义和几何先验的深度稠密多尺度网络用于除雪。0全能天气去除：All-in-One Network[23]提出了使用单个网络处理多种天气退化的方法。All-in-One使用具有多个任务特定编码器和一个公共解码器的生成器。它使用鉴别器对退化类型进行分类，并仅将损失反向传播到特定的编码器。它还使用神经架构搜索来优化来自编码器的特征提取。0低级别视觉中的变压器：自从引入了VisionTransformer（ViT）[9]用于视觉识别以来，变压器已被广泛应用于各种计算机视觉任务[12, 31, 49, 60,75]。特别是对于低级别视觉，图像处理变压器[4]展示了在大规模数据集上预训练变压器如何帮助获得更好的低级别应用性能。U-former[55]提出了一种基于U-Net的变压器架构用于恢复问题。Swin-IR [27]采用Swin Transformer[30]进行图像恢复。赵等人[74]提出了一种专门用于图像去雾的局部全局变压器。基于Swin变压器还提出了一种用于去雨的多分支网络[48]。在ETDNet[38]中，提出了一种用于图像去雨的高效变压器块，以粗到细的方式提取特征。0与上述方法不同，我们提出了一种基于变压器的单编码器单解码器网络，使用单个模型实例解决所有不良天气去除任务。我们的变压器编码器也经过修改，以适应低级任务，引入了内部补丁变压器块。我们的变压器解码器通过天气类型查询进行训练，以学习任务并使用该信息恢复清晰图像。03. 提出的方法 - TransWeather0在文献中，不同的天气现象根据涉及的基本物理学进行了不同的建模。雨滴[37]被建模为I = (1  −  M )  ⊙  B  +R，其中I是退化图像，M是掩膜，B是背景，R是雨滴残留。带有雨滴条纹和雾效果的大雨[21]被建模为0其中T是散射效应产生的透射图，A是场景中的大气光。根据[29]，雪通常被建模为I = M ⊙ S + M ⊙ (1  −z)，其中z是指示雪的掩膜，S对应于雪花。All-in-One方法[23]将不良天气去除问题概括为B =D(Ep(Ip))，其中E对应于编码器，D对应于解码器。p表示图像中存在的天气类型。请注意，每种天气类型都使用不同的编码器。在这项工作中，我们遵循类似的公式，将所有不良天气去除作为B =T(Ip)，其中T对应于TransWeather，它由与All-in-One网络不同的天气不可知编码器和解码器网络组成。天气类型查询与T()的参数一起学习，从而使问题设置更通用。我们提出这种设置的动机是，一个像天气去除这样通用的问题不能仅仅通过寻求解决各个任务的完美来解决。这种公式不仅使过程在计算上更高效，而且有助于在任务之间使用互补信息来进一步提高性能。此外，它还与人类视觉工作方式相一致，因为我们的视觉皮层可以在没有任何困难的情况下执行多个任务。这种观点在神经生物学中被广泛认可，因为视觉皮层没有不同的模块用于不同的感知任务[24, 32]。03.1. 网络架构0给定大小为H × W ×3的退化图像I，我们首先将其分成补丁。然后将补丁前馈到包含不同阶段的变压器块的变压器编码器中。在每个阶段，分辨率降低以确保变压器学习粗糙和细致的信息。然后使用变压器解码器块，将编码特征用作键和值，同时使用可学习的天气类型查询嵌入作为查询。提取的特征然后通过卷积投影块传递，以获得尺寸为H × W × 3的清晰图像。Task FeaturesHierarchical FeaturesFrom Transformer Encoderwhere d represents the dimensionalthat we havemultiple attention heads in each transformer block and thatnumber is a hyper-parameter which we vary across eachstage in the transformer encoder. More details regarding thehyper-parameter settings can be found in the supplementarydocument. We reduce the complexity of the original self-23560补丁嵌入0天气类型查询0变压器解码器0xM0清晰图像0不良天气0图像0变压器0块0变压器0块0变压器0块0变压器编码器0解码器0变压器0块0多头0注意力0规范0规范0FFN块0变压器块0卷积0投影0补丁嵌入0内部补丁transformer块0内部PT块0内部PT块0雾雨雪0前馈网络块0xN0内部PT块0深度卷积0Conv0MLP0Transformer0块0图2.提出的TransWeather网络的概述。将退化图像转发到transformer编码器以提取分层特征。编码器具有用于从主要补丁创建的较小子补丁中提取特征的内部补丁transformer块。transformer解码器具有可学习的天气类型查询以获取任务特征。然后，将来自编码器的分层特征以及来自解码器的任务特征转发到卷积投影块以获取清晰图像。0TransWeather的结构如图2所示。在接下来的章节中，我们详细描述这些组件。03.1.1 Transformer编码器0通过在transformer编码器中提取多级特征来生成输入图像的分层特征表示。在编码器的不同阶段提取特征，从而便于提取高级和低级特征。在每个阶段中，我们执行重叠补丁合并[59]。使用这种方法，我们将重叠的特征补丁组合在一起，以获得与非重叠补丁相同大小的特征，然后将这些特征传递到下一个阶段。Transformer块：在每个transformer块中，我们使用多头自注意力层和前馈网络来计算自注意力特征。计算可以总结如下：T i ( I i ) = FFN(MSA(I i ) + I i)，其中T()表示transformer块，FFN()表示前馈网络块，MSA()表示多头自注意力，I是输入，i表示编码器中的阶段。与原始的自注意力网络类似，查询(Q)、键(K)和值(V)的头具有相同的维度，计算如下：0Attn(Q, K, V) = softmax0� QK T√0d0�0V，(7)0R )，通过引入缩小比例R[54]。我们将键重新调整为从0R，C.R)。然后使用线性层将第二个维度从C.R返回到C。因此，键的维度变为N0R ×C，从而在计算自注意力时降低了复杂度。然后将自注意力特征传递给FFN块。这里使用的FFN块与ViT稍有不同，我们引入了使用深度卷积的MLP，灵感来自[26, 58,59]。在这里使用深度卷积有助于提供局部信息并为transformer提供位置信息，如[59]所示。FFN块中的计算可以总结如下：FFN i ( X i ) = MLP(GELU(DWC(MLP(X i)))) + Xi，其中X指的是自注意力特征，DWC是深度卷积[7]，GELU是高斯误差线性单元[14]，MLP是多层感知机，i表示阶段。0内部补丁transformer块：内部补丁transformer块位于transformer编码器的每个阶段之间。这些块以从原始补丁创建的子补丁作为输入。这些子补丁的尺寸固定为原始补丁高度和宽度的一半。内部PT还使用类似上面解释的transformer块。我们使用较高的R值使Intra-PT块的计算非常高效。Intra-PT块有助于提取有助于去除较小退化的细节，因为我们在较小的补丁上操作。请注意，除了第一个阶段在图像级别进行操作外，Intra-PT块在特征级别创建补丁。来自Intra-PT块的输出自注意力特征与同一阶段的主块中的自注意力特征相加。我们的transformer编码器中前馈过程的公式化可以总结如下：Y i = MT i ( X i ) + IntraPT i ( P ( X i))，其中I是每个阶段的transformer的输入，Y是每个阶段的输出，MT()是主transformer块。FFN BlockNormFeatures from Transformer EncoderWeather Type QueriesQK, VMulti-Head AttentionTransformer Block23570块，IntraPT是内部补丁Transformer块，P()对应于从输入补丁创建子补丁的过程，i表示阶段。03.1.2 Transformer解码器0在原始的Transformer解码器[50]中，使用自回归解码器逐个元素地预测输出序列。检测Transformer（DETR）[3]使用对象查询来解码框坐标和类别标签以生成最终预测结果。受到它们的启发，我们定义了天气类型查询来解码任务，预测任务特征向量并将其用于恢复清晰图像。这些天气类型查询是可学习的嵌入，与我们网络的其他参数一起学习。这些查询与Transformer编码器的特征输出进行关联。这里的Transformer解码器在单个阶段操作，但有多个块。我们在图3中说明了Transformer解码器块。这些Transformer块类似于编码器-解码器Transformer块[50]。与自注意力Transformer块不同，其中Q、K和V来自同一输入，这里的Q是天气类型可学习嵌入，而K和V是来自Transformer编码器最后阶段的特征。输出的解码特征表示任务特征向量，并与在每个阶段从Transformer编码器提取的特征进行融合。所有这些特征都被传递到卷积尾部以重建清晰图像。0图3.解码器中Transformer块的配置。这里的查询是表示天气类型的可学习嵌入，而键和值是来自Transformer编码器最后阶段的特征。03.1.3 卷积投影块0层次Transformer编码器特征集和Transformer解码器的任务特征通过一组4个卷积层传递，以输出清晰图像。在每个卷积层之前，我们还使用上采样层将图像大小恢复到原始大小。我们还在从Transformer编码器到每个阶段的卷积尾部之间使用跳跃连接。我们还在最后一层使用tanh激活函数。03.2. 损失函数0我们的网络以端到端的方式进行训练，使用预测结果（ˆI）和真实结果之间的平滑L1损失。0真实结0L smoothL 1 = 0.5E^2 if |E| < 1 |E| - 0.5otherwise, (9)0其中 E = ˆ I -G。我们还添加了一个感知损失，用于衡量预测结果和真实结果之间的差异。我们使用在ImageNet上预训练的VGG16网络[47]提取这些特征。我们从VGG16的第3层、第8层和第15层提取特征来计算感知损失。感知损失的公式如下：Lperceptual = L MSE (V GG 3, 8, 15 (ˆ I), V GG 3, 8, 15(G))。总损失可以总结如下：L total = L smoothL 1 + λ Lperceptual，其中 λ 是控制L perceptual和L1损失对总体损失的贡献的权重。04. 实验0我们进行了大量实验证明了我们提出的方法的有效性。接下来，我们将解释数据集、实现细节、实验设置、结果以及与最先进方法的比较。04.1. 数据集0我们训练网络时使用了一系列从各种恶劣天气条件下降级的图像，类似于All-in-One Network[23]。为了公平比较，我们遵循了All-in-One使用的相同训练集分布。训练数据包括从Snow100K[29]采样的9,000张图像，从Raindrop[37]采样的1,069张图像，以及从Outdoor-Rain[21]采样的9,000张图像。Snow100K包含由雪降级的合成图像，Raindrop包含真实的雨滴图像，Outdoor-Rain包含由雾和雨条纹降级的合成图像。我们将这组训练数据称为“全天气”以获得更好的表示。我们在合成和真实世界数据集上测试我们的方法。我们使用Test1数据集[21,23]、RainDrop测试数据集[37]和Snow100k-L测试集[29]来测试我们的方法。此外，我们还评估了由雨条纹和雨滴降级的真实世界图像。04.2. 实现细节0我们使用Pytorch框架[33]实现我们的方法，并使用NVIDIARTX 8000GPU进行训练。我们使用Adam优化器[17]和学习率为0.0002。我们使用学习率调度器，在100和150个epoch后将学习率降低2倍。网络总共训练200个epoch，批量大小为32。有关TransWeather架构的其他超参数可以在补充文档中找到。04.3. 与最先进方法的比较0首先，我们将我们的方法与专门为每个任务设计的最先进方法进行比较：雨滴去除23580类型 方法 场地 PSNR (↑) SSIM (↑)0任务特定0DetailsNet + Dehaze (DHF) [11] CVPR 2017 13.36 0.58300DetailsNet + Dehaze (DRF) [11] CVPR 2017 15.68 0.64000RESCAN + Dehaze (DHF) [25] ECCV 2018 14.72 0.58700RESCAN + Dehaze (DHF) [25] ECCV 2018 15.91 0.61500pix2pix [15] CVPR 2017 19.09 0.71000HRGAN [21] CVPR 2019 21.56 0.85500Swin-IR [27] CVPR 2021 23.23 0.86850MPRNet [67] CVPR 2021 21.90 0.84560多任务0All-in-One [23] CVPR 2020 24.71 0.89800TransWeather - 31.05 0.95090表1.基于PSNR和SSIM的Test1（雨+雾）数据集的定量比较。DHF代表先去雾，DRF代表先去雨。红色和蓝色分别对应第一和第二最佳结果。↑表示数值越大0类型 方法 场地 PSNR (↑) SSIM (↑)0任务特定0DetailsNet [11] CVPR 2017 19.18 0.74950DesnowNet [29] TIP 2018 27.17 0.89830JSTASR [6] ECCV 2020 25.32 0.80760Swin-IR [27] CVPR 2021 28.18 0.88000DDMSNET [73] TIP 2021 28.85 0.87720多任务0All-in-One [23] CVPR 2020 28.33 0.88200TransWeather - 33.78 0.92870表2.基于PSNR和SSIM的SnowTest100k-L测试数据集的定量比较。红色和蓝色分别对应第一和第二最佳结果。↑表示数值越大越好。0类型 方法 场地 PSNR (↑) SSIM (↑)0任务特定0Pix2pix [15] CVPR 2017 28.02 0.85470Attn. GAN [37] CVPR 2018 30.55 0.90230Quan et al. [40] ICCV 2019 31.44 0.92630Swin-IR [27] CVPR 2021 30.82 0.90350CCN [39] CVPR 2021 31.34 0.95000多任务0All-in-One [23] CVPR 2020 31.12 0.92680TransWeather - 34.55 0.95020表3.基于PSNR和SSIM的RainDrop测试数据集的定量比较。红色和蓝色分别对应第一和第二最佳结果。↑表示数值越大越好。0去除、去雪和去雨+雾。对于雨滴去除，我们与Attention GAN[37]、Quan et al.[40]和互补级联网络（CCN）[39]等最先进方法进行了性能比较。对于去雪，我们与Desnow-Net [29]、JSTASR [6]和DeepDense Multi-ScaleNetwork（DDMSNet）[73]进行了比较。对于去雨+雾，我们与HRGAN [21]、Details-Net [11]、Recurrentsqueeze-and-excitation context aggregationNet（RESCAN）[25]和Multi-Stage Progressive RestorationNetwork（MPRNet）[67]进行了比较。我们还与最近的Transformer网络Swin-IR[27]进行了所有数据集的比较。请注意，所有这些方法都是针对特定数据集进行微调的单任务处理网络。0我们还将我们的方法与All-in-One网络[23]进行了性能比较，该网络通过单个模型实例执行所有上述任务的训练。我们的方法Tran-sWeather也通过单个模型实例执行所有这些任务的训练。04.3.1 参考质量指标0我们使用PSNR和SSIM来评估不同模型的性能。我们在Test1（去雾+去雨）、Snow100K-L（去雪）和RainDrop（去雨滴）测试数据集上进行评估，并以PSNR和SSIM的形式列出定量结果，分别在表1、表2和表3中。由于Test1既有雾又有雨，我们依次应用去雨和去雾方法进行公平比较。例如，当使用Details-Net和RESCAN进行去雨时，我们使用多尺度增强去雾网络（MSBDN）[8]进行去雾。需要注意的是，从我们的实验中，我们发现MSBDN是最好的去雾网络。我们比较了先应用去雨，然后去雾，以及反之的性能。我们直接在“室外-雨”（Test1的训练集）上训练Swin-IR和MPRNet，并在Test1上进行测试以进行公平比较。类似地，Swin-IR在Snow100K数据集上进行训练，RainDrop上进行测试，SnowTest100k-L上进行训练，RainDrop测试数据集上进行测试。可以注意到，一些最近的方法，如CCN和DDMSNet，在单独的数据集上微调后优于All-in-One。TransWeather在处理All-in-One问题时以及所有特定任务的方法上都取得了显著的优势，因为我们关注低级天气细节并利用天气查询来高效处理All-in-One问题。04.3.2 视觉质量比较0合成图像我们在图4和图5中展示了来自Test1和Snow100k-L等合成测试数据集的预测结果。可以看到，与之前的方法相比，Transweather取得了视觉上令人满意的结果。在去除雾和雨痕方面表现非常好，如图4所示，而其他方法，包括All-in-One，无法去除至少一种退化。从图5可以看出，我们的方法甚至可以去除非常细小的雪花颗粒，而All-in-One则很难去除它们。真实世界图像我们在图6和图7中展示了来自RainDrop和真实世界图像等真实测试数据集的预测结果。从两个图中都可以看出，TransWeather相比于All-in-One以及所有特定任务的方法都取得了显著的优势，因为我们既关注低级天气细节，又利用天气查询来高效处理All-in-One问题。Tran+ HE31.620.8671+ HE + Intra-PT32.370.9463+ HE + Intra-PT +Weather Queries34.550.950223590图4. Test1数据集上的样本定性结果。红框对应放大的补丁以便更好地比较。0输入 All-in-One TransWeather 真实值0图5.Snow100k-L数据集上的样本定性结果。红框对应放大的补丁。0与之前的方法相比，TransWeather可以去除最细小的雨痕或雨滴。05. 讨论0消融研究：我们进行了一项消融研究，以了解TransWeather架构中各个组件的贡献。我们从基础Transformer编码器架构和卷积尾部开始。我们将此配置称为TransformerBase。然后，我们将Transformer编码器转换为分层Transformer（HE）编码器，以提取高级和低级特征，其中在Transformer编码器的每个阶段之间执行补丁合并。然后，在编码器中添加内部补丁Transformer块（Intra-PT）。然后，我们添加可学习的天气类型查询和Transformer解码器块来学习任务嵌入。这个配置对应于TransWeather架构。所有这些模型都在All-Weather上进行训练，并在Raindrop测试数据集上进行测试。消融研究的结果可以在表4中找到。可以观察到，本研究的每个个体贡献都有助于提高性能。0方法 PSNR ( ↑ ) SSIM ( ↑ )0表4.雨滴测试数据集上的消融研究。HE表示转换为分层Transformer编码器，Intra-PT表示内部补丁Transformer块。天气查询学到了什么？天气查询0是学习图像中存在的降级类型的嵌入。这些查询有助于预测相应的任务向量，有助于注入任务信息以获得更好的预测结果。为了证明这一点，我们在图8中可视化了对应于不同天气降级的三个图像的八个随机查询（共512个）的注意力图。有趣的是观察到查询Q1、Q3和Q6在雾天图像中高度激活。它们在整个图像中关注受雾影响的所有地方。查询Q2、Q4和Q8在雨天图像中高度激活，而对应的注意力图稀疏。类似地，查询Q5和Q7在雪天图像中的激活程度更高，而在雨和雾的图像中的激活程度较低。这表明不同的查询对不同的天气降级有不同的激活作用，有助于TransWeather学习底层的天气条件并给出更好的预测。还可以注意到，当图像被多种天气条件降级时，多个任务类型的查询激活以编码特定任务。这可以从图8的中间行中观察到，其中同时关注雾和雨的查询在图像被这两种条件降级时激活。0推理时间：在图1（底行）中，我们比较了以秒为单位的推理速度。表中报告的时间是每个模型在推理阶段前馈一个尺寸为256×256的图像所需的时间。我们注意到，与之前的天气去除方法相比，我们的方法在推理过程中更快（每张图像仅需0.14秒）。TransWeather具有31M参数，少于All-in-One网络的44M参数。0与All-in-One的区别：All-in-One网络[23]是第一个研究使用单个模型实例解决所有天气去除问题的方法，我们清楚地说明了我们的方法与All-in-One的不同之处。首先，All-in-One是基于CNN的方法，而TransWeather使用了专门用于低级视觉任务的Transformer骨干网络，并特别关注在较小的补丁上操作。All-in-One使用多个编码器，而TransWeather只使用一个编码器。All-in-One使用对抗训练和神经架构搜索，而TransWeather只使用L1和感知损失的组合进行训练。RainFog+RainSnow0123600图6. RainDrop数据集上的样本定性结果。红框对应放大的补丁，以便更好地比较。0图7. 实际图像上的样本定性结果。红框对应放大的补丁，以便更好地比较。请注意，这些是没有地面真实性的实际图像。0输入 Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q80图8.关于不同查询的注意力图。行对应于具有不同天气降级的输入图像，列对应于具有不同查询（Q1到Q8）的注意力图。红色、绿色和蓝色框分别对应于最适合雨、雾和雪的查询。放大且以彩色查看效果最佳。0更稳定。TransWeather还具有更快的推理速度，更少的参数数量，同时获得更好的定量和定性性能。0局限性：尽管TransWeather的性能优于以前的方法，但仍存在一些TransWeather无法解决的问题。TransWeather在一些受强降雨影响的实际图像中表现不佳。这可以理解为有时真实的雨在条纹大小和强度上非常不同，很难建模。此外，如果雨的强度很高，当它击中物体或场景中的人体表面时会产生飞溅效果。包括TransWeather在内的所有方法仍然无法消除这种飞溅效果。图9中展示了一个样本限制。0输入MPRNet All-in-One TransWeather0图9.我们方法的局限性：高强度降雨和降雨的飞溅效应都没有被任何方法去除。6. 结论0在这项工作中，我们提出了TransWeather-一种基于Transformer的高效解决方案，用于解决所有恶劣天气去除问题。我们专注于构建一个单一模型实例，可以去除图像中存在的任何天气退化。我们构建了一个单一的编码器-解码器网络用于恢复，同时在解码器中使用可学习的天气类型查询来学习天气退化的类型，并将该信息用于天气去除过程。我们还提出了一种新颖的基于Transformer的编码器架构，它可以在子块上工作，从而更高效地去除小的天气退化。我们在多个合成和真实数据集上进行了广泛的实验，通过使用单一模型实例将当前最先进的技术推向了一个显着的水平，同时获得了更快的推理速度。在测试真实世界的恶劣天气图像时，我们也获得了更好的视觉效果。致谢：本工作得到了ARO资助W911NF-21-1-0135。23610参考文献0[1] Dana Berman, Shai Avidan等. 非局部图像去雾.在《计算机视觉和模式识别IEEE会议论文集》中，页码1674-1682，2016年。 20[2] Bolun Cai, Xiangmin Xu, Kui Jia, Chunmei Qing和DachengTao. Dehazenet：一种用于单张图像去雾的端到端系统.《IEEE图像处理交易》, 25(11):5187-5198, 2016年。 20[3] Nicolas Carion, Francisco Massa, Gabriel Synnaeve,Nicolas Usunier, Alexa