分层双树复小波表示和矛盾通道损失的单幅图像去雪算法

41960全部去雪：使用分层双树复小波表示和矛盾通道损失的单幅图像去雪算法0Wei-Ting Chen 1, 3 � , Hao-Yu Fang 2 � , Cheng-Lin Hsieh 1 , Cheng-Che Tsai 1 , I-Hsiang Chen 2 , Jian-Jiun Ding 2 ,and Sy-Yen Kuo 201 台湾国立大学电子工程研究所，台湾 2 台湾国立大学电气工程系，台湾 3华硕智能云服务，台湾0{jimmy3505090, danielfang60609}@gmail.com0{r08943150, r08943148, r09921058, jjding, sykuo}@ntu.edu.tw0摘要0雪是一种非常复杂的大气现象，通常包含雪花、雪纹和遮蔽效应（类似于雾或薄雾）。在本文中，我们提出了一种单幅图像去雪算法，以解决雪粒子在形状和大小上的多样性。首先，为了更好地表示复杂的雪形状，我们应用了双树小波变换，并在网络中提出了复杂小波损失。其次，我们在网络中提出了一种分层分解范式，以更好地理解不同大小的雪粒子。最后，我们提出了一种称为矛盾通道（CC）的新特征用于雪景。我们发现，含有雪粒子的区域在CC中的强度比无雪区域高。我们利用这个有区分性的特征构建了矛盾通道损失，以提高去雪的性能。此外，由于现有雪数据集的限制，为了全面模拟雪的场景，我们提出了一个名为ComprehensiveSnowDataset（CSD）的大规模数据集。实验结果表明，所提出的方法在三个合成数据集和真实世界数据集中都能优于现有方法。代码和数据集已在https://github.com/weitingchen83/ICCV2021-Single-Image-Desnowing-HDCWNet上发布。01. 引言0雪是一种大气现象，通常会影响计算机视觉的性能，如目标检测和语义分割[3, 2]。根据之前的研究，0*表示相等的贡献。0(a) 输入0(b) DesnowNet [1]0(c) JSTASR [2]0(d) 我们的方法0图1：最先进的雪去除算法的比较。 (a) 输入; (b)-(d)DesnowNet [1]、JSTASR[2]和我们提出的方法的恢复结果。可以看出我们提出的方法在去雪方面能够取得更好的性能。0ous work [2]，雪的形成可以建模为：0I(A) = K(A)T(A) + A(A)(1 - T(A)), (1)0其中K(A) = J(A)(1 - Z(A)R(A)) +C(A)Z(A)R(A)，I表示受雪影响的图像，K是带雪的图像41970没有遮蔽效应时，A是大气光，J是场景辐射。T(x) =e^(-�d(x))是介质传输，其中d(x)是深度，�是散射系数。C和Z分别是雪图像的色差像和雪遮罩。R是表示雪的位置信息的二进制掩码。雪是一种非常复杂的大气现象，因为它包含雪花、雪纹和遮蔽效应。现有的雪去除策略可以分为两类：基于手工特征和基于学习的策略。对于基于手工特征的方法[4,5, 6, 7,8]，Pei等人[6]利用基于颜色信息（如饱和度和可见度）的特征进行去雪。Xu等人[4]开发了一种基于引导图像的去雪流程。郑等人[5]通过多引导滤波器提取特征，将雪部分与背景分离。这些方法是基于人类观察到的特征。然而，它们可能不适用于多样的真实场景。随着深度学习的兴起，已经提出了几种基于CNN的方法[3, 2,1]。刘等人[1]开发了第一个基于学习的去雪方法Desnownet。他们提出了第一个雪数据集Snow-100K。陈等人[2]提出了一种通过图像修复和遮蔽效应恢复来进行去雪的算法，并开发了一个名为SRRS的数据集，使去雪过程更加稳健。尽管这些方法取得了良好的性能，但仍然存在一些问题需要注意：0（i）对真实世界场景的鲁棒性：真实世界的雪花场景非常复杂。对于现有的雪花去除策略，往往忽视了雪花形状和大小的多样性。首先，现有方法缺乏捕捉雪花形状的有效机制。此外，传统算法只考虑雪花，而忽视了雪纹。其次，由于大型雪花颗粒不易建模进行训练，它们在真实世界场景下很难去除。由于这些问题，如图1所示，现有方法在真实世界场景中的性能可能有限。0（ii）现有的雪花数据集无法反映真实世界雪花场景的复杂构成：在Snow-100K数据集中，雪花的大小是不同的，但没有考虑到雪纹和遮蔽效应。在SRRS数据集中，虽然考虑了遮蔽效应，但没有包含雪纹。雪纹类似于雨纹，但其强度更强，可能比其他雪花颗粒更模糊。缺乏具有全面雪花特征的数据集可能会降低网络处理真实世界雪花场景时的性能。因此，在本文中，我们提出了一种新颖的雪花去除架构，通过嵌入分层双树复杂小波变换（DTCWT）来处理复杂的雪花场景。0[9]将小波变换嵌入到网络中。基于此操作，通过递归分解，雪花图像在每个尺度上进行分解和恢复。基于此操作，所有子带可以在小尺度上重建。此外，不出现在训练数据中的大尺寸雪花颗粒可以在小尺度上表示。因此，分解子带中的雪花颗粒更容易被去除，因为训练集可以覆盖和模拟它们的分布。此外，借助DTCWT的多方向特性，可以很好地表示雪纹和雪花。因此，通过这种架构，可以实现无尺寸限制和更全面的雪花去除。然后，我们设计了两个子网络进行复杂小波恢复，即高频重建网络和低频重建网络。此外，我们研究了雪花和无雪花图像，并发现了一个称为矛盾通道（CC）的新特征。基于CC，我们构建了矛盾通道损失，以提高雪花去除的性能。此外，我们提出了一个名为CSD的新型大规模雪花数据集，可以解决现有数据集的局限性。本文的主要贡献总结如下：0•提出了一种新颖的分层DTCWT去雪网络。由于分层DTCWT的多方向和多尺度特性，所提出的网络在复杂的雪花场景中具有更好的适应性。在所有现有的合成数据集和真实数据集上的实验证明，所提出的方法在去雪方面达到了最先进的性能。0•我们提出了一种称为矛盾通道（CC）的新特征，基于对雪花和清晰图像的差异进行研究。借助这种区分性特征，提出了矛盾通道损失，有利于网络的优化。据我们所知，这是首次提出CC的工作。0•为了解决现有雪花数据集的局限性，我们提出了一个名为CSD的大规模雪花图像数据集，用于提供训练数据。02. 相关工作02.1. 单幅图像去雪0对于单幅图像的雪花去除[4, 5, 6, 1, 7, 8,0[5]郑等人研究了雪纹和清晰背景边缘之间的差异，并应用多导向滤波器去除雪花。[7]王等人提出了一种结合图像分解和字典学习的三层分层方案。[11]Voronin等人开发了Hamiltonian四元数中的各向异性梯度来去除雨和雪。[12]李等人应用生成对抗网络（GAN）ψ(𝑡) = ψℎ(𝑡) + 𝑗ψ𝑔(𝑡),(2)41980（a）DWT和DTCWT的分解结果0（b）雪花颗粒提取的比较0图2：DWT和DTCWT的分解结果和雪花提取的比较。从（b）可以看出，DTCWT可以更好地解释多方向的信息，可以更好地检测到雪花颗粒，特别是雪花条纹。0用于雪花去除。Liu等人[1]基于Inception-v4[13]提出了一种称为DesnowNet的两阶段雪花去除架构。此外，他们还提出了第一个称为Snow100K的雪花数据集。然而，它无法充分去除雪花，因为没有考虑到遮蔽效应和非透明雪花颗粒。Chen等人[2]提出了一种称为JSTASR的网络，通过结合修改的部分卷积和可微分的暗通道先验层来去除雪花颗粒和遮蔽效应。他们还提出了一个考虑到遮蔽效应的雪花数据集SRRS。尽管这种算法可以解决遮蔽效应和非透明雪花颗粒的问题，但有时该方法可能会失败，原因如下：i）没有考虑到雪花条纹；ii）雪花颗粒的检测不准确，可能导致过度或不足的去雪；iii）过度去遮蔽问题导致颜色失真。02.2. 基于双树复小波变换的计算机视觉应用0双树复小波变换（DTCWT）[9]已经被采用来解决图像处理和恢复问题[14, 15, 16,17]很长一段时间了。Singh等人[18]将DTCWT与ScatterNet一起应用于图像分类。Li等人[19]和Lu等人[20]使用DTCWT进行图像分割。Chen等人[21]利用DTWCT的相移特性进行3D配准。Sun等人[22]和Jung等人[23]将其与自适应直方图均衡化一起用于低光增强。03. 方法论03.1. 双树复小波变换0DTCWT[9]是离散小波变换（DWT）[24]的改进形式。尽管DWT已经在几个图像和信号处理任务中被采用[25,26]，因为它可以以更稀疏的方式表示信号，但它可能存在一些限制：i）对噪声的容忍度较差；ii）方向选择性较差，使得处理几何特征（如边缘、脊线）的处理困难，0对角特征更具挑战性。DTCWT通过引入复小波和树结构来克服这些问题。在DTCWT中，信号通过基于缩放函数、复移位和扩展的母小波的解析滤波器进行分解：0− 1 ，  ψ � ( � )  和  ψ � ( � )是小波基。它们分别是母小波的实部和虚部。对于2DDTCWT，如图2a所示，生成了六个高通子带（蓝色边界框）和一个低通子带（红色边界框）。这些高通子带包含了不同方向（即 ± 15 ◦ ， ± 45 ◦ ， ± 75 ◦）和对角线形状的更详细和纹理信息。这个特性有利于提取雪花信息，因为雪花颗粒通常由对角线雪花和斜面雪花条纹组成。如图2b所示，可以看出DTCWT中的高频子带可以更好地表示雪花信息，特别是雪花条纹。因此，在本文中，我们将DTCWT嵌入到网络中，以更好地提取雪花信息。03.2. 基于分层DTCWT的去雪0在本节中，我们介绍了处理各种大小和形状的雪花颗粒问题的思路。整体网络如图3所示。首先，将输入的雪花图像通过DTCWT在第一级进行分解，得到高频分量和低频分量（即{ �� 1 1 , ..., �� � 1 }和  �� 1 ，其中 �是子带的数量）。然后，将低频分量进一步分解到下一级，即将 �� 1 分解为{ �� 1 2 , ..., �� � 2 }和  �� 2。按照这个操作，我们递归地将每个级别的低频分量分解到 ���级。我们在每个尺度上应用高频重建网络来去除残余的雪花（小型和中型）并恢复详细信息，而低频重建网络则用于进行结构信息恢复和大型雪花颗粒的恢复。𝐴𝑊𝐶𝑖 =μ(I),𝑖 = 1[μ(𝐿𝐹1), ..., μ(𝐿𝐹𝑖−1), μ(I)],otherwise , (3)μ(𝑞) = ∥ρ∈ϕκτρ (𝑞),(4)��������������������������!������������������������������������� �������������������������(a)��������������������������������������������������������������������������������������(b)��������������������������������������������������������������������������������������(c)I𝐶𝑜𝑛𝑡𝑟𝑎𝑑𝑖𝑐𝑡 (𝑥) = 𝑚𝑎𝑥𝑦∈Ω(𝑥)�𝑚𝑖𝑛𝑐∈{𝑟,𝑔,𝑏}I𝑐 (𝑥)�,(5)41990图3：所提出架构的概述。所提出的网络基于分层DTCWT分解。�� � � 和 ˆ �� � � 分别表示具有 � 个子带的输入和预测的高频分量在 � ��级别上的值。0去除。然后，通过逆DTCWT反复组合重建的低频子带（ � ��）和高频子带（ � ��）。通过这种分解和重建的范式，每个子带可能包含缩小的空间分辨率，这意味着雪图像以较小的尺度重建。因此，去除较大尺寸的雪纹和雪花可能变得更容易。此外，通过多个方向的更好几何表示，可以适当地在每个尺度的高频子带中检索雪信息。因此，基于这两种机制的组合，可以有效地处理较大尺寸和各种形状的雪颗粒。网络架构。分层双树复小波表示网络分为两部分：i）高频重建（HR）和ii）低频重建（LR）。这两个子网络利用Res2Net [ 27]作为骨干。我们进一步将多反卷积 [ 28 ,  29 ]、全局卷积 [30 ]和边界细化 [ 30]引入网络以提高性能。详细的架构在补充材料中呈现。为了提高子网络的性能，我们提出了聚合小波分量（AWC）来为两个子网络提供多尺度的空间信息。0其中 AWC � 和 LF � 分别表示AWC和低频分量在 � ��级别上的值。[ ,  ] 表示连接操作，μ 是多池化架构 [ 2]，如下所示：0其中 κ τ ρ () 表示具有内核大小 ρ 和扩张级别 τ的步幅卷积操作，ϕ ∈ {2, 3, 5}0图4：矛盾通道的统计调查。 (a)789张雪地和无雪地图像上像素强度的直方图；(b)和(c)分别是雪地图像和无雪地图像中矛盾通道的累积分布。我们采用35×35的块大小。x轴上的刻度是反转的，以便更好地理解。0是步幅卷积的比例范围。在这项工作中，τ被设置为2。采用AWC的想法如下。与直接对输入进行降采样相比，AWC包含了不同尺度中低频分量中更多的语义和上下文信息，这有利于重建过程。此外，为了防止降采样中的信息丢失，应用了多池化。请注意，HR和LR子网络的架构是相似的。然而，LR中使用了更多的并行内核（即内核大小为2、3、5、7和9的内核）和多池化，并且其滤波器深度比HR的滤波器深度更宽，因为低频分量恢复涉及到更复杂的语义信息。03.3. 矛盾通道损失0在本文中，我们提出了一种新的操作，可以识别雪地和无雪地图像之间的差异。我们称之为矛盾通道（CC），即：I𝐷𝑎𝑟𝑘 (𝑥) = 𝑚𝑖𝑛𝑦∈Ω(𝑥)𝑚𝑖𝑛𝑐∈{𝑟,𝑔,𝑏}I𝑐 (𝑥) ,(6)I𝐵𝑟𝑖𝑔ℎ𝑡 (𝑥) = 𝑚𝑎𝑥𝑦 Ω 𝑥�𝑚𝑎𝑥𝑐𝑟,𝑔,𝑏 I𝑐 (𝑥)�,(7)L𝐶𝐶 = ||𝐶𝐶(J) − 𝐶𝐶(J𝐺𝑇 )||1,(8)L𝐶𝑊 =�𝑖���(ηπ𝑖 − ηπ𝑖 ) + 𝑗(ηπ𝑖 − ηπ𝑖 )�2 + 𝜖2�,(9)42000图5：在无雪（上行）和有雪（下行）图像上，使用35×35块大小进行的暗通道、亮通道和矛盾通道操作的比较。0其中  I � ( x ) 是图像在颜色通道  c  上的强度，  Ω ( x ) 是以x为中心的固定大小的局部块。然后，我们对雪图像和清晰图像应用矛盾通道操作，并研究它们的直方图。结果如图  4所示。从图中可以发现一个有趣的现象。与清晰图像相比，雪图像的矛盾通道可能有更多接近于1的像素。雪粒子区域的强度比无雪区域高。这种现象是由以下原因造成的：1)雪花，2) 雪纹，和 3)遮蔽效应。这些物质会导致矛盾通道中的高强度。另一方面，与雪图像相比，清晰图像通常充满了具有鲜艳颜色的物体，如蓝色水、绿色草木和红色或黄色花朵，这可能使矛盾通道的强度较低。我们将这种特性定义为矛盾通道先验(CCP)。与现有的图像先验，如暗通道先验 (DCP) [ 31 ]和亮通道先验 (BCP) [ 32 ]相比，矛盾通道在雪景场景中更具辨别性。这两种先验的操作可以表示为：0其中  I ����  和  I ������  分别表示暗通道和亮通道操作。在中，我们展示了雪图像的暗通道、亮通道和矛盾通道，以及它们对应的真实值。可以看到，虽然雪图像的暗通道可以提取遮蔽效应信息，但由于局部块中的最小操作，暗通道操作无法有效检测到雪粒子。对于亮通道，虽然可以获取一些雪的信息，但由于颜色通道中的最大操作，对雪的表示可能受到限制，这可能迫使无雪区域0通过将红色、蓝色和绿色通道合并为一个通道，矛盾通道将雪景的辨别能力降低。基于上述分析，我们可以得出结论，矛盾通道可以成为去雪的一个辨别特征。矛盾通道的强度可以被视为区分无雪图像和雪图像的自然度量。受到这一特性的启发，我们构建了一种新的损失函数，称为矛盾通道损失，以提高去雪的训练过程。矛盾通道损失  L ��  的定义如下：0其中  �� ()  表示矛盾通道操作。 L ��  表示矛盾通道损失，  J表示预测的无雪图像，  J ��  是对应的真实值。03.4. 损失函数0提出的网络采用了三种损失：(i) 复杂小波损失  L ��  ，(ii)感知损失  L ���  [ 33 ]，以及 (iii) 矛盾通道损失  L ��。复杂小波损失。复杂小波损失  L �� 的定义如下：0其中  π  ∈  {H,L}。’H’和’L’分别表示高频和低频域的小波系数。 η π �和  � η π � 分别表示估计的小波系数和对应的真实值在  � ��层级上。 �代表松弛值，可以防止高频小波系数为零，以保持纹理细节。因此，在高频域中计算损失时，我们将  �  =  0 . 02，在低频域中将  �  =  0。总体损失。在提出的网络中，总体损失函数表示为：0L������� = L�� + �1L�� + �2L���，(10)0其中L���表示感知损失[33]。在本文中，我们将�1和�2分别设置为2和0.1。04. 实验04.1. 数据生成和实现细节0为了反映真实世界雪景中的复杂构成，我们构建了一个名为Comprehensive SnowDataset（CSD）的大规模数据集。它包含10000张合成的雪景图像。在合成过程中，首先我们应用了著名的雾数据集RESIDE[39]，并按照[2]中的合成过程模拟了遮蔽效果。42010表1：对三个现有雪地数据集的定量分析。提出的方法在所有数据集上都能取得最佳结果，验证了该方法的鲁棒性。'wDH'和'woDH'分别表示经过[34]去雾和未经去雾的情况。红色数字表示最佳结果，蓝色数字表示次佳结果。0数据集（大小）方法（PSNR/SSIM/CIEDE 2000）0Zheng[5] Eigen[35] DesnowNet[1] CycleGAN[36] DAD[37] All in One[38] JSTASR[2] 我们的方法0Snow100K（2000）23.86/0.82/3.90 20.12/0.72/6.40 30.50/0.94/2.31 26.81/0.89/5.73 24.93/0.84/7.61 26.07/0.88/5.53 23.12/0.86/6.31 31.54/0.95/2.180SRRS（2000）wDH 19.12/0.80/8.25 17.36/0.66/9.69 20.38/0.84/7.53 20.21/0.74/8.20 24.31/0.86/6.41 24.98/0.88/4.98 25.82/0.89/7.18 27.78/0.92/3.64 woDH 15.78/0.74/12.2814.25/0.62/14.46 16.22/0.79/12.140CSD（2000）wDH 20.21/0.79/7.56 18.63/0.66/8.62 20.13/0.81/6.01 20.98/0.80/6.38 24.33/0.85/7.38 26.31/0.87/5.13 27.96/0.88/6.47 29.06/0.91/3.22 woDH 13.98/0.67/15.6912.71/0.55/17.96 17.63/0.75/9.430（a）0（b）0（c）0图6：提出的CSD数据集示例。（a）输入；（b）真值；（c）组合的雪遮罩0然后，我们根据Photoshop的雪花合成教程，根据不同属性（即透明度、大小和位置）合成雪花和雪纹。此外，我们对雪粒子进行了高斯模糊，以更好地模拟真实世界的雪景。CSD数据集中的雪景示例如图6所示。对于实现细节，学习率设置为10^-4，并应用Adam[40]优化器。我们采用4级DTCWT。提出的网络在Nvidia RTX TitanGPU上进行训练，批量大小为8，训练1000个epochs。提出的网络在Tensorflow平台上实现。对于训练数据，我们使用了CSD数据集中的8000张图像。在每个epoch中，我们将30%的训练数据作为验证集。04.2. 定量评估0在本节中，我们采用了四种现有的雪地去除方法进行比较：Zheng等人[5]，Eigen等人[35]，DesnowNet[1]和JSTASR[2]（基于GAN的方法）。此外，我们还采用了三种可以应对不同恶劣天气下退化问题的方法（即DAD[37]，All inOne[38]和CycleGAN[36]）。为了进行公正的比较，我们重新训练了每个模型（如果提供了原始训练代码），并报告了最佳结果。我们在三个数据集上评估了提出的方法：Snow-100K[1]，SRRS[2]和CSD。结果如表1所示。每个数据集中的图像数量在名称后面显示。0图像质量分析。为了定量评估，我们采用了三个指标：结构相似性（SSIM），峰值信噪比（PSNR）和CIEDE 2000。0表2：提出方法与其他基于学习的雪地去除方法在运行时间和所需参数数量方面的比较。0DesnowNet [ 1 ] JSTASR [ 2 ] 我们的方法0时间（秒）1.38 0.87 0.140参数 1.56 × 10^7 6.5 × 10^7 6.99 × 10^60从表1可以看出，提出的方法在所有指标上都优于其他去雪方法，包括峰值信噪比（PSNR）和CIEDE2000色差。与第二好的算法相比，提出的方法在CSD数据集上的PSNR、SSIM和CIEDE2000分别高出3.9%、3.4%和37.2%。这证明了提出的方法在图像质量和颜色保真度方面可以取得最佳性能。0运行时间分析。在表2中，给出了运行时间和所需参数数量的分析。我们将我们的方法与其他基于学习的去雪算法进行比较。结果表明，与其他去雪方法相比，提出的方法需要更少的计算资源。提出的方法至少节省了83%的运行时间和55%的参数。04.3. 定性评估0在图7中，我们比较了使用提出的算法和其他算法对真实数据集进行去雪的结果。可以看到，与其他方法相比，提出的方法可以去除更多的雪粒子。对于其他方法恢复的图像，雪粒子和遮挡效应（见2A和5Ah行）无法清楚地去除。此外，在3Ah行的结果中0从结果中可以看出，与其他方法相比，提出的方法可以有效地去除雪纹。因此，结果证明了提出的方法在实际场景中具有更好的泛化能力。01 这个结果是在Nvidia GTX 1080ti GPU上测试的。42020图7：提出的方法与现有的除雪策略之间的视觉比较。0图8：消融研究的视觉比较。我们证明了DTCWT（1Aa行），分层架构（2Aa行）和损失函数（3Aa行）的有效性。（放大以获得更好的视觉质量。）In this paper, a novel desnowing network to address thelimitations in current desnowing methods was proposed.First, to handle the complicated snow scenario, a hierarchi-cal network based on the DTCWT was developed. With thebetter representation of snow features, the snowflakes, snowstreaks, and the veiling effect can be removed effectively.Second, we develop a novel prior in snow images called thecontradict channel prior (CCP). Based on it, the contradictchannel loss was designed to improve the desnowing per-formance. Last, a large-scale snow dataset called CSD wasproposed. It can interpret the real-world snow scenarios ef-fectively compared with previous datasets. Experimentalresults showed that the proposed method outperforms state-of-the-art desnowing algorithms in desnowing and can ben-efit high-level vision tasks.42030表3：应用不同特征提取技术的结果比较。0指标 VC MC HLD DWT 我们的方法0PSNR/SSIM 22.18/0.81 24.31/0.83 26.13/0.86 27.92/0.88 29.06/0.910表4：提出的分层架构的消融研究。注意，H-4是本文提出的架构。0指标 H-1 H-2 H-3 B H-4 H-50PSNR/SSIM 25.31/0.83 27.51/0.88 28.49/0.89 27.33/0.87 29.06/0.91 28.81/0.900表5：验证提出的损失函数的有效性。0指标 基准 LAA LAA + LAA LAA + LAA 我们的方法0PSNR/SSIM 26.13/0.87 27.33/0.88 27.43/0.87 27.53/0.88 29.06/0.9104.4. 消融研究0为了验证每个提出的模块的有效性，我们将消融研究分为三个部分：DTCWT的有效性，分层架构的有效性以及损失函数的有效性。所有实验都在CSD数据集上进行评估和重新训练。0DTCWT的有效性。为了证明利用DTCWT可以实现网络训练的更好性能，我们将DTCWT替换为提出网络中的四种常规特征提取技术。在表3和图8中，我们采用了卷积核大小为3×3（VC）的普通卷积，多卷积（MC）[41]，基于图像平滑的高低频分解（HLD）[39，42]和DWT[24]。为了公平比较，除了特征提取技术外，网络的其余部分都是相同的架构。从表3和图8的第一行可以看出，使用DTCWT进行雪特征提取可以实现比其他方法更好的恢复结果。此外，我们还提供了不同设置的视觉比较。可以观察到，通过嵌入DTCWT，去雪结果可以比其他方法更理想。0分层架构的有效性。为了验证分层架构的有效性，我们构建了几个比较设置，即（i）仅在每个级别中分解低频分量但具有不同级别的DTCWT分解（ H-1  到  H-5）的提出的分层架构;（ii）在每个级别中分解高频和低频分量的提出的分层架构（4级分解）（ B）。结果显示在表  4  和图  8  的第二行中。可以看出，提出的架构（ H-4）在去除雪花方面表现出优越的性能。原因是对于（i），一级分解不能充分将雪花颗粒适当地分解成小尺度的颗粒。然而，过多的分解级别可能会恶化最终结果。例如，对于输入图像尺寸（ 480  ×  640），在5级分解后，底层的子带可能会丢失空间信息。此外，对于（ii）中的设置，与我们的方法相比，性能受限，因为恢复的子带数量约为  H-4的四倍，并且恢复过多的子带可能会降低结果的质量。损失函数的有效性。我们评估了提出的损失函数的有效性，即  L ��  和  L �� 。此外，我们将  L ��  与暗通道损失（ L ��）和亮通道损失  L ��  进行了比较。比较结果显示在表  5  和图  8的第三行中。'基线'表示最终恢复结果上的  � 2损失。此实验中的每种组合都是使用感知损失进行训练的。结果表明，使用提出的两个损失函数，网络的性能可以大大提高，与基线相比。此外，与其他现有的损失函数（即  L ��和 L ��）相比，CC损失可以获得更显著的改进，因为相反的通道是雪花场景的一个判别特征。0在本文中，提出了一种新颖的去雪网络，以解决当前去雪方法的局限性。首先，为了处理复杂的雪花场景，我们开发了一种基于DTCWT的分层网络。通过更好地表示雪花特征，可以有效地去除雪花、雪纹和遮蔽效应。其次，我们开发了一种称为相反通道先验（CCP）的新颖雪花图像先验。基于此，设计了相反通道损失以提高去雪性能。最后，我们提出了一个名为CSD的大规模雪花数据集。与以前的数据集相比，它可以有效地解释真实世界的雪花场景。实验结果表明，所提出的方法在去雪方面优于现有的最先进的去雪算法，并且可以为高级视觉任务带来益处。05. 结论06. 致谢0我们感谢国家高性能计算中心（NCHC）提供计算和存储资源。0参考文献0[1] Y.-F. Liu, D.-W. Jaw, S.-C. Huang, and J.-N. Hwang,“Desnownet: 上下文感知的深度网络用于去雪,”  IEEETransactions on Image Processing , vol. 27, no. 6, pp.3064–3073, 2018.  1 ,  2 ,  3 ,  642040[2] W.-T. Chen, H.-Y. Fang, J.-J. Ding, C.-C. Tsai, and S.-Y.Kuo, “Jstasr:基于修改的部分卷积和遮蔽效应去除的联合大小和透明度感知雪花去除算法,” in  European Conference on Com- puter Vision ,2020.  1 ,  2 ,  3 ,  4 ,  5 ,  60[3] Z. Li, J. Zhang, Z. Fang, B. Huang, X. Jiang, Y. Gao, andJ.-N. Hwang, “通过组合生成对抗网络进行单幅图像去雪,”IEEE Access , vol. 7, pp. 25 016–25 025, 2019.  1 ,  20[4] J. Xu，W. Zhao，P. Liu和X.Tang，“一种基于改进引导图像的单幅图像去雨雪方法”，计算机与信息科学，第5卷，第3期，第49页，2012年。20[5] X. Zheng，Y. Liao，W. Guo，X. Fu和X.Ding，“基于多引导滤波器的单幅图像去雨雪方法”，神经信息处理国际会议，Springer，2013年，第258-265页。2，60[6] S.-C. Pei，Y.-T. Tsai和C.-Y.Lee，“使用饱和度和可见性特征去除单幅图像中的雨雪”，2014年IEEE国际多媒体和博览会研讨会(ICMEW)，第1-6页。20[7] Y. Wang，S. Liu，C. Chen和B.Zeng，“一种用于单色图像中去除雨雪的分层方法”，IEEE图像处理交易，第26卷，第8期，第3936-3950页，2017年。20[8] S. Yu，Y. Zhao，Y. Mou，J. Wu，L. Han，X. Yang和B.Zhao，“适应内容的单幅图像雨雪去除算法”，2014年国际神经网络研讨会，第439-448页。20[9] I. W. Selesnick，R. G. Baraniuk和N. C.Kingsbury，“双树复小波变换”，IEEE信号处理杂志，第22卷，第6期，第123-151页，2005年。2，30[10] T. Yan，Y. Ding，F. Zhang，N. Xie，W. Liu，Z. Wu和Y.Liu，“光场图像的去雪方法”，IEEEAccess，第7卷，第164203-164215页，2019年。20[11] V. Voronin，E. Semenishchev，M. Zhdanova，R.Sizyakin和A.Zelenskii，“基于四元数框架中的多引导滤波器和各向异性梯度的雨雪去除”，人工智能和机器学习在国防应用中，第11169卷，2019年，第111690页。20[12] Z. Li，J. Zhang，Z. Fang，B. Huang，X. Jiang，Y.Gao和J.-N.Hwang，“基于合成生成对抗网络的单幅图像去雪方法”，IEEEAccess，第7卷，第25016-25025页，2019年。20[13] C. Szegedy，S. Ioffe，V. Vanhoucke和A.Alemi，“Inception-v4，inception-resnet和残差连接对学习的影响”，arXiv预印本arXiv:1602.07261，2016年。30[14] M. Ghorat，G. B. Gharehpetian，H. Latifi和M. A.Hejazi，“一种基于自适应双树复小波变换的局部放电信号去噪算法”，IEEE仪器与测量交易，第67卷，第10期，第2262-2272页，2018年。30[15] P. Luo，X. Qu，X. Qing和J.Gu，“使用修改阈值的双密度双树复小波的CT图像去噪”，2018年第2届数据科学和业务分析国际会议(ICDSBA)。IEEE，2018年，第287-290页。30[16] X. Qu，J. Dong和S.Niu，“shallowcnn-le：一种用于人脸反欺骗的浅层CNN与拉普拉斯嵌入”，2019年第14届IEEE国际自动人脸和手势识别会议(FG2019)。IEEE，2019年，第1-8页。30[17] L. Wang，A. Mohammad-Djafari和N.Gac，“基于双树复小波变换系数的贝叶斯方法在X射线CT图像重建中的应用”，2017年第25届欧洲信号处理会议(EUSIPCO)。IEEE，2017年，第478-482页。30[18] A. Singh和N.Kingsbury，“基于参数化对数双树小波散射网络的高效卷积网络学习”，2017年IEEE国际计算机视觉会议论文集，第1140-1147页。30[19] D. Li，L. Zhang，C. Sun，T. Yin，C. Liu和J.Yang，“基于双树复小波变换和形态学的鲁棒性视网膜图像增强方法”，IEEE Access，第7卷，第47303-47316页，2019年。30[20] H. Lu, H. Wang, Q. Zhang, D. Won, and S. W. Yoon,“基于双树复小波变换的卷积神经网络用于人类甲状腺医学图像分割”，2018年IEEE国际医疗信息学会议(ICHI)。IEEE，2018年，第191-198页。30[21] H. Chen and N. Kingsbury,“非刚性三维物体的高效配准”，《IEEE 图像处理期刊》，第 21卷，第 1 期，第 262-272 页，2011。30[22] T. Sun and C. Jung,“基于双树复小波变换的低光图像可读性增强”，于 2016 年 IEEE国际声学、语音和信号处理会议中，第 1741-1745 页。30[23] C. Jung, Q. Yang, T. Sun, Q. Fu, and H. Song,“基于双树复小波变换的低光图像增强”，《视觉通信与图像表达期刊》，第 42 卷，第 28-36 页，2017。30[24] B. L. Sturm, “Stéphane Mallat:信号处理的小波之旅”，2007。3, 80[25] H.-H. Yang and Y. Fu, “Wavelet u-net和色彩适应变换用于单图像去雾”，于 2019 年 IEEE图像处理国际会议中，第 2736-2740 页。30[26] H.-H. Yang, C.-H. H. Yang, and Y.-C. J. Tsai, “Y-net:基于小波结构相似性损失函数的多尺度特征聚合网络用于单图像去雾”，于 2020 年 IEEE 国际声学、语音和信号处理会议中，第2628-2632 页。30[27] S.-H. Gao, M.-M. Cheng, K. Zhao, X.-Y. Zhang, M.-H.Yang, and P. Torr, “Res2net:一种新的多尺度主干网络架构”，《IEEE TPAMI》，2020。442050[28] W.-T. Chen, J.-J. Ding, and S.-Y. Kuo,“基于补丁映射的单图像强韧去雾 PMS-Net”，于 2019 年 IEEE计算机视觉与模式识别会议论文集中，第 11681-11689 页。40[29] W.-T. Chen, H.-Y. Fang,