基于阴影去除的精细上下文阴影检测

1705基于阴影去除的精细上下文阴影检测Jeya Maria Jose Valanarasu和Vishal M.约翰霍普金斯大学{jvalana1，vpatel36} @ jhu.edu摘要当前的阴影检测方法在检测小的、不清楚的或具有模糊边缘的阴影区域时表现不佳在这项工作中，我们试图从两个方面解决这个问题。首先，我们提出了一个精细的上下文感知的阴影检测网络（FCSD-Net），在这里我们限制了感受野的大小，并专注于低级别的功能，以更好地学习精细的上下文特征。其次，我们提出了一种新的学习策略，称为恢复检测（R2D），我们表明，当一个深度神经网络被训练用于恢复（阴影去除）时，它也会学习有意义的特征来描绘阴影掩模。为了利用阴影检测和去除任务的这种互补性，我们训练了一个辅助网络用于阴影去除，并提出了一个互补特征学习块（CFL）来学习和融合阴影去除网络中有意义的特征到阴影检测网络。我们使用跨多个数据集的R2 D学习策略来训练所提出的网络FCSD-Net。在三个公共阴影检测数据集（ISTD、SBU和UCF）上的实验结果表明，该方法在提高阴影检测性能的同时，能够更好地检测到精细的上下文。我们提出的学习策略也可以很容易地被采用，作为一个有用的管道，在未来的进步，阴影检测和去除。1. 介绍在自然条件下拍摄的任何图像中存在阴影的可能性很高。阴影是由物体遮挡来自照明源的光引起的，从而导致光被遮挡的表面的颜色、强度和纹理无论是室外还是室内，具有照明源的单个对象的存在都足以投射阴影（不包括垂直条件）。由于两个主要原因，检测阴影在计算机视觉中非常重要。首先，阴影妨碍图像场景，导致其他主要视觉任务（如语义分割）的性能下降。恢复R（）学习阴影学习执行功能恢复输入图像CFL特征学习互补特征阴影检测D（）学习阴影学习执行特征检测图1.我们提出的学习策略R2D。由恢复网络R（）学习的阴影特征图经由互补特征学习块（CFL）转发到检测网络D（）以增强检测性能。站[11]，目标检测[29]，视频监控[28]和视觉跟踪[7]。在这些任务中，仔细描绘或去除阴影有助于提高性能。其次，检测阴影有助于其他任务，如推断场景几何形状[19，18，31]，相机参数[42]和光源定位[32，22]。提出用于图像中阴影检测的传统方法开发物理模型[10，9]或使用基于手工制作特征的机器学习模型[23，16，46]。随着深度学习方法在解决计算机视觉任务中的普及，许多基于卷积神经网络（ConvNets）的方法被提出用于阴影检测任务[44，45，47，40，39，41，6，4，38，37，30]。基于ConvNet的方法被发现是成功的阴影检测，因为它们能够学习全局上下文的阴影区域比任何其他以前的方法。这一关键属性在最近的作品中得到了具体证明[47，30，15]。然而，当阴影区域很小或具有模糊边界时，这些方法表现不佳。在这项工作中，我们专注于解决阴影检测中的精细上下文问题。首先，我们提出了一个新的网络架构的de-1706--PSNR = 29.63SSIM = 0.94--PSNR = 26.07SSIM = 0.87输入图像恢复图像残差R2D GT图2.从输入图像中寻找复原图像的残差，预测阴影分割图。可以看出，残差是有噪声的，而我们提出的学习策略R2D预测阴影分割与地面实况一样好。有效地分割阴影区域的精细上下文的保护。虽然ConvNets在捕获全局上下文方面工作得更好，因为由于更大的感受野，更深层关注更大的对象即使通过使用不同分辨率的输入探索了提取局部特征[47]，但它仍然不能很好地分割小的或边界不清楚的精细上下文阴影区域。为此，我们提出了一个精细的上下文感知阴影检测网络（FCSD-Net），其中我们引入了一个精细的上下文检测器块，该块限制了感受野大小在更深的层中的扩大，从而有助于小的、不清楚的或具有混淆边界的阴影区域的阴影去除也是计算机视觉中一个不断发展的研究领域，其任务是通过去除阴影来恢复原始图像。 传统方法[27，43，3，2]以及基于深度学习的方法[24，26，36，1，21，5]已被提出来解决这个任务。阴影检测和去除可以被认为是复杂的任务，因为一个涉及到检测阴影区域，另一个涉及到去除阴影区域并将其与背景景物替换。使用阴影去除的阴影检测的简单解决方案然而，残余是非常嘈杂的，因为恢复是不完美的，即使它看起来视觉上很好。在图2中可以找到一个这样的例子，我们使用当前最先进的阴影去除方法-双层次聚集网络（DHAN）[8]来恢复图像。可以注意到，即使PSNR和SSIM对于恢复是合理的，残差仍然不是期望的阴影分割。因此，在这项工作中，我们提出了一种新的方法来有效地使用删除任务，以提高检测任务。很明显，为阴影去除训练的深度网络也学习了阴影区域的特征。该概念在第3.3节中详细解释，并且也在图6中示出。 我们试图利用这一现象，并利用这些特征图，以提高阴影检测。最近发布的数据集-ISTD[39]由三组图像组成-带阴影的图像，阴影分割和清晰的图像使这个想法可行。可以注意到，没有先前的方法尝试利用恢复任务来改进检测任务。最重要的工作是[39]，其中设计了一个堆叠的条件生成对抗网络来解决阴影检测和顺序去除。它添加了阴影检测掩模作为去除网络的输入，但其检测管道仍然通用。我们提出了一种新的阴影检测学习策略，称为恢复检测（R2D），其中我们有一个恢复网络R（），它学习阴影去除作为辅助任务，并将学习到的特征图馈送到检测网络D（）。我们还提出了一个互补特征学习块（CFL），它只学习从R（）到D（）的阴影特征。建议的学习框架R2D如图1. 据我们所知，这是第一个尝试使用阴影去除任务来增强阴影检测的工作。我们在多个数据集上进行了广泛的实验，结果表明，我们提出的网络FCSD-Net与提出的学习策略R2 D在定性和定量方面都优于本文的主要贡献如下：• 我们提出FCSD-Net，可以有效地检测阴影区域不清楚，模糊或小。它还减少了与阴影具有相似颜色和强度的背景区域的误检测• 我们提出了一种新的学习策略，称为恢复检测（R2D），利用阴影去除过程中学习的特征图，以提高阴影检测的性能这种学习策略可以很容易地被任何当前或未来的阴影检测方法所采用。• 我 们 在 三 个 公 共 阴 影 检 测 数 据 集 -SBU[38] ，UCF[46]和ISTD[39]中实现了定量和定性的性能改进，特别是在混淆情况下。2. 相关工作传统方法。 早期的阴影检测方法例如，[23，16，46]基于阴影区域的边缘和像素信息设计手工制作的功能，后来，人们使用手工制作的功能探索了各种分类器。特别是，Huang等人。[16]使用阴影的边缘特征来训练SVM[13]进行阴影检测。Guo等人。[12]使用基于图形的分类器来使用光照特征分割阴影。Vicente等人。[37]使用MRF通过使用成对区域上下文信息来提高阴影检测性能很少有早期的作品[9，10]还探讨了建立基于照明和颜色的模型来分割1707× ××22× ××shadows.这些方法中的大多数在复杂的场景中表现不佳，因为手工制作的特征不能很好地区分阴影区域和图像背景。基于深度学习的方法。随着深度学习在各种计算机视觉任务中的成功，作为语义分割、对象检测、图像分解和图像到图像转换，在文献中已经提出了用于阴影检测的各种基于ConvNet的方法[20，38，30，25，15]。 Khan等人[20]首先使用一个简单的7层ConvNet来自动提取阴影检测的特征描述符。特征学习部分在超像素级和阴影边界上进行Vicente等人。[38]提出了一种语义补丁级别的ConvNet，可以在补丁上进行有效训练，同时还使用图像级别的语义信息。Nguyen等人[30]介绍了scGAN，其中cGAN是为阴影检测任务量身定制的。scGAN使用对抗性方法来更好地建模高级上下文和全局特征。Heet al.[25]提出了另一种对抗策略，其中两个独立的网络-衰减网络和阴影检测网络以对抗方式一起训练，其中衰减网络试图通过修改输入的阴影图像来欺骗检测网络这有效地充当训练数据的数据扩充，因为阴影检测网络现在是在输入数据的各种新实例上训练的。Hu等人。[15]探索了一种方向感知方式来分析阴影检测的图像上下文。提出了一种新的模型--方向感知空间上下文模型（DSC），它利用空间RNN来学习阴影的空间上下文。Zhu等人。[47]提出了一种双向特征金字塔网络（BFPN），它通过使用递归注意力残差（RAR）来组合两个不同ConvNet的上下文，以从深层到浅层细化上下文特征。 Hosseinzadeg等人 [14]提出首先使用使用统计特征的多类SVM获得阴影先验，然后将其与原始图像一起用于训练块级ConvNet。Zheng 等 人 。 [45] 提 出 了 一 种 分 心 感 知 阴 影 检 测（DSDNet），其中引入了一个独立的分心感知阴影（DS）模块来学习用于鲁棒阴影检测的区分特征。DS模块学习显式地预测假阳性和假阴性图，这有助于学习和整合视觉分心区域以获得有效的阴影检测。Wang等人。[41]提出了一种密集级联学习方法，可以有效地融合全局和局部细节。最近，Chen等人[6]提出了一种使用师生网络的半监督框架，其中使用未标记的阴影数据来进一步提高网络的性能。3. 该方法在本节中，我们将详细解释我们提出的架构FCSD-Net和学习策略R2 D。3.1. 精细上下文阴影检测在大多数以前的基于深度学习的阴影检测解决方案中，使用的ConvNets是通用的编码器-解码器网络架构，其中输入图像被带到较低的维度。conv层被设计成使得连续层的感受野大小通过每个conv层增加。这迫使网络集中在更深层的高级信息上。虽然这实际上有助于网络很好地学习人和大型物体的阴影结构，但它减少了网络对较小阴影区域和边界不清晰的阴影的这是因为较小的阴影区域和较清晰的边缘需要具有较小感受野的conv滤波器来学习提取它们的特征。因此，在我们针对这个问题提出的解决方案中，我们使用了ConvNets的替代设计，以更加关注细节。考虑连续两个conv层的配置，其中I是输入图像，F1和F2分别是从conv层1和2提取的特征图在一般的ConvNet中，让这些Conv层之间有一个最大池化层在这种情况下，输入图像上的conv层2（F1被转发到该层）的感受野将是2k2k。 但是，如果我们有一个上采样层而不是最大池化层，字段将变为1k1k [34，35]。这有助于替代ConvNet架构更好地学习更多的底层信息，如边缘和其他更精细的细节。3.2. FCSD-Net使用上述概念，我们提出FCSD-Net，这是一个端到端的可训练网络，其中输入是带有阴影的图像，输出是阴影分割。与[45，47]类似，我们使用ResNeXt骨干网络进行特征提取。我们选择ResNeXT体系结构中每个conv块的最后一个conv层的输出。具体来说，我们从层conv1、res2c、res3b3、res4b22和res5c中选择特征，并为简单起见将它们命名为L1、L2、L3、L4和L5。注意，在这些特征图中，L1和L2具有低级特征信息，而所有其他特征图具有高级信息。从主干网络，我们通过提取的特征到两个模块-精细上下文检测器（FCD）和粗略上下文检测器（CCD）。我们将所有的特征图（L1，L2，L3，L4和L5）传递给CCD，而我们只将L1传递给FCD，因为FCD的重点是检测低级别的阴影信息。在CCD中，所有这些骨干特征图首先被转发到一个conv块来学习相应的图像特征。1708- --×输入图像阴影检测图3. FCSD-Net的拟议架构。输入图像首先被馈送到ResNeXt骨干网络。骨干特征L1L5被转发到CCD和FCD块。从这些块中提取的特征图F1F6和DS1DS6被转发到输出阴影分割图的融合块。图4.从训练的FCSD-Net中收集的特征图顶行对应于从CCD收集的特征图，而底行对应于从FCD收集的特征图。可以看出，CCD中的特征图专注于高级上下文，而FCD中的特征图专注于精细上下文。响应于阴影检测。我们将这些图像特征分别称为F1、F2、F3、F4和F5 然后在每个尺度上，我们将这些图像特征传递给分心感知阴影（DS）块[45]。我们从[45]中注意到，使用DS模块捕获分心特征有助于提高阴影检测性能。它被设计成使得阴影的假阳性分心和假阴性分心被分别学习，然后被有效地整合。 关于DS模块的更多信息可以在[45]中找到。我们将这些分心感知功能称为DS1、DS2、DS3、DS4和DS5.在FCD中，输入L1被转发到另一种Con-vNet架构.这里，我们有一组4个conv层，它们之间有上采样层。请注意，上采样可以通过插值技术或转置来卷积经过一些早期的实验，我们发现这两种方法的性能是相似的。因此，我们使用一个简单的双线性插值在这项工作中，以减少计算。在每一层选择的插值因子使得特征图在以下方面多增长50个像素：当与上采样层之前的特征图尺寸相比较时的高度和宽度在每个上采样层和每个连续的卷积层之后，感受野得到约束。我们将从最后一个conv层提取的精细上下文特征称为F6。与CCD类似，我们在这里使用DS模块，它有助于捕获阴影分散功能。我们将F6传递给DS模块以获得DS6的分心功能.从FCD和CCD获取的特征图F1至F6、DS1至DS6在融合块中，我们将所有特征图插值到与输入图像相同的在此之后，我们连接所有的特征图，并通过11conv层。这个输出被转发到一个sigmoid激活，以获得二进制阴影贴图作为输出。FCSD-Net的架构如图3所示。熔块图见补充材料。从FCD和CCD块提取的样本特征如图4所示。3.3. 阴影去除和检测阴影检测是从具有阴影的输入图像预测阴影二值掩模的任务。阴影去除是从图像中去除阴影并产生恢复图像的任务，其中阴影部分被替换为背景。这两项任务都需要有关阴影区域的信息，因为它们涉及到仔细描绘阴影。为了示出阴影去除和检测任务的互补性质，让我们假设具有阴影的输入图像由I表示，具有检测到的阴影区域的阴影分割掩模由d表示，并且恢复的图像由r表示。让粗糙上下文检测器DS1F1L1ResNext骨干层1精细上下文检测器L1DS2F2L2层2DS3F3L3层3DS4F4L4层4F6DS6DS5F5L5层5DSF1-F5DS1-DS5融合块F6DS6主干功能阴影特征分心特征分心感知阴影块Conv转换块内插DSDSDSDSDSDS转换转换转换1709−Σ.R（）-U-NetC1C2R1R2R5二维转换CFL特征上采样阴影特征R2C2R1C1CFL精细上下文检测器粗糙上下文检测器D（）-FCSD-NetResNeXt骨干L2C1融合块阴影图像阴影检测恢复图像图5. 所提出的方法的详细说明-R2 D。输入图像被传递到恢复网络（R（））-U-Net和检测网络（D（））- FCSD-Net。特征R1和R2被转发到CFL。CFL-C1和C2的输出被转发到FCSD-Net，在FCSD-Net中它们分别被添加到L2和L5。输出来自FCSD-Net。阴影检测的任务由ConvNetD（）学习，阴影去除的任务由ConvNetR（）学习。然后，阴影检测和去除任务可以用公式表示如下：d=D（I），r= R（I）。（一）阴影去除任务可以进一步公式化为r=Id，（2）其中D表示需要被去除的阴影像素。我们可以清楚地看到，学习R（）涉及学习d。因此，我们尝试使用这种互补的信息，形成当我们学习恢复和使用它来提高检测性能这一现象可能是...如图6所示。图6.在训练U-Net进行阴影去除时收集的特征图尽管这里的任务是去除阴影，但Con- vNet仍然学习了很多特征来检测阴影区域。3.4. R2D：恢复检测在所提出的恢复检测（R2D）方法中，我们有两个网络D（）和R（）分别学习进行阴影检测和阴影去除。对于我们的网络R（），我们使用标准的U-Net[33]架构，因为与其他标准网络相比，它是U-Net由编码器-解码器架构组成，其中编码器和解码器均具有5个conv块。在编码器中的conv块与解码器的conv块之间存在跳过连接。我们从编码器的第2层和第5层选择输出特征图，将其传递到网络D（）。请注意，虽然每个级别的所有特征图都可以转发到网络D（），但我们选择只转发2个级别的特征图，因为从我们的实验中我们发现，这在性能方面已经足够了，并且还有助于降低我们方法的复杂性我们特别选择第2层和第5层，因为我们可以分别利用网络R（）我们将这些特征映射称为R1和R2。关于为什么我们选择第二层和第五层的更多解释请注意，我们没有在R（）中使用任何最先进的阴影消除网络，因为它在R2D框架中优化D（）我们提出了一个互补特征学习（CFL）块来有效地学习和转发对应于阴影区域的特征。在CFL中，我们在每个特征图级别R1和R2都有卷积层。然后我们将它们插值以匹配它将被添加到D（）网络中的特征图的大小。我们称之为特征是C1和C2。我们将C1和C2与L2和L5融合，在FCSD-Net中。R2D学习策略是一种...如图5所示。3.5. 培训战略对于训练R2D，我们联合优化了所有尺度下的阴影预测、假阳性（FP）和假阴性（FN）图。请注意，所有数据集都提供了真实阴影分割蒙版。对于FP和FN地面实况地图，我们使用[45]提供的数据，该数据是基于现有阴影检测与其地面实况之间的差异创建的我们首先找到加权二进制交叉熵损失LW，如下所示：虽然用于阴影检测的标准数据集仅由阴影图像对及其相关性组成LW=−（an yilog（xi）+bn（1−yi）log（1−xi）），我最近发布的ISTD数据集包括三组图像，带阴影的图像，其中xi对应于预测，yi对应于地面实况，an=Nn，bn=Np. Nn和Nn+N pN n+N p阴影分割和干净的恢复图像。这为我们探索利用在学习消除阴影并将其用于检测时学到的信息的想法打开了大门。Np分别是正像素和负像素的数量。请注意，该加权损失是逐像素应用的，并在所有像素上求和。我们计算了FP和FN映射的LW，并分别称之为LFP和LFN。1710我L L L LLL阴影FPFNΣL−L×（anyfndyilogg（xi）Σ表1.比较UCF、SBU和ISTD数据集与最先进阴影检测器的阴影区域、非阴影区域和平均BER的定量结果请注意，所有的数字都是误差，所以越小越好。†仅使用2个数据集找到平均值。我们的结果以粗体显示，我们在所有数据集中以最小的BER实现了最先进的技术。活泼地我们还采用了来自[45]的干扰感知交叉熵损失LDS，这迫使预测不太容易被错误检测到。LDS公式如下：LD=−（我请注意，只有ISTD数据集由三个图像组成，而SBU和UCF数据集仅包含图像对。预训练阶段通常用于以下实验：恢复网络在ISTD数据集上训练的所有数据集。在微调阶段，同时训练-FPD+bnyfpd（1−yi）log（1−xi），fnd使用ISTD数据集，我们仍然可以访问干净的图像所以我们用LR2D训练整个网络。对于其他其中y i是FP像素的基础真值，是FN像素的地面真相我们定义阴影损失在最终阴影预测上计算的阴影为：shadow=W+WDS（4），其在阴影预测和地面实况分割图之间计算。用于训练检测网络的总损耗定义如下：Ldet=αLk+βLk+γLk，（5）K其中k表示在dif上找到的阴影预测在融合块中有鳞片在我们的实验中，α、β和γ的值分别被设置为等于1、2和2L2损失用于预训练恢复网络（U-Net）.其定义为：res=i（yipi）2，其中yi对应于目标干净图像像素，pi对应于恢复图像中第i个像素位置处的预测。在微调阶段，我们使用以下总损失来训练整个LR2D=Ldet + Lres。（六）在使用R2D策略时，我们首先使用res在ISTD数据集上预训练恢复网络R（）500个epochs。R（）在ISTD测试数据集上进行评估时，恢复效果相当好，RMSE为11.21。为了训练图像，我们首先将它们重新缩放到320 320分辨率。我们使用的批量大小为16，学习率为0.001。我们使用SGD作为优化器，动量设置为0.9，权重 衰 减 设 置 为 0.0001 。 我 们 使 用 PyTorch 框 架 使 用Nvidia Quadro RTX-8000 GPU 进 行 训 练 。 请 注 意 ，ResNext-101是在ImageNet上预先训练的，所有其他参数都是随机初始化的。我们还使用随机翻转输入和地面实况的数据增强。数据集，在微调阶段，我们只使用det。 请注意，即使这样，我们也有从恢复网络流向检测网络的特征图，这增强了阴影预测的质量。权重也通过CFL反向传播到恢复网络的编码器，这使得我们的训练策略不依赖于预训练后干净图像的可用性对6000次迭代执行微调。3.6. 推理策略在推理过程中，我们将图像前馈到FCSD-Net和U-Net（分别为D（）和R（））。输出的阴影分割图取自D（）.我们对在4000，5000和6000次迭代中保存的模型进行随机权重平均[17]，并使用它来执行推理。4. 实验和结果在本节中，我们详细介绍了我们进行的实验，以将我们的方法与最近的基于深度学习的方法进行比较：stacked-CNN [37]，SRM [40]，sc- GAN [30]，ST-GAN[39]，BDRAR [47]，DSC [15]，ADNet[25] 、 DC-DSPF[41] 、RAS[4] 、MTMT-Net[6] 和DSDNet[45]第45段。 我们说明了定性的结果，以及计算的性能指标，被广泛使用的阴影检测文献定量比较我们提出的方法与最近的方法。4.1.数据集和评估指标以下三个数据集用于进行实验-UCF[46]、 SBU[38]和ISTD[39]数据集。在我（三）方法UCF[46]SBU[38]ISTD[39]是说BER阴影不要鲱鱼BER阴影不要鲱鱼BER阴影不要鲱鱼BERMTMT-Net（CVPR 2020）[6]7.4710.314.633.153.732.571.721.362.084.11stacked-CNN （ECCV 16）[38]13.009.0017.110.88.8412.768.67.699.2310.8[40]第40话12.5121.413.66.5110.522.507.9213.971.868.98ScGAN（ICCV 17）[30]11.527.7415.39.048.399.694.73.226.188.42美国（公告牌成人另类歌曲榜）[39]11.234.9417.528.143.7512.533.852.145.557.74DSC（CVPR 18）[15]10.5418.083.005.599.761.423.423.853.006.51[25]第二十五话9.258.3710.145.374.456.3---7.31 †RAS（ECCV 18）[4]13.6223.064.187.3112.132.4811.1419.882.4110.69[47]第47话：我的世界7.819.695.943.643.403.892.690.504.874.71[45]第45话7.599.745.443.453.333.582.171.362.984.40[41]第41话：一个女人7.906.509.304.904.705.10---6.40 †EGNet（ICCV 19）[44]9.2011.287.124.495.233.751.851.751.955.111711输入图像DSC（CVPR18）A+DNet（ECCV18）BDRAR（ECCV18）DSDNet（CVPR19）MTMTNet（CVPR20）R2d（我们的）GT图7.我们提出的方法与领先的阴影检测方法的预测比较第一列和最后一列对应-spond到输入和地面实况，分别。其他列对应于使用不同方法获得的预测在SBU和UCF数据集两者中，存在具有阴影和对应的阴影分割掩模的图像SBU数据集由4089张训练图像和638张测试图像组成。在UCF数据集中，我们只使用包含110张图像的测试集，与以前的工作类似。我们在SBU训练集上训练网络，并在SBU测试集和UCF测试集上进行测试。与SBU和UCF数据集不同，ISTD数据集包含三组图像-有阴影的图像，阴影分割遮罩和无阴影的干净图像。ISTD中的训练集和测试集的图像数量分别为1870和540。我们使用平衡错误率（BER）作为性能指标与最近的方法进行定量比较。BER计算如下：如第1节所述的分割掩模。该性能甚至与任何基线方法都不具有可比性，因为ISTD数据集的BER为27.32。4.3.定性结果我们将我们的方法的预测和最佳执行方法的预测可视化，以便在图7中进行比较。可以观察到，与其他方法相比，我们的方法在第一行中，其他方法将木条之间的线误认为阴影，因为它们与阴影的颜色相同。然而，我们的方法并没有错误地检测到他们的阴影，因为我们专注于更好地提取精细的上下文阴影区域可以得出类似的观察结果BER=1−1TP（2 TP+FNTN+ TN+FP ），（7）在第三排。在第二行中，我们的方法不会错误地检测到在岸边发现的较小阴影区域其中TP、TN、FP和FN对应于分别为真阳性、真阴性、假阳性和假阴性的像素。我们分别计算阴影区和非阴影区的误码率，然后计算平均误码率。我们报告的个人阴影，非阴影BER以及平均BER。我们还报告了所有3个数据集的平均BER。4.2.定量结果在表1中，我们总结了我们的实验结果从该表可以看出，我们的方法在所有3个数据集上表现最好。我们注意到，整体MTMT-Net[6]和DSDNet[45]是第二个性能最好的方法。与DSDNet相比，我们的方法在UCF，SBU 和 ISTD 数 据 集 上 的 BER 分 别 提 高 了 8.30% ，8.69%，22.11%。我们还计算了所有数据集的平均BER，与DSDNet和MTMT-Net相比，我们分别提高了10.68%和4.3%。此外，我们还进行了一个实验，使用残差作为阴影而所有其他方法都将它们检测为阴影。5. 讨论消融术研究：我们进行了一项消融研究，以显示在我们提出的方法中每个单独组件的重要性。我们开始只使用骨干特征（BB）的阴影检测。然后分别加入CCD模块和FCD模块进行实验。然后，我们将两个块一起使用，并使用融合块来融合CCD和FCD学习的特征。此配置对应于FCSD-Net。然后，我们添加了基于U-Net的恢复网络，并直接将特征映射融合到FCSD-Net。然后，我们添加CFL块来专门学习要从恢复网络转发到检测网络的阴影特征该配置对应于R2D。对应于这些实验的结果示于表2和图8中。将R2D与其他网络一起使用：此外，为了展示R2D的适应能力，我们进行了一个实验，我们使用1712××输入图像BBBB+CCDBB+FCDBB+CCD+FCDR2D（不带CFL）R2D（带CFL）地面实况图8.消融研究的定性结果比较。第一列和最后一列分别对应于输入和地面实况。其他列对应于在消融研究中使用不同配置获得的预测。阴影检测干净图像图9.ST-cGAN和R2 D的主要区别DSDNet的R2D 结果可见于表3中。 可以观察到，当使用R2D学习策略来训练DSDNet时，与正常训练相比，我们得到了5.90%的提高。与ST-cGAN的区别ST-cGAN[39]使用堆叠的条件生成对抗网络来依次解决阴影检测和去除它使用阴影遮罩输出作为阴影消除网络的附加信息注意，ST-cGAN中的检测流水线是通用的。相比之下，R2D学习策略使用来自移除网络的复杂特征图信息来提高检测性能。这种差异也在图9中可见。局限性：我们承认，我们的方法是更复杂的计算（1.3DSDNet在FLOP方面）比以前的方法。我们的推理时间是0.26秒，每幅图像的分辨率为320 - 320，这是超过MTMT-Net。在R2 D框架中，我们使用U-Net作为我们的恢复网络。一个更好的策略是使用像DHAN这样强大的阴影消除网络[8]。从我们的实验中，当我们选择R（）作为DHAN而不是U-Net时，我们无法有效地训练R（）和D（），因为参数数量巨大，并且难以并行优化两个网络。通过更好的工程策略，使用DHAN应该能够进一步提高R2D的有效性。使用FCSD-Net的阴影检测功能来提高阴影去除性能也是这项工作中未探索的一个可能方向，因为缺乏表3. 使用R2 D进行DSD-Net消融研究的平均BER定量结果比较。的计算能力。并行优化网络并利用阴影去除进行阴影检测，反之亦然，这是本文未探讨的另一种可能的设置。虽然这些设置在理论上是可行的，但障碍是计算能力和不稳定的训练。6. 结论在这项工作中，我们探索了一个新的方向，阴影检测。我们提出了一种新的方法，R2D，其中我们杠杆年龄的阴影特征学习阴影去除过程中，以提高阴影检测性能。我们还提出了一种新的网络架构，FCSD-Net，作为我们的R2 D框架中的检测网络架构。它主要集中在阴影检测的精细上下文特征提取。我们通过设计一个精细的上下文检测器块来实现这一点，在该块中，我们约束感受野大小以更多地关注局部特征，这提高了检测性能，特别是在阴影区域和背景具有相似颜色强度的混淆情况下。R2D可以很容易地作为学习策略来增强任何阴影检测网络。我们进行了广泛的实验，以显示我们的方法的有效性。将阴影检测作为阴影去除的辅助手段是今后的研究方向。阴影检测R（）D（）方法UCF[46]SBU[38]ISTD[39] 是说DSDNet 7.59 3.45 2.17 4.40DSDNet + R2D 7.30 3.39 1.78 4.15ST-CG阴影图像一个R2d阴影图像阴影图像方法UCF[46]SBU[38]ISTD[39]是说BB9.644.483.415.84BB + CCD7.633.482.184.43R（）D（）BB + FCDBB +CCD + FCD7.527.083.403.301.821.714.244.03R2D（不带CFL）7.043.261.704.00注入互补特征使用CFL学习R2D（带CFL）表2.烧蚀螺柱6.96of quantitay.3.15结果1.69方面3.93平均1713引用[1] M Anand ， A Ashwin Natraj ， V Jeya Maria Jose ， KSubrama- nian，Priyanka Bhardwaj，R Pandeeswari，andS Deivalak- shmi.处理多个视觉伪影：使用条件对抗网络的盲图像在计算机视觉和图像处理国际会议上，第331-342页。Springer，2019年。[2] 伊莱·阿贝尔和哈吉特·赫尔·奥尔使用强度表面和纹理锚点 去 除 阴 影 IEEE transactions on pattern analysis andmachine intelligence，33（6）：1202[3] Masashi Baba，Masayuki Mukunoki，和Naoki Asada.基于阴影密度的真实图像阴影去除。ACM SIGGRAPH2004海报，第60页。2004年[4] Shuhan Chen，Xiuli Tan，Ben Wang，and Xuelong Hu.显著对象检测的反向注意。在欧洲计算机视觉会议（ECCV）的会议记录中，第234-250页[5] Zhihao Chen，Liang Wan，Lei Zhu，Jia Shen，HuazhuFu，Wennan Liu，and Jing Qin.三重合作视频阴影检测，2021年。[6] Zhihao Chen，Lei Zhu，Liang Wan，Song Wang，WeiFeng，and Pheng-Ann Heng.半监督阴影检测的多任务平均教师。在IEEE/CVF计算机视觉和模式识别会议论文集，第5611-5620页[7] 丽塔·库奇亚拉，科斯坦蒂诺·格拉纳，马西莫·皮卡尔迪，安德里亚·普拉蒂和斯特凡诺·西罗蒂.利用HSV颜色信息改进运动目标检测中的阴影抑制。2001年ITSC。2001 年 IEEE 智 能 交 通 系 统 。 程 序 （ Cat. No. 01 TH8585），第334-339页。IEEE，2001年。[8] 村晓东潘志文程实以双重阶层聚合网路与阴影遮片网路进行无鬼影阴影移除在AAAI，第10680- 10687页[9] Graham D Finlayson，Mark S Drew，and Cheng Lu.熵最小 化 的 阴 影 去 除 。 International Journal of ComputerVision，85（1）：35[10] Graham D Finlayson，Steven D Hordley，Cheng Lu，andMark S Drew.关于去除图像中的阴影。IEEE模式分析与机器智能学报，28（1）：59[11] 关业鹏。基于小波多尺度变换的前景分割与阴影消除。The Open Signal Processing Journal，1（1），2008.[12] Ruiqi Guo，Qieyun Dai，and Derek Hoiem.使用成对区域的单图像阴影检测和去除见CVPR 2011，第2033-2040页IEEE，2011年。[13] 玛蒂·A Hearst，Susan T Dumais，Edgar Osuna，JohnPlatt，and Bernhard Scholkopf.支持向量机IEEE智能系统及其应用，13（4）：18[14] Sepideh Hosseinzadeh、Moein Shakeri和Hong Zhang。使用补丁卷积神经网络从单个图像进行快速阴影检测。2018 年 IEEE/RSJ 智 能 机 器 人 和 系 统 国 际 会 议（IROS），第3124-3129页。IEEE，2018年。[15] Xiaowei Hu ， Lei Zhu，Chi-Wing Fu ， Jing Qin ，andPheng-Ann Heng.用于阴影检测的方向感知空间上下文特征。在IEEE计算机视觉和模式识别会议论文集，第7454- 7462页[16] Xiang Huang ， Gang Hua ， Jack Tumblin ， and LanceWilliams.太阳和天空下的阴影边界的特征是什么？2011年国际计算机视觉会议，第898-905页。IEEE，2011年。[17] Pavel Izmailov，Dmitrii Podoprikhin，Timur Garipov，Dmitry Vetrov，and Andrew Gordon Wilson.平均权重导致更广泛的最优和更好的泛化。arXiv预印本arXiv：1803.05407，2018。[18] Imran N Junejo和Hassan Foroosh。利用阴影轨迹估计静止摄 像机 的时 空位置 。欧 洲计算 机视 觉会 议，第318Springer，2008.[19] Kevin Karsch ， Varsha Hedau ， David Forsyth ， andDerek Hoiem. 将 合 成 对 象 渲 染 为 旧 照 片 。 ACMTransactions on Graphics（TOG），30（6）：1[20] Salman Hameed Khan ， Mohammed Bennamoun ，Ferdous Sohel，and Roberto Togneri. 用于鲁棒阴影检测的自动特征学习。2014年IEEE会议计算机视觉和模式识别，1939- 1946页。IEEE，2014。[21] Salman H Khan ， Mohammed Bennamoun ， FerdousSohel，and Roberto Togneri.自动阴影检测和removal从一个单一的形象. IEEE transactions on pattern analysisand machine intelligence，38（3）：431[22] Jean-Franc oisLalonde ， Alex eiAEfros ， andSrinivasaGNarasimhan.从单个室外图像估计自然光照。2009年IEEE第12届计算机视觉