具有循环注意力剩余模块的双向特征金字塔网络用于阴影检测

具有循环注意力剩余模块的双向特征金字塔网络用于阴影检测Lei Zhu1，2，5，，Zijun Deng3，， Xiaowei Hu1，Chi-WingFu1，5，， Xuemiao Xu4，Jing Qin2，and Pheng-Ann Heng1，51香港中文大学，中国2香港理工大学，中国3华南理工大学，广州，中国4计算智能与网络空间信息广东省重点实验室（华南理工大学），广州，中国5中国科学院深圳先进技术研究院深圳市虚拟现实与人机交互技术重点实验室抽象。本文提出了一种通过探索和结合深层中的全局上下文和深层卷积神经网络（CNN）的浅层中的局部上下文来检测阴影的网络。在我们的网络设计中有两个技术贡献。首先，我们制定了循环注意力残差（RAR）模块来组合两个相邻CNN层中的上下文，并学习注意力图以选择残差，然后细化上下文特征。其次，我们开发了一个双向特征金字塔网络（BFPN），通过在网络中部署两个系列的RAR模块来迭代组合和细化上下文特征，从而聚合跨越不同CNN层的阴影上下文：一个系列从深层到浅层细化上下文特征，另一个系列从浅层到深层细化上下文特征。因此，我们可以更好地抑制错误检测和增强阴影细节在同一时间。我们在两个常见的阴影检测基准数据集上评估我们的网络：S-BU和UCF。实验结果表明，我们的网络优于现有的最好的方法，减少34.88%的SBU和减少34.57%的UCF的平衡错误率。1介绍阴影是由于灯光被场景中的关联对象遮挡而接收到的照明比周围环境少的区域为了检测图像中的阴影，早期的作品开发了具有启发式先验的物理模型[1，2]，或者采用基于手工特征的然而，图像先验和手工制作的功能是不有效的提取高层次的语义。最近，基于卷积神经网络（CNN）[3- 7]的方法在各种阴影检测基准上显示出不同的性能，例如，[4、联合第一作者通讯作者（cwfu@cse.cuhk.edu.hk）2Lei Zhu等[8]。成功的一个关键因素是CNN能够学习阴影图像中的全局空间上下文，正如最近的作品所证明的那样[5为了进一步探索空间上下文并提高阴影检测性能，需要理解场景中对象和光照条件的全局上下文、阴影形状中细节的局部上下文以及在不同尺度下提取的各种上下文的集成这促使我们在不同的CNN层上探索阴影上下文，其中浅层有助于揭示局部上下文，深层由于大的感受野而有助于揭示全局上下文。在这项工作中，我们设计了一个双向特征金字塔网络（BFPN），它扩展了特征金字塔网络架构[9]。特别是，我们的目标是利用深，浅层的空间上下文，以及迭代集成的背景下，最大限度地提高阴影检测性能。具体来说，我们在这项工作中有以下技术贡献：– 首先，我们开发了递归注意力残差模块，简称RAR模块，以组合和处理两个相邻CNN层中的空间上下文。在模块内部，网络学习和预测注意力图，以选择残差并细化上下文特征。– 其次，我们设计了我们的双向特征金字塔网络（BFPN），采取-ING RAR模块作为构建块。在BFPN内部，我们首先应用卷积神经网络（CNN）来生成一组特征图（即，空间上下文），然后使用两个系列的RAR模块来迭代地整合CNN层上的空间上下文：一系列RAR模块从深层到浅层，另一系列RAR模块从浅层到深层。最后，从两个方向的预测结果进一步集成的注意机制。为了展示我们的网络的性能，我们在两个常见的基准测试中对其进行评估，即，SBU [4]和UCF [8]，并将其性能与设计用于阴影检测，阴影去除，显着性检测和语义分割的几种最先进的方法进行结果表明，我们的模型明显优于现有的最佳方法，在平衡错误率方面，SBU 减 少 了 34.88% 我 们 的 方 法 的 代 码 和 模 型 可 在https://github.com/zijundeng/BDRAR上获得。2相关工作自然图像中的阴影已被用作各种计算机视觉问题中的提示，用于提取场景几何形状[10，11]，光线方向[12]以及相机位置和参数[13]。另一方面，阴影也有益于各种高级图像理解任务，例如，图像分割[14]、对象检测[15]和对象跟踪[16]。在文献中，已经提出了许多单图像阴影检测方法。早期作品[1，2，17]侧重于照明模型和颜色具有循环注意剩余模块的双向FPN3信息来检测来自输入的阴影，但对于宽动态范围图像[5，18]效果良好。数据驱动统计学习是另一种流行的阴影检测策略，通过从具有注释的地面事实的图像中学习阴影属性。这些方法通常首先设计一些手工制作的特征[8，18虽然在阴影检测上显示出性能改进，但由于手工制作的特征的有限的辨别能力，它们在复杂的情况下经常失败。与 基 于 手 工 特 征 的 传 统 方 法 相 比 ， 基 于 深 度 卷 积 神 经 网 络（CNN）的方法刷新了许多计算机视觉任务[6，7，9，22，23]，包括阴影检测。例如，Khan等人[3]是第一个使用深度学习自动学习阴影检测特征的人，并取得了显着改进。他们训练了一个CNN来检测阴影区域，另一个CNN来检测阴影边界，然后将预测结果馈送到条件随机场（CRF），用于将图像像素分类为阴影/非阴影。后来，提出了一种堆栈CNN [4]，通过考虑图像的全局预测和图像块的阴影预测来检测阴影他们首先训练了一个完全卷积的网络来获得图像级的阴影先验，然后将其与局部图像补丁相结合，训练一个基于补丁的CNN来进行最终的阴影图预测。最近，通过获得由手工制作的特征产生的阴影先验图，然后应用补丁级CNN来计算输入图像的改进阴影概率图，引入了快速深阴影检测网络[24]基于生成对抗网络的阴影检测器，称为scGAN [5]，通过在输入RGB图像上制定条件生成器并学习预测相应的阴影图来开发当检测给定图像的阴影时，他们将大量多尺度裁剪的预测阴影掩模结合起来，用于最终的阴影掩模预测。Hu et al.[6，7]提出了具有方向感知空间上下文模块的深度网络以分析全局语义。最先进的作品[5-7]中的深度模型与这些方法相比，我们建议通过充分利用CNN不同层中的全局和局部上下文来开发一个网络来检测阴影。结果表明，我们的方法在两个广泛使用的基准数据集上的BER值方面明显优于[5-3方法图1呈现了采用两个系列的RAR模块的整个阴影检测网络的工作流程（参见图2）。2（d）），以充分利用卷积神经网络的两个相邻层处的全局上下文和局部上下文。我们的网络以单个图像作为输入，并以端到端的方式输出阴影检测结果首先，它利用卷积神经网络（CNN）来提取具有不同分辨率的特征图的4Lei Zhu等监督监督监督RARRARRAR监督上×2上×4上×8监督注意力融合上×2监督上×2上×2RAR RARRAR监管监管监管图图1：阴影检测网络的总体示意图。最好用彩色观看。浅层中的特征图发现局部区域中的精细阴影细节信息，而深层中的特征图捕获整个图像的阴影语义信息[25]。然后，我们开发了RAR模块，通过将两个相邻的特征图作为输入来学习注意力图并选择用于细化上下文特征的残差，来逐步细化CNN的每一层的特征。我们将多个RAR模块嵌入到双向特征金字塔网络（BFPN）中，该网络使用两个方向路径来获取不同层的上下文信息：一个路径是从浅层到深层，而另一个路径是在相反的方向上。最后，我们从两个方向路径的最后一层的特征预测得分图，然后以注意的方式融合这两个得分图以生成最终的阴影检测结果。在下面的小节中，我们首先详细介绍了RAR模块如何在CNN的每一层细化特征图，然后详细介绍了我们如何将RAR模块嵌入到阴影检测网络（称为具有RAR模块的双向特征金字塔网络（BFPN），简称BDRAR）中，最后介绍了我们的网络的训练和测试策略。3.1重复注意力剩余模块我们的方法中的一个主要问题是通过组合CNN的两个相邻层处的上下文特征来细化用于阴影检测的每一层处的上下文特征一种常见的方法是使用元素加法（见图1）。图2（a））类似于原始FPN [9]来合并这两个相邻特征。它对低分辨率特征图进行上采样然而，在两个输入上下文特征上的逐元素添加简单地合并了不同层处的特征，从而遭受抑制高分辨率特征图中的非阴影细节的有限能力，并且将非阴影区域引入到结果中为了解决这个问题，我们引入具有循环注意剩余模块的双向FPN5注意剩余模块注意剩余模块^^^关注模块conv注意力图++残余^resJ^I我(c)注意力残差（AR）模块J^I我+conv+残余J^i（^res我(a)（b）基于残差学习的模块J我(d)重复注意残差（RAR）模块^i（i+1）图2：合并特征的不同模块的示意图（图1和图2）。Fj）在两个层处用于该fetre_finem_t（输出fetre_finem_t：Fj）。残差学习技术[26，27]通过学习输入特征的残差来改进特征细化。如图在图2（b）中，它开始于将两个输入特征图的级联作为输入，并学习产生残差图以通过逐元素加法来细化原始特征。学习剩余的对应物（见图1）。 2（b）），而不是直接添加特征图（见图2（b））。2（a））使得特征细化任务更容易，因为它只需要从不同层的特征中学习补充信息，并且可以保留原始特征。为了进一步提高特征细化的性能，我们开发了一个再流注意力残差（RAR）模块（参见图1B）。2（d）），其循环地应用注意力残差（AR）模块（参见图2（d））。2（c））来计算细化的上下文特征。令Fres表示通过使用图1的基于残差学习的模块第2段（b）分段。我们的AR模块通过循环学习注意力图来选择有用的信息作为残差，这是由原始的Fres作为输出细化功能添加的Fres，从而具体地，AR模块通过连接输入的两个相邻的上下文特征开始，并且然后利用注意力模块（参见图2）。3（a）），以从级联特征产生权重（或注意力）图。注意力地图作为特征选择器工作6Lei Zhu等^我^ ^您的位置：我我我..ΣΣ我我..ΣΣ我我我（）=.Σ（2）(a) RAR中的注意模块（b）注意融合图3：（a）RAR中的注意力模块的示意图;（b）用于最终阴影检测图的注意力融合的细节;参见第二节。3.2.以增强良好特征并抑制Fres中的噪声。然后，通过将学习的注意力图与Fres相乘，然后使用逐元素加法将其与Fres相加，获得AR模块的输出细化特征，如图所示。3（c）款。因此，我们的RAR模块通过递归地采用AR模块来计算细化的上下文特征，其中在先前的递归步骤中输出的细化特征被用作后续AR模块的输入，并且不同AR模块的参数被共享以降低过拟合的风险。在数学上，我们的RAR计算细化特征（表示为Fu+1）的值为：Fu+1 =.1+A。Cat（Fu，Fj）Σ Σ*ΣΦ. Cat（Fu，Fj）Σ+FjΣ，（1）其中u = 1，2，. . . ，U; U是循环步骤的数量;Fu是细化特征经过u个循环步骤后，F1 =Fi，这是在层i的上下文特征，CNN;Fj是CNN的层j处的上下文特征;Cat表示Fi和Fj上的级联操作;A（Cat（Fi，Fj））是使用注意力机制学习的权重图（细节参见下面的段落）;Φ表示残差函数。RAR中的注意模块 受用于图像分类的注意力机制的启发[23]，我们开发了一个注意力模块（见图11）。3（a））来从等式3（a）的级联特征（Cat（Fu，Fj））学习权重图。① ①）。它从三个残差块开始，其中每个块具有1*1卷积层、3*3扩张卷积层和1*1卷积层。之后，我们计算- 通过在从三个残差块学习的特征图（表示为H）上使用S形函数的权重（注意力）图A Cat（Fu，Fj1ap，q，c，1+exp−H（p，q，c）其中a（p，q，c）是学习的权重图A Cat（Fu，Fj）的第c个通道的空间位置（p，q）处的权重，而H（p，q，c）是H的第c个通道的空间位置（p，q）处的特征+conv，乙状1×11×13×31×11×13×31×11×13×31×1乙状具有循环注意剩余模块的双向FPN73.2我们网络请注意，原始的FPN [9]在自上而下的路径中迭代合并特征我们认为，这种单一的自上而下的路径是不足以捕获的阴影上下文信息跨越在不同层的CNN。为了缓解这个问题，我们设计了一个双向机制来整合不同层的上下文信息：一种（自上而下）途径是将特征从低分辨率层集成到高分辨率层，而另一种（自下而上）途径是从高分辨率层集成到低分辨率层，并且我们使用我们的RAR模块（参见第2节）。3.1)以通过合并两个相邻特征来细化每一层处的特征。在那之后，我们，按照[28]，使用注意力机制（见图2）。图3（b）中所示的方法，以通过融合来自自上而下方向上的最后一层处的细化特征（表示为F_H）和自下而上方向上的最后一层处的特征（表示为F_L）的阴影预测来生成最终阴影检测图。如图在图3（b）中，我们首先通过使用1× 1卷积层从细化特征（FH和FL）生成两个阴影检测图然后，我们对FH和FL的级联执行两个卷积层（3× 3和1× 1），并使用sigmoid函数生成注意力图，将注意力图与阴影检测图相乘以产生最终的阴影检测结果。所设计的双向特征金字塔网络（BFPN）可以有效地利用用于阴影检测的两个方向路径中的特征的互补信息请参考第节中的消融研究。4.4对于两个阴影检测基准数据集上的原始FPN和我们的BFRN之间的比较。3.3培训和测试策略我们使用PyTorch实现了我们的网络，并采用ResNeXt101 [29]作为特征提取的基本卷积神经网络。损失函数如图1，我们的网络利用深度监督机制[30]对两个双向路径的每一层的特征施加监督信号，以促进有用的信息传播到阴影区域。在训练过程中，对网络的每个输出使用二进制交叉熵损失，总损失是所有输出得分图的损失之和。训练参数。 为了加速训练过程并降低过度拟合风险，我们通过ResNeXt[29]初始化基本卷积神经网络的参数，该参数已在ImageNet上进行了良好的图像分类任务训练。其他参数由随机噪声初始化。随机梯度下降（SGD）配备的动量为0.9和重量衰减为0.0005是用来优化整个网络的3000次迭代。我们通过poly策略[31]调整学习率，基本学习率为0.005，幂为0.9。我们在SBU训练集上训练我们的网络，其中包含8Lei Zhu等表1：将我们的方法（BDRAR）与阴影检测（DSC [6，7]，scGAN [5]，stacked-CNN [4] ， patched-CNN [24] 和 Unary-Pairwise [19] ） ， 阴 影 去 除（DeshadowNet [33]），显著性检测（SRM [34]和Amulet [35]）以及语义分割（PSPNet [36]）的最新技术进行比较。SBU [4] UCF [8]方法BERBERBDRAR（我们的）3.645.30DSC [6，7]5.598.10scGAN [5]9.1011.50Stacked-CNN [4]11.0013.00[24]第二十四话11.56-一对一[19]25.03-[33]第三十三话6.968.92SRM [34]7.259.81护身符[35]15.1315.17PSPNet [36]8.5711.754089张图片。此外，我们通过随机水平翻转来增加训练集我们将所有图像调整为相同的分辨率（416× 416）。我们的网络在单个GTX1080Ti GPU上训练，小批量大小为8，整个训练过程仅需约40分钟。推理。在测试过程中，我们首先将输入图像的大小调整为与训练阶段相同的分辨率。然后，我们将注意力融合模块的输出（见图1）。3（b））作为用于阴影检测的整个网络的最终输出。最后，我们使用全连接条件随机场（CRF）[32]通过优化网络输出上每个像素的空间相干性来进一步增强检测结果。4实验结果4.1数据集和评估指标基准数据集。我们在两个广泛使用的影子基准数据集上评估了所提出的网络的有效性：SBU [4]和UCF [8]。两个基准数据集中的每个图像具有其对应的注释的二进制阴影标记。SBU数据集是最大的公开可用的注释阴影数据集，具有4089个训练图像和638个测试图像，而UCF数据集由145个训练图像和76个测试图像组成在我们的实验中，我们使用SBU训练集训练我们的阴影检测网络，并在SBU和UCF的测试集上评估我们的方法和竞争对手我们的网络需要0.056秒来处理416× 416分辨率的图像评估指标我们采用了一个常用的指标，即平衡具有循环注意剩余模块的双向FPN9输入地面我们DSCscGAN paCNN stCNNSRMAmulet PSPNet图像真理方法[6]美国[五]《中国日报》[24日][4]美国[34个][35]第三十五届[36个]图4：通过我们的方法和其他方法（4 t h -10 t h colums）产生的阴影图相对于在2nd colums中显示的图形的视觉比较。“st-C-NN”和“p-C-NN”不是“st-C-NN”和“p-C-NN”，而是“st-C-NN”和“p-C-NN”。误码率（BER），定量评价阴影检测性能; BER的定义请参考该文献[6]。注意，更好的性能由更低的BER值指示。4.2与最先进的阴影探测器的比较我们将我们的方法与最近的五种阴影检测器进行比较：DSC [6，7]、sc-GAN [5]、stacked-CNN [4]、patched-CNN [24]和Unary-Pairwise [19]。为了进行进一步的比较，我们从作者或通过使用由作者提供的具有推荐参数设置的公共实现中获得了没有这些内容的内容表1报告了不同方法的定量结果从结果中，我们可以发现基于深度学习的方法[4，6，7，24]通常比手工制作的检测器[19]具有DSC [6，7]通过分析方向上下文以理解全局图像语义来推断阴影，实现了比其他现有深度学习模型[4，5，24]更优越的性能。与DSC相比，我们的方法在SBU上减少了34.88%，在UCF上减少了34.57%，表明我们的方法（BDRAR）在两个基准数据集上都优于其他方法。虽然我们的阴影检测网络是在SBU训练集[4]上训练的，但它在UCF数据集上的性能仍然优于其他网络，这证明了我们网络的泛化能力。10Lei Zhu等输入地面我们DSCscGAN paCNN stCNNSRMAmulet PSPNet图像真理方法[6]美国[五]《中国日报》[24日][4]美国[34个][35]第三十五届[36个]图5：通过我们的方法和其他方法（4 t h -10 t h colums）产生的阴影图相对于在2n d colums中显示的图形的视觉比较。“st-C-NN”和“p-C-NN”不是“st-C-NN”和“p-C-NN”，而是“st-C-NN”和“p-C-NN”。图如图4和5所示，我们提供了不同输入图像的视觉比较结果。从结果中，我们可以发现我们的方法（图3的第3列）比我们的方法更有效。4和5）可以有效地定位各种背景下的阴影并避免误报，因此在所有阴影检测器中具有最好的性能。而且，对于大阴影区域内的高对比度物体，我们的方法仍然将其识别为阴影;见图的最后两行。五、4.3阴影去除、显著性检测和语义分割注意，可以通过使用带注释的阴影数据集来重新训练被设计用于阴影去除、显著性检测和语义图像分割的深度网络以用于阴影检测。为了进一步评估我们的方法的有效性，通过将我们的方法与最近的阴影去除模型（即，DeshadowNet [33]，两个最近的深度显着性检测模型，即，SRM [34]和Amulet [35]，以及最近的语义分割模型，即，PSPNet[36]。由于我们无法获得DeshadowNet [33]的原始代码，因此我们仔细遵循DeshadowNet发表的论文，尽最大努力实现它，并在SBU训练集上训练阴影检测模型。对于其他三种方法，我们从他们的项目网页中获得这些方法的代码，并在SBU训练集上重新训练他们的模型。为了获得公平的计算结果，我们尽最大努力调整它们的训练参数，并选择最佳的阴影检测结果。表1中的最后四行报告了这些方法的BER值。即具有循环注意剩余模块的双向FPN11使它们具有比一些现有的更10Lei Zhu等表2：消融分析。我们使用SBU训练集训练所有网络，并使用SBU测试集[4]和UCF测试集[8]测试它们SBU [4] UCF [8]网络BERBERFPN5.787.70BD5.377.11RAR4.336.09BDR4.236.71BDAR3.746.19BDRAR（我们的）3.645.30BDRAR，不带软件3.895.66(a) 输入（b）GT（c）我们的（d）RAR（e）BD（f）FPN图6：将由我们的方法（c）和由其他三个模型（d）-（f）产生的阴影图与（b）中的地面实况（表示为“GT”）进行比较阴影检测器，我们的方法仍然表现出优越的阴影检测性能超过他们在两个基准数据集。另一方面，图中的最后三列图4和图5给出了预测的阴影图，表明我们的网络可以始终产生比其他方法更好的阴影检测图4.4消融分析我们进行实验，以评估在FPN和RAR模块设计的有效性的双向功能集成。基本模型是原始的“FPN [ 9]”，其中仅使用下行链路来优化数据集，并移除图1中所示的所有RAR模块。1.第二模型（表示为“BD”）与“FPN”相似，但使用我们的双向映射来存储CNN的不同层处的特征。第三模型（表示为“RAR”）是仅具有RAR模块的“FPN”。 第四模型（表示为“BDR”）用基于残差学习的模块替换我们的网络的所有RAR模块（参见图1）。2（b）），而第五模型（表示为“BDAR”）用注意力残差学习模块替换我们所有的RAR模块（参见图2（b））。2（c）），这意味着该模型是通过从我们的RAR模块中移除递归机制来构建的。最后一个模型（表示为“BDRAR w/o sw”）12Lei Zhu等表3：具有不同递归步骤的RAR模块。SBU [4]UCF [8]循环步骤BER改进BER改进1（BDRA）23.743.64-2.67%6.195.30-14.38%33.89-6.87%5.66-6.79%具有与我们的BDRAR类似的结构，但它在我们的RAR模块中的每个递归步骤中使用独立的权重。表2总结了两个基准数据集上的比较BER值。从结果可以看出，“用双向反馈的方式取代单一的自上而下的FPN路径“和”采用自上而下的RAR模型“都能明显改善FPN的性能。与我们的网络与基于残差学习的模块的结果相比（见图1）。2（b））和注意力残差模块（见图。2（c）），我们的RAR模块（见图。图2（d））在阴影检测上具有更好的性能，因为它可以循环地学习一组注意力权重以选择良好的残差特征来细化集成特征，如表2所示。此外，我们提供了可视化分析，以评估RAR和双向特征集成如何通过比较我们的方法与三个模型：“F P N”，“B D”和“R AR”进行实验。“F i g. 图6示出了两幅输入图像上的比较，示出了RAR和BD可以检测更多的阴影区域，如图6所示。6（d-f）。更重要的是，我们的方法与RAR和双向集成产生最佳的性能，我们预测的阴影图更类似于地面实况（GT）。最后，我们的方法也优于“BDRAR w/o sw”，这表明在RAR 模块中共享权重可以减少网络的学习参数，从而导致更好的阴影检测结果。请注意，我们的RAR模块（见图）。2（d））循环地采用AR模块（参见图2（d））。2（c）），以通过合并两个相邻特征来细化每一层处的特征。因此，配置网络的一个基本问题是我们在RAR模块中使用了多少循环步骤。我们采用以RAR模块为基线的网络（BDAR），它只有一个递归步骤（见表2）;我们通过用不同轮的递归步骤（AR模块轮;见图2）修改我们的网络进行比较实验2(c) 在我们的RAR中），并且表3报告了结果。如表3所示，我们可以发现在RAR模块中具有两个循环步骤实现了阴影检测的最佳性能。与只有一个AR模块相比，具有两轮AR模型的网络可以通过进一步整合相邻特征来提高每层细化特征的质量。然而，当我们的RAR中有三轮AR模块时，它在很大程度上增加了我们网络的复杂性，从而使网络训练更加困难。具有循环注意剩余模块的双向FPN13(a)（b）第（1）款(c)（d）其他事项图7：我们的网络产生了更多结果输入图像为我们的结果提供基础事实图8：我们网络的失败案例4.5更多阴影检测结果在图7中，我们示出了更多的阴影检测结果：（a）低对比度阴影边界;（b）黑色背景的不相连阴影;（c）多个人类对象;和（d）微小且不规则的阴影。从结果中可以看出，我们的方法仍然可以很好地检测这些阴影。请注意，我们的方法也有其局限性，并且在一些极端情况下往往会失败，例如软阴影（见图2）。8（顶部）），和阴影与微小的细节（见图。8（底部））。4.6显著性检测我们的深度模型有可能处理其他视觉任务。这里，我们以显著性检测为例。为了评估我们的模型的显著性检测性能，我们首先在“M S RA10 k”上建立模型，这是一个广泛使用的显著性对象检测数据集，然后在四个广泛使用的基准数据集上测试训练模型，包括ECSSD，HKU-IS，PASCAL-S和DUT-OMRON;有关详细信息，请参阅[37，38]14Lei Zhu等表4：与关于显著性检测的现有技术方法的比较方法ECSSDHKU-ISPascal-SDUT-OmronFβMaeFβMaeFβMaeFβMaeNLDF [39]0.905 0.063 0.902 0.048 0.831 0.099 0.7530.080UCF [40]0.910 0.078 0.886 0.073 0.821 0.120 0.7350.131[第37话]0.916 0.053 0.911 0.040 0.829 0.102 0.7710.066护身符[35]0.913 0.059 0.887 0.053 0.828 0.095 0.7370.083SRM [34]0.917 0.056 0.906 0.046 0.844 0.087 0.7690.069RADF [38]0.924 0.049 0.914 0.039 0.832 0.102 0.7890.060BDRAR（我们的）0.935 0.045 0.916 0.038 0.846 0.109 0.808 0.058这些数据集。此外，我们使用了两个常见的度量（Fβ和MAE;参见[37]的定义）来进行不同显着性检测器之间的定量比较。表4显示了我们的模型和几个最先进的显着性检测器之间的定量比较。从表中，我们可以看到，我们的模型在几乎所有四个基准测试中的Fβ和MAE方面都产生了最佳性能5结论本文提出了一种新的单图像阴影检测网络提出了两种新技术，即循环注意力残差（RAR）模块和双向特征金字塔网络（BFPN），以充分探索编码在卷积神经网络（CNN）不同层中的全局和局部上下文信息RAR模块提出了一种新的特征细化策略，通过学习注意力权重，以递归方式选择残差，而BFPN在两个方向上聚合不同层的阴影上下文特征，它可以增强阴影边界，同时抑制非阴影区域。最后，我们的网络在两个基准数据集上实现了最先进的性能，并且显著优于其他方法。致谢本研究得到了国家基础研究计划973项目的支持。2015CB351706）、香港特别行政区研究资助局（项目编号：香港中文大学14225616）、深圳理工技术方案（不。JCYJ20160429190300857和JCYJ20170413162617606）、中大战略招生基金、国家自然科学基金（批准号：61272293、61300137、61472145、61233012）和NSFG（批准号：研究资助局基金（拨款广东省科技规划重大项目（批准号：CUHK 14200915）、广东省科技规划重大项目（批准号：2015 A070711001）和广东省普及型高性能计算机重点实验室、深圳市服务计算与应用重点实验室开放项目计划（批准号：SZU-GDPHPCL 2015）。胡晓伟是由香港博士资助的奖学金具有循环注意剩余模块的双向FPN15引用1. Finlayson，G. D.，南达科他州霍德利吕，C.，Drew，M.S.：关于去除图像中的阴影。IEEE Transactions on Pattern Analysis and Machine Intelligence28（1）（2006）592. Finlayson ， G. D. ， 德 鲁 理 学 硕 士 Lu ， C. ： 熵 最 小 化 的 阴 影 去 除 。InternalJour nalofComuterVison85（1）（2009）353. Khan，S.H.，Bennamoun，M.，Sohel，F.，Togneri，R.：机器人的自动特征学习已经成为一个重要的研究课题。 In：CVPR. （2014）19394. 维森特，T.F.Y.，侯湖余总Hoai，M.，萨马拉斯，D.：大规模训练阴影检测器与噪声注释阴影的例子。In：ECCV. （2016）8165. Nguyen，V.，维森特，T.F.Y.，赵，M.，Hoai，M.，萨马拉斯，D.：具有一 致 性 规 则 的 阴 影 检 测 和 驱 动 器 是 两 个 任 务 中 的 一 个 。 In ： ICCV.（2017）45106. Hu，X.，Zhu，L.，中国科学院，Fu，C.W.，秦杰，Heng，P.A.：方向感知的空间上下文特征用于阴影方向。 In：CVPR. （2018）74547. Hu，X.，Fu，C.W.，Zhu，L.，中国科学院，秦杰，Heng，P.A.：用于阴影检测和去除的方 向感知空间上下文特征arXiv预印本arXiv ：1805.04635（2018）8. Zhu，J.，Samuel，K.G.，马苏德，S.Z.，Tappen，M.F.：学习识别非彩色图像中的阴影。 In：CVPR. （2010年）2239. 林，T. 是的， 做吧，P Gir shi ck，R.， He，K.， Hariharan，B. Belongie，S. ：针对对象数据集，执行两项任务。 In：CVPR. （2017）211710. Okabe，T.，佐藤岛Sato，Y.：附加阴影编码：在未知反射率和光照条件下从阴影估计曲面法线。In：ICCV. （2009）169311. Karsch，K.，Hedau，V. Forsyth，D.，Hoiem，D.：将合成对象渲染为旧照片。ACM Trans. on Graphics（SIGGRAPH Asia）30（6）（2011）157：112. Lalonde，J.F.，埃夫罗斯，匿名戒酒会Narasimhan，S.G.：从影像中估算自然光照。 In：ICCV. （2009年）18313. Junejo，I. N.，Foroosh，H.：估计静止相机的地理时间位置，使用具有下行链路的记录。 In：ECCV. （2008年）31814. Ecins，A.，Fermuller，C. Aloimonos，Y.：使用局部图像处理技术在静止图像中进行无阴影分割 In：ICCP. （20 14）115. 库基亚拉河格拉纳角Piccardi，M.，Prati，A.：检测视频流中的移动对象 、 IEEE Transactions on Pattern Analysis and Ma-chi neIntellig nce25（10）（2003）133716. Nadimi，S.，Bhanu，B.： 视频中运动阴影和目标检测的物理模型。IEEETransactions on Pattern Analysis and Machine Intelligence 26（8）（2004）107917. 田，J.，Qi，X.，Qu，L.，Tang，Y.：新的频谱比性质和特征，用于shadowde teteti on。第51卷（2016）85- 96页18. Lalonde，J.F.，埃夫罗斯，匿名戒酒会Narasimhan，S.G.：室外摄像机中地面阴影的检测。 In：ECCV. （2010年）32219. Guo，R.，Dai，Q.，Hoiem，D.：使用像素的单图像阴影检测和去除。In：CVPR. （2011）203320. 黄，X.，Hua，G.，Tumblin，J.，Williams，L.：什么特征的影子债券和一个ry和他的是一个和天空？ In：ICCV. （2011年）89821. Vicente，Y. Tomas，F. Hoai，M.，萨马拉斯，D.：针对哈希表的留一法内核优化。 In：ICCV. （2015）338816Lei Zhu等22. Tai，Y.，杨杰，刘X：基于深度递归残差网络的图像超分辨率。 In：CVPR. （20 17）314723. 王福，Jiang，M.，钱，C.，杨，S.，Li，C.，张洪，王，X.，唐X：Residualatentin ttor kforrimgecasicaton。 In：CVPR. （2017）315624. Hosseinzadeh，S.，Shakeri，M.，Zhang，H.：使用补丁卷积神经网络从单个图像中快速检测阴影。arXiv预印本arXiv：1709.09283（2017）25. Bell，S.，Zitnick，C.L.，Bala，K.，Girshick，R.：内外网：用跳跃池和递归神经网络检测上下文中的对象。在：CVPR中。（2016）287426. 他，K.，张，X.，Ren，S.，孙杰：用于图像识别的深度残差学习。In：CVPR. （2016）77027. 邓志，Hu，X.，Zhu，L.，中国科学院，徐，X.，秦杰，Han，G.，Heng，P.A.：R3 Net：经常性资源针对一个简单的数据结构进行重新定义。 In：IJCAI. （2018）68428. Li，G.，Xie，Y.，（1986 - 1990），中国科学院，林，L.，Yu，Y.：实例级显著对象分割。In：CVPR. （2017）24729. Xie ， S. ， Gir shi ck ， R. ， 做 吧 ， PTu， Z. ， He ， K. ： 一 个ggregggatedresidultra n s formalaltransfordeepneurannetor ks 。 In ： CVPR.（2017）598730. Xie，S.， Tu，Z. ：HolisticAilly-nestededddegetectin. In：ICCV. （2015）139531. 刘伟，Rabinovich，A.，Berg，A.C.：Parsenet：看得更宽，看得更好。arXiv预印本arXiv：1506.04579（2015）32. Kr¨ahenb u¨hl，P.， Koltun，V. ：在与Gausinedgepotenals完全连接的C R F中的效率。 In：NIPS. （2011）10933. Qu，L.，田，J.，他S唐，Y.，刘荣文：DeshadowNet：一种多上下文元素，其针对以下内容进行设计。 In：CVPR. （2017）406734. 王，T.，Borji，A.，张，L.，张，P.，Lu，H.：用于检测的分阶段细化模型可以在内存中阻塞对象。 In：ICCV. （2017）401935. 张，P.，Wang，D.，中国科学院，吕，H.，王，H.，阮某：Amulet：聚合多级概念，以确定某个对象的所有要素。 In：ICCV. （2017）20236. 赵，H.，施，J.，Qi，X.，王，X.，Jia，J.：金字塔场景解析网络。In：CVPR. （2017）288137. Hou，Q.，郑女士Hu X.W. Borji，A.，Tu，Z.，Torr，P.：深度监督的安全解决方案，可与高级连接一起执行检测。 In：CVPR. （2017）320338. Hu，X.，Zhu，L.，中国科学院，秦杰，Fu，C.W.，Heng，P.A.：循环地聚合深度特征以形成块数据集。 In：AAAI. （2018）694339. Luo，Z.，Mishra，A. Achkar，A.，Eichel，J.，Li，S.，Jodoin，P.M.：非局部深度特征形成了一个块。 In：CVPR. 2017-06- 26 10：00：0040. 张，P.，Wang，D.，中国科学院，吕，H.，王，H.，Yin，B.：学习用于计算的不确定卷积特征是一种不确定性。 In：ICCV. （2017）212