1880实例阴影检测王天宇1，2，胡晓伟1，*，王琼2，Heng Pheng-Ann1，2，傅志荣1，21香港中文大学计算机科学与工程系2中国科学院深圳先进技术研究院深圳虚拟现实与人机交互技术重点实验室摘要实例阴影检测是一个全新的问题，其目的是寻找与对象实例配对的阴影实例。为了接近它，我们首先准备了一个名为SOBA的新数据集其次，我们设计了LISA ， 命 名 为 Light-guided Instance Shadow-objectAssocia- tion，一个端到端的框架来自动预测阴影和对象实例，以及阴影-对象关联和光线方向。然后，我们将预测的阴影和对象实例配对并匹配它们(c) 阴影实例遮罩(d) 对象实例掩码(e) 阴影对象关联遮罩与预测的阴影对象关联生成最终结果。在我们的评估中，我们制定了一个新的度量命名为阴影对象的平均精度来衡量我们的结果的性能。此外，我们进行了各种实验，并证明我们的方法1. 介绍“K. Le Guin在《地海巫师》（A Wizard of Earthsea）中写道。当某些物体挡住光线时，就形成了阴影当我们看到阴影时，我们也知道一定有一些物体产生或投射了阴影。阴影是场景中由于光遮挡而导致的光不足区域，但它们具有光遮挡对象的形状，因为它们是这些对象在物理世界上的投影。在这项工作中，我们感兴趣的是一个新的问题，即，寻找阴影及其相关对象。关于阴影，计算机视觉和图像理解中的现有工作主要集中在阴影检测[15，18，19，21，22，26，46，50，54]和阴影恢复。moval [8，16，17，25，37，47].我们这项工作的目标是利用深度神经网络卓越的计算能力来解决新的关联*联合第一作者图1.给定具有阴影的照片（a），实例阴影检测的问题是检测各个阴影实例（c）和各个对象实例（d），以及将阴影与投射它们的对象（e）相关联。(b)显示了用我们的方法对（a）产生的预测结果。阴影和对象-实例阴影检测。也就是说，我们希望检测图像中的阴影实例，以及投射每个阴影的关联对象。能够找到阴影对象关联具有使各种应用受益的潜力。例如，为了保护隐私，当我们从照片中删除人和汽车在最近的一项关于从图像中移除对象以保护隐私的工作中[42]，阴影只是被留在后面。此外，当我们编辑照片时，比如通过缩放或缩放对象，我们可以自然地同时操纵对象及其相关的阴影。此外，阴影对象关联给出了场景中灯光方向的提示，支持重新照明等应用程序。为了解决实例阴影检测的问题，首先，我们准备了一 个 名 为 SOBA 的 新 数 据 集 ， 以 Shadow OBjectAssociation命名。SOBA包含超过1,000张照片的3,623对阴影-对象关联，每个都有三个遮罩（参见图1（c）-（e））：（i）阴影实例遮罩，其中我们用唯一的颜色标记每个阴影实例;（ii）阴影对象关联掩模，其中我们标记自阴影投射阴影（a）输入照片（b）我们的成果1881图2.在我们的SOBA数据集中带有掩码和框标签的示例图像请放大以获得更好的可视化效果。每个阴影-对象对具有对应的唯一颜色;以及（iii）对象实例掩模，其为（ii）减（i）。一般来说，有两种类型的阴影：（i）投射阴影，形成在背景物体上，通常是地面，作为遮光物体的投影，以及（ii）自身阴影，形 成 在 遮 光 物 体 与 直 射 光 相 对 的 一 侧 （ 见 图 1（a））。在这项工作中，我们主要考虑投射阴影，这是对象投影，因为自阴影已经在相关对象上另请参见图2，查看SOBA数据集中的示例图像。接下来，我们设计了一个名为LISA的端到端框架，以 Light-guided Instance Shadow-object Associ- ation 命名，以查找各个阴影和对象实例，阴影对象关联以及每个阴影对象关联中的光线方向。从这些预测，然后我们使用一个简单而有效的方法来配对预测的阴影和对象实例，并将它们与预测的阴影-对象关联进行匹配。第三，为了定量地度量和评价实例阴影检测结果的性能，我们提出了一个新的评价指标SOAP，命名为Shadow-Object Average Precision。最后，我们进一步进行了一系列的实验，以证明我们的方法的有效性，并证明其适用于光线方向估计和照片编辑。2. 相关工作阴影检测。早期作品[39，33，41]使用了 的物理光照和颜色模型，并分析了阴影的光谱和几何特性。后来，机器学习方法被探索用于通过基于手工特征的阴影建模来检测阴影，特克斯纹理[53，43，12，45]、颜色[24，43，12，45]、T形连接[24]和边缘[24，53，20]，然后通过使用各种分类器，例如，决策树[24，53]和SVM [12，20，43，45]，以区分阴影和非阴影。然而，物理模型和手工特征具有有限的特征表示能力，因此它们在一般情况下不鲁棒。后来，卷积神经网络（CNN）被引入来检测阴影。Khan等人[21]和Shen et al. [40]使用CNN学习高级特征和优化方法来检测阴影。Vicente等人[46]训练了一个全连接的网络来预测阴影概率图，然后通过patch-CNN局部细化阴影。最近，端到端网络被设计用于检测阴影。Nguyen等人[32]建立了一个条件生成对抗网络，并使用敏感参数来稳定网络训练。Hu等人[16，19]和Zhuet al. [54]分别通过方向感知空间上下文模块和递归注意力残差模块Wang等人[47] Dinget al.[8]通过使用多个网络或多分支网络联合检测和去除阴影。为了提高检测性能，Leet al.[26]提出生成更多的训练样本，而Zheng等。[50]结合多种方法的优势，明确修改结果。本文研究了一个新的阴影检测问题，即物体间阴影检测.与一般的阴影检测不同，它只为图像中的所有阴影找到一个掩模，我们设计了一个深度架构，不仅可以找到单个阴影，还可以找到关联的对象。实例分段。此外，这项工作涉及到新兴的问题，实例分割，其目标是标记像素的个别前景对象中，1882图像百分比百分之三十百分之二十百分之八十阴影对象百分之五十三10%27%0%的百分比12345678≥9数量阴影-物体关联0%的百分比百分之一百分之三百分之五7%≥9%阴影/对象实例占用的图像空间比例(i) 阴影/对象实例框(ii) 阴影/对象实例蒙版图3. SOBA数据集的统计属性。把图像。总的来说，解决这个问题有两种主要方法：基于提案和无提案的方法。基于提议的方法通常使用对象检测器来提议候选对象并对候选对象进行分类以找到对象实例，MNC[6]、 DeepMask [35]、 Instance- FCN [6]和 SharpMask[36]。后来，FCIS [27]使用完全卷积联合检测和分割对象实例(iii) 阴影对象关联框(iv) 光方向功能网络BAIS [13]以边界感知的方式对对象形状进行建模并分割对象实例。MaskLab [4]使用具有三个输出的网络进行框检测，语义分割和方向预测，而基于Mask R-CNN [14]的方法，例如，[31，3，34]，通过同时检测对象实例和预测分割掩模实现了出色的性能无命题方法[1，2，23，30]首先对图像像素进行分类，然后将像素分组为对象实例。最近，TensorMask[5]利用完全卷积网络进行密集掩码预测，而SSAP [9]仅在一次传递中预测对象实例标签。3. SOBA（阴影对象关联）数据集我们从ADE 20 K收集了1,000张图像[51，52]，SBU [15，44，46]、ISTD [47]和Microsoft COCO [29]数据集，也可以从互联网上使用关键字搜索与阴影加动物，人，汽车，运动会，动物园，街道等。然后，我们对图像进行粗标记，生成阴影实例蒙版和阴影对象关联蒙版，并使用Apple Tools对它们进行细化;参见图1(c)（e）.接下来，我们通过从关联的阴影对象关联遮罩中减去每个阴影实例遮罩来获得对象实例遮罩（参见图1总的来说，在数据集图像中有3,623对阴影对象实例，我们将图像随机分为训练集（840张图像，2,999对）和测试集（160张图像，624对）;一些例子见图2。图3显示了SOBA数据集的一些统计属性。从左边的直方图中，我们可以看到SOBA在每个图像中有不同数量的阴影对象对此外，它还包含许多具有挑战性的案例：7%的图像每个图像有九个或更多的阴影对象对。另一方面，右侧所示的直方图分别揭示了所占据的图像空间（水平轴）图4.LISA框架的示例预测（输出）通过数据集图像中的阴影和对象实例。从图中可以看出，大多数阴影和物体在整个图像中占据相对较小的区域，这说明了检测它们的挑战。4. 方法4.1. LISA的总体网络结构与阴影检测相比，即时阴影检测的挑战在于，我们必须预测阴影实例，而不仅仅是输入图像中所有阴影的单个掩模。此外，我们必须在输入图像中找到对象实例，并将它们与阴影实例配对。为了应对这些挑战，我们设计了一个端到端的框架LISA，命名为光引导实例阴影对象关联。总体而言，如图5所示，LISA将单个图像作为输入并预测(i) 每个阴影/对象实例的框，(ii) 每个阴影/对象实例的遮罩，(iii) 每个阴影对象关联（对）的框，以及(iv) 每个阴影对象关联的灯光方向。图4显示了一组示例输出。特别地，LISA预测光的方向，并将其作为找到阴影-物体关联的指导，因为光的方向通常与阴影-物体关联一致。图5显示了LISA的架构，它首先使用卷积神经网络（ConvNet）从输入图像中提取语义特征。在这里，我们使用特征金字塔网络[28]作为ConvNet的骨干然后，我们设计了一个双分支架构：顶部分支预测每个阴影/对象实例的框和掩模，底部分支预测每个阴影-对象关联的框和关联的光方向。阴影阴影目标t目标tobj+shadobj+shad图像百分比1883minMaxminMaxMaxSO训练数据网络模块图例说明：输出结果图5.我们的光引导实例阴影对象关联（LISA）框架的示意图详细地说，顶部分支从实例区域建议网络（RPN）[38]开始，以找到区域建议，这些区域是包含阴影/对象实例的概率很高的区域。然后，我们采用RoIAlign[14]来提取每个建议的特征，并利用盒子和掩码头来预测阴影和对象实例的盒子和掩码，方法是最小化预测结果与来自训练数据的监督信号请参考Mask R-CNN[14]了解详细信息。另一方面，底部分支采用关联RPN来生成阴影对象关联的区域建议在获得关联之后，我们可以通过组合从顶部分支预测的阴影和对象遮罩来有效地获得阴影-对象关联的遮罩请注意，箱头中的参数是通过最小化每个协会预测的反应。注意，预测的阴影和对象实例不成对，而预测的阴影-对象关联不分离为阴影和对象。此外，这些预测中的一些可能是不因此，我们必须分析这些预测，配对预测的阴影和对象实例，并将它们与预测的阴影-对象关联进行匹配，以便我们可以找到并输出最终配对的阴影和对象实例。图6说明了这个过程，我们首先通过以下方式找到候选阴影-对象关联（参见图6（b））：（i）计算每对阴影和对象实例的边界框之间的最短距离，以及（ii）如果计算出的距离小于阈值，则将一对视为候选关联，该阈值根据经验被设置为相关联的阴影实例的高度在那之后，我们通过合并第i个候选对的边界框来构造第i个候选对的边界框Bi（参见图6（c））。预测阴影对象关联的阴影和对象实例。 给定（xsmin）协会和地面真相协会。（xs）SMax）作为左下角和右上此外，我们还设计了一个平行光定向头，的阴影实例边界框，并且（xoOmin）及底部分支的箱形封头预测角度，OMaxOMax）作为左下角和右上角的表示从阴影到ob的估计光方向。每个关联对中的对象 注意，我们计算对象实例边界框，合并的边界框Bi由下式给出：光线方向的地面实况角θg. min（xs，xo），min（ysΣ，y0），g g g g g.minminminminΣθ=atan2（yo−ys，xo−xs），和max（xsOMax），max（ysmax）。其中（xg，yg）和（xg，yg）是s s o o地面实况图像中的阴影和对象实例质心，atan 2（y，x）是arctan（y/x）函数的变体，以避免异常并输出（−π，π]中的全范围极角。阴影-物体关联分支和光线方向分支共享公共特征提取网络和关联RPN。通过联合优化每个区域建议中的光线方向和阴影对象关联的预测，我们可以提高整体性能。实例阴影检测的性能;参见第5节中的实验结果。4.2. 阴影和对象配对LISA的原始预测包括阴影实例、对象实例、阴影-对象关联和灯光指示。最后，如图6（d）所示，我们计算合并框与LISA中独立预测的阴影对象关联框之间的交集（IoU）（见图5），并选择具有最高IoU的那些作为最终阴影对象关联。然后，对于每一个关联，我们可以得到关联的影子实例和对象实例，并将它们配对作为最终输出;见图6（e）。4.3. 培训战略损失函数我们通过联合最小化实例框损失、实例掩码损失、关联框损失、光方向损失（参见图5）以及实例RPN和关联RPN的损失来优化LISA。损失函数箱头框预测盒损耗RoIAlign实例框标签输入实例RPN掩模头掩模预测掩模损耗实例掩码标签箱头框预测盒损耗RoIAlign关联框标签ConvNet关联RPN光定向头光线方向预测光方向损失灯光方向标签，y，y，y（x，y得双曲余切值.，y1884IOU(a) 输入阴影和对象实例(b) 候选阴影物体协会(c) 合并限界盒(d) 预测阴影对象关联（来自图5）(e) 输出阴影对象关联图6.配对和匹配过程，用于将预测的阴影和对象实例配对，并将它们与预测的阴影-对象关联有效地匹配。框、掩模和RPN遵循掩模R-CNN [14]中的公式，而光方向损失Llight由平滑L1损失[10]公式化，如下所示：.表1.将我们的完整管道与两个简化的基线框架在SOAP 50、SOAP 75和SOAP方面的最终阴影对象关联的边界框上进行比较。pg0. 5（θp− θg）2，如果|θp− θg|<1L光（θ，θ）=|-0。|− 0. 5否则，其中θp和θg分别是光方向的预测角和地面实况角训练参数。我们通过遵循在Facebook Detectron 2上实现的Mask R-CNN的训练策略来训练我们的LISA框架[48]。具体来说，我们采用在ImageNet [7]上训练的ResNeXt-101-FPN [28，49]的权重来初始化骨干网络的参数，并在两个GeForce GTX 1080Ti GPU（每个GPU四个图像）上训练我们的框架，进行40k次训练迭代。我们将基础学习率设置为1 e-4，采用预热策略[11]在前1,000次迭代期间将学习率线性增加到1 e-3，保持学习率为1 e-3，并在40k次迭代后停止学习我们重新缩放输入图像，使长边小于1，333，短边小于800，而不改变图像的纵横比。最后，我们随机对图像进行水平翻转以增强数据。5. 实验5.1. 评估指标现有的度量通过单独查看对象实例来评估实例分割结果。我们的问题涉及多种类型的实例：阴影、物体及其关联。因此，我们通过采用与传统的平均精度（AP）相同的公式来公式化称为阴影对象平均精度（SOAP）的新度量，其中交集大于并集（IoU），但是进一步考虑样本为真阳性（输出阴影对象关联），如果它满足以下三个条件：(i) 预测阴影实例与地面实况阴影实例之间的IoU不小于τ;表2.将我们的完整管道与两个简化的基线框架在SOAP50、SOAP75和SOAP的最终阴影对象关联的掩码上进行比较。方法掩码SOAP50掩码SOAP75屏蔽SOAP基线141.010.016.7基线248.112.520.1我们的完整管道50.914.421.6(ii) 预测对象实例与地面实况对象实例之间的IoU不小于τ;以及(iii) 预测的阴影-物体关联和地面实况阴影-物体关联之间的IoU不小于τ。我们遵循[29]，通过将τ设置为0.5（SOAP50）或0.75（SOAP75）来报告 评估结果，并报 告多个τ[0.5：0.05：0.95]（SOAP）的此外，由于我们可以获得边界框以及阴影实例、对象实例和阴影-对象关联的掩码，因此我们进一步报告了SOAP50、SOAP75和SOAP的边界框和掩码。5.2. 结果评价为了评估LISA框架，我们建立了(i) 基线1，它只采用LISA的顶级分支，预测阴影和对象实例的边界框和遮罩，然后基于阴影和对象实例之间的接近度将它们合并以形成阴影-对象关联;以及（ii）基线2，当预测阴影-物体关联时，其移除LISA中的光方向头，但仍然采用配对和匹配阴影和物体实例的过程（第4.2节）。方法盒SOAP50盒SOAP75盒SOAP基线140.314.016.7基线247.814.019.6我们的完整管道50.516.421.81885(a)输入图像（b）基线1（c）基线2（d）完整流水线图7.可视化比较我们的完整管道和其他两个基线框架产生的实例阴影检测结果表1和2报告了最终检测到的阴影对象关联中的边界框和掩模方面的定量比较结果。比较结果中的不同行，我们可以看到基线2明显优于基线1，表明我们可以通过独立预测阴影-对象关联，然后将阴影和对象实例配对并将它们与预测的阴影-对象关联匹配，在我们的深度端到端框架中获得更好的阴影-对象关联。此外，通过进一步预测光线方向并以此为指导共同优化框架，我们的全流水线LISA实现了所有评估指标的最佳性能。图7显示了基线1、基线2和完整管道的可视化比较结果第一列显示输入图像，而第二、第三和第四列显示两个基线和完整管道产生的结果。通过比较基线1和基线2，我们可以看到，进一步学习在深度框架中独立检测阴影-对象关联有助于发现更多的阴影-对象对，如图7中的第三和第四行所示。此外，在将光方向作为指导之后（基线2与基线2），全流水线），我们的方法改进了在各种具有挑战性的情况下的性能，例如，1886图8.实例阴影检测结果产生我们的方法在各种各样的照片和对象。图9.示例图像，我们估计光线方向，并将虚拟红色柱子与模拟阴影结合起来。当附近存在大但不相关的阴影区域时（见第一行），当存在与单个对象实例连接的多个阴影实例时（见第二行），当阴影和对象实例的中心彼此远离时（见第三行），以及当存在多个阴影实例时，在单个对象实例附近平铺阴影区域（参见最后一行）。请参见图8和补充材料，了解我们的方法在各种类型的图像和对象上产生的更多实例阴影检测结果6. 应用下面，我们提出了应用场景，以证明我们的方法产生的结果的适用性。光方向估计。首先，实例阴影检测有助于估计单个2D图像中的光方向，并且我们将每个阴影-对象关联对中的阴影和对象实例的边界框的中心连接为估计的光方向。图9示出了一些示例结果，其中对于每张照片，我们估计光方向，并基于估计的光方向在地面上渲染具有模拟阴影的虚拟红色柱。从实验结果可以看出，带有红色柱子的虚拟阴影与其他物体投射的真实阴影看起来是一致的，从而证明了我们的检测结果的适用性。照片编辑。另一个演示即时阴影检测的应用是照片编辑，我们可以1887(a)原始图像（b）实例阴影检测（a）原始图像1（b）原始图像2(c)[42]中的一个例子结果（d）被我们的结果图10.实例阴影检测使我们能够轻松地移除对象（例如，车辆）与其相关的阴影。不仅移除对象实例，而且移除它们的关联阴影。为了保护隐私，Uitten- bogaard等人。[42]提出了一种自动去除街景照片中特定物体的方法;见图10(c) 结果，它可以成功地移除车辆。然而，车辆投下的阴影仍然留在地面上。在我们的实例阴影检测结果（图10（b））的帮助下，我们可以将车辆及其阴影一起移除，如图10（d）所示。此外，我们可以更有效地将物体及其阴影从一张照片转移到另一张照片。图11给出了一个例子，我们从（b）中剪切带有阴影的摩托车，并将它们粘贴到（a）中，尺寸更小显然，如果我们简单地将摩托车和阴影粘贴到（a），则阴影与目标照片中的真实阴影不一致;见（c）。由于实例阴影检测，输出对象和阴影实例的单独遮罩，以及灯光方向。因此，我们可以实现光感知的照片编辑，利用估计的光线方向在两张照片调整阴影图像时，从一张照片的摩托车到另一个;见（d）。7. 结论和局限性本文提出了一种实例阴影检测方法，其目标是发现阴影实例和物体实例，并将它们配对在一起。此外，我们提出了三个技术贡献，以解决这个问题。首先，我们预处理SOBA，这是一个包含1，000张图像和3，623对阴影-对象关联的新数据集，其中我们提供了输入照片以及一组三个实例蒙版。其次，我们开发了LISA，一个端到端的深度框架，来预测单个阴影和对象实例的盒子和遮罩，以及阴影-对象关联的（c）朴素的剪切和粘贴（d）光感知阴影图11.当我们将对象从一张照片剪切并粘贴到另一张照片时，实例阴影检测结果不仅使我们能够一起提取对象和阴影实例，而且还能够根据估计的光线方向调整阴影形状。以及相关的光方向;根据这些预测，我们进一步匹配阴影和对象实例，并将它们配对以与预测的阴影-对象关联和光方向匹配，以产生输出阴影-对象对。第三，我们制定SOAP，一个新的评价指标，定量测量的实例阴影检测结果，使我们能够执行各种实验，与基线框架进行比较。最后，我们还证明了我们的结果的适用性，光线方向估计和照片编辑。作为第一次尝试检测阴影对象的实例，我们承认，有许多可能的方法，可以探索，以提高检测性能。除了方法，我们没有考虑与不同对象相关联的阴影实例之间的重叠。此外，我们没有考虑在其他对象实例上形成的投射阴影。有许多开放的问题和未探索的情况下，例如阴影检测。在未来，我们计划首先通过同时利用为阴影检测和实例分割准备的当前数据集中的多个训练数据来通过探索半监督或弱监督的方法来学习检测实例阴影，我们可以结合各种数据的优势和知识，以提高实例阴影检测的性能最后，我们还将探索更多的应用程序的基础上的阴影对象的关联结果。致谢。这项工作得到香港特别行政区研究资助局的支持（项目编号：香港中文大学14203416）、香港中文大学研究委员会2018/19年度研究直接资助金及广东省科技重点项目（2019 B 010149002）。1888引用[1] Anurag Arnab和Philip H. S.乇使用动态实例化网络的逐像素实例分段。在CVPR，第441-450页，2017年。3[2] 白敏和拉奎尔·乌塔孙用于实例分割的深分水岭变换。在CVPR中，第5221-5229页，2017年。3[3] Kai Chen，Jiangmiao Pang，Jiaqi Wang，Yu Xiong Li，Shuyang Sun，Wansen Feng，Ziwei Liu，Jianping Shi，Wanli Ouyang，Chen Change Loy，and Dahua Lin.用于实例分段的混合任务级联。在CVPR中，第4974-4983页，2019年。3[4] Liang-Chieh Chen，Alexander Hermans，George Papan-dreou，Florian Schroff，Peng Wang，and Hartwig Adam.MaskLab：通过语义和方向特征细化对象检测进行实例分割。在CVPR中，第4013-4022页，2018年。3[5] XinleiChen，RossGirshick，KaimingHe，andPiotrDolla'r.TensorMask：密集对象分割的基础在ICCV，第2061-2069页，2019年。3[6] 戴季峰、何开明、孙建。通过多任务网络级联的实例感知语义分割。在CVPR，第3150-3158页，2016年。3[7] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. ImageNet：一个大规模的分层图像数据库。CVPR，第248-255页，2009。5[8] 丁斌，龙承江，张玲，肖春霞。ARGAN：用于阴影检测和去除的注意递归生成对抗在ICCV中，第10213-10222页，2019年。一、二[9] Naiyu Gao ， Yanhu Shan ， Yupei Wang ， Xin Zhao ，Yinan Yu，Ming Yang，and Kaiqi Huang.SSAP：使用亲和金字塔的单次实例分割。在ICCV，第642- 651页，2019年。3[10] 罗斯·格希克。快速R-CNN。在ICCV，第1440-1448页，2015中。5[11] PriyaGo yal ， PiotrDolla´r ， RossGirshick ， PieterNoord-huis ， Lukasz Wesolowski ， Aapo Kyrola ， AndrewTulloch，Yangqing Jia，and Kaiming He.准确的大批量小批量 SGD ：1 小时内 训练ImageNet 。arXiv预印本arXiv：1706.02677，2017。5[12] Ruiqi Guo，Qieyun Dai，and Derek Hoiem.使用成对区域的单图像阴影检测和去除。在CVPR，第2033-2040页，2011年。2[13] Zeeshan Hayder，Xuming He，and Mathieu Salzmann.边界感知实例分割。在CVPR中，第5696-5704页，2017年。3[14] KaimingHe ， GeorgiaGkioxari ， PiotrDolla'r ，andRossGir-shick.面罩R-CNN。在ICCV，第2961-2969页，2017年。三、四、五[15] 勒侯，托玛的F。我是维森特，明怀，还有迪·米崔斯·萨马拉斯.使用惰性注释和堆叠CNN进行大规模阴影注释和 检 测 IEEE Transactions on Pattern Analysis andMachine Intelligence，2019。出现第1、3条[16] 胡晓伟，傅志荣，朱磊，秦静，和Pheng-Ann Heng。方向感知空间上下文特征阴影检测和去除。IEEE Transactions on Pattern Analysisand Machine Intelligence，2019。出现一、二[17] Xiaowei Hu，Yitong Jiang，Chi-Wing Fu，and Pheng-Ann Heng. Mask-ShadowGAN：学习从未配对的数据中移除阴影。在ICCV，第2472-2481页，2019年。1[18] Xiaowei Hu ， Tanyu Wang ， Chi-Wing Fu ， YitongJiang，Qiong Wang，and Pheng-Ann Heng.重温阴影检测：复杂世界的新基准数据集。arXiv预印本arXiv：1911.06998，2019。1[19] Xiaowei Hu ，Lei Zhu ，Chi-Wing Fu ， Jing Qin ，andPheng-Ann Heng.用于阴影检测的方向感知空间上下文特征。 在CVPR中，第7454-7462页，2018年。 一、二[20] Xiang Huang ， Gang Hua ， Jack Tumblin ， and LanceWilliams.太阳和天空下的阴影边界的特征是什么？在ICCV，第898-905页，2011年。2[21] Salman Hameed Khan ， Mohammed Bennamoun ，Ferdous Sohel，and Roberto Togneri.用于鲁棒阴影检测的自动特征学习。在CVPR，第1939-1946页一、二[22] Salman Hameed Khan ， Mohammed Bennamoun ，Ferdous Sohel，and Roberto Togneri.自动阴影检测和消除从一个单一的图像 。IEEE Transactions on PatternAnalysis and Machine Intelligence，38（3）：431-446，2016。1[23] Alexander Kirillov，Evgeny Levinkov，Bjoern Andres，Bog- dan Savchynskyy，and Carsten Rother.InstanceCut：从边到实例。在CVPR中，第5008- 5017页，2017年。3[24] 我是弗朗索瓦·拉隆德，我是A. Efros和Srin iv asaG. 纳拉希姆汉户外消费者照片中地面阴影的检测。ECCV，第322-335页，2010年。2[25] Hieu Le和Dimitris Samaras。通过阴影图像分解去除阴影在ICCV，第8578-8587页，2019年。1[26] HieuLe，Tom a'sF. 我是维森特，阮武，明怀，迪米特里斯·萨马拉斯。A+D Net：使用对抗性阴影衰减训练阴影在ECCV中，第662- 678页，2018年。一、二[27] 李毅、齐昊之、戴季风、季向阳、魏一完全卷积的实例感知语义分割。在CVPR中，第2359-2367页，2017年。3[28] Tsung-Yi Lin ， Piotr Dollar ， Ross Girshick ， KaimingHe，Bharath Hariharan，and Serge Belongie.用于对象检测的特征金字塔网络。在CVPR中，第2117-2125页，2017年。三、五[29] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔·拉尔和C·L·劳伦斯·齐特尼克。Microsoft COCO：上下文中的公用对象。在ECCV，第740-755页，2014中。三、五[30] Shu Liu，Jiaya Jia，Sanja Fidler，and Raquel Urtasun.SGN：用于实例分段的顺序分组网络。在CVPR中，第3496-3504页，2017年。3[31] 刘舒，陆琪，秦海防，石建平，贾佳雅。用于实例分段的路径聚合网络。在CVPR中，第8759-8768页，2018年。31889[32] 吴 阮 ， 托 玛 的 F 。 YagoVicente ， MaozhengZhao ，MinhHoai，and Dimitris Samaras.阴影检测与连续生成对抗网络。在ICCV，第4510-4518页，2017年。2[33] 亚历山德罗斯·帕纳戈普洛斯，王朝晖，迪米特里斯·萨马拉斯，尼科斯·帕拉吉奥斯.通过高阶图形模型的照明估计和投射阴影检测在CVPR中，第673-680页，2011年。2[34] Chao Peng，Tete Xiao ，Zeming Li ，Yunning Jiang，Xiangyu Zhang ， Kai Jia ， Gang Yu ， and Jian Sun.MegDet：一个大型小批量对象检测器。在CVPR中，第6181-6189页，2018年。3[35] 佩德罗·奥Pinheiro，RonanCollobert，andPiotrDol la'r. 学习分割候选对象。在NeurIPS，第1990- 1998页，2015年。3[36] 佩德罗·奥Pinheiro，Tsung-Yi Lin，Ronan Collobert，andPiotr Doll a'r. 学习细化目标。在ECCV，第753[37] Liangqiong Qu ， Jiandong Tian ， Shengfeng He ，Yandong Tang，and Rynson W.H.刘DeshadowNet：一个用于阴影消除的多上下文嵌入深度网络。在CVPR中，第4067-4075页，2017年。1[38] 任少卿、何开明、罗斯·格尔希克、孙健。更快的R-CNN ： 用 区 域 建 议 网 络 进 行 实 时 目 标 检 测 。 在NeurIPS，第91-99页，2015中。4[39] 埃琳娜·萨尔瓦多，安德里亚·卡瓦拉罗，和图拉吉·易卜拉欣。基于颜色不变特征的阴影分割。计算机视觉与图像理解，95（2）：2382[40] Li Shen，Teck Wee Chua，and Karianto Leman.结构化深边缘检测的阴影在CVPR中，第2067-2074页，2015年。2[41] Jiandong Tian ， Xiaojun Qi ， Liangqiong Qu ， andYandong Tang. 用于阴影检测的新频谱比属性和特征Pattern Recognition，51：85-96，2016. 2[42] Ries Uittenbogaard，Clint Sebastian，Julien Vijverberg，Bas Boom，Dariu M. Gavrila和Peter H.N. de With.使用深度和多视角图像的街景摄影中的隐私保护。在CVPR中，第10581-10590页，2019年。1、8[43] 托玛是F。 我是维森特明怀和迪米特里·萨马拉斯。用于阴影检测的留一核优化。在ICCV，第3388-3396页，2015年。2[44] 托玛是F。 我是维森特明怀和迪米特里·萨马拉斯。不熟悉区域阴影检测的噪声标签恢复.在CVPR中，第3783-3792页，2016年。3[45] 托玛是F。 我是维森特明怀和迪米特里·萨马拉斯。用于阴影检测和去除的留一核优化IEEE Transactions onPattern Analysis and Machine Intelligence，40（3 ）：682-695，2018。2[46] 托 玛 是 F 。 YagoVicente ， LeHou ， Chen-PingYu ，MinhHoai，and Dimitris Samaras.大规模训练阴影检测器与噪声注释阴影的例子。参见ECCV，第816-832页，2016年。一、二、三[47] Jifeng Wang，Xiang Li，and Jian Yang.用于联合学习阴影检测和阴影去除的堆叠条件生成对抗网络。在CVPR中，第1788一、二、三[48] Yuxin Wu，Alexander Kirillov，Francisco Massa，Wan-Yen Lo ， and Ross Girshick. 探 测 器 2 。 https ：//github.com/facebookresearch/detectron2，2019. 5[49] Saini ngXie，RossGirshick，PiotrDolla'r，Zhuo wenTu，andKaiming He. 深 度神 经网 络的 聚合 残差 变换 。 在CVPR，第1492-1500页，2017年。5[50] 郑泉龙，乔晓天，曹颖，林松W.H.刘分心感知阴影检测。在CVPR中，第5167-5176页，2019年。一、二[51] Bolei Zhou，Hang Zhao，Xavier Puig，Sanja Fidler，Adela Barriuso，and Antonio Torralba.通过ADE20K数据集进行场景解析。在CVPR中，第633-641页，2017年。3[52] Bolei Zhou，Hang Zhao，Xavier Puig，Tete Xiao，SanjaFi-dler ， Adela Barriuso ， and Antonio Torralba. 通 过ADE20K数据集对场景进行语义国际计算机视觉杂志，127（3）：302-321，2019。3[53] 朱杰杰，Kegan G. G.塞缪尔，赛义德Z。Masood和Marshall F.塔彭学习识别单色自然图像中的阴影。在CVPR，第223-230页，2010年。2[54] Lei Zhu ， Zijun Deng ， Xiaowei Hu ， Chi-Wing Fu ，Xuemiao Xu，Jing Qin，and Pheng-Ann Heng.用于阴影检测的具有循环注意力残差模块的双向特征金字塔网络。在EC
