遮挡共享和分离网络：解决遮挡关系推理的两个关键问题

10343基于遮挡共享和遮挡分离网络的遮挡关系推理鲁瑞1冯雪1周梦涵1、3安隆明1周宇2、11北京邮电大学2华中科技大学武汉3联想研究院北京{lurui，xuefeng，mal}@ bupt.edu.cnzhoumh3@lenovo.comyuzhou@hust.edu.cn摘要遮挡关系推理要求用封闭轮廓来表示物体，用轮廓中每个像素的方向来描述物体之间的顺序关系。当前基于CNN的方法忽略了任务的两个关键问题：（1）遮挡边缘和遮挡方向两个要素的相关性和区别性同时存在;（2）对方位特征的探索不够。基于上述原因，我们提出了遮挡共享和遮挡分离网络（OFNet）。一方面，考虑到边缘和方向之间的相关性，设计了两个子网络另一方面，整个网络被分成两条路径，分别学习高级语义特征。此外，提取用于方向预测的上下文特征，其表示前景和背景区域的双边线索。然后将双侧线索与遮挡线索融合以精确地定位对象区域。最后，条纹卷积被设计成进一步聚合来自遮挡边缘的周围场景的建议OFNet显着- ably推进国家的最先进的方法对PIOD 和 BSDS 所 有 权 数 据 集 。 源 代 码 可 在https://github.com/buptlr/OFNet上获得。1. 介绍从单目图像中推理物体的遮挡关系是计算机视觉和移动机器人应用的基础，例如[11，2，24，17，29]。此外，它可以被认为是场景理解和视觉感知的关键要素[40，42，43，39，18]，例如对象检测，图像分割和3D重建[6，1，37，7，26，34]。视角下*通讯作者(a)(b)（c）第（1）款BGθFG(d)(e)（f）第（1）款图1. (a)DOC-HED的可视化结果，（b）DOOBNet的可视化结果，（c）我们的可视化结果，（d）咬合线索，（e）双侧特征，（f）地面实况的可视化结果遮挡关系（红色箭头）表示为方向θ∈（−π，π]（边缘的切线方向），使用区值得注意的是，带有箭头的“红色”像素：正确标记遮挡边界;“青色”：正确标记的边界，但错误标记的遮挡;“绿色”：假阴性边界;“orange”：假阳性边界（最佳颜色）。观察者遮挡关系反映了场景中对象之间的相对深度差。以前，许多有影响力的研究通过设计手工制作的特征来推断封闭关系，例如[5，22，25，16，38，41]。最近，在卷积神经网络（CNN）的驱动下，几种基于深度学习的方法在很大程度上优于传统方法。DOC[21]为遮挡关系指定了一种新的表示方法，该方法将任务分解为遮挡边缘分类和遮挡方向回归。它利用两个网络分别完成这两个子任务DOOBNet [31]采用编码器-解码器结构来获得多尺度和多级特征。它与两个子网共享骨干网特征，并同时获得预测。10344：边缘预测：Ori预测(a) DOC网络（b）DOOB网络（c）我们的网络图2.最先进的和我们的高级特征传播过程的示意图演示（a）表示采用各个层的侧输出的(b)介绍了单码流网络共享解码器的特点。(c)显示了我们的网络，它捕获特定任务的上下文特征并共享解码器特征。在遮挡关系推理中，用闭合轮廓表示目标，用轮廓像素的方向值描述前景和背景目标之间的顺序关系。我们注意到，有两个关键问题很少被讨论。首先，遮挡边缘和遮挡方向这两个要素同时具有相关性和区别性。它们都需要遮挡提示，它描述了被遮挡背景的位置，如图所示。第1段（d）分段。第二，没有充分揭示用于定向预测的高级特征。它需要来自前景和背景区域的额外提示（如图所第1段（e）分段）。因此，现有方法在推理准确性方面是有限的。与我们的方法相比（如图所1（c）），以前的作品[21，31]（如图。1（a）（b））存在边缘的假阳性和假阴性检测，以及方向的假阳性预测。针对上述两个问题，提出了一种新的遮挡共享和遮挡分离网络（OFNet），以提高遮挡关系的推理能力。如图2（c），考虑到边缘和方向之间的相关性和区别，我们的网络不同于其他作品（如图2所示）。2（a）（b））。两个单独的网络路径共享遮挡线索并编码不同的高级特征。此外，提取用于方向预测的上下文特征，其被称为双边特征。为了学习双边特征，提出了多速率上下文学习器（MCL）。学习者具有不同尺度的感受野，能够充分感知前景和背景两个对象，从根本上辅助遮挡关系推理。为了更准确地提取特征，提出了双边响应融合（BRF）算法，将遮挡线索与来自MCL的双边特征进行融合，能够精确定位前景和背景区域。为了有效地利用特殊的方向特征来推断遮挡关系，设计了一种条纹卷积来代替传统的普通卷积，它巧妙地融合了双边功能来区分前景和背景区域。实验证明，我们在PIOD[21]和BSDS所有权[22]数据集上都实现了SOTA性能。我们的方法的主要贡献在于：• 重新解释了遮挡边缘和遮挡方向的相关性和区别。这两个子任务共享遮挡线索，但将遮挡线索分开。语境特征• 提出了双边特征，并设计了两个特定的模块，即多速率上下文学习器（MCL）和双边响应融合（BRF）来获得特定的特征。• 为了精确地推断遮挡关系，设计了条纹卷积以进一步聚合轮廓周围场景的特征2. 相关工作情境学习在场景理解和感知中起着重要作用[4，32]。首先，Mostajabi et al.[19]利用多级缩小特征来促进超像素的前馈语义标记。同时，Liu et al.[13]提出了一个简单的FCN架构，以添加全局上下文进行语义分割。之后，Chen et al.[3]应用Atrous空间金字塔池提取密集特征并在多尺度下编码图像上下文。从不同的层中提取多层次特征，广泛用于图像检测[14，23，27，33]。Peng等人[20]融合多层特征图，精致的细节Shrivastava等人[28]采用横向连接，以利用自上而下的背景和自下而上的细节。遮挡关系表示已经从三重点和接合点表示[10，22]发展到基于像素的表示[30，21]。最新的表示[21]应用二进制边缘分类器来确定挖掘像素是否属于被遮挡的边缘，10345边缘特征2×上采样res1输出4×上采样64res2输出8×上采样256res3输出51216×上采样 1024Res5输出网络架构Ori特色MCLMCL输出2048解码器BRF解码器输出BRF测试阶段图3.我们提议的网络架构的图示。块的长度表示贴图分辨率，块的厚度表示通道号。连续值的方向变量被提出来通过左手法则来指示遮挡关系[21]。3. OFNet遮挡关系推理的两个要素，即边缘和方向，对于遮挡线索的必要性是相同的，但在特定上下文特征的利用上是不同的在本节中，提出了一种新颖的遮挡共享和特征分离网络（OFNet）。图图3给出了OFNet的流水线结构，它由一个流主干和两条并行路径（边路径和方向路径）组成。具体而言，对于边缘路径（参见第2节）3.1），采用类似于[15]的结构提取一致、准确的遮挡边缘，这是遮挡推理的基础。对于方向路径（参见第3.2），为了学习边界附近更充分的线索以用于遮挡响应，获得高 级 双 边 特 征 ， 并 且 提 出 多 速 率 上 下 文 学 习 器（MCL）来提取特征（参见第3.2节）。3.2.1）。为了使学习者能够精确地定位前景和背景区域，提出了双边响应融合模块（BRF）来融合双边特征和遮挡线索（参见第二节）。3.2.2）。此外，还提出了一种条纹卷积来精心推断遮挡关系（见第二节）。3.2.3）。3.1. 边缘路径遮挡边表达了物体的位置，并定义了两侧区域之间的边界位置它要求保留原始图像的分辨率以提供精确的定位和大的感受野以感知边界上像素的相互约束。我们采用[15]中提出的模块，其具有捕获准确位置线索和整个对象的敏感感知的高能力。在[15]中，来自前三个侧输出的低级线索保留了输入图像的原始大小并编码了丰富的空间信息。在不损失分辨率的情况下，在res50[9]之后通过扩张卷积[35]实现大的感受野。双边响应融合（BRF）在图1中示出3提出了一种新的图像分割算法，对高层次特征进行精确定位补偿，对低层次特征进行非遮挡像素杂波抑制。与[15]不同的是，我们采用了一个额外的卷积块来细化轮廓，并整合了不同通道提供的特定任务特征。此外，这个精心设计的卷积块消除了由高级层中的膨胀卷积引起的网格伪影[36得到的边缘图包含了低层和高层特征，保证了遮挡边缘的一致性和准确性。具体地说，边缘路径提供了完整和连续的轮廓，构成了对象区域。对象区域由一组遮挡边缘描绘3.2. 导向路径对于定向路径，我们创新性地引入了双边特征，有利于描述序关系。具体地，双边特征表示周围场景的信息，其包括足够的环境上下文以推断其是否属于前地或背景区域。3.2.1多速率上下文学习器双边特征描述前景和背景区域之间的关系。为了推断物体之间的遮挡关系，对于不同尺寸的物体具有足够的感受野是必不可少的。为了感知具有各种范围的对象并学习双边特征，设计了多速率上下文学习器（MCL），其由三个组件组成，如图所示。4.第一章首先，高层语义线索通过多个膨胀卷积进行卷积，这使得边缘上的像素尽可能完整地感知前景和背景膨胀卷积的核大小为3×3，具有不同的膨胀率。与各种扩张卷积的扩张率，学习器能够在不同尺度下感知场景线索，这有利于推断区域的哪一侧在前面。其次，逐元素卷积模块，即，1×1卷积，用于积分10346Res5双侧特征MCL方向融合图BRF解码器. . .图4. 我们提出的多速率上下文学习器图像阻塞提示（MCL）。MCL模块包括3个膨胀卷积，核大小为3×3，膨胀率分别为6，12和18图5.我们提出的双边响应融合（BRF）的插图。不同通道之间的场景提示，促进跨通道双边特征在同一位置的聚合。与扩张卷积相比，逐元素卷积模块保留了轮廓附近的局部线索。此外，还进一步阐明了遮挡线索和双侧线索在遮挡推理中的作用.函数Dilated（）表示扩张卷积，函数Conv1（）表示1×1转化率Xi是卷积的输入。Wi是要学习的卷积层参数第三，再次应用1×1卷积对附近的值进行轮廓，其中双边线索被进一步增强，而其他不相关的线索被抑制。MCL学习前景和背景对象的线索双侧线索的特征图，即，{B}表示为：Σ3{B}=Conv1（扩张（Xi，{Wi}）+Conv1（X4，{W4}））i=1（一）与ASPP的区别：值得注意的是，我们的MCL模块的灵感来自Atrous空间金字塔池（ASPP）[3]，但存在一些差异。首先，我们添加了一个并行的逐元素卷积模块，它额外地获得特定区域的局部线索。它弥补了扩张卷积对邻域信息不敏感的不足。其次，每个卷积块之后分支去除由扩张卷积引起的网格伪影[36]。第三，1×1转换器可以调整通道数量，并探索通道之间的相关性。3.2.2双边响应融合分别，双边线索获得的方法在第。3.2.1辨别轮廓属于哪一侧图6. 方位融合产生的实验演示地图采用BRF算法将遮挡特征与双边特征进行互补，得到融合后的图像.对于前景区域，通过解码器获得的遮挡线索如图6、双线性上采样后，双边特征难以定位轮廓的准确位置。因此，为了充分地学习用于遮挡关系推理的特征，需要更精确地定位对象区域，这由来自解码器的遮挡线索提供。因此，有必要引入清晰的轮廓来描述前景和背景对象的区域，从而更准确地提取对象特征双边响应融合（BRF），如图所示五、被提出来融合这两个不同的特征流，即双侧图{B}和遮挡图{D}。形成了丰富的双侧响应和平行遮挡的统一方向融合图，表示为{F}，其中Conv3（）表示3×3conv：{F}=Conv3（Conv3（Concat（{B}，{D}）（2）{F}表示由BRF模块生成的特征图，集合的每个元素都是一个特征图。随后，委员会注意到，{F}具有224×224的空间分辨率，并被作为遮挡关系推理模块的输入（第二节）。3.2.3），如图所示六、通过BRF，遮挡特征和双边特征有效地结合起来对于遮挡关系推理，融合方向图不仅具有遮挡关系对象的边界位置，而且还具有对象的上下文信息。BRF模块为下面的特征学习模块提供足够的线索以推断前景和背景关系。此外，通过融合两侧特征，增强了轮廓附近的场景线索。3.2.3遮挡关系推理利用MCL和BRF学习和融合双边特征，并通过推理模块确定前景和背景区域的顺序，充分利用了这一特征。现有方法[31]利用3×3conv来学习特征。这种小卷积核仅提取局部像素块处的线索，这不适合于推断遮挡关系。的MCL1×1 conv 1×1convRes51×1转换concat1×1转换1×1转换特征BRFconcat解码器3×3转换上采样+bn+ ReLU3×3转换上采样+bn+ ReLUbn+ ReLU10347原因是微小的感知场无法感知学习对象线索。因此，大的卷积核对于利用双边特征是必要的，其能够感知轮廓附近的周围区域。然而，大的卷积核是计算量大且消耗内存的。相反 ， 提 出 了 两 个 条 带 卷 积 ， 它 们 彼 此 正 交 。 与3×3conv相比，它只捕获中心周围的9个像素（如图所垂直和水平条纹卷积分别有11×3和3×11第7（b）段。具体地，对于具有任意取向的轮廓像素，其切线方向可以是分解为垂直和水平方向。沿正交方向的上下文在表达取向表征中做出不同数量的贡献。从而识别出两侧场景的扩展轮廓和遮挡关系的趋势。此外，实现了两个主要优点首先，大的感受野聚合对象的上下文信息来确定深度顺序，这是没有大量的内存消耗。第二，尽管边缘的斜率不完全垂直或平行于地面，3*3转换：像素：轮廓：Conv内核：感受野（一）11*3转换3*11转换(b)图7.方向信息在特征学习阶段如何传播的示意图。(a)简单的卷积。(b)条纹卷积损失函数来监督我们网络的训练。条纹卷积可以成功地感知前方和背景对象。在串联之后l（W）=1（ΣΣMΣ ΣAL（yi，ei）+λSL（f（ai，ai））两个正交卷积模块，我们应用3×3conv来细化特征。我的我的（三）3.3. 损失函数遮挡边缘：遮挡边缘表征了区域之间的深度不连续性，反映为物体之间的边界。给定一组训练图像Ψ={I1，I2，. . .，IN}，则像素p处的第k个输入图像的对应地面实况边缘为Ek（p |I）∈ {0，1}，记为Ek（p |I，W）∈ [0，1]作为其网络输出，表示计算出的边缘概率。闭塞方向：遮挡方向使用左规则（即，前景区域在背景区域的左侧）。遵循以上数学定义，对于第k个输入图像，其在像素p处的定向地面真值为O k（p|I）∈（−π，π].定向路径的回归预测结果为Ok（p |I，W）∈（−π，π].闭塞关系：在测试阶段，我们首先通过进行非最大抑制Ek=NMS（Ek）来细化E k。锐化E k的非零像素形成二进制矩阵Mk=sign（Ek）。然后我们-将 Mk 与 方 向 图 Ok 进 行 元 素 积 ， 得 到 精 化 方 向 图O<$k=Mk<$Ok。最后，根据文献[11]，我们将Ok调整到Ek的切线方向并获得最终的遮挡边缘图。损失函数：在[31]之后，我们使用以下内容参数包括：所有标准网的集合工作层参数（W）、像素i（yi∈[0，1]）处的预测边缘值、小批量大小（M）、小批量中的图像序列号（j）、注意力损失（AL）、平滑L1损失（SL）[31]。4. 实验在本节中，大量的实验证明，以验证所提出的OFNet的性能此外，我们提出了一些消融分析的网络设计选择的讨论。4.1. 实现细节数据集：我们的方法在两个具有挑战性的数据集上进行评估：[21 ]第22话，与张艺谋的相遇。PIOD数据集由9，175张训练图像和925张测试图像组成。每幅图像都用地面实况对象实例边缘图及其对应的方向图进行注释。BSDS所有权数据集包括100张自然场景的训练图像和100张测试图像在[31]之后，两个数据集中的所有图像都被随机裁剪，320×320，同时在测试期间保持其原始初始化：我们的网络在Caffe[12]并从初始预训练的Res50模型进行微调。所有添加的卷积层都使用“msra”初始化10348表1. PIOD（左）和BSDS所有权数据集（右）的OPR结果。①-③ 分 别 代 表 SRF-OCC [30] 、 DOC-HED [21] 、 DOC-DMLFOV [21]、DOOBNet [31]和我们的。†表示GPU运行时间。红色粗体表示最佳性能，蓝色粗体表示第二佳性能（相同下面）。表2. PIOD（左）和BSDS所有权数据集（右）的EPR结果。ODSOISAPODSOISAP①. 345. 369. 207. 511. 544. 442②. 509. 532. 468.658.685.602③. 669. 684. 677. 579. 609. 519④.736.746.723. 647. 668. 539③.751.762.773.662.689.585评价标准：在[21]之后，我们通过执行三个标准评估度量来计算估计的遮挡边缘图（即OPR）的精确度和召回率：固定轮廓阈值（ODS）、每幅图像的最佳阈值（OIS）和平均精度（AP）。值得注意的是，仅在正确检测到的边缘像素处计算定向召回。此外，上述三个度量也被用来评估NMS后的边缘图。4.2. 评价结果定量性能：我们通过与最先进的算法（包括SRF-OCC [30]、DOC-HED [21]、DOC-DMLFOV [21]）的比较来评估我们的方法。”[31]《明史》：如表中所示。1和图8，我们的方法优于OPR结果的所有其他最先进的方法。具体而言，就PIOD数据集而言 ， 我 们 的 方 法 表 现 最 好 ， 优 于 4.6%AP 的 基 线DOOBNet。这是由于分别提取两个路径的高频特征的效率边缘路径成功地增强了轮廓响应，方向路径设法感知前景和背景关系。将这两个任务分成两条路径，可以促进以前的算法。对于BSDS所有权数据集，由于小火车而难以训练(a) PIOD数据集（b）BSDS所有权数据集图8. 两个数据集的OPR结果。(a)PIOD数据集（b）BSDS所有权数据集图9. 两个数据集的EPR结果。通过对样本的分析，与DOOBNet相比，OFNet获得了2.8%ODS、3.7%OIS和6.1%AP的增益具体来说，我们的方法增加了前景和背景对象之间的双边线索，并将它们与高语义特征融合，引入清晰的轮廓，更好地描述了前景和背景的区域。此外，条纹卷积在我们的网络中起着重要的作用，在收获周围的场景的轮廓。定位的改善证明了该模块的有效性。EPR结果见表。2和图9 .第九条。对于PIOD数据集，我们的方法优于其他评估方法，超过DOOBNet5.0%AP。我们考虑到边缘和方向之间的区别，并分别提取子网络的特定特征。对于边缘路径，利用上下文特征反映像素对遮挡边缘的约束，网络输出的通过从低层提取的位置线索，我们的方法中的预测边缘更好地拟合轮廓，从而避免了与其他方法相比的误报检测。对于BSDS所有权数据集，我们的方法也达到了最高的ODS。质量性能：图图10显示了两个数据集的定性结果。顶部四行显示PIOD数据集的结果[21]，底部四行表示BSDS所有权数据集[22]。第一个col-ODS OISAPFPSODS OISAPFPS①. 268.286.1520的情况。018. 419.448.3370的情况。018②. 460.479.405十八岁3†. 522.545.42819号。6†③. 601.611.585十八岁9†. 463.491.36921岁1†10349图10. PIOD（前四行）和BSDS所有权数据集（后四行）的示例结果。第1列：输入图像;第2 - 4列：地面实况、基线和我们的可视化结果;第5 - 6列：我们的边缘图和方向图.值得注意的是，带有箭头的“红色”像素：正确标记遮挡边界;“青色”：正确标记的边界，但错误标记的遮挡;“绿色”：假阴性边界;“orange”：假阳性边界（最佳颜色）。umn至第六列分别示出了来自数据集的原始RGB图像、地面实况、由DOOBNet [31]预测的结果、由所提出的OFNet预测的结果、检测到的遮挡边缘和预测的方向。在结果图像中，箭头方向的右侧是背景，左侧对应于前景区域。详细地说，第一排中的两辆被遮挡的公交车具有相似的外观。因此，很难检测到它们之间的分界线，就像我们的基线DOOBNet失败一样。然而，我们的方法检测的遮挡边缘consis- tently。在第二排中，墙与沙发之间的咬合关系容易预测失效。而不是小的感受野，这是难以感知的对象与大面积的纯色，我们的方法与足够的感受野正确预测的关系。第三个场景类似于第二行。与基线相比，我们的方法预测了沙发正确的地面。在第四排，游轮的颜色与后面的山丘相似，这不是基线所检测到的。通过使用低级别的边缘线索，我们的方法准确地定位船舶的轮廓。第五行显示墙下的人，由于无纹理区域中的低级特征，无法正确检测我们的方法通过使用高级双边特征正确地推断关系。最后三个场景与第三行有相同的问题，即对象具有大的纯色区域。我们的方法在这种情况下表现出了很大的优势，这证明了我们设计的模块的有效性。4.3. 消融分析单分支或多分支子网：为了评估我们的方法为不同的子任务提供了不同的高级特征，现有的方法[31]通过共享高级fea，10350表3.基线DOOBNet [31]的实验结果，具有拆分解码器的基线，具有单流子网络的基线和我们的方法。实验在PIOD数据集上进行（下同）。方法ODSOISAPODSOISAP基线. 736 . 746 . 723. 702 . 712.683基线（分割解码器）. 720 . 735 . 694. 702 . 712.683单边流. 739 . 750 . 685−−−单ori流−−−. 705 . 716.674我们.751.762.773.718.728.729表4.实验结果表明，我们的模型没有低线索，与-出边缘高线索，没有方向高线索和我们的模型。方法ODSOISAPODSOISAP我们的（不含低提示）. 746. 758 . 764. 715. 722.715我们的（无边缘高线索）. 742. 753 . 758. 709. 717.698我们的（不含ori高线索）. 743. 756 . 759. 711. 719.703我们.751.762.773.718.728.729tures，是用来与我们的方法进行比较。如表中所示。3、两条路径的高层特征促进了遮挡关系的正确性此外，每条路径都经过单独训练以进行比较，从而验证了我们的方法中遮挡线索对方向预测的帮助。每个特征的必要性：为了验证各种低级和高级特征的作用，每个特征被移除以构建独立的变体用于评估，如表所示。4.第一章直观地说，如果去除边缘路径的低层特征，则难以准确定位遮挡边缘。如果边缘路径的高级特征被移除，则遮挡边缘不能被同时检测此外，如果去除了方向路径的高层特征，虽然可以准确、一致地检测出遮挡边缘，但对遮挡关系的推理能力却急剧下降。其内在原因是，认知语言层感知到了轮廓周围的双边线索，肯定了前景和背景的关系。双边特征在遮挡关系推理中起着重要的作用。双侧和轮廓特征的比例：双侧特征提供边缘方向的相对深度，并且遮挡线索提供边界的位置。我们将它们与各种通道比率相融合，以最佳地细化范围的前景和背景。双侧和咬合特征的比例决定了融合的有效性。表. 5揭示了两个特征的不同比例的各种实验结果。实验证明，在BRF中采用64：16通道比融合双侧特征和遮挡特征的方法，其识别效果优于其他方法。揭示了双侧特征在融合运算中的重要作用遮挡线索主要起辅助作用，区分前景和背景区域然而，当双边特征占据前-表5. BRF模块中不同融合比例下双侧特征和遮挡特征的实验结果。规模ODSOISAPODSOISAP比例=16：16. 742. 752 . 749. 710. 719.703比例=32：16. 741. 754 . 759. 712. 722.709比例=48：16. 744. 758 . 765. 715. 726.717比例=64：16.751.762.773.718.728.729比例=80：16. 747. 757 . 764. 715. 726.722表6.不同纵横比条纹卷积的实验结果规模ODSOISAPODSOISAPconv =3×3. 746. 753 . 754. 712. 719.694conv =3×5. 747. 755 . 760. 712. 720.696conv =3×7. 747. 754 . 758. 713. 721.699conv =3×9. 750. 759 . 767. 716. 723.712conv =3×11.751.762.773.718.728.729比例越小，边界越模糊，前景和背景的边界越模糊，对效果造成负面影响。普通或条纹卷积：为了评价条纹卷积在遮挡关系推理中的效果，采用不同长宽比的条纹卷积变体进行比较。如表所示。如图6所示，直观地，即使边缘的斜率不在水平或垂直方向上，卷积核也具有大的感受野并且倾向于分别学习两个方向的线索。然而，较大的卷积层占用太多的计算成本，这增加了参数的数量。因此，在正交方向上的条纹卷积提取边缘的趋势和双边线索周围的轮廓。5. 结论在本文中，我们提出了一种新的OFNet，它共享的遮挡线索的解码器，并分别获得特定任务的上下文特征。我们的算法建立在编码器-解码器结构和侧输出利用的顶部为了学习双边特征，提出了一种MSL。此外，还设计了一个BRF模块，用于应用遮挡线索精确定位目标区域。此外，我们还利用条纹卷积进一步聚合轮廓周围场景的特征。通过对PIOD和BSDS所有权数据集的大量实验，显着改进了最先进的技术，证明了我们的网络的有效性。谢 谢 。 本 工 作 得 到 了 国 家 自 然 科 学 基 金 项 目Nos.61703049、61876022、61872047和中央高校基础研究2019kfyRCPY001.10351引用[1] Ayvaci Alper和Soatto Stefano。可拆卸物体检测：从短基线视频的分割和深度排序。TPAMI，34（10）：1942-1951，2012. 1[2] 阿尔珀·艾瓦奇和斯特凡诺·索亚托可拆卸物体检测与有效的模型选择。CVPR，2011。1[3] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy，and Alan Yuille. Deeplab：使用深度卷积网络、atrous卷积和全连接crfs进行语义图像分割。TPAMI，40（4）：834二、四[4] 陈良杰、乔治·帕潘德里欧、弗洛里安·施洛夫和哈特维格·亚当。再思考无卷积在语义图像分割中的应用。CoRR，abs/1706.05587，2017。2[5] 霍伊姆·德里克埃夫罗斯·阿列克谢和赫伯特·马夏尔从图像中恢复遮挡边界。载于ICCV，2007年。1[6] 高天石，本杰明·帕克和达芙妮·科勒。具有遮挡处理的分割感知对象检测模型。CVPR，2011。1[7] 何开明、吉欧吉亚·吉欧萨里、彼得·多尔和罗斯·吉尔希克.面具R-CNN。TPAMI，2017。1[8] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun. 深入研究整流器：超越人类对imagenet分类的水平。在ICCV，2015年。5[9] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。3[10] Derek Hoiem Alexei Efros和Martial Hebert从图像中恢复遮挡边界。IJCV，91（3）：328-346，2011. 2[11] Natan Jacobson、Yoav Freund和Truong Q Nguyen。一种在线学习的遮挡边界检测方法TIP，2012年。1[12] 杨庆贾、埃文·谢尔哈默、杰夫·多纳休、谢尔盖·卡拉耶夫、乔纳森·朗、罗斯·吉希克、塞尔吉奥·瓜达拉马和特雷弗·达雷尔。Caffe：用于快速特征嵌入的卷积架构卷abs/1408.5093，2014。5[13] Wei Liu，Andrew Rabinovich，and Alexander C.伯格。Parsenet：看得更宽，看得更好。计算机科学，2015年。2[14] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。TPAMI，39（4）：640-651，2014年。2[15] Rui Lu，Menghan Zhou，Anlong Ming，and Yu Zhou.用于遮 挡边 缘检 测的 上下 文约束 精确 轮廓 提取 。在ICME，卷abs/1903.08890，2019。3[16] Jianxiang Ma，Anlong Ming，Zilong Huang，XinggangWang，and Yu Zhou.对象级提案。InICCV，2017.1[17] Jonathan Marshall ， Christina Burbeck ， Dan Ariely ，Jannick Rolland和Kevin Martin。遮挡边缘模糊：相对视觉深度的提示。Journal of the Optical Society of AmericaA Optics Image Science Vision，13（4）：681-8，1996.1[18] 安龙明，吴天府，马建祥，孙芳，周宇。具有遮挡的边缘检测和耦合层推断。IEEE智能系统，31（2）：54-65，2016年。1[19] Mohammadreza Mostajabi，Payman Yadollahpour，andGregory Shakhnarovich.具有缩小特征的前馈语义分割。CVPR，2015。2[20] Chao Peng，Xiangyu Zhang，Gang Yu，Guiming Luo，and Jian Sun.大内核问题-通过全局卷积网络改进语义分割。在CVPR，2017年。2[21] 王鹏和艾伦·尤尔。文档：从单个图像进行深度遮挡在ECCV，2016年。一二三五六[22] 任晓峰，查尔斯·福克斯，和吉滕德拉·马利克。自然图像中的地物/背景分配在ECCV，2006年。一、二、五、六[23] Olaf Ronneberger，Philipp Fischer，and Thomas Brox.U-网：用于生物医学图像分割的卷积网络2015年医学图像计算机辅助干预国际会议。2[24] MehmetEmreSargin ， LucaBertelli ， BangaloreManjunath，and Kenneth Rose.时空格点上的概率遮挡边界检测。ICCV，2009年。1[25] Ashutosh Saxena、Sung Chung和Andrew Ng。从单个单目图像学习深度。NIPS，2005年。1[26] 沈伟，王兴刚，王艳，白翔，张之江.深轮廓：通过正共享 损失 学习 的深 度卷 积特征 ，用 于轮 廓检 测。CVPR，2015。1[27] Wei Shen，Kai Zhao，Yuan Jiang，Yan Wang，ZhijiangZhang，and Xiang Bai.通过融合尺度相关深侧输出在自然图像中提取对象骨架。在CVPR，2016年。2[28] Abhinav Shrivastava ， RahulSukthankar ， JitendraMalik，and Abhinav Gupta.超越跳过连接：自上而下的调制对象检测。CoRR，abs/1612.06851，2016。 2[29] 安德鲁·斯坦和马夏尔·赫伯特运动遮挡边界：低级检测和中级推理。IJCV，82（3）：325，2009. 1[30] Ching Teo，Cornelia Fermuller，and Yiannis Aloimonos.快速2D边界所有权分配。CVPR，2015。二、六[31] Guoxia Wang ， Xiaohui Liang ， and Frederick Li.Doobnet：从图像中检测深度对象遮挡边界在ACCV，2018年。一、二、四、五、六、七、八[32] 王潘渠、陈鹏飞、叶远、丁柳、黄泽华、侯晓迪、驻军科特雷尔。理解用于语义分割的卷积。在2018年IEEE计算机视觉应用冬季2[33] Yukang Wang，Yongchao Xu，Stavros Tsogkas，XiangBai，Sven Dickinson，and Kaleem Siddiqi.Deepflux用于野外骨骼。在CVPR，2019年。2[34] 冯雪，安龙明，周梦涵，周宇。一种新颖的多层微小障碍物发现框架。在ICRA，2019年。1[35] Fisher Yu和Vladlen Koltun。通过扩张卷积的多尺度上下文ICLR，2016年。3[36] Fisher Yu，Vladlen Koltun，and Thomas Funkhouser.扩张的剩余网络。在CVPR，2017年。三、四10352[37] Ziyu Zhang ， Alexander Schwing ， Sanja Fidler ， andRaquel Urtasun.基于cnn的单目目标实例分割与深度排序。在ICCV，2015年。1[38] Menghan Zhou，Jianxiang Ma，Anlong Ming，and YuZhou.基于双层模型的目标感知跟踪。在ICIP，2018。1[39] Yu Zhou ， Xiang Bai ， Wenyu Liu ， and Longin JanLatecki.用于鲁棒视觉跟踪的扩散融合。在NIPS。2012.1[40] Yu Zhou ， Xiang Bai ， Wenyu Liu ， and Longin JanLatecki.视觉跟踪的相似性融合。IJCV，118（3）：3372016. 1[41] 周禹，马建祥，安龙明，向白。遮挡边缘检测的训练样本学习及其在深度排序推理中的应用。InICPR，2018. 1[42] 虞州和安龙明。基于骨架诱导判别式近似刚体模型的人体动作识别。PRL，2016年。1[43] Yu Zhou，Yinfei Yang，Yi Meng，Xiang Bai，WenyuLiu，and Longin Jan Latecki.基于深度摄像机的移动机器人在复杂室内环境中的在线多目标检测与跟踪IJPRAI，2014年。1