交互学习的多监督交织显著目标检测方法的研究

8150一种交互学习的多监督交织显著目标检测方法吴润民1，冯梦阳1，关文龙1，王东1，胡川路1，丁二瑞21大连理工大学，2百度公司计算机视觉技术部（VIS）josephinerabbit@mail.dlut.edu.cn，mengyangfeng@mail.dlut.edu.cn，guanwenlong@mail.dlut.edu.cn，wdice@dlut.edu.cn，lhchuan@dlut.edu.cn，dingerrui@baidu.com摘要虽然深度学习技术最近在显著对象检测方面取得了很大进展，但由于对象的内部复杂性以及卷积和池化操作中的步幅导致的不准确边界，预测的显著性图仍然存在不完整的预测。为了缓解这些问题，我们建议通过利用不仅来自显著对象检测，而且来自前景轮廓检测和边缘检测的监督来训练首先，我们利用显着对象检测和前景轮廓检测任务在一个交织的方式来生成显着性图均匀的第二，前景轮廓和边缘检测任务同时相互指导，从而导致精确的前景轮廓预测和减少用于边缘预测的局部噪声。此外，我们开发了一种新的相互学习模块（MLM），作为我们的方法的构建块。每个MLM由多个以相互学习的方式训练的网络分支在7个具有挑战性的数据集上进行的大量实验表明，该方法在显著对象检测和边缘检测方面都取得了最佳效果。1. 介绍显著对象检测旨在分割给定图像中最明显的对象区域，作为各种视觉任务的重要预处理步骤，包括图像字幕[8]，视觉跟踪[3]，视觉问题回答[15]和人员重新识别[35]。通过集成多尺度特征，先前基于深度学习的方法[32，10，16，22]能够从全局和粗略视图中检测显著对象。虽然取得了良好的业绩，但他们仍然遭受* 通讯作者：博士王(a) 输入（b）GT（c）Ours（d）Amulet（e）RFCN图1.不同CNN方法的视觉比较(a) E（b）E-gt（c）S（d）S-gt（e）FC-gt图2.我们的两个输入和三个监督的例子。E和E-gt是从边缘检测数据集中收集的。S和S-gt是从显著对象检测数据集中收集的，并且FC-gt是从S-gt中提取的前景轮廓。图1所示的两个主要缺点：1）由于显著对象的内部结构复杂，很难均匀地突出整个显著对象; 2）由于步幅卷积和池化操作造成的信息丢失，目标轮廓周围的预测是不准确的。为了解决上述问题，我们提出了一种新的训练策略和网络设计，同时利用三个任务，包括显著对象检测，前景轮廓检测和边缘检测。我们将两张图像输入到我们的网络中，一张用于显著对象检测，另一张用于边缘检测，并有三种相应的监督。两幅输入图像分别从显著目标检测和边缘检测数据集中采集。为了描述方便，我们使用E和E-gt来表示输入图像和来自用于边缘检测的数据集的真实值，并且使用S和S-gt来表示输入图像和用于显著对象检测的真实值广告8151因此，前景轮廓地面实况，表示为FC-gt，由Canny [19]算子在显著对象掩模（S-gt）上提取图2中显示了两个输入图像和三个首先，为了生成具有统一高亮的显著图，我们采用显著对象检测和前景轮廓检测相结合的方式。这两个任务是高度相关的，因为都要求准确的前景检测。然而，它们在显著性检测涉及密集标记的场景（即，“填充”对象区域的内部），并且更可能受到显著对象的内部复杂性的影响，从而产生不均匀的前景高亮。相比之下，前景轮廓可以因此，轮廓检测任务对物体的内部结构更鲁棒在所提出的交织策略中，这两个任务在网络的不同块处交织，迫使网络交替学习“填充”和“提取”前景轮廓。因此，网络可以从这两个任务的优势中受益，并克服它们的缺陷，从而更全面地突出区域。其次，为了减轻预测显著图中的模糊边界问题，我们提出了从边缘检测任务中辅助监督来改进前景轮廓检测。为此，我们设计了一个边缘模块，并与我们的骨干网络联合训练。由于边缘模块将来自骨干网络的显著性特征作为输入，因此编码在这些特征中的语义信息可以有效地抑制噪声局部边缘。同时，边缘模块提取的边缘特征作为前景轮廓检测的附加输入，保证了前景轮廓检测的准确性。使用低级别提示获得更准确的检测结果。第三，为了进一步提高性能，我们提出了一种受深度相互学习（DML）启发的新型相互学习模块MLM建立在我们的骨干网络的每个块的顶部，并包括多个子网，这些子网通过模仿损失在对等教学策略中进行训练，从而获得额外的性能增益。我们的主要贡献可归纳如下。• 我们建议使用多任务交织监督来训练深度网络进行显着性检测，其中有效利用以呈现准确的显著性检测。• 我们采用前景轮廓检测和边缘检测任务相互指导，以生成更准确的前景轮廓，并减少边缘中的噪声检测同时• 我们设计了一种新的网络架构互学习模块，它可以更好地利用多个任务的相关性，并显着提高显著性检测精度。我们将我们的方法与7个具有挑战性的数据集上的15种最先进的显着对象检测和BSD 500上的6种流行边缘检测方法进行了比较[1]。实验结果表明，该算法在边缘检测性能上明显优于其他显著性模型，同时具有较快的检测速度。2. 相关工作有效地利用空间细节和语义信息是实现显著对象检测的最新性能的关键因素。大多数现有的方法使用跳跃连接或递归架构来集成卷积神经网络（CNN）的分层特征。它们可以粗略地检测目标，但不能均匀地突出整个对象，并且还遭受模糊边界。为了生成清晰的边界，一些方法试图将额外的边缘信息引入显著性网络。2.1. 集成分层功能2.1.1跳过连接在HED [27]中，作者提出建立跳过连接以利用多尺度深度特征进行边缘检测。边缘检测是一项更容易的任务，因为它不太依赖于高级信息。而显著目标检测则需要大量的语义特征。因此，直接将跳跃连接引入显著对象检测是不令人满意的。在DSS [10]中提出的一种称为短连接的改进版本通过将较深的层连接到较浅的层并跳过中间的层来解决这个问题。SRM [23]的另一项工作提出了一种逐阶段细化模型和金字塔池模型，以整合局部和全局上下文信息进行显着性预测。通过这种方式，多尺度特征图可以帮助定位显著目标并更有效地恢复局部细节。2.1.2循环体系结构提出了一种递归全卷积网络（RFCN）[22]，以合并显着性先验知识，以进行更准确的推理。它可以通过递归结构修正以前的错误来改进显著图。DHS [16]中引入了递归卷积层（RCL），通过整合局部上下文信息来逐步恢复显着图的图像细节8152815381548155DecDecLDec= Σ4i=0时十二月一日lbce（Di，Si）（7）4.2.实现细节所有的实验都使用一个Nvidia GTX TITAN X GPU进行。预训练的VGG-16模型用于初始化骨干网中的卷积层其中r除r4外设置为1。工作其他卷积层中的参数被随机初始化。调整所有训练和测试图像的3.3.2训练步骤我们交替训练我们的编码器和解码器网络，训练步骤如下，步骤1我们首先用LEnc训练编码器网络，即具有MLM和EM的骨干网络。步骤2我们修复编码器并将MLMs中的特征馈送到解码器网络中，然后单独使用LDec训练解码器网络。Step.3在训练解码器之后，我们然后固定解码器并使用解码器的监督来微调编码器，即L_Dec，以优化编码器的参数。我们迭代地重复上面的步骤，在每个训练步骤中，我们停留10个epoch，然后切换到下一个epoch。4. 实验4.1. 数据集对于显着性检测任务，我们使用DUTS的训练集 [21]并在数据集的测试集和其他六个流行数据集ECSSD[28]，DUT-OMRON [29]，SOD [18]和HKU-IS [12]上评估我们的算法个dut是最大的数据集，包含10，553张用于训练的图像和5，019张用于测试的图像训练集和测试集都ECSSD包含1，000幅自然和复杂的图像，具有像素精确的地面实况注释。这些图像是从互联网上手动选择的DUT-OMRON拥有5，168张更具挑战性的图像。所有图像的大小调整为最大尺寸为400像素长。SOD有300张包含多个低对比度物体的图像。HKU-IS共有4，447幅图像，这些图像是通过满足以下三个标准中至少一个来选择的，即：重叠的多个显著对象、接触图像边界的对象和低颜色对比度。PASCAL-S数据集是PASCALVOC [6]数据集的一部分，包含850张图像。SOC数据集是一个最新的数据集，包含6000幅图像，包括3000幅显著对象图像和3000幅非显著对象图像，它们来自80多个日常对象类别，并且这些显著对象具有运动模糊、遮挡和背景杂乱等突出属性。我们只使用有效集进行测试，以评估我们的方法的鲁棒性。关于边缘检测任务，我们使用BSD 500 [1]进行训练和测试。BSD 500数据集包含200张训练图像、100张验证图像和200张测试图像。256×256，然后再输入网络。我们使用“亚当”方法，权重衰减为0.005。学习-编码器的速率设置为0.0004， 解码器我们的源代码可以在网站上找到：https://github.com/JosephineRabbit/4.3. 评估指标对于显著对象检测任务，我们使用四个有效的度量来评估性能，包括精确度-召回率曲线，F-度量，平均绝对误差[2]和S-度量[7]。我们首先计算对精确度和召回值阈值的预测显着性图用于绘制PR曲线。此外，F-测度值被用作另一个度量，其在每个二值化显著图上计算并在整个数据集上平均。阈值被确定为平均显著性值的两倍。S-measure由一个区域计算感知结构相似性Sr和对象感知结构相似性SO：Sm= α<$SO+（1 − α）<$Sr，其中α ∈ [0，1]。我们设置α=0。五是要坚持“以人为本”。对于边缘检测任务，我们使用最佳数据集尺度（ODS）和最佳图像尺度（OIS）的F-测度来评估边缘概率图。4.4. 性能比较我们将我们的方法与14种最先进的显着性检测方法进行了比较，包括BMPM [31]，DGRL [24]，PAGR[33]、Ras [4]、PiCANet [17]、R3Net [5]，MSRNet[11] 、 SRM [23] 、 Amulet [32] 、 DSS [10] 、 DHS[16]，[13][14][16][17][18][19][1我们将我们的边缘检测结果与表2中的一些流行算法进行比较，例如gPb-UCM [1]和HED [27]。在进行边缘检测评估时，仅使用我们的骨干网络的前三个块和相应的EM。因此，我们的边缘检测网络是一个相对简单和微小的架构相比，其他边缘检测模型。定量评价。对于显著性检测任务，我们比较了所提出的方法与其他方法的MAE分数，平均F-测量分数和S-测量分数，如表1所示该方法在所有数据集上的评价指标都优于其他方法对于边缘检测任务，结果如表2所示。我们的边缘检测网络由于其轻量级而比其他方法快3倍左右，并且达到了相当的精度。R8156表1.定量评价。最好的三个分数分别以红色、绿色和黑色显示个dutPascal-SECSSDSODHKU-ISOmronFβMaeSMFβMaeSMFβMaeSMFβMaeSMFβMaeSMFβMaeSM我们0.802 0.045 0.856 0.838 0.069 0.849 0.914 0.038 0.911 0.811 0.106 0.780 0.893 0.034 0.901 0.742 0.056 0.817BMPM0.751 0.049 0.861 0.769 0.074 0.845 0.869 0.045 0.911 0.763 0.107 0.787 0.871 0.039 0.907 0.692 0.064 0.809DGRL0.768 0.050 0.841 0.825 0.072 0.836 0.903 0.041 0.903 0.799 0.104 0.771 0.890 0.036 0.895 0.733 0.062 0.806PAGR0.788 0.056 0.837 0.807 0.093 0.818 0.894 0.061 0.889---0.886 0.048 0.887 0.711 0.071 0.805Ras0.755 0.060 0.839 0.785 0.104 0.795 0.889 0.056 0.893 0.799 0.124 0.764 0.871 0.045 0.887 0.713 0.062 0.814PiCANet 0.755 0.054 0.861 0.801 0.077 0.850 0.884 0.047 0.914 0.791 0.102 0.791 0.870 0.042 0.906 0.713 0.062 0.814R3Net0.802 0.045 0.829 0.807 0.097 0.800 0.917 0.046 0.900 0.789 0.136 0.732 0.905 0.038 0.891 0.756 0.061 0.815MSRNet 0.708 0.061 0.840 0.744 0.081 0.840 0.839 0.054 0.896 0.741 0.113 0.779 0.868 0.036 0.912 0.676 0.073 0.808SRM0.757 0.059 0.834 0.801 0.085 0.832 0.892 0.054 0.895 0.800 0.127 0.742 0.874 0.046 0.887 0.707 0.069 0.797护身符0.676 0.085 0.803 0.768 0.098 0.820 0.870 0.059 0.894 0.755 0.141 0.758 0.839 0.054 0.883 0.647 0.098 0.780DSS0.724 0.067 0.817 0.804 0.796 0.797 0.901 0.052 0.882 0.795 0.121 0.751 0.895 0.041 0.879 0.729 0.066788DHS0.724 0.067 0.817 0.779 0.0948070.872 0.059 0.884 0.774 0.128 0.750 0.855 0.053 0.870---DCL0.714 0.149 0.735 0.714 0.125 0.754 0.829 0.088 0.828 0.741 0.141 0.735 0.853 0.072 0.819 0.684 0.097 0.713RFCN0.712 0.091 0.792 0.751 0.118 0.808 0.834 0.107 0.852 0.751 0.170 0.730 0.835 0.079 0.858 0.627 0.111 0.774DS0.633 0.090 0.793 0.669 0.176 0.739 0.826 0.122 0.821 0.698 0.190 0.712 0.788 0.080 0.852 0.603120750表2.在BSDS500数据集上与几种常用方法的边缘结果比较。†表示GPU时间。主要结果以粗体显示。方法ODSOISFPSgPb-UCM [1].729.7551/240[27]第二十七话. 788. 80830†我们的（基线）共同学习（JointLearning）.736.769.751.780102†102†表3.每个组件的消融分析最佳结果以粗体显示。只有S-gt进行监督，并删除了MLM中的EM和多余的学生分支;（2）+传销：在每个传销组织中增加三个学生分支机构;（3）+FC：采用S-gt和FC-gt交叉监管;（4）+EM：所提出的整个网络具有以交织方式进行监督的S-gt和FC-gt，并且同时采用EM进行边缘检测。在三个数据集（DUT、PASCAL-S、EC-SSD）中进行比较我们可以观察到，我们的交织监管策略（+FC）对整体绩效的贡献最大。此外，我们还计算了显著图中高光像素的平均得分.给定一个显著图因此，ASHP可以被给定为：ASHP（S）=1N ΣWΣH|、（8）|,(8)目视比较。我们在图7中可视化了我们方法的一些示例显着性图。实验结果表明，该方法可以得到边界清晰、高光整体均匀的高精度图像。4.5. 消融研究4.5.1显著性检测首先，为了展示传销和新兴市场的影响以及相互交织的监管策略的力量，我们训练了四个模型进行比较，如下所示：（1）基线：一个简单的编码器-解码器架构的网络，建议使用sx=1y =1其中Ns是满足S（x，y）>0. 此外，我们计算的前景轮廓预测（AFCP）的准确性。给定前景轮廓预测图F，AFCP可以通过下式计算：AFCP=Nc，（9）Nf其中Nc是满足以下条件的像素的数量：|F（x，y）−S（x，y）|<60和S_（x，y）>200，并且Nf是满足S_（x，y）>200的像素的数目。从图8的结果中，我们可以观察到（1）MLMs可以将基线模型的低精度改善为具有竞争力的规模;（2）+FC的ASHP较高个dutPascal-SECSSDFβMaeFβMaeFβMae基线0.695 0.073 0.774 0.092 0.861 0.062传销0.714 0.066 0.809 0.083 0.866 0.049传销+FC0.790 0.046 0.827 0.071 0.909 0.038MLM+FC+EM0.802 0.045 0.838 0.069 0.914 0.038FC+EM0.789 0.049 0.781 0.077 0.902 0.0438157(a) 输入（b）GT（c）EM+MLM （d）仅EM图9。边缘检测任务的消融研究。(a)以及（b）是来自BSD 500的测试图像和标签，以及（c）示出了通过联合学习EM和MLM（EM+MLM）的结果。(d)显示了仅使用EM的结果GTOURSDGRLSRMAmulet图7.所提出的方法与最新的最先进的方法的性能比较。第1行和第2行显示了com-在复杂的对象中添加边第3至4行显示了多个对象的比较。行5 - 6示出了小对象中的比较。表4.传销的成本与三个学生子网络。Original代表我们具有FC和EM的基线网络，训练时间是DUTS训练数据集中每个epoch的时间成本。成本原始+传销训练时间1334.548s 1897.216s测试时间13fps13fpsGPU存储器小行星7775小行星7984M(a)（b）第（1）款图8.显著性检测任务和前地面轮廓检测任务的消融研究。(a)显示了ASHP中的比较，（b）显示了AFCP中的比较。证明了交织监督有助于生成具有统一突出的预测;（3）+EM算法的AFCP的改善说明EM算法有利于生成更精确的前景轮廓。其次，我们测试了由三个子网络组成的多层模型所带来的时间和GPU开销。结果示于表4中。我们可以观察到，多层膜花费一点资源。4.5.2边缘检测为了研究边缘检测的联合学习方法的有效性比较结果见图9和表2。我们可以发现，边缘检测网络能够通过与显著性任务的联合学习来捕获更好的语义信息。该策略抑制了冗余局部细节的噪声，显著提高了边缘性能。5. 结论在本文中，我们提出了一个多任务算法的显著目标检测，前景轮廓检测和边缘检测。我们采用了一种交织的监督策略，用于显著对象检测和前景轮廓检测，这鼓励网络在整个目标对象上产生高此外，我们利用边缘检测和显著性检测，以指导对方和两个任务获得好 处 。 此 外 ， 我 们 提 出 了 一 个 相 互 学 习 模 块（MLM），使网络参数收敛到一个更好的局部最小值，从而提高性能。通过这种方式，我们的模型能够在显著对象和准确边界内生成实验结果表明，这些机制可以导致更准确的显着性图在各种图像，在同一时间，我们的模型是能够检测到令人满意的边缘快得多。鸣谢。本工作得到了国家自然科学基金61725202、61829102、61872056和61751212的资助。这项工作也 得 到 了 中 央 大 学 基 础 研 究 基 金 的 支 持 ， 拨 款DUT18JC 30。8158引用[1] P. Arbelaez，M.迈尔角C. Fowlkes和J.马利克轮廓检测与分层图像分割。IEEE Transactions on Pattern Analysisand Machine Intelligence，33（5）：898[2] A. Borji，M. Cheng，H. Jiang和J.李显著物体检测：基准 。 在 IEEE Transactions on Image Processing ， 第 24卷，第5706-5722页[3] A. Borji，S. Frintrop，D. N. Sihite和L.伊蒂通过学习背景上下文的自适应对象跟踪。在CVPR研讨会上，第23-30页[4] S. Chen，X.坦湾Wang和X.胡显著目标检测的反向注意。在欧洲计算机视觉会议上，第236-252页[5] Z. Deng，X.胡湖，加-地Zhu，X.徐，J.Qin，G.Han和P.衡R3网：用于显著性检测的循环残差细化网络. 在国际人工智能联合会议上，第684-690页[6] M.埃弗灵厄姆湖，澳-地J.V. Gool，C. K. I.威廉斯，J.M. Winn 和 A. 齐 瑟 曼 。 Pascal Visual Object Classes（VOC）International Journal of Computer Vision，88（2）：303[7] D.范，M。郑，Y. Liu，T. Li和A.波吉结构-措施：一种评估前景贴图的新方法。国际计算机视觉会议，第4558-4567页，2017年[8] H. Fang，S.古普塔F. N.扬多拉河K.斯利瓦斯塔瓦湖邓小平说，P. 多尔，J。Gao、X. 他，M。 M i tagh，J. C. 普拉特角L. Zit-nick和G.茨威格从标题到视觉概念再到后面。在IEEE计算机视觉和模式识别会议上，第1473-1482页[9] S.他和N.普若深度显着性：深度网络对显着性有什么了解？abs/1801.04261，2018年。[10] Q.侯，M. Cheng，X. Hu，黄毛菊A. Borji，Z. Tu和P.H.S.乇具有短连接的深度监督显著对象检测。在IEEE计算机视觉和模式识别会议上，第5300-5309页[11] G. Li，Y.谢湖，加-地Lin和Y.Yu. 实例级显著对象分割。在IEEE计算机视觉和模式识别会议上，第247-256页[12] G. Li和Y. Yu.基于多尺度深度特征的视觉显著性。在IEEE计算机视觉和模式识别会议上，第5455-5463页[13] G. Li和Y.Yu. 用于显著对象检测的深度对比学习IEEE计算机视觉和模式识别会议，第478-487页，2016年[14] X.利湖，澳-地赵湖，加-地韦，M.- H. Yang，F. Wu，Y.庄H. Ling和J.王.深度显著性：用于显著对象检测的多任务深 度 神 经 网 络 模 型 。 在 IEEE Trans-actions on ImageProcessing，第25卷，第3919[15] Y.林，Z. Pang，D. Wang和Y.庄。任务驱动的视觉显著性 与 基 于 注 意 的 视 觉 问 答 。 计 算 研 究 库 ，abs/1702.06700，2017年。[16] N. Liu和J.Han. Dhsnet：用于显著对象检测的深度层次显著性网络。在IEEE会议上计算机视觉和模式识别，第678-686页，2016年。[17] N. Liu、J. Han和M.- H.杨Picanet：学习像素级上下文注意力进行显著性检测.在IEEE计算机视觉和模式识别会议上，第3089-3098页[18] V. Movahedi和J. H.长老显著目标分割性能测量的设计和感知验证。在计算机视觉和模式识别工作室，第49-56页[19] A. D. Sappa和F.多奈卡基于边缘的运动检测方法。在计算科学，第563[20] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。在2015年国际学习代表会议上[21] L. Wang，H.Lu，Y.Wang，M.Feng，L.王湾，澳-地尹和X.阮。学习用图像级监督检测显著对象。在IEEE计算机视觉和模式识别会议上，第3796-3805页[22] L.王湖，加-地Wang，H. Lu，P. Zhang，and X.阮。使用循环全卷积网络进行显著性检测。欧洲计算机视觉会议，第825-841页，2016年。[23] T. Wang，中国山核桃A.博尔吉湖Zhang，P. Zhang，and H.陆一种用于检测图像中显著对象的阶段细化模型。在国际计算机视觉会议上，第4039-4048页[24] T.王湖，加-地Zhang，S. Wang，H. Lu，G. Yang，X.阮和A.波吉全局检测，局部优化：一种新的显著性检测方法。在IEEE计算机视觉和模式识别会议上，第27-35页[25] X. Wang，H.妈，还有X。尘基于快速r-cnn和低层线索的显著目标检测。在图像处理国际会议上，第1042-1046页[26] X. Wang，H.妈，X。Chen和S.你边缘保持和多尺度上下文神经网络用于显著目标检测。在IEEE Transactionson Image Processing，第27卷，第121-134页[27] S. Xie和Z.涂。整体嵌套边缘检测。国际计算机视觉杂志，125（1-3）：3[28] Q. 延湖，澳-地徐，J.Shi和J.贾层次显着性检测。在IEEE计算机视觉和模式识别会议上，第1155-1162页[29] C.扬湖，澳-地Zhang，H. Lu、X. Ruan和M.杨通过基于图的流形排序的显著性检测。在IEEE计算机视觉和模式识别会议上，第3166-3173页[30] J. Zhang，Y.Dai，F.M. Porikli和M.他外深度边缘感知显著 性 检 测 。 在 Computing Research Repository ， vol-1708.04366，2017中。[31] L. 张，J.Dai，H.Lu，Y.他和G.王. 用于显著对象检测的在IEEE计算机视觉和模式识别会议上，第1741-1750页[32] P.Zhang，D. Wang，H. Lu，H. Wang和X.阮。Amulet：聚合多层次卷积特征，8159目标检测在IEEE计算机视觉和模式识别会议上，第202-211页[33] X. Zhang，T. Wang，J. Qi，H. Lu和G.王.渐进式注意引导递归网络用于显著物体检测。在IEEE计算机视觉和模式识别会议上，第714-722页[34] Y. Zhang，T. Xiang，T. M. Hospedales和H.陆深度相互学习。在IEEE计算机视觉和模式识别会议上，第4320-4328页[35] R. Zhao，W.欧阳和X.王.基于显著性学习的人物在IEEETransactionsonPatternAnal-ysisandMachineIntelligence，第39卷，第356-370页