43213095基于多尺度标签平滑的掩码引导全卷积网络的共显著性检测张凯华1，李腾鹏1，刘波2，刘青山11B-DAT和CICAEET，南京信息工程大学，中国南京2JD Digits，Mountain View，CA，美国{zhkhua，kfliubo}@ gmail.com摘要在图像共显著性检测问题中，一个关键问题是如何对出现在每幅图像中以及所有相关图像中的共显著部分的并发模式进行在本文中，我们提出了一个层次化的图像共显着性检测框架作为一个粗略到精细的策略来捕捉这种模式。我们首先提出了一个掩码引导的全卷积网络结构来生成初始的共显着性检测结果。掩模用于背景去除，并且它是从预训练的VGG-net输出的高级特征响应图中学习的接下来，我们提出了一个多尺度标签平滑模型，以进一步细化检测结果。该模型联合优化了像素和超像素的标签平滑度，S.在iCoseg、MSRC和Cosal2015三个主流图像共显著性检测基准数据集上的实验结果表明，该方法与现有方法相比具有显著的性能1. 介绍图像显著性检测是模仿人类视觉系统，通过检测图像中最吸引人注意力给定一组图像，图像共显著性是指一组相关图像中共同的显著对象或区域。发现图像共显著性已被广泛用作许多应用中的预处理步骤，诸如视频/图像前景共分割[17，16]、对象定位[42]、监视[43]、图像处理[44]、图像处理[45]、图像处理[46]、图像处理[47]、图像处理[48]、图像处理[49]、图像处理视频分析[37]和图像检索[38，47]。图像像素或区域特征的表示是共显著性检测研究的一个重要课题传统的人工设计的线索，如颜色直方图，Gabor滤波器和SIFT描述符，已被用于图像共显性检测[8，41，15]。然而，由于功能有限，*通讯作者。本课题得到了国家自然科学基金（61876088，61825601）、江苏省自然科学基金（BK 20170040）的资助。(a)（b）（c）（d）（e）图1.不同地图的插图。(a)输入图像;（b）基本真相;（c）采用拟议的不带面罩制导的FCN的单一显著结果;（d）掩蔽的共显图;（e）最后完善的结果。尽管这些方法的性能通常不令人满意，但它们的性能通常不令人满意。最近，深度学习方法已经实现了更高的准确性，因为神经网络可以生成更具鉴别力的特征表示[51，52]。第二个主题是通过适当的联想策略发现所有图像的重复显著性。无监督学习方法通过一系列模型，如聚类[53，48]，多实例学习[54，24]和图形模型[23]，寻找图像中的共同对象或显著区域。利用共显著性标签信息，监督学习方法有望获得更准确的结果，S.监督单图像显著性检测方法- s [22，56，55]可用于共显著性检测。然而，它们忽略了所有图像内显著区域的模式并发性，这是与单个图像显著性检测任务相比，共同显著性检测问题的本质特征最近的几项工作是在距离度量学习[20]和协作学习[45]的形式中对图像间模式并发进行在本文中，所提出的分层方法也是为了捕捉跨图像的显着模式并发。直观地说，图像共同显著性可以从所有图像中重复的单个图像显著性中导出[8]。这促使我们设计一个两步框架。在第一步中，43213096n=1我我们通过掩模引导的全卷积网络（FCN）生成初始共显著性检测结果。掩码引导网络的思想已成功应用于各种任务，如对象分割[12]和检测[57]，因为掩码编码有用的语义和空间信息，因此学习的卷积特征在这种指导下更具鉴别力。在我们的网络中，我们使用掩码来去除卷积特征学习中的背景信息，如图1（d）所示。掩码引导的FCN的网络共显著性检测结果通过多尺度标签平滑模型进一步细化，从而得到图1（e）中的最终结果所提出的方法具有以下技术新颖性：• 我们提出了一种用于图像共显著性检测的掩模引导FCN结构。所提出的网络的卷积部分有两个通道，掩码为在两个信道中的不同卷积层处添加将两个通道的输出合并并馈送到去卷积层中以获得初始共显性检测结果。• 为了使FCN成为并发特征模式学习的目标，掩码被用作网络掩码是从预训练的VGG网络的特征响应图输出中学习的[40]。我们设计了一个学习目标，共同最大化掩码方差，并鼓励掩码的条目是稀疏的。设计的学习目标是解决了ADMM型算法。• 提出了一种多尺度标签平滑模型，以改善掩蔽引导的FCN的检测结果该模型考虑了两个IM的标签平滑性，年龄超像素和像素。超像素平滑度由流形排序建模，像素平滑度由全连接CRF目标建模。设计了一种迭代优化算法，使目标最小化.2. 相关工作2.1. 单幅图像显著性检测详尽地介绍相关工作超出了本文的范围，可以在[10，5]中找到一些关于单图像显著性检测的最新调查。一般来说，现有的单图像显著性检测方法可以分为无监督方法和监督方法[10]。无监督方法基于各种先验知识作为假设来检测图像显著性。在[9]中，通过区域对比度检测图像显著性，在文学中。监督方法，特别是深度学习类型的模型已经证明了比非监督方法更高的准确性在[33]中，通过预测眼睛注视来检测图像显著性。在网络结构设计上已经进行了大量的努力，其中多尺度特征融合网络[28]，分层网络结构[32]和HED架构内的跳层结构[22]作为代表性工作。 提出了一种黑盒分类器在[11]中用于实时图像显著性检测。2.2. 图像共显著性检测图像共显著性检测方法可以分为自底向上、基于融合和基于学习的方法。自下而上的方法根据特征先验对图像区域进行评分，以模拟视觉注意力[29，15，18]。在文献[15]中，采用了对比、空间和对应三种视觉注意线索背景和前景线索在[18]中的两阶段传播框架中使用。基于融合的方法集成现有显著性或共显著性方法的检测结果。例如，Cao等人通过秩约束获得自适应权重以组合共显着性图[7]，Huang等人使用多尺度超像素通过低秩分析联合检测显着对象[25]。在[54，52]中提取了来自C-NN的高级语义特征，以发现图像间的对应关系。近年来，基于学习的方法获得了显著的发展，主要是因为深度学习模型的突破[45，58，20，23]。在[45]中，Wei等人提出了一个基于FCN[36]的端到端框架来发现共同显着的对象。此外，提出了一种无监督CNN [23]来联合优化共显着图。更全面的图像共显方法调查可以在[50]中找到。3. 该方法图2示出了所提出的方法的总体框架。首先，为每个图像学习掩模，该掩模可以突出共同突出的区域并在FCN学习中去除背景（§3.1）。然后，FCN检测共显对象（§3.2）。最后，一个多-提出了尺度标签平滑模型来细化掩模引导的FCN的输出（§3.3）。3.1. 面具学习我们利用在ImageNet图像分类任务[13]上预训练的VGG-16网络[40]，通过移除其完全连接的层作为通用特 征 提 取 器 ， 并 使 用 最 后 一 层 的 卷 积 特 征 映 射（CFM）（即，conv 5 -3）用于掩蔽学习。给定一组通过全局对比度差和空间权重进行评估-图像I={In}N其中包含了一个ed一致性分数。其他先验信息，如频率-主分析[1]，稀疏学习[30，39]，背景优先级，类别，对于每个图像In∈I，VGG网络生成器-将其特征表示Xn=[xn，. . . ，xn] n∈ Rk×d，1K或[61，44]和紧先验[60]也被认为是其中xn∈Rd是它的第i个特征，k是43213097……我NK1N我221预训练的VGG-16模型…conv1_1conv5_31x1转换（一）输入图像口罩conv1池conv2（b）第（1）款池池CFM_mconv4conv5池辍学conv3 池conv6辍学conv71x1conv代诺夫池池conv4conv5 CFM_m池乙状…超像素图像深度共显著图细化（c）第（1）款…最终结果图2.提出的共显着性检测框架包括三个级联：（a）生成可以突出共显目标的掩模;（b）开发掩模引导的FCN，其中CFM的两个分支被掩模（由CFM m表示）掩蔽，以生成深度共显图;（c）通过迭代地优化像素和超像素的多尺度标记平滑模型来细化结果。每个通道的矢量化特征图，D表示通道的数量。 我们的目标是学习一个掩码函数m（xn）=wxn（w等于前1×1卷积图3中的中间行为了防止这个问题，我们在掩码mn上添加了一个额外的稀疏正则化，得到以下目标函数我我图2中的过滤器），它将特征xn分类为前景或背景，产生掩码响应mn=Xn w，（1）ΣNL（ w）=−n=1<$Xnw−X<$w<$2+λ1<$w<$2+λΣN2|Mn|1、n=1其中m n=[m（xn），. . . ，m（x n）]n. 但是，当学习-S.T. m n= X n w，n =1，. . . ，N，（二）其中X<$=[<$x，. . . ，<$x]由样本集平均值组成使用滤波器w，监督学习遭受高的an-N噪声干扰将前景遮罩标记为训练数据的符号成本。x=1n=1i=1 xn. 第一项鼓励此外，学习的模型可能无法很好地用于看不见的测试中的对象类别，因为它不能很好地一般化到看不见 的 类 别 。 为 了 解 决 这 个 问 题 ， 受 主 成 分 分 析（PCA）[4]的启发，我们以无监督学习的方式学习滤波器w。但是，P- CA选择方差最大的投影方向，这可能会导致较强的类重叠。至于我们的任务，PCA选择的方向可能会在所有位置引起高分类器响应，导致不准确的掩码（参考43213098掩蔽所有位置的响应以具有最大方差，第二项利用L2范数来控制过拟合，最后一项惩罚在背景处的mn的高响应，而使第一项鼓励mn在前景处具有高响应，从而减少与仅诉诸最大方差的PCA的类重叠（2）中的目标L（w）相对于变量w是凸的，并且可以通过ADMM [6]最小化以实现全局最优解通过引入步骤4321309912n=1ρ，ρρnN参数ρ，（2）的增广拉格朗日形式可以表示为：Lρ（ w，m，s）=g（ w）+λ2ρNΣNn=1|Mn|1个以上ΣNn=1s（Xn w− mn）+ 2n=1ΣNXnw−mn<$2，（三）其中g（w）=−<$Xnw−X<$w <$2+λ1<$w<$2，且sn为n=12 2拉格朗日乘数通过引入zn=sn/ρ，（3）可以重新表示为图3.PCA（中间一行）和我们的方法（底部一行）生成的掩码的图示PCA产生噪声背景重新-ΣΣL（w，m，z）=g（w）+λ|Mn|1+ρX n w − m n+zn <$2。而我们的方法可以均匀地突出前景的共同目标。ρ2n=112n=12（四）图3示出了通过以下方式生成的掩码的一些示例：然后，我们采用ADMM算法，解决了以下子问题方法和PCA。输入图像由猫、女孩、头盔、棒球等多个目标组成，（i+1）ρNnn n2精确定位普通棒球是一个挑战P型阿格夫= arg minwg（w）+2n=1×w−m+z=2，CA遭受噪声背景，未能均匀地损失-m n（i+1）=argminmλ2| M |1+ρ<$Xnw−m +zn<$2，122确定共同目标。相反，通过引入zn（i+1）=zn（i）+Xnw（i +1）−mn（i+1）。（五）稀疏表示抑制背景响应，所提出的方法能够更好地突出COM，更新w：取顶部方程的导数，(5)为零，我们可以得到w的封闭形式解为：比PCA更好的目标。3.2. 掩模引导的FCN.w= −2 S+ 2 λ1 I+ ρ ΣNn=1XnXnΣ−1 ΣNρn=1Xn<$（ mn−zn），（六）最近提出的SPP-Net [21]表明，CFM编码对象的语义（通过其激活的强度）和空间布局（通过其位置），因此其中S=N（Xn−X<$）（Xn−X<$）。SPP-Net通过一个矩形区域屏蔽CFMs，并直接将屏蔽后的CFMs进行池化处理。事后，更新m：（5）中的中间方程可以通过软阈值方法容易地求解，并且其闭合形式解为(Xnw+zn)(i)−λ2,if（Xnw+zn）（i）>λ2，m n（i）=0，如果|（X n w+ z n）（i）|≤ λ2，Dai等人[12]进一步表明，使用具有不规则形状的细段来掩蔽CFM能够实现语义分割的顶级性能受这些工作的启发，我们进一步提出了掩码引导的FCN，它屏蔽了图像中并发模式的CNN特征，用于共显性检测。（i）+λ2else.ρ（七）我们使用骨干架构作为[36]提出的FCN，它由16个卷积层组成，通过ReLU非线性交织，5个最大池化和2个丢弃请注意，所提出的目标函数（2）是一致的。vex，并且ADMM算法对（5）中的每个子问题都有封闭形式的解因此，它满足Eckstein-Bertsekas条件[14]，保证收敛到层和一个去卷积层。给定训练样本{In，Gn}，其中Gn是输入图像In的二进制地面真实掩码。然后将IN通过FCN生成CFM Fn={F n，F n，. . . {\fn方正粗倩简体\fs12\b1\bord1\shad1\3cH2F2F2F} 然后，N43213100{M}全局最优 此外，我们根据经验发现，建议的ADMM可以在大多数图像上的3次迭代内收敛，因此我们将迭代次数设置为3，以获得有效的我们将每个特征图Fk掩码为FMn由§3.1使用学习过的面具科学。Fn=Fn<$Mn，（8）K K在获得最佳掩模mn之后，我们将其重塑为conv 5 -3层的特征图的大小，然后使用双三次插值将其调整为每个掩码特征图的所需大小，产生一组掩码M=其中⊙表示逐元素乘法。如图2（b）所示，在conv3层之后，我们实现两个分支功能。一个只是掩盖了游泳池3nNn=1 对于输入图像集I.层，而另一个仅掩蔽池5层。A--43213101我n=1i=1图4.顶行：输入图像;中间一行：掩蔽引导的FCN的共显著性检测结果，其中具有相同类别的灰雁被错误地检测到;底行：通过多尺度标签平滑，在抑制干扰项的同时准确地检测到共同显著目标。其中，池3层的CFM主要编码诸如三角形结构、红色斑点、特殊纹理等中级模式，它们是描述所有类别的通用术语[19，43]。因此，掩蔽池3层捕获类别不可知对象的显著区域，并且可以更好地概括到不可见的类别。此外，池5层的CFM编码了丰富的高级语义信息，这些信息对图像之间的显著外观变化具有鲁棒性，并且掩蔽这些高级特征可以进一步提高性能，这已经被我们的消融研究所图5.可选地优化像素级和超像素级模型。特征对同一类别的不同对象的区分性不够。如图4所示，存在几种不同颜色的鹅，其中只有白色的鹅是共同显着的目标，但我们的面具引导的FCN也错误地将灰色鹅干扰项检测为共同显着的目标（见图4的中间行）。为了解决这个问题，我们用像素级和超像素级线索补充语义特征，并提出了一种多尺度标签平滑模型，该模型用这些线索交替地优化两个模型（参见图5）。超像素级模型：给定输入图像集I及其对应的深度共显着图集S，我们首先使用SLIC方法[2]将每个图像In∈ I分成一组见第4.4节。 然后，充分利用互补广告，超像素Yn={yn}n，其中yn表示ii=1i两个分支功能的优点，我们通过添加它们一起通过下面的层向前馈送-S. 最后，我们将1×1卷积层应用于com-superpix eli，n是超像素的数量然后，我们将深度共显著图Sn（θε）∈S成为初始指示向量ii=1绘制显着图，并应用去卷积层以使输出图具有与输入输入图相同的大小其中n=1，如果在超像素中的值的平均值较大，比深度共显著图N中所有值的平均值大，年龄输出层是一个sigmoid层，它将否则，<$ln=0。然后定义一个图G=（V，E），显着性得分为[0，1]。 对于每个输入图像In，FC-我其中节点V={Yn}N是图像上的超像素N最终输出概率图Sn（θ），θ表示图像集I和边缘E通过亲和度加权网络参数，并通过最小化矩阵W=[wij]N<$×N<$其中节点数N<$=跟随损失函数ΣΣNn=1 n，以及.MnL（θ）=<$Sn（θ）−Gn<$2+λ3<$θ<$2，（9）- -一种|y i −y j|F2nwij=expσ2，若m n或i∈N（j）&m=n，其中，f·F表示Frobenius范数，最后一项de-0，ifi∈N（j）m=n，（十）注意权重衰减和λ3>0是预定义的权衡参数. 通过随机梯度下降（SGD）方法最小化L（θ）产生最优解θn，并且FCN输出图像集{In}的深度共显著图S={Sn（θn）}。其中N（j）是节点j的8个邻居。有了G，它-阶次矩阵D=diag{d1 1，. . . ，dN<$N<$}，其中dii=jwi j。然后，类似于流形排序算法-m [59]，通过最小化以下目标函数3.3.使用多尺度标签平滑进行提出的掩码引导的FCN使用高级语义特征进行共显著性检测，不仅对外观变化具有鲁棒性，而且可以很好地区分E sup（R|L）=ΣN¯i，j=1w ij|ri−rj|2+λ4 ΣN¯i=1|ri−li|二、（十一）从杂乱的背景中突出的物体。 但这些其中R={ri}N<$表示所有节点43213102i=1{S}NαβγinV及其对应的g iv en指示符集合L={li}N'，其由通过S中的深度共显著图变换的指示符初始化。像素级模型：设X={xi∈{0，1}}表示随机变量是与集合I中的所有像素相关联的标签，并且给定超像素排名得分R，我们以密集CRF形式定义能量泛函[27]更新X：固定R，L并将（17）中的r放入（13）中，相对于X最小化E（R，L，X）等于最小化E pix（X |R），这是稠密CRF的目标，因此我们使用[27]中的算法来有效地获得X的最优解。更新L：我们将X的最优解表示为x=[x1，. . . ]n，然后使用x来掩盖深度共显着性E pix（X|R）=Σ（xi）+Σn（xi，xj），（12）映射向量s，得到xs=xxs。然后，我们重塑，分裂多个映射以生成一组掩蔽深度共凸c-y映射i i jn n =1，其用于通过生成来更新L其中一元项定义为u（xi）= −（βs+（1−β）Pr）（i），（13）其中s 表示I中所有图像的深度共显著图向量， r=[r1，. . . 表示所有超像素的排名分数向量，并且P是将超像素分数投影到对应像素分数的位置指示符矩阵。成对项被公式化为设置由第一部分引入的初始指示符向量，超像素级模型。4. 结果和分析在本节中，我们首先介绍我们算法的实现细节（ §4.1 ） ， 然 后 介 绍 基 准 数 据 集 和 评 估 指 标（§4.2）。之后，我们展示了我们的方法与最先进的方法（§4.3）的定性和定量比较最后，Σ。布吕普-p2我们进行了消融研究，以显示每种方法的有效性2n（ x，x）=wexp—ij−ci−cj建议方法中的组件（§4.4）。pi j12θ2.p−p2θ24.1. 实现细节+w2exp—I j2θ2φ（xi，xj），（十四）我们利用MSRA-B [34]作为训练集来训练掩模引导的FCN，所有训练图像都被调整为500× 500像素。我们的方法中的参数由其中φ（x，x）=1，如果xx，否则为零。Cλ1= λ3= 0。001，λ2=100，λ4=1，ρ=10i j i ji和β = 0。9 .第九条。我们最小化目标函数（9），使用和pi分别是像素i的RGB特征和位置参数w1、w2、θα、θβ和θγ平衡了重要性每一个高斯核 这些参数设置如下-ing [27]。多尺度模型：多尺度模型公式化为小批量SGD，批量大小为64，动量为0.99. 学习率设置为1 e-10，权重衰减设置为0.0005。迭代次数设置为12，000。CNN在Caffe中实现[26]，TitanX GPU用于加速。minR、X、 LE（R，X，L）= E sup（R| L）+E pix（X|（R），（15）4.2. 数据集和评价指标其中E sup（R| L）是（11）中的超像素级模型，E pix（X |R）是（12）中的像素级模型。如图5所示，（15）可替代地被优化对于每个变量：更新R：固定X和L，我们通过将E（R，X，L）的导数设置为零来最小化E（R，X，L）数据集：我们在三个共显性基准数据集上评估了所提 出 的 算 法 ，包 括 iCoseg [3]， MSR-C [46]和 Cosal2015 [52]。ICoseg有38组共643张图像，每组有4张42张图像。的图像在iCoseg中具有具有各种姿势和大小的类似对象MSRC由8组共240幅图像组成，其中一组中的共显物体外观表现出显著差异，增加了共显检测的难度。E（R，L，X）= 2（r−Sr+λ（r−l））−（1−β）P43213103A41=0，（十六）第Cosal2015是最大的数据集，包含50个类别的2015张图像，也是最具挑战性的数据集，因为其中一组图像受到不同颜色、大小、姿势、外观等因素的影响其中S = D−1 WD−1，l =[l，. . . ，l]1和1表示变化和背景杂波等。2 21N¯全1向量从（16），我们有.⊤Σ评估指标：我们将我们的方法与其他国家的最先进的方法方面的五个标准，在-r=（（1 +λ）I−S）−1λl+（1−β）P 1.（十七）包括精确-召回（PR）曲线，接收操作，4 42特征曲线（ROC），平均精密度（AP）43213104输入GtOursCSHSESMGCODRCODW大象飞机车输入GtOursCSHSESMGCODRCODW球员脸熊图6.通过我们的方法和最新技术（包括CSHS [35]，ESMG [31]，CODR [49]和CODW [52]）生成的示例共显着图。评分、AUC 评分和F-测量评分。通过自适应阈值T=μ+μ来计算F-测量，以分割共显着图，其中μ和μ分别表示均值和标准差。在这里，我们根据所获得的平均查准率和查全率（1+β2）精确度×召回率Fβ=β2×精度+召回率，（18）其中，β2设置为0.3，以提高回忆的重要性，如[54，52，5]所示。4.3. 与最先进方法的我们将我们的算法与6种最先进的共显性检测方法进 行 比 较 ， 包 括 CBCS [15] ， CSHS [35] ， ES-MG[31]，CODR [49]，CODW [52]和SPMIL [54]。为公平的比较，我们直接报告作者发布的结果。定性比较结果：图6显示了一些定性比较结果。实验结果表明，该方法能较好地提取出不同颜色、姿态、外观变化、复杂的背景。在图6中，左边的两组图像来自iCoseg。其中，在象群中，背景中的草与象群颜色相同，使得其他对比方法不能完全检测到象群，而我们的方法可以由于它利用了高层次的语义信息，能够很好地区分目标和背景，因此取得了令人满意的效果。中间组来自MSRC，主要用于语义分割，并且我们的方法在显著的表观变化的界面下也能正确的组来自Cosal2015，在这两组中，我们的方法可以更好地检测目标，即使他们遭受不同的复杂场景和显着的外观变化。定量比较结果：图7显示了三个基准数据集上比较方法的PR和ROC曲线。性能统计数据汇总于表1中。从图7中，我们可以观察到，我们的算法在所有基准点的PR和ROC曲线方面优于其他最先进的方法。特别是在Cosal2015上，该方法生成的曲线远高于其他方法。此外，如表1所列，CODW在Cosal 2015上提供了最佳性能，AP评分为0.7437，AUC评分为0.9127，Fβ评分为0.7046。同时，我们的方法获得了0.8527的AP评分，0.9578的AUC评分和0.8142的Fβ评分，并且分别显著优于CODW10.9%，4.51%和10.96%这些结果验证了我们的掩模引导的FCN与多尺度标签平滑的共显着性检测的有效性。43213105表1.统计比较我们的方法与其他国家的艺术。这里，-R、-P3和-P5分别表示我们在没有细化、池3掩蔽和池5掩蔽的情况下的方法。红色、蓝色和绿色粗体字体分别表示最佳、次佳和第三佳性能。数据集CBCS [15][31]第三十一话CSHS [35][49]第四十九话[第52话]SPMIL [54]-R-P3-P5我们AP0.80210.85320.83970.88470.87660.87490.83950.89590.90070.9057iCosegAUC0.93260.95590.95460.96890.95740.96490.95570.96880.97050.9741Fβ0.74320.79680.75400.81710.79850.81430.81100.84570.84340.8553AP0.69980.68420.78680.86360.84350.89740.86860.88750.89220.9096MSRCAUC0.80230.82280.86790.91670.90480.93950.93320.93510.94080.9455Fβ0.59860.63010.71840.76750.77240.80290.79710.81420.80750.8250AP0.59720.51810.62120.69080.7437-0.83720.82970.83350.8527Cosal2015AUC0.81660.76910.85120.90840.9127-0.94990.93410.95370.9578Fβ0.56440.52010.62250.66030.7046-0.79630.79990.80760.8142iCoseg MSRC Cosal 2015图7.在三个基准数据集上的PR曲线和ROC曲线方面与最先进的方法进行比较4.4. 烧蚀研究为了进一步验证我们的主要贡献，我们比较了我们的方法的不同变体，包括那些没有细化（-R），池3掩蔽（-P3），池5掩蔽（- P5）分别。从表1中，我们可以观察到，在没有细化的情况下，AP和Fβ分数在所有基准数据集上都明显下降。特别是在iCoseg上，AP得分下降Fβ评分从0.8553下降到0.8110，下降幅度为4.43%。这验证了多尺度细化策略的有效性这可以显著地提高共显著性检测的准确性。此外，在未合并3掩蔽的情况下，AP、AUC和Fβ的大多数评分低于未合并5掩蔽的评分。我们认为这是由于pool 3掩蔽可以捕获类别不可知对象的显著区域，从而导致bet-我们称之为对看不见的类别的概括。此外，在没有pool5掩蔽的情况下，所有三个分数都下降，验证了掩蔽高级语义特征的有效性，可以进一步提高性能。5. 结论本文提出了一种用于共显著性检测的掩蔽引导FCN，包括三个级联：在第一种情况下，已经提出了一种无监督学习方法来学习共显对象掩模。在第二级联中，利用学习的掩码来掩蔽FCN的卷积特征图以用于显著对象提取。在第三个级联中，FCN的输出通过迭代优化新的多尺度标签平滑模型得到进一步在三个基准上的广泛评估验证了我们的方法的有效性。43213106引用[1] Radhakrishna Achanta ， Sheila Hemami ， FranciscoEstrada，and Sabine Susstrunk.频率调谐显著区域检测。CVPR，2009。[2] Radhakrishna Achanta ， Appu Shaji ， Kevin Smith ，Aurelien Lucchi，PascalFua，SabineSüsstrunk，etal. 切片超像素与最先进的超像素方法的比较。TPAMI，2012年。[3] Dhruv Batra、Adarsh Kowdle、Devi Parikh、Jiebo Luo和Tsuhan Chen。icoseg：具有智能涂鸦指导的交互式共同分割。CVPR，2010。[4] 克里斯托弗·毕夏普。模式识别与机器学习。[5] Ali Borji、Ming-Ming Cheng、Huaizu Jiang和Jia Li。显著对象检测：基准。TIP，2015年。[6] Stephen Boyd，Neal Parikh，Eric Chu，Borja Peleato，Jonathan Eckstein，et al.分布式优化和统计学习通过交替方向法的多-[19] Ross Girshick，Jeff Donahue，Trevor Darrell和JitendraMalik。丰富的特征层次结构，用于精确的对象检测和语义分割。CVPR，2014。[20] Junwei Han，Gong Cheng，Zhenpeng Li，and DingwenZhang.基于统一度量学习的共显性检测框架。TCSVT，2017年。[21] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于视觉识别的深度卷积网络中的空间金字塔池。2014年，在ECCV[22] Qibin Hou ， Ming-Ming Cheng ， Xiaowei Hu ， AliBorji，Zhuowen Tu，and Philip Torr.具有短连接的深度监督显著在CVPR，2017年。[23] 许光瑞，蔡中奇，林燕玉，钱小宁，庄永玉。基于无监督cnn的图形优化协同显著性检测。在ECCV，2018。[24] 黄芳，齐金庆，卢沪川，张立和，阮祥强.通过多实例学习的显著对象检测。TIP，2017年。老虎钳 基础和Tr端2011.在机器学习中，[25] 黄锐，魏峰，孙继洲。基于低秩多尺度融合的显著性与共显著性检测。在ICME中，[7] 曹晓春、陶志强、张宝、傅华珠、威锋基于秩约束的自适应加权共显著性检测。TIP，2014年。[8] Kai-Yueh Chang，Tyng-Luh Liu，and Shang-Hong Lai.从共显着性到共分割：一个有效的和完全不受监督的能量最小化模型。在CVPR中。[9] Ming-Ming Cheng ， Niloy J Mitra ， Xiaolei Huang ，Philip HS Torr，and Shi-Min Hu.基于全局对比度的显著区域检测。TPAMI，2015。[10] Runmin Cong ， Jianjun Lei ， Huazhu Fu ， Ming-MingCheng，Weisi Lin，and Qingming Huang.综合信息的视觉显著性检测综述。TCSVT，2018年。[11] 彼得·达布科夫斯基和亚林·加尔。黑盒分类器的实时图像显著性。在NIPS，2017年。[12] 戴季峰、何开明、孙建。用于联合对象和填充物分割的卷积CVPR，2015。[13] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。CVPR，2009。[14] 乔纳森·埃克斯特和迪米特里·P·伯特塞卡斯。关于极大单调算子的dou-Glaspher-Rachford分裂方法和邻近点算法。数学规划，1992.[15] 傅华珠，曹晓春，涂卓文。基于聚类的共显性检测。TIP，2013年。[16] 傅华珠，徐东，林瑞麟，刘江。互斥约束下基于对象的rgbd图像联合分割CVPR，2015。[17] Huazhu Fu，Dong Xu，Bao Zhang，and Stephen Lin. 基于对象的多前景视频联合分割。CVPR，2014。[18] Chenjie Ge，Keren Fu，Fanghui Liu，Li Bai，and JieYang.通过帧间和帧内显著性传播的共同显著性检测。SPIC，2016年。2015.[26] 杨青贾，埃文谢尔哈默，杰夫多纳休，谢尔盖卡拉耶夫，乔纳森龙，罗斯Girshick，塞尔吉奥瓜达拉马，和特雷弗达雷尔。Caffe：用于快速特征嵌入的卷积架构。InMM，2014.[27] Phil i ppK raühenbuühlandVladlenKoltun. 具有高斯边势的全连通crfs的有效推理InNIP-S，2011.[28] 李冠斌、余益州。基于多尺度深度特征的视觉显著性。CVPR，2015。[29] 李宏亮和颜王。图像对的共显著性模型。TIP，2011年。[30] Xiaohui Li，Huchuan Lu，Lihe Zhang，Xiang Ruan，and Ming-Hsuan Yang.通过密集和稀疏重建的显著性检测。CVPR，2013。[31] Yijun Li，Keren Fu，Zhi Liu，and Jie Yang.有效的显着性-模型引导的视觉共显着性检测。SPL，2015.[32] 刘念和韩俊伟。Dhsnet：用于显著对象检测的深度分层显著性网络。在CVPR，2016年。[33] 刘念，韩俊伟，张定文，文世峰，刘天明。使用卷积神经网络预测眼睛注视。CVPR，2015。[34] Tie Liu ， Zejian Yuan ， Jian Sun ， Jingdong Wang ，Nanning Zheng，Xiaoou Tang，and Heung-Yeung Shum.学习检测显著物体。TPAMI，2011年。[35] Zhi Liu ， Wenbin Zou ， Lina Li ， Liquan Shen ， andOlivier Le Meur.基于分层分割的共显著性检测。SPL，2014年。[36] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分割的全卷积网络。CVPR，2015。[37] Yan Luo，Ming Jiang，Yongkang Wong，and Qi Zhao.多摄像机显著性。TPAMI，2015。[38] Alex Papushoy和Adrian G Bors。基于显著性内容查询的图像检索DSP，2015年。43213107[39] Houwen Peng，Bing Li，Haibin Ling，Weiming Hu，Weihua Xiong，and Stephen J Maybank.基于结构矩阵分解的显著目标检测。TPAMI，2017。[40] Karen Simonyan和Andrew Zisserman用于大规模图像识别的非常深的卷积网络。ICLR，2015年。[41] Zhiyu Tan，Liang Wan，Wei Feng，and Chi-Man Pun.基于 超 像 素 相 似 度 传 播 的 图 像 共 显 著 性 检 测 载 于ICASSP，2013年。[42] Kevin Tang，Armand Joulin，Li-Jia Li，and Li Fei-Fei.真实世界图像中的共定位。CVPR，2014。[43] Lijun Wang ， Huchuan Lu ， Yifan Wang ， MengyangFeng，Dong Wang，Baocai Yin，and Xiang Ruan.学习使用图像级监督来检测显著对象。在CVPR，2017年。[44] 王紫雷、项刀、赛辉侯、凤舞。背景驱动的显著目标检测。TMM，2017年。[45] Lina Wei，Shanshan Zhao，Omar El Farouk Bourahla，Xi Li ，and Fei Wu. 分 组深 度共 显着 检测 。 IJCAI，2017。[46] John Winn，Antonio Criminisi，and Thomas Minka.学习通用视觉词典的物体分类。载于IC-CV，2005年。[47] 杨林军，耿波，杨才，阿兰·汉贾利奇，华先胜.使用可视化查询上下文的对象检索TM- M，2011年。[48] 姚希文，韩俊伟，张定文，聂飞平。重温共显性检测：提出了一种基于两阶段多视点谱旋转联合聚类的新方法。TIP，2017年。[49] Linwei Ye，Zhi Liu，Junhao Li，Wan-Lei Zhao，andLiquan Shen.通过共显对象发现和恢复的共显检测。SPL，2015.[50] Dingwen Zhang，Huazhu Fu，Junwei Han，Ali Borji，and Xuelong Li.共显著性检测算法综述：基础知识、应用和挑战。TIST，2018.[51] 张定文，韩俊伟，韩俊公，凌少。基于间隙内先验传递和深度间隙挖掘的共显著性检测。TNNLS，2016.[52] Dingwen Zhang，Junwei Han，Chao Li，and JingdongWang.通过深入和广泛地寻找共显著性检测。CVPR，2015。[53
我的内容管理
展开
