收稿日期:20180614;修回日期:20180806
作者简介:谭台哲(1970),男,山东莱阳人,副教授,博士,主要研究方向为机器学习与大数据处理、图像处理与计算机视觉;轩康西(1993),男
(通信作者),硕士,主要研究方向为深度学习、图像处理(1056808552@qq.com);曾群生(1993),男,硕士,主要研究方向为深度学习、图像处理.
基于图像级标签及超像素块的弱监督显著性检测
谭台哲
1,2
,轩康西
1
,曾群生
1
(1.广东工业大学 计算机学院,广州 510006;2.河源广工大协同创新研究院,广东 河源 517000)
摘 要:针对获得训练数据集代价高昂问题,提出了一种用于图像显著性检测的弱监督新方法,在训练网络模
型时仅使用图像级标签。方法分为两个阶段,在第一阶段,根据图像级标签训练分类模型,获得前景推断图;在
第二阶段,对原图像进行超像素块处理,并与阶段一得到的前景推断图进行融合,从而细化显著对象边界。算法
使用了现有的大型训练集和图像级标签,未使用像素级标签,从而减少了注释的工作量。在四个公共基准数据
集上的实验结果表明,性能明显优于无监督的模型,与全监督模型相比也具有一定的优越性。
关键词:深度学习;弱监督;显著性检测;超像素
中图分类号:TP39141 文献标志码:A 文章编号:10013695(2020)02063060105
doi:10.19734/j.issn.10013695.2018.06.0576
Supervisedsignificantdetectionbasedonimagelevellabelsandsuperpixelblocks
TanTaizhe
1,2
,XuanKangxi
1
,ZengQunsheng
1
(1.CollegeofComputer,GuangdongUniversityofTechnology,Guangzhou510006,China;2.HeyuanGuanggongCollaborativeInnovationRe
searchInstitute
,HeyuanGuangdong517000,China)
Abstract:Aimingatthehighcostofobtainingthetrainingdataset,thispaperproposedanewweaksupervisionmethodfor
imagesaliencydetection.Itonlyusedthepicturelevellabelwhentrainingthenetworkmodel.Itdividedthemethodintotwo
stages.Inthefirststage
,ittrainedtheclassificationmodelaccordingtothepicturelevellabeltoobtaintheforegroundinfer
encegraph.Inthesecondstage,itprocessedtheoriginalimagebysuperpixelblockandmergedwiththeforegroundinference
graphobtainedinphaseone,thusrefinedsignificantobjectboundaries.Thealgorithmusedexistinglargetrainingsetsandim
ageleveltags
,eliminatedtheuseofpixelleveltags,whichreducedtheamountofannotationwork.Theexperimentalresults
onthefourcommonbenchmarkdatasetsshowthattheperformanceissignificantlybetterthantheunsupervisedmodel,andit
hascertainadvantagescomparedwiththefullsupervisedmodel.
Keywords:deeplearning;weaksupervision;significancedetection;superpixel
0 引言
图像效果是神经科学和心理学中一个重要的基础研究问
题,是用于研究人类视觉系统从复杂场景中选择感兴趣区域的
机制。人类有能力准确快速地发现感兴趣的对象(或区域),
这就是所谓的焦点或显著的情景。在突出刺激的驱动下,注意
力被认为是部分自由的、自下而上的、无记忆的。注意力也可
以由相对缓慢的、自上而下的记忆依赖机制来指导。比如,当
人们看人脸时,所熟悉的面孔可能会先一步引起注意。可靠的
视觉显著性估计使得即使在没有先验知识的情况下也可以对
图像进行适当的处理。因此,视觉显著性是许多计算机视觉任
务的重要步骤。
近几年,在计算机视觉领域取得重大进展的卷积神经网络
(
CNN)引起了人们的广泛关注,兴起了使用精确的像素级注
释样本进行图像显著性检测的浪潮
[1~3]
。与无监督方法
[4,5]
相比,基于全监督机制学习的 DNN更能有效地捕获语义上突
出的前景区域,在复杂场景下产生准确的结果。但是,鉴于
DNN的数据饥饿性质,其卓越的性能也严重依赖于大量数据
集与像素级注解进行训练。然而,注释工作非常繁琐,精确注
释的训练集仍然稀少且昂贵。
为了减轻大规模像素级注释的需要,本文研究了图像级标
签的弱监督方法来训练显著性检测器。图像级标签表示图像
中存在的对象类别,并且比像素方面的注释更容易收集。同
时,图像级标签提供了很可能是显著前景的图像中主要对象的
类别信息。此外,最近的工作
[6,7]
已经提出,只有图像级别标
签训练的 DNN提供了对象位置信息。因此,这种仅利用图像
级标签训练 DNN来 检 测突 出 物 体 的 弱 监 督 方 法 是 行 之 有
效的。
尽管使用 DNN得到图像可视化后能明显地提取出前景目
标,但是在边缘处仍然是模糊的,这是因为边界周围的像素集
中在相似的感受野,所以需要对显著图作边界细化处理。所
以,本文的实验分为使用图像级标签的预训练和结合超像素块
的边界细化两个阶段。
在第一阶段,鉴于池化层会损失大量的细节信息,利用图
像级标签预训练了一个全卷积网络(
FCN),通过改变卷积核在
图像的滑动步长来代替池化层,从而获得多尺度的显著特征;
第二阶段,受文献[8]的启发,提出了一种卷积特征—超像素
边界联合细化的全新方法。首先整合第一阶段得到的特征图
到其特征边界(FB),然后对原图进行超像素处理获得超像素
边界(SPB)。根据 SPD调整 FB,从而达到细化边界的目的。
本文为弱监督显著性检测提供了一种新的方向,只使用现
有的大量图像级标签,从而极大减少了注释的工作量;其次,提
出了一种新颖的细化边界方法,更好地利用了原图的细节信
息,从而弥补了卷积神经网络边界模糊的不足,进一步提高了
第 37卷第 2期
2020年 2月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol.37No.2
Feb.2020