![](https://csdnimg.cn/release/download_crawler_static/18271206/bg1.jpg)
收稿日期:20190704;修回日期:20190815 基金项目:国家自然科学青年基金资助项目(61301245,61201414)
作者简介:冯兴杰(1969),男,河北邢台人,教授,硕导,主要研究方向为数据库及数据仓库、智能信息处理理论与技术;孙少杰(1996),男(通
信作者),山西大同人,硕士研究生,主要研究方向为计算机视觉、图像分割(sunshaojiessj@163.com).
一种融合多级特征信息的图像语义分割方法
冯兴杰
a,b
,孙少杰
a
(中国民航大学 a.计算机科学与技术学院;b.信息网络中心,天津 300300)
摘 要:卷积神经网络因为其强大的学习能力,已经在语义分割任务中取得了显著的效果,但是如何有效地利
用网络在浅层次的视觉特征和深层次的语义特征一直是研究的热点,以此为出发点,提出了一种融合多级特征
信息的图像语义分割方法。通过空洞卷积提取各层级的特征,并不断迭代深层特征来丰富低级视觉信息,最后
与高级语义特征合并融合,得到精细的语义分割结果。实验在 PASCALVOC2012数据集上与主流的五种方法
进行了比较,在 GTX1080Ti的环境下该方法与其中性能第二的模型 mIoU(meanintersectionoverunion)值相比提
高了 2.1%,与其中性能第一的模型 mIoU值仅相差 0.4%,表明该方法能有效利用多层级的特征信息,实现了图
像语义分割的目的。
关键词:图像语义分割;卷积神经网络;空洞卷积;空间金字塔池化;多尺度特征
中图分类号:TP391.41 文献标志码:A 文章编号:10013695(2020)11064351204
doi:10.19734/j.issn.10013695.2019.07.0249
Semanticsegmentationmethodintegratingmultilevelfeatures
FengXingjie
a,b
,SunShaojie
a
(a.SchoolofComputerScience&Technology,b.InformationNetworkCenter,CivilAviationUniversityofChina,Tianjin300300,China)
Abstract:Convolutionalneuralnetworkhasachievedremarkableresultsinsemanticsegmentationtasks,becauseofitspower
fullearningability.However
,howtoeffectivelyusethelowlevelvisualfeaturesandhighlevelsemanticfeaturesofthenetwork
hasbeenaresearchhotspot.Therefore,thispaperproposedasemanticsegmentationmethodthatintegratedmultilevelfeature
information.Thismethodextractedthefeaturesofeachlevelthroughatrousconvolution,iteratedthedeepfeaturestoenrichthe
lowlevelvisualinformation,andfinallymergedwiththehighlevelsemanticfeaturestoobtainthefinesemanticsegmentation
results.OnthePASCALVOC2012dataset,thismethodwascomparedwiththefivemainmethods.IntheGTX1080Tienviron
ment,thevalueofmIoU(meanbandingoverunion)increasedby2.1% comparedwiththemodelwhoseperformancewasthe
second
,andwasonly0.4% lowerthanthatofthemodelwhoseperformancewasthefirst.Theresultindicatesthattheproposed
methodcaneffectivelymakeuseofmultilevelfeatureinformation,andtherealizethepurposeofimagesemanticsegmentation.
Keywords:semanticsegmentation;convolutionalneuralnetwork;atrousconvolution;spatialpyramidpooling;multiscale
features
0 引言
图像语义分割(sematicsegmentation)的目的是对输入图像
中的每个像素点进行分类标注,从而将图像划分成若干个带有
不同语义信息的区域
[1]
。近年来,由于卷积神经网络在语义分
割任务中的出色表现,使得分割质量较传统方法有了明显提高。
因此,当前的研究重心放在了卷积神经网络结构的设计上。
在卷积神经网络不同层次的特征图中,包含的特征信息各
有特点。存在于网络浅层的特征图包含有更多的细节信息,这
有助于为高分辨率预测生成清晰、详细的边界;而在网络深层
的特征图具有更多抽象的语义信息,这有助于图像区域的分类
识别。此外,随着网络结构的深入,特征图的分辨率也会由于多
阶段的池化操作而逐渐减小,这也会使同一目标在不同层次的
特征图中具有不同的尺度,即多尺度的特征信息,而这些多尺度
的特征信息对分割结果有着重要作用。因此,如何搭建更好的
网络结构,有效利用多尺度的特征信息已然成为当前语义分割
领域的主要问题之一。目前,国内外的研究人员为提高语义分
割的质量已经设计了许多有效的网络结构,这些基于卷积神经
网络的模型结构,可以宏观地看做由前后两段组成,前段通过基
础的卷积网络生成包含位置和类别信息的抽象特征,后段通过
利用这些特征生成预测的分割图。具体可以分为以下三类:
a)以全卷积网络(fullyconvolutionalnetwork,FCN)
[2]
为代
表的模型。这类模型为编码器—解码器结构,因为在前段的卷
积网络中有多个下采样操作,所以经过前段网络得到的特征图
虽然具有需要的高级语义特征,但是特征图的分辨率却减小了,
为了得到与原始图像大小一致的预测图,在后段的网络中会有
多次的上采样操作,同时在上采样的过程中,通过连接浅层的特
征图来融合更多的细节信息达到完善分割效果的目的。然而,
这类方法在前段网络中多阶段的下采样操作已经使较多的细节
信息丢失,即使在后段的上采样过程中有结合浅层的特征信息,
同时也引入了浅层的冗余特征,限制了最后的分割效果。
b)以 DeepLabv2
[3]
为代表的模型。这类模型通过减少前
段基础网络中的池化操作,使得特征图的分辨率没有过多地减
小,同时也保留了会因特征图减小而一并损失的细节信息。此
外,在后段网络中只将前段网络最后一层的特征图作为输入,
经过多路径的特征提取得到多张特征图,每张特征图都代表一
种尺度的特征,最后将这些多尺度的特征图融合在一起预测分
割结果。比如 DeepLabv3
[4]
就是通过不同扩张率的空洞卷积得
到不同感受野的特征图,最后通过空间金字塔池化的方式将这
些特征图融合。同样类型的还有 DenseASPP
[5]
等。与下面第三
第 37卷第 11期
2020年 11月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol37No11
Nov.2020