收稿日期:20170419;修回日期:20170626 基金项目:广西科技计划重点资助项目(桂科攻 15980107);桂林电子科技大学研究生
教育创新计划资助项目(2016YJCX68,2017YJCX53);广西研究生教育创新计划资助项目(YCSW2017140)
作者简介:温佩芝(1963),女,广西桂林人,教授,博士,主要研究方向为图像视频处理、计算机图形学、三维重建、目标检测识别(wpzsia@163.
com);苗渊渊(1992),女,硕士,主要研究方向为图形图像处理、深度学习;周迎(1991),女,硕士,主要研究方向为数字图像、图形处理;冯丽园
(1993),女,硕士,主要研究方向为图像处理、模式识别.
基于卷积神经网络改进的图像自动分割方法
温佩芝
a
,苗渊渊
a
,周 迎
a
,冯丽园
b
(桂林电子科技大学 a.计算机与信息安全学院;b.电子工程与自动化学院,广西 桂林 541004)
摘 要:针对图像序列三维重建中多视角目标分割需要人工参与、任务繁重的问题,提出一种基于卷积神经网
络改进的图像自动分割方法。首先将序列图像去噪处理、归一化并进行语义标注后制作数据集;然后对改进的
融合多尺度特征和残差连接的卷积神经网络进行训练,得到优化后的卷积神经网络分割模型;最后将预分割图
像加载到优化的分割模型中得到归一化的掩码图,再利用三次样条插值法将其恢复分辨率后与原图作自定义的
掩码操作得到高清分割结果。以主流分割软件 Photoshop分割结果为参考标准进行对比,实验结果证明,该方法
的准确率与参考标准接近,而且可实现批量自动分割,能较好地解决三维重建中目标分割任务繁重的问题。
关键词:图像分割;卷积神经网络;多尺度特征融合;残差连接;三维重建
中图分类号:TP391.41 文献标志码:A 文章编号:10013695(2018)09284805
doi:10.3969/j.issn.10013695.2018.09.068
Improvedimageautomaticsegmentationmethodbasedonconvolutionneuralnetwork
WenPeizhi
a
,MiaoYuanyuan
a
,ZhouYing
a
,FengLiyuan
b
(a.SchoolofComputerScience&InformationSecurity,b.SchoolofElectronicEngineering&Automation,GuilinUniversityofElectronicsTech
nology
,GuilinGuangxi541004,China)
Abstract:Aimingtosolvetheheavyproblemofmultiangletargetsegmentationin3Dreconstructionofimagesequence,this
paperproposedanautomaticimagesegmentationmethodbasedonconvolutionneuralnetwork.Firstly
,itdenoisedandnormali
zedandsemanticallyannotatedthesequenceimageinordertoproducethedataset.Then,ittrainedtheconvolutionneural
networks,whichwereimprovedwithfusionmultiscalefeatureandresidualconnection,andobtainedtheoptimizedconvolution
neuralnetworksegmentationmodel.Finally
,itloadedthepresegmentationimageintotheoptimizedmodeltogetthenormali
zedmaskpattern
,usedthecubicsplineinterpolationmethodstorestoretheresolutionandresultoftheHDsegmentationwith
theoriginalmask.Inthispaper,theresultofthemainsegmentationsoftwarePhotoshopsegmentationarethereferencestandard.
Theexperimentalresultsshowthattheaccuracyofthemethodisclosetothereferencestandard
,andthebatchsegmentation
canberealizedautomatically,whichcansolvetheheavyproblemofthetargetsegmentationtaskin3Dreconstruction.
Keywords:imagesegmentation;convolutionalneuralnetworks;multiscalefeaturefusion;residualconnection;3Drecon
struction
,
引言
在基于图像序列的三维重建中,目标分割的准确性和速度
对重建的质量和效率起到决定性的作用
[1]
。图像分割广泛应
用于军事、遥感、气象、医学等多个领域,是图像处理中的主要
难点。国内外专家针对具体应用提出了很多方法,归纳为四
类
[2]
,即阈值分割、边缘检测分割、区域提取分割和结合特定
理论的分割。目前基于图像序列的目标分割采用
Photoshop软
件,人工参与的过程降低了三维重建的效率,至今仍没有适用
的自动分割方法。近年来,深度学习在计算机视觉领域的应用
技术日益 成熟,卷积 神经 网络 (convolutionalneuralnetworks,
CNN)作为深度学习网络的一种,在图像识别、检索、分类、语义
分割等方面已得到广泛应用
[3~5]
,采用语义标注对图像分割的
不同区域加以分区,称为图像语义分割。目前,图像语义分割
的神经网络结构包括全卷积神经网络(fullyconvolutionalnet
works
,FCN)
[6]
、条件随机场(conditionrandomfield,CRF)、膨胀
卷积(
dilatedconvolution)
[7]
三个要素。其中 FCN跳跃式架构
综合利用多层信息,但其感受野固定,导致目标检测不具全面
性,池化层的存在导致信息损失,无法通过简单的上采样层得
到弥补;文献[
7]采用膨胀卷积来解决去掉池化层后感受野变
小的问题,虽然提高了语义类别的识别度,但往往会将较大物
体分解成多个不同的类别;文献[
8]对中间层的输出结果循序
渐进地进行反卷积插值恢复到输入图像的大小,但分割的边缘
粗糙且目标内部产生大面积缺失;文献[9]将 CRF作为单独的
后期处理阶段对
FCN分割结果增强边缘约束,进行精细化分
割,但 CNN的参数学习不能得到 CRF的反馈信息,对神经网
络的学习没有贡献;文献[10]把 CRF的推理迭代过程作为神
经网络中的一层,嵌入 CNN模型中,解决了 CRF作为单独的
后处理操作对神经网络的学习没有贡献的问题,但对于细节丰
富的目标,分割边缘不具有连续性和光滑性。
针对上述问题,本文提出一种基于卷积神经网络改进的图
像序列目标自动分割方法,首先通过采用高斯滤波对原始图像
的
HSV色彩模式中代表亮度的 V通道进行去噪处理,转换成
RGB色彩模式后对每幅图像提取感兴趣区域并进行归一化、
语义标注和数据扩增,由此构造出包含归一化后的图像及其标
签图的一个完整网络训练数据集;然后采用该数据集对融合多
尺度特征和整合残差连接改进的卷积神经网络进行充分训练,
得到优化后的卷积神经网络分割模型;最后将预分割图像归一
第 35卷第 9期
2018年 9月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol.35No.9
Sep.2018