![](https://csdnimg.cn/release/download_crawler_static/18268995/bg1.jpg)
收稿日期:20180319;修回日期:20180505 基金项目:国家自然科学基金资助项目(61671213);广州市人体数据科学重点实验室基
金资助项目(201605030011)
作者简介:宁培阳(1992),男,广西南宁人,硕士,主要研究方向为视频理解(540439329@qq.com);史景伦(1977),男,教授,博士,主要研究
方向为异构传感器与多数据融合、深度学习相关智能算法、智能控制;张荣锋(1980),男,讲师,博士,主要研究方向为机器学习与视频处理;邱威
(1994),男,硕士,主要研究方向为机器学习与推荐系统.
基于深度双向模型和特征融合的视频转文字研究
宁培阳,史景伦,张荣锋,邱 威
(华南理工大学 电子与信息学院,广州 510640)
摘 要:自动生成视频的自然语言描述是一个非常具有挑战性的研究热点。基于深度 BLSTM模型和 CNN特
征的方法,能够学习到视频序列的全局时空关联信息。针对视频转文字时面临的准确率低以及计算复杂度高的
问题,提出了深度 BMGU模型,从而在保持深度 BLSTM模型结构优势的同时提高计算效率;还将原始视频帧的
CNN特征与经过 Haar特征预处理后的视频的 CNN特征进行后期融合,从而增加了训练特征的多样性,进而提
升了视频转自然语言的实验效果。在 MVAD和 MPIIMD数据集中,相对原 S2VT模型,所提方法分别将 METEOR
分数从 6.7和 7.1提高到 8.0和 8.3。结果表明所提方法有效地改善了原 S2VT模型的准确率和语言描述效果。
关键词:视频转文字;深度双向模型;哈尔特征;特征融合;卷积神经网络
中图分类号:TP391 文献标志码:A 文章编号:10013695(2020)01068031704
doi
:10.19734/j.issn.10013695.2018.03.0488
Researchonvideodescriptionbasedondeepbidirectionalmodelandfeaturefusion
NingPeiyang,ShiJinglun,ZhangRongfeng,QiuWei
(SchoolofElectronic&InformationEngineering,SouthChinaUniversityofTechnology,Guangzhou510640,China)
Abstract:Automaticallygeneratinganaturallanguagedescriptionofavideoisachallengingworkforcomputervision.The
methodbasedondeepbidirectionallongshorttermmemory(DBLSTM)andCNNfeature,hastheabilitytolearnglobalspatio
temporalcorrelationinformationofvideos.Focusingonthelowaccuracyandhighcomputationalcomplexityofvideototext
,this
paperproposedanewmethod,whichbasedonthedeepbidirectionalminimalgatedunit(BMGU)inordertoimprovethecom
putationalefficiencywhilemaintainingtheadvantagesinstructureofthedeepBLSTMmodel.Inthesametime,bymergingthe
CNNfeatureoftheoriginalframesandtheCNNfeatureoftheframeswithHaarfeatureincreasedthediversityoftrainingfea
turesandimprovedtheeffectofthevideototext.ByusingthedatasetsofMVADandMPIIMD,comparingtotheoriginal
S2VTmodel,theproposedmethodincreasedthescoresfrom6.7to8.0andfrom7.1to8.3inMETEOR.Theresultsshowthat
theproposedmethodcaneffectivelyimprovetheaccuracyandthedescriptionofthevideosoftheoriginalS2VTmodel.
Keywords:videototext;deepbidirectionalmodel;Haarfeature;featurefusion;convolutionalneuralnetworks
0 引言
视频转自然语言(videocaptioning,又称自动生成视频的自
然语言描述),其主要任务是对视频进行理解和分析,并进一
步获取有用的语义信息,然后将这些视频帧中的语义信息与应
用的语义环境进行关联,从而将视频帧序列转换为自然语言描
述
[1]
。视频转自然语言可用于智能安防、人机交互、视频检索
等诸多领域,具有较高的应用价值和现实意义。
随着深度 学 习在计 算 机 视 觉 诸 多 领 域 的 逐 步 延 伸,以
S2VT
[2]
(sequencetosequencevideototext)为代表的视频转文
字方法在性能上显著地超越了以往的非深度学习方法,但也有
若干方面需要改进。例如,为了获取视频帧中所包含的语义信
息,一般先使用 CNN模型来提取视频帧的卷积特征
[3]
,卷积特
征中包含视频帧的空间信息。然而,视频描述数据集中的视频
帧常常存在背景繁杂(存在多种对象)的情况,某些 CNN模型
提取这类视频帧的特征时性能会降低,导致视频转文字方法不
能输出较为准确的自然语言描述。另外,LSTM是 S2VT方法
的核心模型,它通过将 RNN(recurrentneuralnetworks)无门的
结构改进为具有三个门结构和两个隐藏状态的结构,较好地克
服了梯度弥散或梯度爆炸的问题,从而具有较电子的对长序列
信息进行学习和建模的能力
[4,5]
。然而 LSTM增加了大量的参
数,降低了方法的计算效率,不利于将其应用于实时性要求高、
计算条件严苛的场合。并且,近年来 Chung等人
[6]
通过实验
发现,门结构的数量越多并不意味着最终的实验效果会更好,
甚至一些较为简单的 RNN模型在降低了计算复杂度的同时,
还能够收到比 LSTM更好的效果。
针对 S2VT方法中存在的描述准确率低、计算复杂等问
题,本文提出了基于深度双向循环神经网络
[7]
和哈尔特征
[8]
(Haarfeature)的视频转文字方法,具体如下:首先,针对 S2VT
模型(其编码层基于单向 LSTM)不能充分学习视频序列中前
后帧时序信息的问题,提出基于深度双向 LSTM的视频转文字
方法以学习到全局的时间关联信息;其次,针对视频帧具有背
景繁杂的特点,而影响对主体对象特征提取的问题,提出基于
Haar特征预处理的视频帧增强方法,即在使用 VGG等卷积神
经网络提取视频帧的隐式特征前,通过提取 Haar特征对视频
帧进行预处理,以达到抑制繁杂背景信息和强化主体对象信息
的目的;再次,针对深度 BLSTM计算复杂度高的问题,提出基
于深度 BMGU的视频转文字方法。实验表明,这种基于简化
模型的方法,不仅能够有效地提高计算效率,而且自然语言描
述的效果也与深度
BLSTM模型相当。
第 37卷第 1期
2020年 1月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol37No1
Jan.2020