![](https://csdnimg.cn/release/download_crawler_static/18268367/bg1.jpg)
收稿日期:20180621;修回日期:20180823 基金项目:四川省教育厅重点科研资助项目(17ZA0064)
作者简介:何冰倩(1994),女,四川阆中人,硕士,主要研究方向为图形图像处理(dandelionqian@foxmail.com);魏维(1976),男,教授,博士,
主要研究方向为图形图像处理;张斌(1992),男,硕士,主要研究方向为图形图像处理;高联欣(1994),男,硕士研究生,主要研究方向为图形图像
处理;宋岩贝(1994-),男,硕士研究生,主要研究方向为图形图像处理.
基于改进的深度神经网络的人体动作识别模型
何冰倩
a
,魏 维
b
,张 斌
a
,高联欣
a
,宋岩贝
a
(成都信息工程大学 a.计算机学院;b.软件工程学院,成都 610225)
摘 要:针对现有人体动作识别方法需输入固定长度的视频段、未充分利用时空信息等问题,提出一种基于时
空金字塔和注意力机制相结合的深度神经网络模型,将包含时空金字塔的 3DCNN和添加时空注意力机制的
LSTM模型相结合,实现了对视频段的多尺度处理和对动作的复杂时空信息的充分利用。以 RGB图像和光流场
作为空域和时域的输入,以融合金字塔池化层的运动和外观特征后的融合特征作为融合域的输入,最后采用决
策融合策略获得最终动作识别结果。在
UCF101和 HMDB51数据集上进行实验,分别取得了 94.2%和 70.5%的
识别准确率。实验结果表明,改进的网络模型在基于视频的人体动作识别任务上获得了较高的识别准确率。
关键词:动作识别;深度学习;时空金字塔;注意力机制;卷积神经网络
中图分类号:TP391.41 文献标志码:A 文章编号:10013695(2019)10050310705
doi:10.19734/j.issn.10013695.2018.06.0361
Improveddeepconvolutionalneuralnetworkforhumanactionrecognition
HeBingqian
a
,WeiWei
b
,ZhangBin
a
,GaoLianxin
a
,SongYanbei
a
(a.SchoolofComputerScience,b.SchoolofSoftwareEngineering,ChengduUniversityofInformationTechnology,Chengdu610225,China)
Abstract:Aimingattheproblemthattheexistinghumanmotionrecognitionmethodneededtoinputafixedlengthvideoseg
mentandunderutilizedthespatiotemporalinformation,thispaperproposedadeepneuralnetworkmodelbasedonthecombi
nationofspacetimepyramidandattentionmechanism.Thisimprovedarchitecturecombined3DCNNincludingspatiotemporal
pyramidswithLSTM modelwithspatiotemporalattentionmechanism
,andrealizedmultiscaleprocessingofvideosegments
andfullutilizationofcomplexspatiotemporalinformationofactions.Forthearchitecture,theinputsofspatialandtemporal
domainwereRGBimageandtheopticalflow
,theinputofthefusiondomainwasthefusionfeatureofthemotionandappear
ancefeaturesofthepyramidpoolinglayer.Finally,itusedthedecisionfusionstrategytoobtainthefinalmotionrecognition
result.ExperimentswereperformedontheUCF101andHMDB51datasets,itachieved94.2% and70.5% recognitionaccu
racy
,respectively.Theexperimentalresultsshowthattheimprovednetworkmodelachieveshighrecognitionaccuracyinvideo
basedhumanmotionrecognitiontasks.
Keywords:actionrecognition;deeplearning;spatiotemporalpyramid;attentionmodule;convolutionalneuralnetwork
0 引言
人体行为识别在机器人交互、虚拟现实、家庭和公共安全
等领域的广泛应用,使其正逐渐成为计算机视觉最活跃的研究
领域之一。目前的识别算法和模型可以大概分为两类,一类是
基于传统手选特征的识别算法
[1~5]
,一类是基于深度学习的识
别算法和模型
[6~13]
。其中,基于深度学习的方法在各类具有
挑战性的视频数据集上展现出了优于传统方法的较大优势。
尽管如此,如何准确地区分不同类别的行为动作仍然存在巨大
的挑战性。比如光照或遮挡等视频环境因素、动作类别的类间
和类内差异、视频数据集较少,这些问题都对鲁棒特征提取和
动作分类构成了巨大挑战。为了突破卷积神经网络只应用于
二维图像这一局限并且能够有效地将视频分析中的运动信息
结合起来,文献[14]提出在 CNN卷积层中执行三维卷积,从而
捕获空间和时间维度的区分性特征,但是该模型仍然不能充分
利用视频的时空特征。文献[
6]为了更好地利用视频数据中
的时间信息,提出了结合空间域和时间域的双流卷积网络
(twostreamconvolutionalnetworks),两个卷积网络分别以视频
数据的 RGB图像和视频帧的光流作为输入,然后提取动作表
示的视频帧时间和空间特征,最后通过融合分类识别。该模型
在一定程度上利用了视频序列的时空特征,但是由于只关注了
当前步骤的卷积映射,可能不足以捕获不同类别动作的复杂时
空线索
[13]
。目前基于 CNN的识别模型都仅仅是捕获了短时
间规模的时空特征,无法表示长时间的变化。经过文献[9,10,
15,16]的实验证明,循环神经网络(recurrentneuralnetworks,
RNN)能在一定程度上解决这个问题,尤其是对视频序列能够有
效建模的长时短期记忆模型(
longshorttermmemory,LSTM)
[17]
。
但是在这些模型中,LSTM的输入是直接从 CNN的全连接层中
提取的高级特征,而这些特征缺乏时空特征细节。
针对上述问题,本文在时空双流卷积网络识别模型的基础
上,提出了一种结合时空金字塔和注意力机制的深度神经网络
模型(
deepneuralnetworkcombiningspatialtemporalpyramidand
attentionmechanism,STPPandattentionmechanismnetwork)。首
先将视频序列的 RGB图像和视频帧的光流分别通过 3D卷积
神经网络获取时空卷积特征映射,然后利用时空金字塔池化
(spatialtemporalpyramidpooling,STPP)来聚合局部时空信息
形成固定长度的特征向量,再通过时空特征融合策略在 STPP
层对时空特征进行有效融合,最后将时空 3D双流网络提取到
的时空特征和融合后的特征分别输入到具有时空注意力机制
的 LSTM模型和普通 LSTM模型中进行建模,对模型分类结果
第 36卷第 10期
2019年 10月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol.36No.10
Oct.2019