![](https://csdnimg.cn/release/download_crawler_static/18268704/bg1.jpg)
收稿日期:20180514;修回日期:20180704 基金项目:国家自然科学基金资助项目(61302127,61403278);中国博士后科学基金资
助项目(
2015M570228);天津市应用基础与前沿技术研究计划资助项目(15JCYBJC16600);天津市自然科学基金资助项目(16JCYBJC42300);天津
市高等学校创新团队培养计划资助项目(TD13-5032)
作者简介:崔子岩(1992),男,河北石家庄人,硕士研究生,主要研究方向为计算机视觉、眼动追踪;汪剑鸣(1974),男,教授,博士,主要研究
方向为计算机视觉及应用、智能信息处理技术及系统;金光浩(1979),男(通信作者),讲师,博士,主要研究方向为大数据分析、计算机视觉及应用
(
jinguanghao@tjpu.edu.cn).
基于时序性面部动作信息的驾驶员状态检测框架
崔子岩
a
,汪剑鸣
a,b
,金光浩
a
(天津工业大学 a.计算机科学与软件学院;b.电子与信息工程学院,天津 300380)
摘 要:通过网络摄像头获取驾驶员面部视频输入网络进行检测的方法主要通过分析驾驶员口型等面部表情
来判断是否疲劳驾驶,但说话等很多类似的状态也被误检为疲劳。针对以上问题提出了一种基于时序性面部动
作信息的检测框架,对驾驶员状态进行检测,从而提高检测准确率、降低误检率。该框架通过检测视频中的脸部
轮廓,提取脸部的多种特征,形成面部动作单元;通过训练对应的 LSTM网络,形成时序性的面部动作单元,根据
其相关性进行多种动作单元融合,检测最终驾驶员的状态。在公共 YawDD数据集上的检测结果表明,相比现有
方法,该检测方法的准确率提高到了 93.1%,同时大幅降低了疲劳状态的误检率。
关键词:异常驾驶;时序性信息;面部检测;长短期记忆网络
中图分类号:TP391.41 文献标志码:A 文章编号:10013695(2019)11063347605
doi:10.19734/j.issn.10013695.2018.05.0356
Driverstatedetectionframeworkbasedontemporalfacialactioninformation
CuiZiyan
a
,WangJianming
a,b
,JinGuanghao
a
(a.SchoolofComputerScience& Software, b.SchoolofElectronics& InformationEngineering, TianjinPolytechnicUniversity, Tianjin
300380,China)
Abstract:Itisaneffectivemeanstodetectabnormaldrivingsuchasfatiguebydetectingthedriver’sfacevideoinputnet
workthroughawebcam.Thepreviousmethodmainlyanalyzedthefacialexpressionssuchasthedriver
’smouthshapetoana
lyzewhetherornottoyawn,therebyjudgingwhetherornotfatiguedriving,butmanysimilarstatessuchasspeakingwerealso
mistakenlydetectedasfatigue.Aimingattheaboveproblems,thispaperproposedadetectionframeworkbasedonsequential
facialmotioninformationtodetectthedriver
’sstate,thusimprovingthedetectionaccuracyandreducingthefalsedetection
rate.Theframeworkextractedvariousfeaturesofthefacetoformafacialactionunitbydetectingthecontourofthefaceinthe
video.ItformedasequentialfacialactionbytrainingthecorrespondingLSTMnetwork.Theunitperformedapluralityofaction
unitfusionsaccordingtoitscorrelationtodetectthestateofthefinaldriver.ThetestresultsonthepublicYawDDdatasetshow
thattheaccuracyrateoftheproposedftameworkisincreasedto93.1% comparedwiththeexistingmethod,andthefalsedetec
tionrateofthefatiguestateisgreatlyreduced.
Keywords:abnormaldriving;temporalinformation;facialactiondetection;LSTM network
0 引言
除自然灾害外,交通事故是造成死亡人数最多的灾害之
一,同时也会造成重大的财产损失
[1]
。据查证,造成交通事故
的原因主要有驾驶员状态、车辆状况、天气情况和道路状况,其
中有
95%的事故原因是由驾驶员状态造成的。因此对驾驶员
的驾驶状态进行判断和评估是十分重要的。
一般来说,检测驾驶状态异常的技术可以分为两类
[2]
,即
道路或车辆相关因素
[3]
的环境和驾驶员的行为。本文的研究
重点是对驾驶员的状态进行检测,从而判断驾驶员状态是否异
常。驾驶员状态异常主要有疲劳驾驶、酒后驾车、愤怒驾驶和
分心驾驶等
[4]
。现有许多基于视觉分析的驾驶员疲劳检测系
统,将摄像机安装在仪表板上,并将摄像机直接对准驾驶员的
脸部,主要捕捉面部和眼睛特征,进而对驾驶员的状态进行判
别。通过监视设备来获取驾驶视频,并通过计算机视觉的方
法
[5]
来区分驾驶状态,是一种投入成本少、快捷的方法。在文
献[6]中提出了一种基于眼睛状态及头部姿势的监测驾驶过
程中驾驶员状态的方法,其结果表明,可以通过结合眼睛和头
部信息来实现更为有效的驾驶员状态检测。
McCall等人
[7]
使
用司机行为推理(DII)的方法来代替轨迹预测(TF)方法,DII
方法推断驾驶员是否故意变换车道,并且预测车辆会不会通过
车道边界,而不管驾驶员的状态如何。
这些工作虽然在很多方面实现了更为有效的驾驶员状态
检测,但基于视频的疲劳检测仍然充满挑战,主要由于照明条
件变化、头部姿态变化和时间依赖性等原因引起。特别是头部
姿势大的变化幅度,会导致视频中面部形状的严重变形,这使
得常规方法难以提取有效的数据。基于对齐脸部点
[8]
的方法
是表示疲劳特征更好的方式,然而,忽略视频中的时间关系,意
味着它不能有效区分正常的眨眼和因疲劳引起的眨眼。文献
[
9]通过收集时间信息来区分具有时间上的长期依赖性的状
态,如打呵欠和说话。由于人类行为及脸部表情的复杂性,本
文提出了一个基于时序性信息的多特征融合的面部动作识别
框架,对驾驶员的驾驶状态进行一个综合性判别。首先基于驾
驶员的面部视觉信息对驾驶员面部状态采用面部动作编码系
第 36卷第 11期
2019年 11月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol36No11
Nov.2019