没有合适的资源?快使用搜索试试~ 我知道了~
基于YOLO的非头盔摩托车实时车牌检测
⃝可在www.sciencedirect.com在线获取ScienceDirectICTExpress 7(2021)104www.elsevier.com/locate/icte基于YOLO的非头盔摩托车实时车牌检测Yonten Jamtshoa,Panomkhawn Riyamkolb,Rattapoom WaranusastbaGyalpozhing信息技术学院,不丹GyalpozhingbNaresuan University,Phitsanulok 65000,泰国接收日期:2019年11月29日;接收日期:2020年6月3日;接受日期:2020年7月31日2020年8月22日在线提供摘要如今,为确保摩托车驾驶员的安全,非头盔摩托车驾驶员的车牌(LP)检测已成为强制性的。提出了一种基于实时目标检测器YOLO(You Only Look Once)的非头盔摩托车驾驶员LP实时检测方法。在该方法中,部署了单个卷积神经网络来从视频流中自动检测未戴头盔的摩托车手的LP。为了消除头盔摩托车手离开视频帧时产生的假阳性,LP总检出率为98.52%。c2021韩国通信和信息科学研究所(KICS)。出版社:Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。关键词:YOLO;头盔检测; LP检测;质心跟踪1. 介绍如今,两轮车是最受欢迎的交通工具,因为所有级别的人都能负担得起。当摩托车驾驶员的数量增加时,由于鲁莽驾驶而导致的摩托车事故也越来越多[1]。 摩托车手不戴头盔的粗心是一个主要因素,它通常有助于骑自行车为了解决这个问题,大多数国家都有法律规定两轮车骑手必须使用头盔。在一些国家,政府已经安装了专门的传感器来检查头盔的存在,但是为每辆自行车购买传感器在经济上是不可靠的[2]。没有 在适当的制度下,交通警察人员被部署来检查摩托车驾驶员是否戴头盔。非头盔摩托车LP的自动检测将有助于减轻交通警察的负担,并且需要较少的人力资源。因此,不戴头盔的摩托车手数量将减少。本研究的主要目的是开发一个实时应用程序检测LP的非头盔摩托车手使用单一∗ 通讯作者。电子邮件地址:yontenjamtsho. rub.edu.bt(Y。Jamtsho),panomkhawnr@nu.ac.th(P. Riyamkol),rattapoomw@nu.ac.th(R. Waranusast)。同行评审由韩国通信和信息科学研究所(KICS)负责https://doi.org/10.1016/j.icte.2020.07.008卷积神经网络一个参考线的质心跟踪方法也提出了消除头盔骑自行车的人离开视频帧时产生的误报的数量。论文的其余部分组织如下:相关的工作在第2节中进行了探讨,然后在第3节中进行了方法学研究。第4节讨论了实验结果和第5节的结论。2. 相关工作2.1. 车牌检测近年来,许多研究人员解决了车辆LP检测的问题。车牌检测是车牌自动识别的关键步骤之一,车牌的准确检测直接影响到车牌分割和识别的准确性。LP检测中使用的区别特征之一是其具有已知纵横比的几何形状。在[3]和[4]中,应用垂直Sobel算子检测垂直边缘,然后使用宽高比进行平板验证。基于边界的方法对不需要的边缘更敏感[5]。一些LP有不同的颜色来区分车辆的所有权。Shi等人。[6]提出了一种用于LP检测的HSI(色调,饱和度,强度)模型,因为这些颜色模型对不同的照明不敏感。2405-9595/2021韩国通信和信息科学研究所(KICS)。出版社:Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。Y. Jamtsho,P.Riyankol和R.Waranusast/ICT Express 7(2021)104105WH2.2. 头盔检测Fig. 1. YOLO网络架构。目前,YOLO有三个版本(v1、v2和v3)。最初的YOLO网络也被称为YOLOv1。类似地,许多研究人员还提出了一种方法,该方法涉及检测摩托车手,然后检查摩托车手是否戴头盔。对于运动对象的检测,作者在[7]中提出了一种背景减除方法来提取运动对象,并通过使用局部二进制模式(LBP)[8]提取特征来对其进行分类。得到摩托车后,从顶部的1/5的图像被裁剪,以获得头盔部分并利用HOG、Hough变换和LBP描述子进行分类。在[9]和[10]中,作者还提出了背景减除以检测对象,接着是连接分量标记以分割对象。在[9]中,使用kNN分类器将对象分类为摩托车或其他对象,而在[10]中,Chiu等人[11]提出的视觉长度,视觉宽度和像素比来找到摩托车。Wen等人[12]提出了一种基于修正Hough变换的圆弧检测方法,用于检测ATM中的头盔。随着计算机视觉技术的进步,在[13]中提出了一种用于非头盔骑自行车者的基于CNN的LP提取。在他们的方法中,他们使用了两个YOLOv2 [14]模型来检测摩托车手和头盔。Hirota et al. [15]也提出了基于CNN的戴头盔和不戴头盔的摩托车手的分类,但是头盔的不同颜色妨碍了检测准确性。2.3. 关于YOLO在YOLO v2中,它是YOLO v1的改进版本,通过引入批量标准化,锚盒和高分辨率分类器,保持了速度上的优势。在YOLO v3中,引入了更好的特征提取器,引入了在ImageNet上训练的53个卷积层。YOLO v3的准确性优于YOLO v2,但由于更多的层,它比YOLO v2慢3. 拟议方法3.1. YOLO算法在我们的方法中,我们提出了YOLOv2,它包括19个卷积层和5个最大池化层,然后是softmax激活函数来对对象进行分类[14]。将输入图像划分为SxS网格单元。包含对象中心的网格单元负责预测边界框(BB)坐标(b x,b y,bw,b h,c)。坐标(bx,by)表示对象相对于网格单元位置,并且(bw,bh)表示对象相对于图像尺寸的宽度和高度。网格单元中对象的存在由置信度得分c给出。该算法的说明如图所示。 二、在图2中,黄色网格框负责预测LP,因为它包含LP的中心(黑点)。坐标(cx,cy)表示包含LP中心的起始网格单元位置。BB的实际坐标相对于网格单元位置使用等式2归一化。(1)YOLO是最新的最先进的实时对象检测技术,改进算法它是一个单一的卷积神经网络,bx同时预测多个边界框和类(bx−cx)Cx(by−cy)(一)在一次扫描中的整个图像该框架是开发[16]。该网络架构的灵感来自GoogLeNet图像分类模型[17]。该网络有24个卷积层,后面是两个完全连接的层。在YOLO中,使用了1× 1缩减层,然后是3× 3卷积层。整个网络是by=cybw=bwbh=bh(二)(三)(四)示于图 1 [16]。其中W和H是图像尺寸=106Y. Jamtsho,P.Riyankol和R.Waranusast/ICT Express 7(2021)104===×=y(y0+y1)2小时w(x1−x0)Wh(y1−y0)H(六)(七)(八)3.4. 无头盔摩托车手LP检测算法图二. 使用33个网格单元格用于说明YOLO。. (For解释在这个图例中,颜色的引用,读者可以参考本文的网络版本。)图三. 系统概述。3.2. 系统概述我们在本文中实现的流程图如图所示。3.第三章。YOLOv2被用于实时检测LP的非头盔摩托车手。该系统以视频帧为输入,在预测时,YOLO模型返回边界框的中心坐标(cX,cY),然后是宽度(w)和高度(h)。然而,所提出的用于非头盔摩托车驾驶员的自动检测LP的算法需要从等式(1)导出的起始坐标(x0,y0)。(9)之后,使用等式(1)计算结束坐标(x1,y1)。(11)x0= cX−(w/ 2)(9)y0= cY−(h/ 2)(10)x1= x0+ w(11)y1= y0+ h(12)伪码中使用的坐标表示列表如图11所示. 四、在 伪 代 码 中 , P ( Person ) 、 H ( Helmet ) 和 LP(License Plate)是包含边界框信息的2D数组。P(Person类)包含了摩托车手戴头盔和不戴头盔时的BB坐标。的伪代码 分为三个部分,每个部分具有不同的功能。在[19]中讨论了完成该任务的类似伪代码。M← 长 度 ( P )N← 长 度 ( H )O←长度(LP)3.4.1. 伪码检查个人摩托车戴头盔是针对不戴头盔的摩托车手的本地LP在我们在接近时,系统会检查摩托车手是否戴有头盔。如果摩托车手没有头盔,LP提取出的字符串,可用于ANPR技术的字符识别,并对错误字符进行罚款。3.3. 数据注释在训练模型之前,训练数据集需要可以用BB信息手动注释三个类(人、头盔、板)。使用LabelImg软件[18]进行数据注释,因为YOLO需要地面实况。软件生成起始坐标(x0,y0)和结束坐标(x1,y1)。坐标被标准化了在0和1之间,以适应YOLO格式(x,y,w,h),使用等式(5)x(x0+x1)2千瓦(五)其中pwd是用于存储佩戴头盔的人的BB的变量Y. Jamtsho,P.Riyankol和R.Waranusast/ICT Express 7(2021)104107×××3.4.2. 伪代码检查人摩托车手不戴头盔其中pwoh是用于存储Person没有头盔。3.4.3. 用于检测未戴头盔3.5. 一种消除误报的质心跟踪方法当骑摩托车的人戴着头盔(图)。 5(a))离开视频帧时,所提出的系统检测到LP(误报),因为头盔在视频帧之外,如图5(a)所示。5(b).因此,为了克服这个问题,在视频帧中引入水平线。水平线作为参考线,在框架的3/10(高度的30%)处绘制。当模型在视频帧中执行检测时,质心(图1中的白点)将被检测到。5(c))的PERSON类被抓取。系统确保在质心穿过水平线之前执行对非头盔摩托车手的牌照的检测,如图5(c)所示选择30%的阈值,使得系统在质心穿过水平线之前获得足够的检测。4. 实验结果本 研 究 的 数 据 集 收 集 自 Naresuan University ,Phitsanulok,Thailand。将数据集分为80%Darknet-19框架[14]定义了YOLOv 2网络,用于在Google Collaboratory中训练模型。Google Collaboratory是一个在线图四、 包围盒坐标表示法的三个类.图五. (a)由于头盔的存在而未检测到LP,(b)由于头盔在帧外而检测到LP,(c)在引入质心跟踪的情况下未检测到LP。表1每个班级的AP和平均IOU列表历元人头盔板平均IOU100097.7896.0898.1771.58200096.7997.3698.5373.12300096.5698.1998.1674.12400097.1598.1798.3974.59500096.9798.1898.2474.5600097.0597.8698.2174.53700096.9797.8598.474.7280009797.8498.4174.62900097.0297.8598.3974.5210,00097.397.8598.4274.5GPU,提供Tesla K80 GPU和12 GB RAM。在Python3.7.2环境下,使用OpenCV语言编写了摩托车非头盔驾驶员LP自动检测程序。为了训练YOLO模型,大约1365个数据集使用边界框信息进行了注释,包括三个类的类标签。最初的YOLOv2模型使用13 13网格单元,但在我们的方法中,我们使用了17 17网格单元格以增加预测。该模型被训练了10,000次迭代,输入图像尺寸为544 544像素。表1显示了三个类每次迭代生成的平均IOU和平均精度(AP)。从表1中,我们可以选择具有更高平均IOU的时期,因为它具有与IOU之间的最高重叠面积。108Y. Jamtsho,P.Riyankol和R.Waranusast/ICT Express 7(2021)104=-表2从实验中获得的混淆矩阵的与头盔不戴头盔的与头盔787不戴头盔2135表3从混淆矩阵生成的精确度、召回率和F1分数精密度(%)召回率(%)F1-评分(%)的与头盔97.591.7694.54不戴头盔95.0798.5496.77加权平均9695.9495.92见图6。 未戴头盔的摩托车手的LP因缺席而未检测到的LP。Ground truth 和 预 测 边 界 框 。 三 个 类 的 总 体 平 均 精 度(mAP)为97.9%,对于64个批量和8个细分,平均训练损失为0.08294.1. 评估指标为了检查从视频中对不戴头盔的摩托车驾驶者的LP的整体检测率,我们选择了222名摩托车驾驶者(戴头盔85、不戴头盔137)。既然我们有在摩托车手人数不均衡的情况下,系统的准确率将由F1分数给出,该分数兼顾了准确率和召回率。实验生成的混淆矩阵如表2所示,精确度、召回率和F1分数的列表如表3所示。在表2中,在137名未戴头盔的摩托车手中,系统能够检测到135名摩托车手为未戴头盔,其余2名被检测为戴头盔的摩托车手。在这两种情况下,召回率都高于90%,这与低误报率有关。未戴头盔摩托车驾驶员LP检出率为98.52%(从混淆矩阵中135名未戴头盔摩托车驾驶员中检出133名LP)。我们不能达到100%的准确性,由于缺乏LP的一些摩托车,如图所示。第六章由于前位置LP不可用,系统依赖于位于后位置的LP。系统绘制未戴头盔的摩托车手的边界框以及LP。所提出的方法的整体准确性的f1-评分为95.92%。图第七章 检测到一名未戴头盔的摩托车手。见图8。 摩托车司机戴着帽子。为了检查系统中使用的算法的鲁棒性,我们已经测试了具有戴头盔和不戴头盔的从图7中可以看出,系统检测到了未戴头盔的摩托车手的LP。所提出的系统还可以区分戴头盔或帽子/兜帽的摩托车手,如图1所示。八、对于戴头盔的摩托车手,系统不绘制用于检测的边界框。该算法优于现有算法,因为我们的算法使用了基于CNN的YOLO模型,该模型对噪声更具鲁棒性,并且可以推广到新数据。许多研究人员使用两层CNN来完成任务,但我们提出的模型使用单个CNN来完成研究的目的。在车牌检测中,该方法优于一些传统的方法,如基于边界和颜色的方法。在在基于边界的方法中,输入图像应该具有可见的边界,并且它对不需要的边缘敏感。类似地,在基于颜色的方法[6]中,RGB颜色模型限于照明条件,并且HLS(色调,亮度,饱和度)对噪声敏感,使得基于颜色的技术难以定位车牌。所提出的方法的头盔检测率为94.54%(F1-评分),与[7]和[9]相比更好。在我们的方法中,我们引入了一条参考线,它跟踪PERSON类的质心,并有助于在质心穿过这条线之前执行检测。这有助于减少头盔摩托车手产生的误报所提出的方法和相关工作中讨论的方法之间的显著差异在于我们的方法,我们引入了单卷积神经网络,Y. Jamtsho,P.Riyankol和R.Waranusast/ICT Express 7(2021)104109然而,在[13]中,作者使用了两种YOLOv2算法来完成相同的任务。类似地,[7]和[9]中的作者使用了基于边界的方法,该方法对不需要的边缘敏感,并且需要高质量的图像来推广算法。由于该算法不需要依赖车牌的颜色信息,并且训练时包含了不同质量的图像,因此优于基于颜色的方法。这有助于对看不见的数据进行概括。5. 结论本研究的主要目的是开发一种用于非头盔摩托车驾驶员LP自动检测的实现了单个卷积神经网络检测到的车牌可以用于ANPR技术识别LP字符,可以进一步用于信息分析。为了减少头盔在视频帧外时的误报,提出了一种质心跟踪方法。所提出的系统能够检测那些戴着兜帽或帽子的摩托车手的车牌。不戴头盔的摩托车驾驶员的LP总检出率为98.52%。该系统依赖于LP位于后方的位置,因为泰国摩托车手没有LP在前面的地区。CRediT作者贡献声明Yonten Jamtsho:概念化,方法论,软件,形式分析,调查,资源,数据处理,写作-原始草稿,写作-评论编辑,可视化。Panomkhawn Riybankol:概念化,验证,调查,写作-原始草案,写作- 审查编辑,监督,项目管理。Waranusast:概念化,验证,调查,写作-原始草稿,写作-审查编辑,项目管理.竞合利益作者声明,他们没有已知的可能影响本文所报告工作引用[1] 从公共卫生角度看道路交通事故,2019年,https://www。ncbi.nlm. 尼海gov/pmc/articles/PMC3893966/(2019年11月17日访问)。[2] K. Devadiga , P. Khanapurkar , S. 乔 希 , S 。 Deshpande , Y.Gujarathi,自行车骑手的实时自动头盔检测,Int. J. Innov。 Res.Sci. Technol. 4(11)(2018)146[3] A. Badr,M.M.张文,等.汽车牌照自动识别系统.北京:交通大学出版社,2000. Comput. Sci. 序列38(1)(2011)62[4] D. Zheng,Y.郑氏,中国科学院植物研究所所长。赵军,王建,一种有效的车牌定位方法,模式识别。Lett. 26(15)(2005)2431//dx.doi.org/10.1016/j.patrec.2005.04.014网站。[5] S.杜,M。易卜拉欣,M。Shehata,W. Badawy,Automatic licenseplate recognition(ALPR):A state-of-the-art review,IEEE Trans.CircuitsSyst.VideoTechnol.23(2)(2013)311http://dx.doi.org/10.1109/[6] X.施,W。Zhao,Y.沈,基于彩色图像处理的车牌自动识别系统,载:ICCSA,2005,http://dx.doi.org/10.1007/11424925_121。[7] R. Silva,K. Aires,T.桑托斯湾阿布达拉河Veras,A. Soares,自动检测没有头盔的摩托车手,在:2013年第XXXIX届拉丁美洲计算会议(CLEI),2013年,pp.1//dx.doi.org/10.1109/CLEI.2013.6670613网站。[8] D.黄角Shan,M. Ardabilian,Y.王湖,加-地Chen,Local binarypatterns and its application to facial image analysis:A survey,IEEETrans.Syst.Man Cybern. Part C Appl.Rev.41 ( 6 ) ( 2011 )765http://dx.doi.org/10.1109/TSMCC.2011.2118750[9] R. Waranusast , N. Bundon , V. Timtong , C. Tangnoi , P.Pattanathaburt,用于摩托车安全头盔检测的机器视觉技术,2013年第28届新西兰图像和视觉计算国际会议(IVCNZ 2013),2013年,pp. 35 http://dx.doi.org/10。1109/IVCNZ.2013.6726989。[10] C.- C. Chiu,M.- Y.古,H.- T. Chen,具有遮挡分割的摩托车检测和 跟踪 系 统 ,第 八 届 多媒 体 交 互服 务 图 像分 析 国 际研 讨 会(WIAMIShttp://dx.doi.org/10.1109/WIAMIS.2007.60[11] 邱中正,王春义,顾敏宇,卢义斌,多车实时识别与追踪系统,载 于 : 2006 年 IEEE 智 能 车 辆 研 讨 会 , 2006 年 , 第 100 页 。478http://dx.doi.org/[12] 温哲彦,邱世宣,廖俊健,吕传品,以修正霍夫变换法于自动柜员机安全帽侦测之研究,第37届国际安全技术研讨会,2003。会议记录,2003年,第页。364http://dx.doi.org/10.1109/CCST.2003.1297588[13] J. Mistry,A.K.Misraa,M.阿加瓦尔A.Vyas,V.M.中田真,K.P. Upla,使用卷积神经网络进行车牌提取的头盔和非头盔摩托车驾驶员的自动检测,2017年第七届图像处理理论,工具和应用国际会议(IPTA),2017年,pp.1http://dx.doi.org/10.1109/IPTA.2017.8310092[14] J.雷德蒙,A. Farhadi,Yolo9000:更好,更快,更强,2016,ArXiv Prepr。ArXiv161208242,2016年12月,[在线]。可查阅:http://arxiv。org/abs/1612.08242(访问日期:2019年3月5日)。[15] A.新罕布什尔州广田市蒂普湖Van Khanh,N. Oka,分类头盔和非头盔摩托车手,在:神经网络进展- ISNN 2017,Cham,2017,pp. 81-http://dx.doi.org/10.1007/978-3-[16] J.雷德蒙,S.迪夫拉河,巴西-地格希克A. Farhadi,You only lookonce:Unified,real-time object detection,2015,ArXiv150602640Cs.可用:http://arxiv.org/abs/1506.02640(访问日期:2019年1月17日)。[17] C. Szegedy等人,深入卷积,2020,ArXiv14094842 Cs,[在线]。可 用 : http://arxiv.org/abs/1409.4842 ( 访 问 日 期 : 2020 年 6 月 1日)。[18] Tzutalin,Labelimggitcode,2015,https://github.com/tzutalin/labelImg(2019年11月18日访问)。[19] Y. Jamtsho , P. Riyamkol , R. Waranusast , Real-time Bhutaneselicense plate localization using YOLO,ICT Express 6(2)(2020)121http://dx.doi.org/10.1016/j.icte.2019.11.001
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- RTL8188FU-Linux-v5.7.4.2-36687.20200602.tar(20765).gz
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
- SPC统计方法基础知识.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功