基于YOLO的实时不丹车牌定位技术

⃝可在www.sciencedirect.com上在线获取ScienceDirectICTExpress 6（2020）121www.elsevier.com/locate/icte使用YOLO进行实时不丹车牌定位Yonten Jamtsho、Panomkhawn Riyamkol、Rattapoom WaranusastNaresuan University，Phitsanulok 65000，Thailand接收日期：2019年9月6日;接受日期：2019年11月8日在线发售2019年11月20日摘要自动车牌识别系统（ALPR）是智能交通系统之一，它提供了一种安全可靠的交通方式。在ALPR技术中，识别精度完全取决于定位阶段的性能。本文介绍了实时不丹车牌（LP）定位使用YOLO（你只看一次）。车辆检测是在车牌定位，以消除因招牌与车牌相似而产生的误报。单个卷积神经网络的总体平均精度为98.6%，车辆和LP的训练损失为0.0231c2020年韩国通信与信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：ALPR; YOLO;不丹车牌;车辆检测;误报1. 介绍智能交通系统（ITS）被认为是当今交通领域最先进的智能系统之一。ITS的主要目标是通过使用新兴技术[1]来控制城市和高速公路的交通，从而提供安全可靠的交通模式。在众多的ITS技术中，ALPR系统起着至关重要的作用为市民提供更佳的服务，从而减少交通挤塞及增加处理申请的时间。ALPR系统主要用于自动收费、停车位管理和跨国边境控制。随着世界范围内道路使用者数量的日益增加，城市和高速公路出现了交通拥堵问题。同样，随着不丹走向交通部门的数字化，使用ITS来自动化传统的交通管理方式变得至关重要。不丹是世界上唯一一个没有交通信号灯的国家。警务人员亲自检查LP详细信息，这很耗时，需要更多的人力资源。因此，开发一个实时应用程序来检测LP对于不丹ALPR系统的开发至关重要。∗ 通讯作者。电子邮件地址：yontenj61@email.nu.ac.th（Y.Jamtsho），panomkhawnr@nu.ac.th（P. Riyvikol），rattapoomw@nu.ac.th（R.Waranusast）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2019.11.001典型的ALPR系统包括三个阶段：LP定位、字符分割和字符识别。在这三个阶段中，LP定位是其中一项重要任务，因为不准确的定位会影响字符分割和字符识别的准确性[2]。因此，本研究的目的是开发一个系统，使用单卷积神经网络从实时视频中检测车辆后定位不丹LP。1.1. 不丹车牌随着LP的变化，ALPR技术趋于区域特异性。同样，由于不同的车辆法律和命令，已经在另一个国家部署的ALPR技术在不丹的情况下也不起作用。除此之外，不丹的有限合伙人根据所有权的类型从颜色到大小各不相同。不丹LP有八种类型，其中一些如图1所示。上面的第一部分包含不丹文字，第二部分包含实际的LP编号。本文的其余部分组织如下：第2节讨论了相关工作;第3节解释了所提出的YOLO方法。本研究的实验结果在第4节中讨论，然后在第5节中得出结论。2405-9595/2020韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。+122Y. Jamtsho，P.Riyankol和R.Waranusast/ICT Express 6（2020）1212.3. You Only Look Once（YOLO）图1.一、不 丹 的车牌样本。2. 相关工作2.1. 车辆检测车辆检测是与ob相关的问题之一，物体检测，我们打算找到物体的位置。从视频中检测车辆对于自动驾驶汽车的开发以及智能交通系统的设计至关重要[3]。为了从视频或图像中检测车辆，许多研究人员提出了背景减除[4]，基于特征[5]和CNN [6]等方法。 在文献[4]中，提出了通过从背景中减去运动车辆来提取车辆的方法，存储的静态图像。图像中的差异被用作阈值化后的车辆区域。这种方法不适应不断变化的光照条件。在[5]中提出了从图像和视频中进行可训练对象检测，其中它基于学习提取对象的标记训练数据。在[6]中提出了Region-CNN [7]方法这种方法不能部署在实时应用程序中，因为图像检测对象需要47秒2.2. LP定位对于LP定位，许多研究人员使用传统的方法，如基于边缘，基于颜色和基于特征的方法。在基于边缘的情况下，LP的区别特征之一是其具有已知纵横比的矩形形状。由于车身和LP之间的颜色过渡，在[8]和[9]中应用垂直Sobel算子来找到垂直边缘。在找到垂直边缘之后，使用宽高比来找到正确的LP。基于边缘的方法对噪声和不需要的边缘更敏感[2]。在一些国家，颜色信息用于区分LP的类型。在基于颜色的方法中，颜色信息用于区分汽车和LP的颜色。对于韩国LP，Deb和Jo [10]提出HSI颜色用于检测的候选区域，并通过使用位置直方图进行验证。HSI模型对噪声更敏感。提出了采用HOG算法和滑动窗口技术对巴西LP进行特征提取，并利用SVM分类器对LP区域进行量化。YOLO是一个单卷积神经网络，它通过单次扫描的类概率预测边界框[11]。YOLO不是从图像中选择感兴趣的区域，而是将对象检测问题视为回归问题，其中对象检测和分类在单个神经网络中进行。这类算法主要用于实时应用。最初的YOLO架构由24个卷积层组成，后面是两个完全连接的层。在YOLO中，输入图像被划分为MxM网格单元。包含对象中心的网格单元负责预测对象。YOLO模型的输出张量将是M*M*（B*5 C）的向量，其中B表示预测的边界框和每个网格单元的置信度得分，C是预测边界框的类概率。每个边界框B包含5个分量：bbx、bby、bbw、bbh和框置信度得分C。坐标（bbx，bby）表示对象相对于网格单元位置的中心，偏移（bbw，bbh）表示边界框相对于图像尺寸的宽度和高度。YOLO预测每个网格单元的多个边界框，但那些具有最高交集的边界框与地面实况被选择，这被称为非最大值抑制。3. 拟议框架3.1. 系统概述所提出的系统的典型概述如图2所示。系统的输入是视频帧，输出是局部LP。在直接从视频帧定位LP之前，首先执行车辆检测以消除假阳性。有一个机会，一些物体，如招牌也可能被检测到，由于存在类似的特征与车牌。因此，只有当车牌被包围在车辆的边界框内时才提取使用YOLO单卷积神经网络同时实现车辆和车牌3.2. 车辆和LP定位由于不丹LP包含不同的背景和前景颜色，因此使用传统方法（如基于边缘和基于颜色）具有挑战性。这些方法需要良好质量的图像，并且在实时场景中部署仍然昂贵。车牌定位是一项艰巨的任务，因为它必须处理不同的类型外部因素，如极端天气条件和不同的照明。不丹车牌的形状和大小各不相同，可能会与框架中的其他类似形状混淆。因此，提出了基于YOLO（版本2）的对象检测器来处理不同的不丹车牌。===Y. Jamtsho，P.Riyankol和R. Waranusast/ICT Express 6（2020）121-124123在找到边界框的起始坐标之后，可以使用以下等式计算结束坐标（xmax，ymax）。（7）和（8）：x最大值= x最小值+ w（7）ymax= ymax+ h（8）为了检查车辆内LP的存在，使用以下伪代码。图二. 系统概述。3.3. 数据注释在训练YOLO模型之前，我们首先为每个类生成边界框在这项研究中，两类（车辆和平板）使用ESPLABEL注释每个图像[12]软件由于“标签”工具提供了实际的起始坐标（xmin，ymin）和每个边界框的结束坐标（xmax，ymax），边界框偏移量需要在0和1之间归一化，以适合YOLO格式（x，y，w，h），使用等式（1）其中：P和V表示PLATE和VESTILE• （pmin，qmin）和（pmax，qmax）是开始和结束x=（x最小值+x最大值）（一）车牌坐标y=（y2千瓦min+ymax）（二）（vmin，vmin）和（vmax，vmax）是车辆x2小时• 由于YOLO只预测四个坐标，0到3英寸，w（最大值-x最小值）Wh（ymax−ymin）H其中W和H是图像的宽度和高度3.4. 车内LP定位算法（三）（四）骰子用于访问坐标。4. 实验结果研究的数据集都是从视频帧中生成的。这些数据集包括在不丹发现的1014个车牌图像。在注释了所有必需的类并规范化为YOLO格式之后，基于Alexey实现的YOLOv2Darknet [11]在典型的ALPR中，检查是否存在减少误报数量的车辆在招牌旁边在这项研究中，我们将使用单卷积神经网络自动定位封闭车辆边界框内的LP。YOLO模型预测边界框的中心（中心X，中心Y）坐标，然后是框因此，Eqs。（5）和（6）用于推导车辆和车牌的边界框xmin= centerX−（w/ 2）（5）ymin= centerY−（h/ 2）（6）被求婚了YOLO模型已经在20个类上进行了训练，其中包括车辆，但在我们提出的方法中，我们打算使用一个卷积神经网络来检测PLATE和VESTILE类我们必须修改最后一层的数字过滤器以匹配类的数量。计算滤波器的公式如等式所示（九）、过滤器=（C+5）A（ 9）其中A是锚框，其预测5个边界框偏移（A5)C是类的个数。数量过滤器设置为35。YOLO的训练需要强大的图形处理器（GPU），Nvidia CUDA和cuDNN。··×124Y. Jamtsho，P.Riyankol和R.Waranusast/ICT Express 6（2020）121表1每个时期的平均精度（AP）和平均IOU的表格。Epoch平板（%）溶剂（%）平均IOU1000 98.25 99.01 81.752000 98.51 98.95 83.483000 98.04 98.79 83.61图4（a），模型已将LP定位在车辆内，cle边界框，而在图。4（b），该模型没有预测LP。5. 结论6000 98.52 98.82 83.947000 98.52 98.73 83.93图3.第三章。标 识 牌产生的误报。图四、（ a）在车辆内部检测到LP，（b）未检测到LP。由于我们对两个类感兴趣，因此YOLO模型在GoogleColaboratory上训练了7000个epoch，批次大小为64，图像尺寸为608 608。Google Colaboratory是一个免费的在线云服务，为Tesla K80 GPU提供12 GB RAM，并包含所有深度学习库。表1显示了每个历元生成的车牌和车辆类别在7000个历元之后，具有最高平均IOU的历元被选择为在所提出的实时应用中要实现的权重。从表1中，我们可以选择第5000次迭代的权重，因为它具有预测边界框与地面实况的83.99%重叠。总体平均精度（mAP）为98.6%，对于64个批次大小和8个细分，训练损失为0.0231。根据暗网文档[13]，如果平均训练损失低于0.05，则该模型表现良好。图图3和图4示出了从实验获得的结果。在车牌定位之前对车辆进行定位，以消除误报。在这项研究中，提出了单卷积神经网络来处理在不丹发现的不同类型的车牌。所提出的方法给出了98.6%的总体mAP，训练损失为0.0231，这是最好的部署在实时应用中。将来，需要使用更多的数据集进行训练。竞合利益作者声明，本文中不存在利益冲突。引用[1] P.I. Reji，V.S. Dharun，车牌定位：评论，国际J工程。TrendsTechnol. 10（13）（2014）.[2] S.杜，M。Ibrahim，M. Shehata，W.自动车牌识别（ALPR）：一个国家的最先进的审查，IEEE Trans.电路系统。视频技术23（2）（2013）311[3] X. Hu 等 人 ， SINet ： A Scale-Insensitive Convolutional NeuralNetworkfor Fast Vehicle Detection ， IEEE Trans. Intell. 运 输 单 20（3）（2019）1010-1019.[4] L. Vasu，使用图像处理实时实现事故检测系统的有效步骤，美国俄克拉荷马州立大学理学硕士，2010年。[5] C. Papageorgiou，一个可训练的图像目标检测系统和视频序列，2000年。[6] A.A. Yilmaz，M.S. 古泽尔岛 Askerbeyli、E. Bostanci，A vehi-使用深度学习方法的cle检测方法，2018，ArXiv180400429Cs。[7] R.作者：J. Darrell，J. Malik，Rich feature hierarchiesfor accurateobjectdetectionandsemanticsegmentation，2013，ArXiv13112524Cs.[8] D. Zheng，Y.郑氏，中国科学院植物研究所所长。赵军，王建，一种有效的车牌定位方法，模式识别。Lett. 26（15）（2005）2431[9] M. Sarfraz，M.J. Ahmed，S.A.陈文，汽车牌照自动识别系统，载于 ： 2003 年 国 际 汽 车 几 何 建 模 与 图 形 学 会 议 ， 2003 年 。Proceedings，2003，pp.36比41[10] K. Deb，K. Jo，HSI基于颜色的车牌检测，在：2008年国际控制、自动化和系统会议，2008年，第100页。687-691[11] J. Redmon，A. Farhadi，YOLO9000：更好，更快，更强，2016，ArXiv Prepr。ArXiv161208242.[12] Label-为边界框对象检测和分割标记图像，2019年，[联机]。可用：https：//rectlabel. com。[访问日期：2019年4月10日]。[13] Alexey，Windows和Linux版本的Darknet Yolo v3& v2用于对象检测的神经网络（使用张量核心）：AlexeyAB/darknet，2016。400098.5298.8383.92本研究的目的是解决500098.5298.8283.99不丹车牌本地化。 的检测