面向人级的车牌识别：基于语义分割和字符计数的高效识别方法

面向人级的车牌识别庄家凡[0000−0003−3708−4634]、侯赛辉[0000−0003−4689−2860]、王子磊[0000−0003−1822−3731]、查正军[0000−0003−2510−8993]中国科学技术大学{jfzhuang，saihui}@ mail.ustc.edu.cn，{zlwang，zhazj}@ustc.edu.cn抽象。车牌识别（LPR）是各种智能交通系统的基本组成部分，它总是被期望足够准确和高效。 在本文中，我们提出了一种新的LPR框架，包括语义分割和字符计数，实现人类水平的性能。 由于该方法结构新颖，不需要先进行字符检测或滑动窗口，然后再进行逐字符识别，只需一次识别整个车牌。此外，我们的方法可以实现更高的识别精度，由于更有效地利用全局信息，避免敏感的字符检测，并节省时间，由于消除了一个接一个的字符识别。最后，我们在两个公共数据集（AOLP和Media Lab）和我们的车牌数据集上实验验证了所提出的方法的有效性。 结果表明，我们的方法显着优于以前的国家的最先进的方法，并实现了超过99%的准确性，几乎所有的设置。关键词：车牌识别，语义分割，卷积神经网络，字符计数1介绍作为基本组件的来自图像的车牌识别（LPR）对于各种智能交通系统（ITS）是至关重要的，例如限制区域的安全控制[9，28]和交通安全执法[33，16]，因为车牌通常用作车辆的标识。因此，LPR算法总是要求足够准确和高效，以便于在终端设备或运输系统中部署和应用。另一方面，车辆图像可能高度变形或模糊的复杂场景中的LPR可能是许多现实世界应用中的主要考虑因素。例如，在安全监控中，可疑车辆是需要提取结构化信息的主要关注目标，而其他正常车辆可以完全忽略。但这些车辆的采集图像因此，开发准确和鲁棒的LPR至关重要，特别是对于复杂场景。LPR需要处理各种照明条件、图像模糊、污损和车辆变形[10，31，2，1，26]。现有的作品可以是2J. Zhuang等人8 E 2 1 573 D 0 0 61Y XY5 7 19P NP3 4 45Y X Y 5 7 1 9P N P 3 4 4 5第八季第二集3 D 0 0 6(a) AOLP数据集（b）媒体实验室数据集Fig. 1.一些例子的结果，我们所提出的方法承认。这些图像来自两个公共数据集：AOLP和媒体实验室大致分为两大类：由字符检测和识别组成的传统方法第一类方法是直观的，其首先检测牌照中的所有字符，然后独立地识别检测到的字符。在实践中，这些方法对环境因素过于敏感，因此容易出错[11]。因此，它们仅适用于具有固定条件的受限场景，例如，停车场入口近年来提出的序列方法[21，32，7，6]首先进行滑动窗口提取车牌的序列相对而言，这些方法可以产生较好的识别性能，但还不足以满足实际系统的要求。同时，对深度学习模型的过多调用使得这些方法耗时，导致计算效率低下。在本文中，我们提出了一种新的LPR框架，其目的是同时提高识别精度和计算效率。它由两个关键部分组成：语义分割和字符计数。由于这种创新的结构，我们的方法是鲁棒的各种图像质量，和图。1提供了我们的方法的一些示例结果据我们所知，这项工作是第一次尝试采用先进的语义分割LPR。事实上，我们提出的方法可以实现出色的识别精度受益于以下事实。首先，语义分割直接处理整个车牌图像，而不是单个字符的子图像，这有助于从全局和局部上下文中利用更多的信息。其次，我们进行像素级识别，而不是在以前的作品中的字符识别，它可以容忍一小部分像素被误分类，而不会导致LPR失败。第三，我们的方法不需要非常精确的字符检测，因为语义分割已经完成了识别功能，但这正是传统方法的主要障碍之一。另一方面，我们提出的方法具有更高的计算效率，因为语义分割一次识别输入图像的所有像素，并且在随后的计数过程中只需要调用CNN模型几次（远小于车牌中的字符数）。我们在两个公共车牌数据集（AOLP和Media Lab）和我们自己的车牌数据集上对所提出的方法进行了实验所有这些都是使用来自真实场景的图像构建的，并且覆盖了许多困难的条件。公共数据集上的结果一致表明，我们的方法面向人级的车牌识别3大大优于先前的现有技术方法。对于大多数场景，识别准确率达到99%以上，这意味着我们的方法适用于现实世界的系统，即使是复杂的场景。此外，我们还进行了误差研究，通过分析所有的故障样本，由我们的方法产生。据观察，这些样本是非常难以准确地识别，其中大部分是非常混乱的，即使是人类。这表明，我们提出的方法的性能是非常接近人类的水平。2相关工作在深度学习爆炸之前，几乎所有传统的LPR方法[11，3]都采用类似的流程，即字符检测，然后分别进行字符识别。它们之间的差异主要是较小的实现细节。在这里，我们简要回顾了字符检测和识别的相关工作。字符检测是利用包围盒检测出车牌图像中的每个字符。现有的字符检测算法大多可以简单地分为两类。第一种是基于连接分量分析（CCA）[2，15]。在去除图像噪声和腐蚀二值化后的车牌图像中相邻字符的连接区域后，进行CCA以第二族依赖于投影方法[13，34，12，35，18]。与第一种方法不同的是，该方法先对二值图像进行水平投影，得到上下边界，然后再进行垂直投影，分割出每个字符。字符识别就是对字符检测所提取的各个候选字符进行识别。已经提出了用于该任务的各种方法[13，34，15，26]基于测量字符和模板之间的相似性的模板匹配这些方法在计算上是昂贵的并且容易受干扰影响。基于特征的方法使用更有区别的特征，例如，，手工制作的特征[35，18]，以及特定的分类器，例如概率神经网络（PNN）[2]，HMM [12]和MLP神经网络[27]。[15，14]提取LBP特征并采用线性判别分析（LDA）作为分类器。随着深度学习的到来，LPR任务中的字符识别通常由CNN网络实现[25]。最近，深度学习技术的进步带来了新的想法，可以在没有字符检测的情况下找到解决方案。一种典型的方法是采用滑动窗口的方式提取车牌序列特征，然后将提取的特征输入到分类模型中推断字符序列这里的特征提取模型包括扫描OCR [7]，CNN [21]和FCN [32]。推理模型包括HMM [7]，RNN与LSTM [21]和定制的NMS算法[32]。 由于消除了字符检测，这些方法可以实现更好的识别性能，这确实是最先进的。然而，这些方法需要多次重复应用字符分类器，导致计算效率低。更多-4J. Zhuang等人此外，该方法对车牌图像中的小块区域进行字符识别，这在复杂场景中容易受到干扰的影响相关工作[29]利用单直方图方法来执行逐像素预测以识别字符区域，然后通过模板匹配进行街道名称在这项工作中，我们提出了一个新的LPR框架。与现有的作品不同，我们采用语义分割识别整个车牌字符计数。我们的框架避免了敏感的字符检测，同时利用全局信息的车牌图像。此外，我们的方法是计算效率没有滑动窗口配置文件。3我们的方法3.1概述我们在这项工作中的目的是发明一个准确和高效的车牌识别（LPR）的方法，克服以往的作品的缺点为此，我们特别介绍了语义分割技术的主要组成部分，因为它可以直接处理整个车牌图像。这里，输入指的是来自仅包含具有很少背景的牌照内容的原始图像的裁剪子图像，这在实践中通过应用一些方便的检测方法[13，34，12，35，18]而容易地实现。我们在图2中说明了所提出的LPR框架，它由两个关键模块组成：语义分割和计数细化。利用语义分割技术对输入的车牌图像进行语义分割，生成大小相同的语义图，语义图的值表示对应像素的字符类。然后，我们对产生的语义映射进行操作，以获得车牌的字符序列。与传统的字符识别方法相比，语义分割不仅具有计算效率高的优点，而且由于对整个输入图像进行一次输入，融合了来自不同网络层的全局和局部信息，因此可以利用更多的信息。在这个模块中，我们进行预处理的输入图像和字符序列推理的结果地图上，除了语义分割。这里的预处理是使图像适合于语义分割，并且在我们的实现中仅采用简单的投影对于字符序列推断，将从语义图产生初始识别结果。在得到的语义分割图中，我们不能区分相同类型的连续字符。为了处理这种情况，本文提出了一个计数细化模块附加到语义分割模块中，用于预测连续字符的数量。理论上，对车牌进行字符计数的次数最多为字符总数的一半。因此，这个过程在统计上是节省时间的，与语义分割一起，与以前基于深度学习的方法相比，我们的方法最后，得到输入车牌的字符序列。面向人级的车牌识别5ROI提取字符计数计数细化模块输入图像初始结果最终结果语义分割模块语义分割1999年H G 8 1 9189GH字符序列推断预处理图二.我们提出的LPR框架的图示。该框架包括两个关键模块：语义分割和计数细化。语义切分模块主要完成语义映射和初始字符序列的生成，包括预处理、语义切分和字符序列推理。计数细化模块用于对字符进行计数，生成最终的字符序列最好在颜色从图2中，我们可以观察到所提出的LPR框架的以下特征首先，我们采用逐像素识别来代替传统方法中的字符识别。这样的替换消除了对成像条件敏感并且会劣化LPR的整体性能的字符检测，并且同时提高了对图像干扰的鲁棒性，因为对小部分像素的错误预测几乎不影响最终结果。其次，我们的框架处理一个完整的车牌，并避免了时间昂贵的滑动窗口在以前的作品，从而更有效。第三，我们提出的框架是灵活的和可升级的，其中每个模块可以被分配一个不同的模型。因此，一个应用程序可以配备适当的模型，通过考虑在精度和效率的实际需求。接下来，我们将详细介绍两个关键模块的细节3.2语义分割模块语义分割模块在功能上用于为输入的车牌图像产生语义图和初始字符序列这里，语义映射具有与输入相同的大小。特别地，我们首先对输入图像进行预处理，使其更适合于语义分割，然后通过分析语义图来推断初始字符序列。在预处理方面，首先通过水平和垂直投影分析找到字符边界，然后裁剪车牌图像的主体作为输入。对于语义分割，我们采用了修改后的DeeplabV 2 ResNet-101模型，并将重点放在数据准备上。对于字符序列推断，我们期望得到的初始字符序列是足够强大的，即使分割结果是不好的一些像素上的错误预测。在LPR场景中，语义分割的结果基本上用于产生字符序列，这是一个6J. Zhuang等人图三.车牌图像的框级标签的图示。样本来自AOLP数据集。这里不同的颜色表示不同的字符类。不属于任何字符框的像素被标记为背景类（黑色）。最好在颜色这与旨在精确预测每个像素的语义标签的传统分割任务中的使用有一点不同因此，我们建议在这项工作中，每个车牌采用一个相对简单的分割地面实况。考虑到标记所有像素的难度，我们特别使用每个字符的包裹包围盒作为其分割的基础事实，而不是一个微妙的面具表示字符轮廓。边界框中的所有像素被标记为对应字符的类，并且不属于任何字符的其他像素被标记为背景类。图3通过示例图示了牌照的地面实况生成。显然，框级标注比像素级标注更省力，这使得所提出的框架比其他语义分割任务更具可操作性。此外，由于包含更多像素，学习字符的边界框对于LPR更鲁棒，而不像字符轮廓的预测由于标记区域的薄而容易被破坏因此，在我们的方法中，对几个像素的一些另一方面，所提出的分割基础事实也使得后续的字符序列分析更容易，因为更大的语义区域具有更低的复杂性。语义分割模型在这里，我们主要考虑基于深度学习的语义分割模型，因为它们具有最先进的性能。理论上，任何高级语义分割模型都可以用于所提出的LPR框架中，例如全卷积网络（FCN）[24]，DeepLabv2[8]和SegNet [5]。在我们的实现中，特别采用了DeepLabv 2 ResNet-101的修改版本，如图4所示，其性能已通过评估证明对于LPR足够好。在这里，我们简化了原始的DeepLabv 2 ResNet-101模型，以提高计算效率。原始模型进行多尺度处理，以获得更准确的分割结果，这实质上是融合层次的全局信息。而在LPR任务中，不同汉字的语义区域相关性较低。同时，我们提出的分析方法是强大的错误预测的几个像素。因此，在这项工作中，我们只保留原来的决议分支，并删除其他辅助分支。实际上，我们通过实验对简化版本和原始DeepLabv 2ResNet-101进行了对比分析结果表明，修改后的一个执行速度更快，而不涉及对最终LPR结果的准确性下降面向人级的车牌识别7输入图像ResNet 101语义地图Conv + BatchNorm+扩展上采样Elwise + ReLU不同采样率的Atrous Conv见图4。修改后的DeepLabv 2 ResNet-101模型该网络主要包括用于特征提取的ResNet-101， atrous空间金字塔池（ASPP）和上采样层。最好在颜色具体来说，在固定配置（GeForce GTX 1080Ti）下，我们的版本达到了38FPS，而原始的DeepLabv2只有13 FPS。模型预训练语义分割通常需要收集大量的训练样本来实现准确的预测。但现有的车牌数据集一般规模较小，无法满足这样的数据需求。为了解决这个问题，我们建议对模型进行预训练，然后使用特定数据集中的样本对其进行微调。对于预训练，我们使用的合成图像的车牌在这项工作中，因为数据规模是可扩展的，地面真相很容易获得，可以同时生成的合成过程中。在这里，我们提出了合成的车牌图像的不同字符的组合。具体来说，我们首先设置一个基本数据集包含许多车牌图像，其中各种图像具有不同的照明，颜色，模糊，和视点需要体现为每个字符。在我们的实现中，我们自己的车牌数据集的一个子集在第4.4节中被特别采用。然后从车牌图像中裁剪出大量的字符图像，作为数据合成的素材。裁剪操作是自然的，因为我们使用边界框来注释每个字符。最后，我们合成了大量的车牌图像，通过替换一个字符区域的车牌图像与另一个字符图像。为了生成均衡的样本，我们随机选择要替换的基本车牌图像和字符，并使用不同字符的图像产生多个样本。这里，通过测量基本图像和字符图像之间的风格相似性来选择给定类型的字符图像按照这种方式，我们最终产生60000合成车牌图像连同其groundtruth分割模型训练。图5提供了一些样本。可以看出，合成图像与真实图像非常相似，即使是人类也特别是，我们还利用t-SNE，功能可视化的强大工具，揭示数据分布。结果表明，合成数据集呈现出与中国数据集相似的分布。8J. Zhuang等人CCC图五.合成车牌图像的示例。所有这些都是使用随机策略产生的。在这里，由于隐私，表示省的第一个字符对于每个车牌被掩蔽最好在颜色字符序列推断在获得一个车牌的语义图后，我们可以推断出一个初始字符序列，它实际上代表了沿水平方向的语义区域的标签序列。形式上，我们首先将语义映射L转换为C类特定的二进制映射L’，其中一个开关函数，其中c∈（1，C），C是字符类的数目.L′（x，y）=1、L（x，y）= c0，L（x，y）/= c对于二值映射L′，我们去除小区域的噪声区域然后我们c′对Lc进行连通分量分析（CCA）以生成字符区域{Aci}，其中Aci表示L’中的第i个区域。语义切分的错误预测会使推理变得混乱和不合理。在这项工作中，我们提出了以下方法来提高鲁棒性。具体来说，我们分别检查当前字符区域和所有先前区域之间的交集（IOU）。如果IOU超过阈值Tf（Tf= 0. 5），这两个字符区域被认为是重叠的。这种情况在理论上是不合理的，因为车牌中的字符总是分开排列的。我们将冲突区域提取为ROI，然后应用分类器（例如，Inception-v3模型[30]）来确定最终的字符类。这种情况在实践中偶尔会发生，但所提出的方法被证明是重要的，以纠正硬样品。3.3计数细化模块计数细化用于从原始车牌图像、语义图和初始字符序列产生最终字符序列。主要程序如图6所示。在我们的LPR框架中，语义分割很难准确区分同类的连续字符实例，因为车牌中的相邻字符彼此非常接近，并且用于分离它们的背景区域对于精确识别来说太薄。因此，同一类别的多个字符可能被视为初始字符序列中的一个字符。为了解决这个问题，我们建议对这些区域的字符进行计数。面向人级的车牌识别9计数模型2输入图像H G 8 1 9初始结果语义地图最终结果计数细化模块1999年计数模型ROI提取见图6。计数细化模块的图示。我们的计数细化模块提取的字符区域的兴趣，然后应用分类器来预测的字符计数。最好在颜色对象计数[4，20]是典型的视觉任务之一，其目的是获得给定图像ROI中特定对象的数量在这项工作中，我们裁剪的图像区域包含多个字符的同一类根据语义分割结果作为输入的计数模型。考虑到LPR的应用场景，车牌中的字符数量总是有限的，甚至是固定的（例如（七）. 因此，我们将字符计数公式化为分类问题，而不是以前作品中的回归问题[23]。请注意，该任务中的标签表示字符的数量，而不是传统图像分类中的字符类别然后，我们可以直接使用一些复杂的分类网络。在这项工作中，AlexNet [19]由于其高计算效率而被特别采用。在实践中，观察到字符“1”和“7”由于其简单的轮廓而通过分析，可以看出，调整输入图像的大小，这可能会包含不同数量的字符在一个大的范围内，使相似的字符更难区分。为了处理这个问题，我们特别利用区域标签已经通过语义分割识别的事实。具体来说，我们在“1”图像的中间添加一条白线这个小技巧可以有效地提高计数性能。4实验在本节中，我们实验评估所提出的LPR方法。这里使用三个具有挑战性的牌照数据集，即、AOLP [14]、Media Lab [3]和我们自己的数据集（中国车牌数据集）。对于性能指标，我们采用整个车牌的识别精度，这是从字符分类不同，因为识别结果的车牌将被认为是假的，只要字符之一是错误的预测。对于每个公共数据集，我们提供了与最先进方法的性能比较。10J. Zhuang等人4.1实现细节我们所有的模型都在Caffe [17]中实现，并在Tesla K80 GPU上进行训练/测试。我们在训练时使用大小为16的小批。我们采用Inception-v3 [30]作为字符分类模型，AlexNet [19]作为字符计数模型。在整个实验过程中，车牌图像被调整为50× 160，其宽高比接近物理车牌的宽高比。对于每个数据集，语义分割模型在我们的合成车牌图像上进行预训练，然后使用数据集提供的特定图像进行微调。为了防止过拟合，我们采用常见的数据增强策略，如噪声，模糊，旋转和颜色抖动。分别训练语义分割模型和字符计数模型。详细的培训方案列于表1中。表1.语义分割和字符计数的训练协议。碱LRbatchSizelr策略伽马步骤最大迭代器语义分割−41020多步0.1[30k、50k]60K字符计数−210512多步0,1[3k，5k]10K4.2AOLP数据集面向应用的车牌基准数据库（AOLP）收集了1874张台湾车牌图像，这是我们所知的最大的公共车牌数据集数据集根据使用场景分为三个子集，包括访问控制（AC），执法（LE）和道路巡逻（RP）。具体地，AC中有681个图像，LE中有582个图像，RP中有611个这些子集中的图像呈现不同的外观特征（例如，透视），因此准确地识别每个牌照是具有挑战性的我们将我们提出的方法与最先进的方法进行比较，包括Deep FCN [32]，LSTM [21]和Hsu [15]。在实验中，我们使用与LSTM中相同的训练/测试分割[21]，即，两个子集用于训练，剩余的一个用于测试。我们用不同的子集进行了三个实验进行测试，然后计算了三个子集的识别准确率和它们的平均准确率。表2提供了结果，其中AC/LE/RP表示相应的子集用于测试。从表2中的结果可以看出，我们提出的LPR方法实现了最佳性能，在所有子集上的准确率超过99%。此外，由于不同AOLP子集中的图像在外观上变化很大，因此很好地证明了我们的方法是鲁棒的。特别是，我们的方法优于Hsu [15] 12。32%的准确率提高，这主要是由于消除了字符检测。与LSTM相比[21]面向人级的车牌识别11表2. AOLP数据集的识别精度。我们所提出的方法在所有子集AC（%）LE（%）RP（%）平均值（%）Hsu（2013）[15]88.5086.6085.7086.93LSTM（2016）[21]94.8594.1988.3892.47DeepFCN（2016）[32]97.9097.6098.2097.90我们的方法 99.4199.3199.0299.25和Deep FCN [32]，其采用滑动窗口配置文件，我们的方法仍然优于6的准确度增益。78%和1。35%，实验表明所提出的语义分割的优势。在上述实验中，使用子集分裂来评估识别性能。然而，不同子集中的高外观方差肯定会降低准确性。为了更充分地探索我们的方法的潜力，我们使用均匀分裂进行另一个实验。具体地说，我们均匀地分为三个部分的随机策略的每个子集。然后，我们收集每个子集的两个部分，形成训练集，其余的图像用于测试。因此，建立了三个新的测试子集用于性能评估，其分别包含625、625和624个图像。表3给出了设置的实验结果。正如预期的那样，我们的方法实现了更高的识别准确率（高达99。平均79%，即，仅4个板失效）。表3.在AOLP数据集组1（%）组2（%）组3（%）平均值（%）我们的方法99.8499.6899.8499.794.3媒体实验室数据集NTUA媒体实验室数据集由706个希腊车牌图像组成，其中包括正常条件和一些困难条件，例如，被阴影和极端照明阻挡它被分为一个正常的子集与427个样本和一个困难的子集与279个样本。我们将Anagnostopoulos [2]和Siyu Zhu [35]作为我们的基线，因为它们是该数据集上最先进的方法数据集不提供用于训练和测试的数据分割。为了公平比较，我们使用正常子集中的图像作为测试数据来评估性能，就像基线方法一样。在我们的实验中，具体地说，我们均匀地分为四个部分的正常子集与随机策略。然后，我们进行了四个实验，在每个实验中，三个部分与困难的子集用于训练，其余的一个用于测试。表4给出了12J. Zhuang等人见图7。中国车牌数据集中的示例图像。可以看出，图像呈现高度变化的外观，包括照明、模糊、颜色等。这里，由于隐私，第一个字符被掩蔽最好在颜色看媒体实验室数据集上的实验结果。可以看出，我们的方法以超过10%的准确度改进优于基线，这再次表明所提出的框架的优越性 平均准确率为97。89%意味着总共只有9个车牌不合格。表4.媒体实验室数据集的识别精度。组1（%）组2（%）组3（%）组4（%）平均值（%）Anagnostopoulos [2]----86.00朱思宇[35]----87.33我们的方法97.1498.1398.1098.1897.89此外，我们对AOLP和Media Lab数据集进行了另一项统计分析，以证明我们的算法对语义分割预测的鲁棒性。如表5中所示，即使当语义分割模块产生以像素为单位的不完美结果时，也可以正确地识别车牌表5.统计最终正确识别的字符区域中语义分割模型错误预测的像素所占的比例（记为WPP）。前三列示出了所有样本中的最大、最小、平均WPP，而最后三列是对由WPP以降序排序的前K（K= 5%、10%、20%）个样本求MaxMin是说前5%前10%前20%AOLP38.04%0.41%9.21%24.10%21.39%18.32%媒体实验室35.98%0.86%5.53%16.69%13.17%百分之十点四六4.4中国车牌数据集最后，我们评估我们自己的数据集，中国车牌数据集上提出的方法数据集是通过收集交通中的图像来构建的面向人级的车牌识别13监控摄像机，其中车牌图像通过将SSD [22]检测器应用于原始图像来获得与公开的车牌数据集相比特别是，数据集涵盖各种条件，例如，高变化照明、运动模糊和低分辨率。我们数据集中的一些示例图像如图7所示。根据中国车牌的规范，数据集中的每个车牌特别地，总共存在（m+34）个字符，其中包括10个数字，24个英文字母（“O”）。and d' I ' areclud e d ），and m C h i n e s e c h ar ac t e r s 1.在我们的实验中，我们将数据集随机分为两个子集，其中4057张图像用于训练，1000张图像用于测试。注意，用于图像合成的数据全部来自训练集。在这个数据集上，我们提出的方法达到了99。7%。也就是说，测试集中只有三个牌照失败。此外，我们的方法在计算效率方面实现了实时性能（在Nvidia Titan X GPU上超过25 FPS）。4.5误差研究在本节中，我们进行错误研究，以更直观地演示通过我们提出的方法实现的性能。特别是，两个公共数据集，即、AOLP和MediaLab，并分析了上述实验中所有失败的样品。具体而言，提供了AOLP上4个不合格样品和Media Lab上9个不合格样品的结果，如图8所示。在这里，我们列出了原始图像、生成的语义映射、地面实况、预测的字符序列和失败原因。从图8中可以看出，故障主要是由原始图像质量差引起的例如，第一排的“8”被识别为“B”的失败是由于车牌严重倾斜和模糊，甚至无法被人正确识别。其他失败的样品也有类似的原因。总体而言，可能的故障原因包括图像模糊、遮挡斑块和严重干扰。对于这些非常难的样本，我们的方法仍然可以正确地识别大多数字符。考虑到错误研究中的失败案例，我们认为我们提出的LPR方法的性能非常接近人类的水平。5结论在本文中，我们提出了一种新的车牌识别框架，它不仅取得了优异的识别性能，而且具有较高的计算效率。特别是，我们提出的框架引入了语义分割技术，然后是计数细化模块来完成1在我们数据集的当前版本中，由于图像采集的限制，使用m14J. Zhuang等人图像分割地面实况预测失效原因AOLP数据集6877336B 7733模糊条件语义分割错误0750J0D750J0A0是阻塞的语义分割错误7250EK小行星7250E0750J0D750J0ą0是阻塞字符分类器错误媒体实验室数据集M1B6822M1B692极模糊状态M010312H01 6312极模糊状态B183886B1B 3886模糊条件语义分割错误M1A2326M1A2328A6是被屏蔽的语义分割错误ZZY4006ZZY406 6A0是阻塞的语义分割错误NEG027东北6027ąG是变形字符分类器错误YBB7799YBB7795A9是被屏蔽的语义分割错误YYX4317YN X4317模糊条件语义分割错误YXZ5790YK Z5790ąX是变形字符分类器错误见图8。AOLP数据集和媒体实验室数据集的误差研究。这里，还为每个样本提供了导致故障的处理组件（语义分割或字符分类器）最好在颜色整个车牌的识别基准数据集上的实验结果特别是，错误的研究表明，我们所提出的方法的性能是非常接近人类的水平，这使得我们的方法适用于真实的系统，即使是复杂的场景。在未来的工作中，我们计划增加更多的组件到建议的框架，以支持更多类型的车牌。6确认这项工作得到了国家自然科学基金61673362号基金、中国科学院青年创新促进会和中央大学基础研究基金的部分支持。面向人级的车牌识别15引用1. Adorni，G.，Bergenti，F.，Cagnoni，S.：基于元胞自动机的汽车牌照识别。第四卷（1998年）2. Anagnostopoulos，C.N.E.，Anagnostopoulos，即Loumos，V.Kayafas，E.：一种应用于智能交通系统的车牌识别算法IEEE Transactions on IntelligentTransportation Systems（2006）3. Anagnostopoulos，C.N.E.，Anagnostopoulos，即Psorouras身份证Loumos，V.Kayafas ， E. ： 从 静 止 图 像 和 视 频 序 列 识 别 车 牌 ： 一 个 调 查 。 IEEETransactions on Intelligent Transportation Systems（2008）4. 阿特塔角Lempitsky，V.诺布尔J·A齐瑟曼，A.：交互式对象计数。In：ECCV（2014）5. Badrinarayanan，V.Kendall，A.，Cipolla，R.：Segnet：用于图像分割的深 度 卷 积 IEEE Transactions on Pattern Analysis and Machine Intelligence（2017）6. Bulan，O.，Kozitsky，V.，Ramesh，P.，Shreve，M.：具有深度定位和故障识别功能的免分割和注释车牌识别IEEE Transactions on IntelligentTransportation Systems（2017）7. 郑，T.K.，Chong，Y.S.，Tay，Y.H.：基于convnet-rnn的无分割车牌arXiv预印本arXiv：1701.06439（2017）8. Chen，L.C.，帕潘德里欧，G.，科基诺斯岛墨菲K Yuille，A.L.：Deeplab：使用深度卷积网络、atrous卷积和全连接crf的SE-mantic图像分割。IEEETransactions on Pattern Analysis and Machine Intelligence（2018）9. Cherng，S.，Fang，C.Y. Chen，C.P.，Chen，S.W.：基于视觉的驾驶员辅助系 统 中 附 近 运 动 车 辆 的 临 界 运 动 检 测 。 IEEE Transactions on IntelligentTransportation Systems（2009）10.Davies，P.，Emmott，N. Ayland，N.：车牌识别技术用于违章收费执法。在：运输应用的图像分析（1990年）11.Du ， S. ， Ibrahim ， M.Shehata ， M. ， Badawy ， W. ： 自 动 车 牌 识 别（ALPR）：最先进的评论。IEEE Transactions on Circuits and Systems forVideo Technology（2013）12.Duan，T.D.，Du，T.H.，T.V.，Hoang，N.V.：建立自动车牌识别系统。02The Dog（2005）13.Hegt ， H.A. ， De La Haye ， R.J. ， Khan ， N.A. ： 高 性 能 车 牌 识 别 系 统（1998）14.许先生，G.S.，Alexandra，P.Chen，J.C.，叶，F.，Chen，M.H.：车牌识别，分类应用程序。03 The Dog（2011）15.许先生，G.S.，Chen，J.C.，钟耀智：面向应用的车牌识别。IEEETransactions on Vehicular Technology（2013）16.Huang Y.S. Weng，Y.S.，Zhou，M.：平行铁路平交道口交通控制系统关键场 景 及 其 识 别 。 IEEE Transactions on Intel- ligent Transportation Systems（2010）17.Jia，Y.，Shelhamer，E.，Donahue，J.，Karayev，S.，朗J格尔希克河瓜达尔-拉马，S.，达雷尔，T.：Caffe：用于快速特征嵌入的卷积架构In：ACM MM（2014）18.Kim，K.K.，Kim K金，J.，Kim，H.J.：基于学习的车牌识别方法。神经网络信号处理（Neural Networks for Signal Processing）（2000）19.Krizhevsky，A.，萨茨克弗岛Hinton，G.E.：使用深度卷积神经网络的图像网分类在：NIPS（2012）16J. Zhuang等人20. Lempitsky，V.齐瑟曼，A.：学习计算图像中的物体NIPS（2010）21.Li，H.，沈C：使用深度卷积神经网络和lstms读取汽车牌照。arXiv预印本arXiv：1601.05610（2016）22.刘伟，Anguelov，D.，Erhan，D.，塞格迪角Reed，S.，Fu，C.Y.，Berg，A.C.：Ssd：单发多盒探测器。In：ECCV（2016）23.Liu，X.，中国科学院院士，王志，冯杰，Xi，H.：压缩域中的高速公路车辆计数见：CVPR（2016）24.朗J Shelhamer，E.，达雷尔，T.：用于语义分段的全卷积网络。参见：CVPR（2015）25.马苏德，S.Z.，Shu，G.，Dehghan，A.，Ortiz，E.G.：使用深度学习的卷积神经网络进行车牌检测和识别。arXiv预印本arXiv：1703.07330（2017）26.内托，T.，Tsukada，T.，山田K. Kozuka，K.，Yamamoto，S.：外部环境下鲁棒IEEE Transactions on Vehicular Technology（2000）27.Nijhuis，J.，Ter Brugge，M.，Helmholt，K.，Pluim，J.，Spaanenburg，L.维 内 马 河 Westenberg ， M. ： 汽 车 牌 照 识 别 与 神 经 网 络 和 模 糊 逻 辑（1995）28.Omitaomu，O.A.，Ganguly，A.R.，巴顿，B.W.，Protopescu，V.A.：辐射传感器数据异常检测及其在运输安全中的应用IEEE Transactions onIntelligent Transportation Systems（2009）29.Parizi，S.N.，Targhi，A.T.，Aghazadeh，O.，Eklundh，J.O.：使用通用结构化对象检测和签名识别方法读取街道标志。02 The Dog（2009）30.塞格迪角Vanhoucke，V.，Ioffe，S.，Shlens，J.，Wojna，Z.：重新思考计算机视觉的接收架构。见：CVPR（2016）31.王福，曼湖王，B.，肖，Y.，Pan，W.，Lu，X.：基于模糊的车牌颜色识别02 The Dog of the Woman（2008）32. 吴，Y.，李杰：使用深度fcn进行车牌识别在：ICCSSP（2016）33.Yamaguchi，K. Nagaya，Y.，上田K.根本H. Nakagawa，M.：使用模板匹配识别特定车辆的方法（1999）34.Yu，M.，Kim，Y.D.：一种基于垂直边缘匹配的韩国车牌识别方法（2000）35.Zhu，S.，Dianat，S.，Mestha，L.K.：端到端的车牌定位与识别系统。JEI（2015）