智能交通系统的机器学习应用与硬件设备性能评估 - 沙特国王大学学报2021

制作和主办：Elsevier沙特国王大学学报智能交通系统：机器学习放大图片作者Issam Damaja，Salwa K.Al Khatiba，Tarek Naousb，Wafic Lawanda，Zainab Z.Abdelrazzaka，c，侯赛因·T Mouftahda黎巴嫩，Debbieh，贝鲁特阿拉伯大学，电子和计算机工程系b贝鲁特美国大学电子和计算机工程系，黎巴嫩c贝鲁特阿拉伯大学机械工程系，黎巴嫩d加拿大渥太华渥太华大学电气工程和计算机科学学院阿提奇莱因福奥文章历史记录：收到2021年2021年7月3日修订2021年7月25日接受在线预订2021年保留字：智能交通系统机器学习硬件设备性能评估分类A B S T R A C T智能交通系统（ITS）包括各种各样的应用和服务，其日益增加的复杂性对高性能的现代硬件设备（MHD）提出了必要性。随着在大规模环境中部署的机器学习（ML）技术的集成，性能挑战变得更加明显。ML通过为传统统计和分析方法解决的问题提供高效和优化的解决方案，有效地支持了ITS领域。在机器学习时代解决ITS的硬件部署需求是一个具有挑战性的问题，涉及时间，空间，环境和经济因素。本文综述了近年来关于ML驱动的ITS的文献，其中使用了MHD，重点是性能指标。然后合成一个分类法，完整地表示了被调查的ITS在ML技术和技术基础设施方面的当前能力。为了减轻在选择合适的ML技术和MHD的ITS具有特定的复杂性级别的非平凡的任务所面临的困难，提出了一个性能评估框架。该调查为开发合适的硬件奠定了基础，促进了ITS中ML的集成，并弥合了研究和实际部署之间的差距。版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。内容1.导言59222.用于ML驱动的ITS应用的MHD 59242.1.ITS应用59242.2.多用途器械59282.3.专业设备59282.4.混合器件59293.分类和性能模型59293.1.ITS分类和性能模型59313.2.ML分类和性能模型5931*通讯作者：贝鲁特阿拉伯大学Debbieh校区工程学院电子和计算机工程系，邮政编码：Box 11-50-20，里亚德埃尔索尔11072809，黎巴嫩.电子邮件地址：i. bau.edu.lb（I. Damaj）。沙特国王大学负责同行审查https://doi.org/10.1016/j.jksuci.2021.07.0201319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comI. Damaj，S.K.Al Khatib，T.Naous等人沙特国王大学学报59223.3.MHD分类和性能模型59324.第5934章计划4.1.交叉配血评价表59344.2.选择模型概念59355.讨论59355.1.验证59355.2.常见做法59365.3.限制和未来方向的指针59376.结论5939竞争利益声明参考文献59391. 介绍在过去的几十年里，ITS作为一门有前途的学科，为交通领域带来了革命性的变化，解决了常见的交通和车辆相关问题，引起了越来越多的研究兴趣ITS包括大量相互关联的工程壮举，这些工程壮举作为一个实体，用于从技术、社会、经济和环境方面优化网络规模的旅行体验。 这种优化需要信息和通信技术、电子传感器、控制系统和计算机的进步，这突出了现代ITS的数据驱动性质（Zhang etal.，2011;An等人， 2011年）。 通过获取和分析相关数据，ITS可以通过几种控制和协调算法有效地管理计算硬件资源，从而更好地为旅行者提供便利，降低燃料消耗，并增强交通流量（Meneguette etal.，2018年）。ITS是一个广泛的主题，包括许多主题，其中每一个子主题都是其自身的研究挑战。大量的研究已经解决了这些问题，但它们可以分为几个领域，包括先进的交通管理系统，先进的旅行者信息系统，先进的车辆控制系统，先进的公共交通系统，商用车辆运营和农村交通系统（Sussman，2005）。ITS应用的复杂性需要能够分析大量数据的计算功能强大的算法，特别是在大数据时代，以及能够实时获得准确结果的有效方便地，ML包括各种各样的这样的算法，这些算法被设计用于在不同的学习场景中进行分类、回归、排名、聚类和降维，所述不同的学习场景诸如有监督的、无监督的、半监督的、在线的、强化的或主动学习（Mohri等人， 2018年）以及联邦学习。 因此，ML（包括深度学习（DL））被证明对于各种应用至关重要，包括但不限于文本或文档分类、自然语言处理、语音处理、计算机视觉等（Mohri等人，2018年）。从这一点出发，它对ITS应用程序在处理与车辆、道路、交通、乘客和许多其他人的不同特征有关的大量数据以执行检测、识别和预测所涉及的不同参数以进行交通系统的这些可以包括车辆类型识别、车道检测、车辆跟踪、交通速度估计等。因此，在车载单元（OBU）和路边单元（RSU）中需要能够满足ML算法的不同计算要求的硬件设备。图形处理单元（GPU）、中央处理单元（CPU）、微控制器单元（MCU ）、现场可编程门阵列（FPGA）、专用集成电路（ASIC）等MHD的集合为ITS的应用提供了广阔的前景。由于其可访问性、可靠性、成本效益和性能规格，根据特定ITS应用所需ML技术的计算复杂度，基于包括计算性能、灵活性、功耗和计算资源的特定性能指标来选择MHD（Velez等人， 2015年）。ITS已经成为充满活力的研究课题，充满了众多的挑战，这促使进行彻底的文献调查MHD在ML驱动的ITS应用。这些应用中的一些，以及常用的MHD和ML技术，可以在图1中看到。该领域包括数据源、硬件单元、传感器、基础结构、通信技术和智能控制的复杂网络（Meneguette等人，2018年）。诸如车辆路线、交叉口管理、协调停车等应用需要利用能够实时计算和优化的系统，这些任务由ML模型方便地执行这样的任务引发了对包括在线学习在内的高级ML技术的需求（Ser等人， 2019年），或最近的联邦学习（MManias和Shamianias和Shami，2021年），由于它们能够对大量数据执行实时计算，因此在ITS系统中采用。这些要求苛刻的计算迫切需要先进的集体资源来训练和测试模型，并提出了选择合适的硬件单元的挑战。为此，硬件资源必须有效地接收和处理大量数据，以满足大规模学习模型的需求对于这种大型设置，例如在联邦学习中，该设备不仅用于在推理时为ML模型提供服务，而且还用于在ITS单元共同收集的更新数据上重新训练模型因此，仔细考虑部署中使用的硬件设备的类型非常重要，特别是随着智能城市和连接和自动驾驶车辆等大规模应用的当涉及到运输中的众多硬件单元时系统中，涉及许多具有挑战性的时间、空间、环境、经济和性能因素。因此，必须仔细选择硬件单元，以满足学习模型的需求，同时减轻这些挑战的影响。对现有调查的全面审查表明，缺乏对用于在ITS应用程序中运行ML技术的MHD的由于连接的车辆、火车或任何运输模式中的常见嵌入式硬件单元与其他计算适合的处理器相比通常具有有限的能力，因此存在探索其他处理器技术的需要这些单元必须能够接收和分析大量数据，同时获得吸引人的性能特征。这种单元的实例是汽车级（AG）（Yalla等人，2015; Sistu等人，2019年）和现成的硬件，学习模型很容易部署在其上，促进了测试ITS中不同场景的过程为此，我们的研究目标如下：I. Damaj，S.K.Al Khatib，T.Naous等人沙特国王大学学报5923Fig. 1. ITS在车辆控制和交通管理中的应用，重点是MHD和ML技术的多样化采用。介绍ITS中ML可以受益的文献中的不同应用，并介绍用于解决每个应用的学习模型。确定用于满足ML驱动的ITS应用程序需求的硬件设备。具体来说，我们的调查侧重于处理技术，而不是传感器或通信接口。确定ML技术和MHD的选择因素。综合不同的基本分类法限制在特定的文章上下文。我们提出的分类法只考虑了先进车辆控制和交通管理系统领域内的ITS应用，用于解决这两个领域内各种问题的ML技术，用于测试，验证或实际部署的处理设备，以及提供复杂性或能力指标的性能特征。为ITS应用程序、ML技术和硬件设备特性开发一个性能评估框架，使这三个领域之间的交叉匹配能够反映它们如何交织。通过在一系列精心挑选的调查中应用所开发的框架来验证其可行性。分析论文背景下的共同和良好做法，并确定有希望的使用模式与成就。确定重要的限制和差距，并在指定的论文背景下完善一套未来方向在检索待调查文献期间，遵循系统方案，如下所示。使用的学术搜索引擎是IEEE Xplore数字图书馆，ScienceDirect和SpringerLink。在搜索过程中使用了以下关键词的几种组合：智能交通系统，交通管理，车辆控制，人工智能，机器学习，深度学习、计算机视觉、硬件设备、车载单元和路边单元。最后，为了保持这项调查的范围与时俱进，只考虑截至2014年的出版物。本文采用的研究方法如下：● 制定搜索协议● 查阅文献● 对已调查的调查进行分类● 发展分类学● 制定和验证评价框架● 分析调查结果并提出建议● 以开放性研究问题结束虽然有大量的调查在ITS内的各个领域，还没有调查已经解决了潜在的MHD，可以部署为ML驱动的ITS应用程序的适用性。文献中的几项调查对ITS应用进行了彻底的调查，其中数据驱动的解决方案具有很大的影响，从而能够使用机器和深度学习技术（Veres和Moussa，2019;Zhang等人，2011年; Zhu等人，2018年）。在这些调查中，有些调查完全侧重于特定领域在先进的车辆控制中（Arnold等人，2019;Kuutti等人，2021; Martinez等人，2017 a，b）或高级交通管理（Chen等人，2015; Datondji等人，2016; Jensen等人，2016年）。Shi等人（2017）介绍了用于自动驾驶车辆视觉感知系统的硬件设备。此外，Guerrero-Ibáñez等人（2018）对ITS考虑的不同传感器技术进行了调查。然而，这些调查都没有考虑MHD需要满足所考虑的应用程序和所使用的ML技术的潜在复杂要求。在文献中，存在解决用于ML模型的有效操作的硬件设备的开发的可用调查（Sze等人，2017年;Dabrib等人， ），但这些●●●●●●●●I. Damaj，S.K.Al Khatib，T.Naous等人沙特国王大学学报5924调查仍然是一般性的，没有考虑ITS应用的要求及其影响。因此，据我们所知，我们的工作是文献中第一个探索符合ITS和ML高性能操作要求的MHD的工作本文的结构，使第2节彻底调查MHD ML驱动的ITS应用的文献 在第3节中，与ITS、ML和MHD相关的综合分类法以及它们开发的性能模型一起呈现。在第4节中，提出了交叉匹配评估图和选择模型的建议框架第5节提供了一个深入的讨论，包括验证开发的模型，分析共同的和良好的做法，确定差距和限制，并完善了一套丰富的未来工作建议。结论性意见、开放性研究问题和其他未来方向见第6节。2. 用于ML驱动的ITS应用的MHD对最近文献的全面回顾引起了人们对在MHD上实施ML技术以解决与车辆控制和交通管理有关的常见ITS问题的广泛研究的关注。这些问题涉及获取数据以进行进一步处理和分析，同时实现实时要求.因此，合适的ML算法的训练和测试进行，并通过性能评估与类似的工作进行比较。作者选择了不同的硬件设备，分为三大类：多用途设备（MD）、专用设备（SD）和混合设备（HD）。MD被定义为由于其可重编程性而能够执行各种计算任务的硬件设备。相比之下，SD是专门为所需应用设计和优化的SD。然而，HD是将上述两种类型结合起来，通过将硬件/软件协同设计，预处理和协同处理功能带到桌面上来实现独特的结果。文献表明，实现的模型- els在某些MHD上比其他人表现得更好，当涉及到ITS应用程序的时间和精度要求。本节调查了这方面的最新工作，并首先从ITS的角度，然后根据上述三个硬件类别，讨论了它们的性能。表1显示了调查文章的分类，按时间顺序对智能交通系统进行了分类，介绍了智能交通系统所使用的硬件设备、机器学习算法和智能交通系统的应用。识别的硬件设备是调查中使用的主要硬件设备，因为几项调查使用辅助硬件设备进行培训和/或预处理。每篇参考文献还强调了影响每篇文章中硬件设备和ML算法选择的不同因素。这些选择因素在论文中通过从文本中推断或找到明确提到的这些因素来确定。对于ML算法，选择因素如下：性能反映了训练和推理时间，准确性反映了模型产生正确结果的能力，鲁棒性反映了算法处理输入数据变化的能力，复杂性反映了模型的计算量。对于MHD，选择因素定义如下：性能反映了设备的处理能力，灵活性反映了每个设备的可重构程度，功耗反映了作者旨在开发节能实现，资源反映了设备可以提供多少计算资源。在表1中，L-CNN代表基于查找的卷积神经网络，SE-ResNet代表挤压和激励残差网络，GCGA代表图卷积生成自动编码器。上标对应于ML用途其中，“train”表示训练，“inf”表示推理，“on”表示在线学习，“pre”表示预处理，“data”表示数据采集。类似地，ITS应用程序列中的上标对应于ITS应用程序的范围，其中调查的文献不仅描述了用于理论测试和培训目的的ML技术（模拟），而且还描述了那些有可能在实际ITS场景中实现的ML技术（物理ITS原型和物理ITS实际部署），如表1所示。虽然所调查的文章的主要部分仅仅是模拟，其中所提出的方法在CPU或GPU上模拟，即（Dairi等人，2018;Hassannejad等人，2015; Königshof等人，2019; Wont等人，2018年; Chen等人，2017年; Kokolan和Ohashi，2015年; Kuang等人，2016; Nguyen等人，2016; Chen和Huang，2016; Gudigar等人，2019年; Chen等人，2014; Tian等人， 2019年; Li等人， 2018;Wang 和 Zhou ， 2018;Sanz-Madoz 等 人 ，2019; Lee 和 Kim ，2018;Luo等人，2017; Zhu等人，2017年; Jin等人，2014年; Lu等人，2016;Yuan等人，2016; Shi等人，2015; Deng等人，2020; Outay等人，2019年; Li等人，2019年; Wang等人，2017; de Paula和Jung，2015;Abughalieh 和 Alawneh ， 2020; Gkolias 和 Vlahogianni ，2019;Chen等人，2017; Soon等人， 2018; Shvai等人， 2020; Wang等人，2017年; Xie等人，2018年; Hu等人，2015年; Fang等人，2016;Bulan等人，2017; Yu和Gu，2019; Ke等人，2018; Chung和Sohn，2017; Cecilia等人，2018年; Shi等人，2016; Vu等人，二〇一七年;Ke等人，2018; Singh和Mohan，2018; Lee和Min，2018; Du例如，2020; Zang等人，2018年; Zheng等人，2019; Zhan等人，2018年），其他人实现甚至部署了所提出的ML技术。另一方面，作者在 （ Chen 等 人 ，2013;Hsiao 等 人 ， 2014 年 ; Khan 等 人 ， 2016;Sangeetha和Deepa，2017;Hsiao等人，2016; Cabanes等人，2019年;Lee等人，2016;Giesemann等人，2014; Weng和Chiu，2018; Lyu等人，2018;Jing等人，2017; Mhalla等人，2018; Khan等人，2016;Dey等人， 2018年，开发了物理ITS原型。也就是说，他们在FPGA、MCU和计算机板等设备上开发了硬件实现，但只使用现有的数据集测试了他们的方法。然而，在（Hsiao等人，2015年;陈例如，2019;Heredia和Barros-Gavilanes，2019; Han等人，2017年; Wu等人，2019; Alonso 等 人 ， 2015; Vasconcelos 等 人 ， 2017; Panahi 和Gholampour ， 2016; Khan 等 人 ，2016; Wang 等 人 ， 2019;Campoverde和Barros，2019; Hu等人，2014;Magrini等人，2015;Hu 等 人 ， 2014; Vinh ， 2015; Zhou 等 人 ， 2016; Asmara 等 人 ，2020），除了使用目标ITS应用的真实数据进行测试外，还开发了硬件实现。因此，这种工作代表了所提出的技术的实际物理ITS实际部署，因为它在实际场景中运行，这些场景涉及使用摄像机和传感器作为MHD上部署的ML技术的输入的数据收集。2.1. 的应用如表1所示，有相当多的文献致力于解决常见的ITS问题，其中之一就是目标检测。 In Hsiao et al. （2014），边缘特征提取与ML相结合来检测车辆，而DL在Chen等人（2019）中被部署用于全景视频检测。夜间车辆检测是Kokolan和Ohashi（2015）的重点，其中ML用于车灯的斑点检测，Kuang等人（2016）将生物启发的图像增强与DL和ML相结合，用于在具有挑战性的场景中进行检测。DL在Nguyen等人（2016）中提出，具有局部模式和深度信息，用于检测，识别和跟踪车辆和行人。行人检测也在（Chen表1MHD、ML技术和ITS应用在调查论文中使用，按硬件类别分类，重点是选择因素和按时间顺序的部署趋势。硬件设备选择因素ML算法选择因素类别参考年硬件设备使用目的性能灵活性动力控制资源ML算法性能精度稳健性复杂性其应用范围Hu等人（2014年）ARM Cortex A9前U高斯混合UU目标检测部Hu等人（2014年）ARM Cortex A9系列，infU模型AdaBoostUU交通监察部Hsiao等（2014年）Xilinx Virtex-5preUU支持向量U目标检测部Chen等人（二零一三年）2014Intel Altera Stratix IIinfU机器（SVM）SVMU目标检测专业版Alonso等人（2015年）ARM Cortex M4F数据USVMU车辆分析部Hsiao et al.（2015）Magriniet al. （2015年）Khan等人（2016年）Xilinx Spartan-6系 列 ， inf ， 预定制基于ARM的MCU系列，inf英特尔Altera Cyclone IVinfUUUUSVM高斯混合模型SVMUUU目标检测部交通监察部目标检测专业版Hsiao等（2016年）Xilinx Spartan-6preUUAdaBoostU目标检测专业版Lee等人（2016年）Vasconcelos等人2016Xilinx Virtex-7预处理ARM Cortex A9系列，inf，开启UUSVMK-meansUUU车辆分析部指令识别（2017年）桑吉塔和Xilinx Virtex-5preUUSVMU目标检测专业版Deepa（2017）Jing等人（2017年）2017英特尔Altera Cyclone IVinfUU人工神经U交通检测专业Giesemann等人Xilinx Virtex-6infUU网络（ANN）SVMU指令（2014年）Lyu等人（2018年）Xilinx UltraScaleinfU卷积U道路检测专业神经网络Wu等人（2019年）Xilinx Artix-7infUU（美国有线电视新闻网）AdaBoostUU指令埃雷迪亚和巴罗斯-树莓派4infUSVM CNNUU目标检测部电影Gavilanes（2019）Chen等人（2019年）2019Xilinx Spartan-3infUU美国有线电视新闻网（CNN）UU目标检测部Asmara et al. （2020年）Raspberry Pi 3B+infUCNNUU交通预测部Jinet al. （2014年）Chen等人（2014年）2014NVIDIA Tesla C2075train，infNVIDIA Tesla K20train，infUUUUCNNHOG-SVMUU指令识别sim指令Nguyen等人NVIDIA Tesla K40train，infUTCNN R-TCNNUU识别sim物体检测sim（2016年）Chen等人（2017年）NVIDIA GeForce GTX 960train，infUCNNUU指令Chen等人（2017年）NVIDIA GeForce GTX 960train，infUK-meansU目标检测simBulan等人（2017年）NVIDIA GeForce GTX 570train，infUUCNNUUU交通检测模拟Kuang等（2016年）NVIDIA GeForce GTX 970train，infUCNNU物体检测模拟Lu等人（2016年）Yuan等人（2016）Fang etal. （2016年）2017NVIDIA Tesla C2075train，infNVIDIA GeForce GTX Titan Xtrain，infNVIDIA GeForce GTX Titan Xtrain，infUUUUM2-tMTL（ANN）SVMCNNUUUUU指令识别sim指令识别sim交通检测sim李和敏（2018）NVIDIA GeForce GTX 1080 Titrain，infU长短期U交通预测模拟Cecilia等人（2018）NVIDIA Tesla Kepler K40Ctrain，infUU存储器模糊极小U优化模拟I. Damaj，S.K.Al Khatib，T.Naous等人沙特国王大学学报5925Wang等人（2017年）NVIDIA Tesla K80train，infU全卷积U道路检测模拟Xie等人（2018年）NVIDIA GeForce GTX 980train，infU暹罗网络CNNUU交通检测模拟Zhu等人（2017年）NVIDIA GeForce GTX Titan Xtrain，infU完全卷积网络U指令识别sim（接下页）表1（续）硬件设备选择因素ML算法选择因素类参考文献年硬件设备使用目的性能灵活性动力控制资源ML算法性能精度稳健性复杂性其应用范围Wont等人（2018年）NVIDIA GeForce GTX Titan Xtrain，infUAggNet（CNN）U物体检测模拟Weng& Chiu（2018）Vu等人（2017年）郑和孙TSMC 90 nm预处理NVIDIA GeForce GTX 1050 Titrain，infNVIDIA Quadro K5200系列，infUUUUUSVMCNN美国有线电视新闻网UUUUU指令识别pro事件识别sim交通监控SIM卡（2017年）李和金（2018）Snapdragon TM 820A（GPU）train，infUCNNU指令Luo et al.（2017）Soon etal. （2018年）NVIDIA Titan Blacktrain，infNVIDIA GeForce GT 730train，infUUCNN美国有线电视新闻网UUUUU识别sim指令识别sim交通检测simWang等人（2017年）2018NVIDIA GeForce GTX 1080train，infUUCNNU交通检测模拟辛格和莫汉（2018）Tian等人（2019年）Königshof等人NVIDIA Tesla K20ctrain，infNVIDIA GeForce GTX Titan Xtrain，infNVIDIA GeForce GTX Titan Xtrain，infUUUU堆叠式自动编码器MSRA-NN（RNN）CNNUUUU事件识别sim指令识别sim目标检测sim（2019年）Li等人（2019年）NVIDIA GeForce GTX Titan Xtrain，infUUL-CNNU道路检测模拟Yu and Gu（2019）NVIDIA GeForce GTX 1080 Titrain，infUGCGAU交通监控SIM卡Li等人（2018年）王和周NVIDIA Titan Xptrain，infNVIDIA GeForce GTX 760train，infUUSE-ResNetCNNUU指令识别sim指令（2018年）Sanz-Madoz等人NVIDIA Geforce GTX 980train，infU极限学习UU识别sim指令（2019年）Ke等人（2018年）NVIDIA GeForce GTX 1080train，infU机器CNNU识别SIM卡交通监控SIM卡Zang等人（2018）NVIDIA GeForce GTX 1080train，infUUCNN长短-UU交通预测模拟Zheng等人（2019）NVIDIA GeForce GTX 1080 Titrain，infUterm内存CNN长短-UU交通预测模拟Shvai等人（2020年）NVIDIA Tesla K80train，infUterm内存CNNU交通检测模拟Du等（2020年）NVIDIA Tesla P100-PICEtrain，infU剩余长UUU交通预测模拟Deng等人（2020）NVIDIA Titan Xptrain，infU短期记忆CNNU车辆分析模拟Campoverde和NVIDIA GeForce GTX 1060train，infU深度神经UU交通检测部专门巴罗斯（2019）Abughalieh和2020NVIDIA GeForce GTX 1060train，infU网络（SSD）CNNU驾驶辅助SIM卡设备阿拉尼亚（2020）03 The Fantasy（2015）ARM Tiny4412主板信息UUSVMUU指令I. Damaj，S.K.Al Khatib，T.Naous等人沙特国王大学学报5926Khan等人（2016年）Xilinx Zynq-7000 SoCtrain，inf，preUUSVMUU交通监察部Zhou等人（2016年）Han等人（2017）Dey等人（2018）2018Xilinx Zynq-7000 SoCinf，preNVIDIA Jetson TX1infXilinx Zynq-7000 SoC系列，inf，上UUUUUSVMCNN美国有线电视新闻网UUUU指令识别部指令识别部交通监控部Wang等人（2019年）NVIDIA Jetson TK 1系列，infUUCNNU交通检测部Cabanes等人Xilinx Zynq-7000 SoCtrain，inf，preUSVMU目标检测专业版混合设备（2019年）Mhalla等人（2018）2019NVIDIA Tegra TX1系列，infU区域CNNU交通检测专业I. Damaj，S.K.Al Khatib，T.Naous等人沙特国王大学学报5927例 如 ， 2013 年 ; Khan 等 人 ， 2016; Sangeetha 和 Deepa ， 2017;Hsiao 等 人 ， 2016; Hsiao 等 人 ， 2015; Heredia 和 Barros-Gavilanes，2019）。Hsiao et al.（2016）和Hsiao et al.（2015）都采用了ML的背景图像分割，而Chen et al.，2013）使用ML与特征提取。Khan等人也使用了ML。（2016）用于高精度，内存高效的加速器，Sangeetha和Deepa（2017）用于多尺度，低成本，硬件高效的检测。在Heredia和Barros-Gavilanes（2019）中实现了多种分类算法，以检测行人，自行车和汽车。多目标检测也是Dairi等人（2018）使用基于DL的检测和Cabanes等人（2019）通过自动化原型步骤来减少执行时间的重点。此外，在Königshof等人，2019年）的报告。然而，对于小对象，在（Wont等人，2018年）。最后，为了检测移动对象，在Hassannejad等人（2015）中使用运动提取和具有集成学习的视觉特征来实现实时检测，并且在Chen等人（2015）中使用立体超像素边界分类来实现检测和运动估计。 2017年）。交通标志和交通信号灯的识别是ITS中一个常见的问题。交通标志识别在（Lee等人，2016; Gudigar等人，2019年 ; Han等人，2017;Weng和Chiu，2018; Chen等人，2014;Sanz-Madoz等人，2019; Luo等人，2017年; Jin等人，2014年; Lu等人，2016; Yuan等人，2016年;Vinh，2015; Zhou等人，2016年）。ML是用特征提取实现的（Lee等人，2016; Gudigar等人，2019年; Chen等人，2014）和计算机视觉（Weng和Chiu，2018）。此外，Lu et al.（2016）使用多任务学习实现了计算和内存成本性能的降低。DL在Han等人（2017）中与颜色和形状分割一起使用，在Sanz-Madoz等人，2019年）的报告。此外，使用DL，符号和文本为基础的分类实现在罗等。（2017），并在（Jin etal.，2014年）。值得注意的是，Yuan等人（2016）的ML方法实现了与DL相当的性能，但计算能力较低。在（Giesemann等人，2014;Tian等人，2019年; Li等人，2018; Lee和Kim，2018; Zhu等人， 2017年）。在Giesemann等人（2014）中，提出了具有图像分割的ML方法，而在Tian等人中采用了DL。（2019）用于高精度多尺度循环注意力分析，Li等人（2018）用于能够处理具有挑战性的视觉条件的端到端显着性模型，Lee和Kim（2018）用于鲁棒的低功耗检测，Zhu等人（2017）用于能够检测不同语言的有效框架。 此外，Vinh（2015）和Zhou et al.（2016）都分别部署了计算机视觉和ML技术来检测和识别交通标志。最后，（Chen和Huang，2016; Wu等人， 2019; Wang和Zhou，2018; Shi等人，2015）研究了交通灯检测，其中Chen和Huang（2016）和Shi等人（2015）部署了基于视觉的ML方法，而Wu等人（2019）使用集成学习来提高性能，Wang和Zhou（2018）提出了具有高动态范围成像的DL。其他几与汽车相关的挑战也吸引了近年来的关注例如，Alonso et al. （2015）利用计算机视觉和ML来使用道路表面条件检测天气状态。其他工作通过将ML技术应用于速度和加速度数据来研究驾驶员行为预测Vasconcelos等人。（2017）和通过使用DL跟踪眼球运动的驾驶员注意力评估（Deng等人， 2020年）。其他几项研究集中在与道路有关的问题上。例如，Lyu et al.（2018）实现了一种基于DL的道路分割算法来处理LiDAR数据，Li等人（2019）部署了一个端到端的DL系统来执行道路交通线检测，Wang等人（2017）实现了 一个DL模型来检测道路，而de Paula和Jung（2015）应用计算机视觉和ML来检测和分类道路车道标记。此外，为了增强雾天的能见度，Outay et al. （2019）利用ML的特征提取进行出色的可见性范围估计。 提出较少解决的驾驶问题的其他工作包括Abughalieh和Alawneh（2020）中使用具有深度传感的DL检测行人的过街意图，Gkolias和Vlahogianni（2019）中使用具有车载摄像头图像的DL检测路边停车位，以及Chen等人使用DL进行的鲁棒夜间转向信号检测和跟踪。（2017年）。文献中的多项研究都集中在交通监控上。也就是说，流量检测和分类被引入（Khan等人，2016; Wang等人，2019; Campoverde和Barros， 2019; Shvai等人， 2020; Mhalla 等人，2018; Wang 等人，2017年; Hu等人，2015年; Fang等人， 2016年）。 ML用于识别载剂类型和颜色（Khan等人，2016年）和汽车品牌使用多实例学习（胡等人， 2015年）。此外，DL被实施在一些调查的车辆类型识别。也就是说，它被用于分类在王等人。（2019），Mhalla等人（2018）中的挑战性场景检测，以及Wang等人（2019）中的迁移学习识别。 2017年）。此外，Campoverde和Barros（2019）在回收的智能手机上部署了DL模型，用于检测城市行为者和Shvai等人（2020）的自动收费。最后，将DL和ML应用于Fang中的车型识别等人（2016年）。其他问题包括识别车辆标志和牌照。例如，在Soon等人中实现了车辆标志识别。（2018）通过DL超参数优化。车牌识别由（Panahi和Gholampour，2016; Jing等人，2017; Bulan等人，2017年），其中ML在Panahi和Gholampour（2016年）中用于识别不清晰的车牌，Jing等人（2017年）实现了基于DL的光学字符识别，Bulan等人（2017年）实现了基于DL的无分割和无注释识别。最后，Xie et al. （2018）部署了一种基于DL的方法，用于在有限的计算资源下进行多方向车牌检测。研究人员在（Hu等人，2014; Magrini等人，2015; Khan等人，2016; Dey等人，2018; Yu和Gu，2019; Ke等人，2018年; Chung和Sohn，2017年）专注于实时监测交通和客流参数。例如，Hu等人（ 2014 ） 使 用 前 地 检 测 和 ML 来 计 算 乘 客 数 量 。 在 Magrini 等 人（2015）和Ke等人（2018）中，研究了交通流量估计，其中Magrini等人（2015）利用监控摄像头和具有有限内存和计算能力的ML，而Ke等人（2018）使用集成学习无人机数据。 Khan等人（2016）也使用ML进行队列长度，速度和计数估计，Chung和Sohn（2017）用于流量密度测量。此外，Yu和Gu（2019）使用DL架构生成了交通速度图。最后，Dey等人（2018）使用DL模型进行了流量负载表征，该模型即使在训练数据很少的情况下也被证明是有效的。交 通 参 数 预 测 是 文 献 中 偶 尔 遇 到 的 另 一 种 应 用 Lee 和 Min（2018）部署了一个长短期记忆DL模型来准确预测城市交通。Du等（2020）利用时空DL模型进行城市交通客流预测，优于传统方法和基于DL的方法。此外，Zang et al. （2018）应用多尺度时空DL方法进行长期交通速度预测。交通流预测也解决了在郑等人。（2019）和Zhan et al. （2018），其中Zheng等人（2019）提出了混合深度和嵌入式学习方法，Zhan等人使用了集成学习。（2018年）。最后，Asmara等人（2020）使用You Only See Once深度学习技术进行对象检测，解决了交通密度预测问题。I. Damaj，S.K.Al Khatib，T.Naous等人沙特国王大学学报59