自动驾驶中的深度学习和强化学习方法

沙特国王大学学报深度学习和强化学习方法在自动驾驶Badr Ben Elallida，Nabil Benallida，b， Nabil Benallid a，b，Abdelhakim SenhajiHaidic，TajjeeddineRachidib，Nabil Mraniaa摩洛哥Moulay Ismail大学IMAGE实验室b摩洛哥伊夫兰的Al Akhawayn大学c蒙特利尔区块链实验室，蒙特利尔大学计算机科学与运筹学系，蒙特利尔，QC H3C 3J7，加拿大阿提奇莱因福奥文章历史记录：2021年10月30日收到2022年3月7日修订2022年3月10日接受2022年4月9日在线发布关键词：自动驾驶深度学习强化学习运动规划决策车辆控制A B S T R A C T智能交通系统（ITS）和人工智能（AI）的最新进展刺激了自动驾驶汽车（AV）的广泛引入并铺平了道路。这为智能道路、智能交通安全和旅行者舒适度带来了新的机遇。近年来，自动驾驶汽车已经成为一个非常热门的研究课题，因为它们具有减少道路事故和人类伤害的显著能力。本文试图调查所有最近的人工智能为基础的技术，用于处理自动驾驶汽车的主要功能，即场景理解，运动规划，决策，车辆控制，社会行为和通信。我们的调查仅关注基于深度学习和我们的调查建立了一个DL和RL算法的分类，到目前为止，这些算法已被用于为自动驾驶中的四个主要问题提供解决方案最后，本调查强调了开放的挑战，并指出了未来可能的研究方向。版权所有©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY许可下的文章（http://creativecommons.org/licenses/by/4.0/）。内容1.导言1.1.现有调查73681.2.当前调查73681.3.审查程序73681.4.本次调查的范围2.深度学习和强化学习：简介73702.1.深度学习73702.2.强化学习73703.自动驾驶汽车73714.自动驾驶汽车中基于深度学习的方法4.1.场景理解73724.1.1.公路场景73724.1.2.物体检测73734.2.运动规划73754.2.1.运动命令预测73754.2.2.轨迹预测73754.3.决策73774.4.溶剂对照73774.4.1.横向控制7378*通讯作者。电子邮件地址：badr. edu.umi.ac.ma（B.B. Elallid），n. benjami@umi. ac.ma（N. Benefit）。https://doi.org/10.1016/j.jksuci.2022.03.0131319-1578/©2022作者。由Elsevier B.V.代表沙特国王大学出版。这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comBadr Ben Elallid，N.Benabel，Abdelhakim Senhaji Haupir等人沙特国王大学学报73674.4.2.纵向控制73784.4.3.横向纵向控制73784.5.自动驾驶汽车的社会行为4.6.通信73805.基于强化学习的自动驾驶汽车方法73815.1.决策73815.2.运动规划73815.3.溶剂对照73835.4.自动驾驶汽车的社会行为6.开放的研究问题和未来的方向73856.1.场景理解73856.2.运动规划73866.3.决策73866.4.溶剂对照73866.5.自动驾驶汽车的社会行为6.6.通信73877.结论7387竞争利益声明参考文献73871. 介绍道路伤害是世界上造成死亡的主要原因之一。世界卫生组织（世卫组织）的最新报告显示，每年约有130万人死于道路事故（Be，2021年）。这一惊人的数字中有一半以上是弱势道路使用者，即行人、自行车和摩托车。 其他研究表明，在所有VRU受害者中，行人仍然是绝大多数受害者（ElHamdani等人，2020年）。人工智能自动驾驶和辅助驾驶焦点小组（FG-AI 4AD）最近的一项研究强调，道路伤害已经是儿童死亡的主要原因，远远超过艾滋病毒和结核病造成的死亡（Vellinga和为了减少道路伤害并解决这些挑战，车辆网络（VANELS）和自动驾驶车辆（AV）已经获得学术界和工业界越来越多的兴趣。预计这些技术将有效减少与汽车相关的死亡和伤害，并解决各种长期存在的交通挑战，即道路拥堵，旅行延误，停车和安全。在Singh（2015）中，据报道，90%的汽车事故估计是人为错误的后果。智能交通系统（ITS），计算系统和人工智能（AI）的最新进展刺激并为广泛引入AV铺平了道路。这为智能道路、智能交通安全和旅行者舒适度带来了新的机遇。研究人员估计，到2025年，将有800万辆自动驾驶汽车上路（Bay，2021）。然而，由于过去的一些事件，AV的普及受到了阻碍。尽管研究人员和汽车制造商仍在研究解决相关问题和剩余挑战的不同方法（Hussain和Zeadally，2018）。自动驾驶汽车通常与自动驾驶汽车互换使用，能够感知其环境并在没有人类参与的情况下做出决策。自动驾驶车辆彼此协作地收集和共享信息，与路边基础设施以及与VRU协作地收集和共享信息（Lamssaggad等人，2021年）。依靠车辆通信，AV在交通堵塞或事故的情况下交换安全消息、交通状况和警告消息。无人驾驶汽车主要依靠传感器、执行器、复杂算法、人工智能技术和强大的计算资源来运行软件。因此，自动驾驶汽车能够处理复杂的道路情况，显著提高了使用者的安全性、舒适性和便利性。汽车工程师协会（SAE）定义了6个级别的驾驶自动化，从全手动到全自动（自动驾驶汽车，2021年）。级别0和级别1的特征在于无驾驶辅助，而级别2的特征在于部分驾驶辅助。3级车辆具有“环境检测”功能，在没有人为干预的情况下几乎无法做出明智的决定，例如加速超过缓慢行驶的车辆，而在4级（高驾驶自动化）中，驾驶员仍然可以选择在系统故障的情况下最后，5级是完全驾驶自动化，其中在所有情况下都不需要驾驶员（Ma等人， 2020年）。为了使5级车辆成为可能，它要求车辆具有像人类驾驶员一样的“思考”，“感知”和“反应”能力。人工智能在不同领域的最新成就，特别是在图像分类，对象检测和语音识别方面，导致越来越多地使用人工智能技术，例如作为深度学习（DL）和强化学习（RL）来实现5级车辆。基于DL的方法使许多研究以解决自动驾驶中的各种挑战性问题，例如准确识别和定位道路上的障碍物、适当的车辆控制和运动规划。本文试图综述最近用于处理AVS主要功能的基于AI的技术，即场景理解、运动规划、决策、车辆控制、社会行为和通信。我们的调查仅关注基于DL和RL的方法，因此忽略了包括基于浅层机器学习（ML）的技术，这是过去已经广泛研究的主题（Qayyum等人，2019; Elassad等人， 2020年）。传统的ML方法在实现AV的主要功能方面显示出其场景理解和运动规划）。这促使我们将我们的调查限制在DL和RL方法上，以显示它们在实现这些功能方面的潜力。DL和RL技术以其改善AV任务的能力而闻名。例如，DL在物体检测方面表现出了良好的效果，这使得它适用于自动驾驶中的场景理解。RL已成功用于其他领域，如游戏和机器人，其中有需要从环境中学习。近年来，强化学习技术因其良好的应用前景而引起了视听研究界的广泛关注。Badr Ben Elallid，N.Benabel，Abdelhakim Senhaji Haupir等人沙特国王大学学报7368审查安排如下。第一部分讨论了现有的调查，并强调了我们旨在填补目前调查的差距第二节简要介绍了应用于AV的DL和RL方法第三节介绍了AV的不同第IV节介绍了最近应用于AV的基于DL的方法。第五部分介绍了现有的基于RL的方法，旨在解决自动驾驶的问题第六节提出了开放的研究问题和未来的研究方向。最后，第七节对全文进行了总结.缩略语总结见图。7.第一次会议。1.1. 现有调查文献中有几项调查研究了自动驾驶汽车技术的不同方面（Ohn-Bar和Trivedi，2016年; Xue等人， 2018; Elassad等人， 2020; Qayyum等人，2019; Hussain和Zeadally，2018; Kuutti等人，2020;Rasouli和 Tsotsos ， 2019; Ma 等 人 ， 2020; Claussmann 等 人 ， 2019;Grigorescu等人，2020; Tong等人，2019; Deb等人，2018;Feng等人，2020; Ning等人，2021; Severino等人，2021年）。然而，这些调查中的大多数都没有详细讨论人工智能技术在自动驾驶汽车不同应用中的 使 用 ， 更 没 有 详 细 讨 论 DL 和 RL 的 使 用 。 Ohn-Bar 和 Trivedi（2016）讨论了下一代智能车辆中人类行为的理解、建模和预测，例如人类与自动驾驶车辆内部或周围车辆之间的交互。Xue等人（2018）调查了自动驾驶汽车中交通场景理解的功能以及该功能如何提供帮助事件检测和意图预测。Elassad等人（2020）比较了机器学习（ML）模型和非ML模型之间的估计准确性;他们确定了ML技术用于评估驾驶行为的优势和劣势。Qayyum et al.（2019）讨论了与ML在车载网络中的应用相关的挑战，并强调了采用ML方法所导致的不同安全问题。Hussain和Zeadally（2018）对自动驾驶汽车技术进行了全面此外，他们还介绍了针对自动驾驶汽车技术优化的ML和DL的最新发展。然而，这项工作涵盖了几个DL技术仅限于几个方面，即感知，通信和控制，并完全排除了RL技术。Kuutti等人（2020）讨论了控制AV的DL方法及其在复杂场景中的良好性能作者提出了现有的DL方法应用于自主车辆控制的优势和局限性。然而，它们并没有涵盖自动驾驶的其他主要方面。Rasouli和Tsotsos（2019）根据行人的人口统计数据，交通动态和环境条件审查了不同的行人行为。然后，他们研究了不同的方法来分析行人在交叉口的行为。然而，作者没有涵盖DL和RL技术，以改善行人和自动驾驶汽车之间的通信。Ma等人（2020）分析了当前使用人工智能技术进行自动驾驶的实践，并讨论了与其实施相关的挑战和问题。然而，他们并没有关注基于DL和RL的方法。Claussmann等人（2019）对运动规划技术进行了回顾;他们的重点是公路规划。他们讨论了运动规划中的主要算法及其在高速公路驾驶然而，他们没有具体展示DL和RL在AV这一领域Grigorescu等人（2020）研究了自动驾驶中使用的DL技术，并强调了该技术在场景感知、路径规划、行为仲裁和运动控制方面的优势和局限性。他们强调了当前关于自动驾驶AI架构设计的主要挑战。Tong et al.（2019）讨论了车联网（V2X）应用的人工智能方法以及这些方法相对于传统算法的性能;他们还讨论了人工智能在从不同来源获取信息方面的作用然而，他们只关注车对车（V2V）和V2X中的信息共享问题。Deb等人（2018）回顾了行人与全自动驾驶汽车的互动;他们强调了行人的新行为，这可能导致潜在的风险，需要在自动驾驶汽车上路之前识别。然而，他们没有研究DL和RL方法在实时准确检测行人意图方面的作用 Feng等人（2020）提出了应用于自动驾驶的对象检测和分割系统。他们提出了与这些检测方法有关的挑战和未决问题。Arnold等人（2019）调查了3D物体检测方法，以及AV中常用的传感器和数据集。此外，作者讨论了基于传感器模态的最新贡献，并将其分为三个主要类别：单目，基于点云和融合方法。然而，这项调查并不包括DL方法。Ning等人（2021）介绍了用于自动驾驶的现有AI架构。他们总结了这些架构的局限性，并引入了人工智能（H-AI）的概念; H-AI被认为是未来自动驾驶发展的新视角。他们还提出了开放的研究挑战，以解决在未来。然而，他们没有涵盖未来可能改善H-AI的基于AI的解决方案。Severino等人（2021）讨论了道路标记、交叉路口和路面对自动驾驶汽车运行的影响，特别是驾驶时检测环境的影响。他们还提出了一些技术问题，所造成的实施自动驾驶系统。1.2. 目前的调查我们的结论是，现有的调查并没有提供一个全面的覆盖使用DL和RL技术，以解决与场景理解，运动规划，决策，车辆控制，社会行为和通信相关的AV中的主要问题。这促使我们填补了文献中的这一空白，提出了一项新的调查，致力于研究迄今为止应用于自动驾驶领域的大量DL和RL技术。表1概述了现有调查的覆盖范围。当前的调查揭示了DL和RL方法在自动驾驶汽车不同方面的潜力，并展示了在该领域可以实现的目标。与现有的自动驾驶调查不同，本文是第一个专注于DL和RL技术在实现自动驾驶汽车的主要功能。与其他调查相比，目前的工作讨论了DL和RL在自动驾驶中带来的改进，这些改进可以克服传统ML技术的局限性1.3. 审查程序为了收集相关的学术论文和资源，我们使用了大多数数字图书馆（例如，IEEE Xplore数字图书馆、Science Direct和Springer Link）和用于书目数据库的流行搜索引擎（例如，Google Scholar）。表1相关调查文件的比较。年纸论文引用调查主题场景理解运动规划决策车辆控制社会行为通信传统技术的局限性专注于DL和RL技术2016Ohn-Bar和Trivedi174在自动驾驶和高度自动化的汽车U×××U××U2018（2016年）Xue等人（2018年）128基于事件推理的自动驾驶U×××U××U2018侯赛因和泽阿德利230自动驾驶汽车：研究成果、问题和未来挑战U×UUUU×U2018（2018年）Deb等人（2018年）96行人××××U×××2019卡尤姆等人（2019年）239保护互联自动驾驶汽车：对抗性机器学习带来的挑战和前进×××××UUU2019Claussmann等人（2019年）200高速公路自动驾驶×UU×××××2019Tong等人（2019年）151车联网人工智能研究综述×××××UU×2019Arnold etal.（2019年）70面向自动驾驶的三维目标检测方法综述U×××××UU2020Elassad等人（2020年）106机器学习技术在驾驶行为分析中的应用：概念框架和系统××××U×U×2020Rasouli和Tsotsos156文献综述与行人互动的自动驾驶汽车：理论与实践调查U×××UU××2020（2019年）Kuutti等人（2020年）230深度学习在自动驾驶汽车控制中的应用综述×××U×××U2020Ma等人（2020年）117人工智能在自动驾驶汽车开发中的应用：综述UUU××U×U2020Grigorescu等人（2020年）168用于自动驾驶的UU×U×××U2020Feng等人（2020年）253自动驾驶的深度多模态对象检测和语义分割：数据集、方法和挑战U××××××U2021Ning等人（2021年）154面向自动驾驶×U××××U×2021Severino等人（2021年）48自动驾驶汽车：其独特性及其对城市交通系统的潜在影响×U××××U×我们UUUUUUUUBadr Ben Elallid，N.Benabel，Abdelhakim Senhaji Haupir等人沙特国王大学学报7369Badr Ben Elallid，N.Benabel，Abdelhakim Senhaji Haupir等人沙特国王大学学报737022我们选择了论文，我们在这次调查中覆盖，遵循这些标准：1) 论文必须涉及在AV中使用DL或RL技术。2) 本文提出了一个解决方案所面临的问题，自动驾驶汽车在至少一个前面提到的六个方面。因此，例如，涉及安全和攻击自动驾驶汽车的论文被排除在外。1.4. 本次调查在本文中，我们提出了一个全面的调查的国家的最先进的研究，人工智能技术应用于自主车辆领域。我们专注于DL和RL技术，通过识别它们的优势和局限性。此外，我们还讨论了DL和RL算法的问题和挑战，这些问题和挑战需要进一步研究以接近5级自治。我们总结本文的主要贡献如下：1) 我们提出了DL和RL技术的概述2) 我们提出了一个详细的分类自动驾驶汽车，包括其组件，设计和实施。3) 我们详细描述了DL和RL技术用于解决AV中的问题。4) 我们确定了在自动驾驶汽车的背景下，DL和RL技术的优势和劣势。5) 我们提出并讨论的挑战和开放的问题，相关的DL和RL技术的背景下，自动驾驶汽车，需要进一步调查。2. 深度学习和强化学习：简介在本节中，我们简要描述了AV中使用的深度学习技术的基本原理，并展示了每个范例的功能。我们专注于卷积神经网络（CNN），长短期记忆（LSTM）和RL，这是应用于自动驾驶的最2.1. 深度学习深度神经网络是一种模仿人类智能的连接主义方法，能够从大量数据中学习。它们有着广泛的应用，从欺诈检测和视觉识别到自动驾驶汽车;然而，它们的局限性越来越明显。这些包括Fig. 1.基于马尔可夫决策过程的智能代理与其环境的交互。对抗性示例的脆弱性，其中数据的呈现意图是导致学习模型出错。DL模型已成功应用于各种自动驾驶应用领域（见图1）。2）的情况。在过去的几年里，它们已经成为计算机视觉应用的关键组成部分。神经网络可以解决的关键问题之一是检测和局部化图像和视频中的对象，使AV能够识别其环境。在对象检测中使用的DL方法之一是CNN。它们为AV提供可操作的信息，即，检测和分类对象（例如，车道、交通灯、行人、交叉线和交通标志。（Shrestha和Mahmood，2019）。CNN在图像分类、对象检测和语义分割方面表现出了良好的效果。它们总是包含三个基本特征，即卷积、池化和全连接层。卷积层由过滤器组成，用于提取图像或视频中的主要视觉特征。这些过滤器将图像的大小转换为馈送到完全连接的层中的小的多阵列，并且输出层预测图像类别（Gupta等人， 2021年）。另一个适合处理数据序列的DL模型是LSTM;网络是一种递归神经网络（RNN）。LSTM网络使用反馈连接进行序列和模式识别，并使用输入、输出和遗忘门。因此，它记住从先前时间步计算的输出，并基于当前输入提供输出（Chung等人，2014年）。LSTM网络已应用于不同的自动驾驶任务，如运动规划、决策和车辆控制。因此，这种神经网络（NN）架构能够基于AV的过去动作来预测当前动作（Yu等人， 2019年）。DL的主要优势在于它能够处理非结构化数据（例如，图像）来自附接到AV的相机。深度学习网络可以随着时间的推移，从大量的图像和视频样本中学习。这些庞大的数据可能需要10天的时间在一台计算机上进行训练。然而，鉴于DF的性质，GPU可以用来显著减少训练过程。2.2. 强化学习RL是机器学习的一个子领域，它解决了随着时间的推移自动学习和最佳决策的问题。虽然DL方法专注于开发使用数据进行自主学习的计算机程序，但RL方法允许智能代理从错误和经验中学习 RL代理通过在环境中行动来获得奖励;其目标是选择随着时间的推移最大化预期累积奖励的行动（Mousavi et al.， 2016年）。RL代理可以建模为马尔可夫决策过程（MDP），如下所示：代理通过执行动作并接收观察和奖励与环境交互。如图 1，在每个时间步t，代理接收环境状态s t2S的一些表示。基于这种状态，代理选择一个操作A. 选择任何行动都是基于代理它告诉代理应该为每个可能的状态选择哪些操作。作为每个动作的结果，智能体获得奖励rt2R，观察到下一个状态st 1S（Winder，2020）。我们可以表达接收奖励的过程是一个任意函数f。在每个时间t，我们有：一种新的方法RL 的主要目标是找到最大化每个状态的策略的行动Q 学习（Watkins and Dayan，1992）通过学习每个状态-动作对的最优Q值Q-Badr Ben Elallid，N.Benabel，Abdelhakim Senhaji Haupir等人沙特国王大学学报7371-a0a0学习算法使用贝尔曼方程迭代地更新每个状态-动作对的Q值，直到Q函数con-i。接近最优Q函数q：ω3. 自主车辆人口增长导致车辆数量增加，对现有交通基础设施造成沉重负担，qωs;aωrt1cmaxqω真实（例如，停车位、充电和加油站）。车辆数量的持续增加是交通问题，包括空气污染、噪音污染、道路在Q学习中，动作的选择是基于具有探索率s的贪婪策略。s是选择随机动作的概率，1s是选择具有高Q值的动作。这个Q值在每个选定的动作中用给定的表达式迭代更新：qs;a←qs;aarcmaxqs0;a0-qs;a其中c是反映当前报酬相对于未来报酬的重要性的折现率。 a是学习速率，s0是下一个状态。可以看出，Q学习算法的关键是维护一个Q表，该Q表存储状态-动作对的Q值。车祸和交通拥堵为了解决这些问题，研究人员一直在开发自动驾驶汽车;目标是消除或至少减少人类驾驶员造成的问题。自动驾驶汽车被定义为智能代理，可以通过安装在车辆上的不同传感器感知其环境（图1）。 3）。当人类使用他们的感官（例如，视觉和听觉）来驾驶，AV使用传感器（例如，相机和雷达）。传感器的质量在构建成功的自动驾驶汽车中起着关键作用例如，如果从相应的传感器收集的数据不可靠，则最好传感器的作用是测量或检测环境的某些特性或这些特性随时间的变化。传感器大致分为两种类型：（a）外感受性图二、DL和RL技术在自动驾驶中的主要应用分类Badr Ben Elallid，N.Benabel，Abdelhakim Senhaji Haupir等人沙特国王大学学报7372图三. 用于自动驾驶汽车的传感器。图四、自动驾驶车辆的目标检测和分类传感器：它们记录车辆周围环境的特性（例如，照相机和光探测和测距（LIDAR））;（b）本体感受传感器：它们记录车辆本身的特性（例如，全球导航卫星系统（GNSS）定位和车轮里程表）。自动驾驶中最常见和最广泛使用的传感器是摄像头。相机是一种被动的光收集传感器，可以捕获有关场景的丰富而详细的信息。相机的质量由各种指标决定，例如分辨率和视野。分辨率是创建图像并影响其质量的像素数量。视场由相机可见的水平和垂直角度范围定义，并且可以通过镜头选择和变焦来改变。相机的动态范围由图像中最暗和最亮色调之间的差异定义。 高动态范围对于自动驾驶车辆至关重要，因为在驾驶时会遇到高度可变的照明条件，尤其是在夜间。具有重叠视场和对齐图像平面的两个相机的组合称为立体相机;它们产生场景的视差图，用于估计每个像素的深度（Thakur，2018）。无人驾驶汽车中的第二个关键传感器是激光雷达。它能发射光束。通过测量返回光的量和光束的飞行时间，可以估计反射物体的深度。LIDAR产生三维点云图，这对于评估场景几何形状是有用的LIDAR通常由一些关键指标控制，例如源的数量、每秒可以收集的点和视场（Bussemaker，2014）。无线电探测和测距（雷达）传感器的使用时间比激光雷达长。它们能够稳健地探测环境中的大型物体，并且在恶劣天气中特别有用，因为它们大多不受降雨的影响。雷达传感器的特征在于，通过其检测范围，视野，以及位置和速度测量精度（Curry，2005）。超声波传感器在自动驾驶汽车中也很重要;它们使用声波测量距离。它们特别适用于停车场景，车辆需要在非常接近其他车辆的情况下移动（Curry，2005）。车辆工业中的主要本体感受传感器之一是GNSS，诸如GPS或Galileo。全球导航卫星系统允许测量车辆位置、速度，有时还测量航向。惯性测量单元（IMU）测量飞行器的角旋转速率和加速度另一个重要的本体感受传感器是车轮里程计;它跟踪车轮的旋转速率，并使用此信息来估计车辆的速度和航向变化率（Reinholtz等人，2007）。一般来说，在识别它们的环境之后，AV执行许多任务，包括对象检测、规划、做出决定、控制速度和在没有任何人为干预的情况下驾驶。4. 自动驾驶汽车中基于深度学习的方法在本节中，我们调查了现有的基于DL的方法，这些方法用于解决AV的主要任务，即（1）场景理解，（2）运动规划，（3）决策制定，（4）车辆控制，（5）自动驾驶汽车的社交行为，以及（6）通信（见图1）。 7）。4.1. 场景理解在过去的二十年里，场景理解领域已经看到了显着的进步，使用有效的DL技术。这一进步使得通过使用不同的传感器（如激光雷达、摄像头和雷达）为自动驾驶汽车提供有关驾驶环境的关键和精确信息成为可能。事实上，深度CNN在图像分类和实时检测方面已经显示出显著的结果（Fernandes等人， 2021年）。 如图 4、深度学习技术在场景理解中的应用为自动驾驶提供了可操作的信息，如车道、交通灯、行人、交叉线、交通标志等的检测。 Cordts等人（2016年）。也就是说，感知仍然是车辆识别道路几何形状和识别诸如行人、自行车和其他车辆等道路使用者的主要先决条件之一。感知分为两组：道路场景和目标检测。4.1.1. 道路场景准确地识别和提取主要道路信息对于AV识别道路元素（例如，路面、沟渠、护栏和栅栏）。由于DL的力量，它是可能的，以实现在识别道路元素的高精度。例如，Balado等人（2019）使用移动激光扫描（MLS）获得的信息来识别道路环境的主要元素。他们的建议是基于点网（Qi等人，2017）和语义分割（SS）方法来识别道路元素;它为城市地区的自动驾驶汽车提供了良好的视野。识别道路的几何结构为自动驾驶汽车提供了更多关于其环境的信息。 Laddha等人（2016）使用基于监督和无监督学习的混合算法，使用CNN识别道路几何形状。虽然，该算法减少了人类标记工作，Badr Ben Elallid，N.Benabel，Abdelhakim Senhaji Haupir等人沙特国王大学学报7373尽管培训具有更大的可扩展性，但仍然需要在具有关键天气条件的不同场景中进行评估全面了解周围环境和道路区域（例如，遮挡、3D几何形状和道路拓扑类型）促进了自动驾驶中的实际应用。为此，Yan等人（2020）开发了一种基于LIDAR数据的多任务道路识别网络（LMRoadNet）方法。LMRoad-Net的目标是检测和估计道路的长度和形状等道路测量值，以识别其拓扑结构。道路拐角被认为是识别的挑战性区域之一。Bolte等人（2019）的一项研究介绍了道路拐角的正式定义，并在AVs摄像头的视频信号中检测它们。因此，基于CNN的系统使自动驾驶汽车能够在关键情况下更好地感知道路。Tümen和Ergen（2020）开发了一种图像处理方法和基于DL的方法，用于使用CNN检测高速公路上的交叉口、分离点和人行横道。这种检测由于这些地方交通意外发生率高，因此改善道路安全至为重要。Di等人（2017）研究了交通场景理解的问题，以从具有照明条件的图像中识别道路对象。他们考虑了基于CNN的基于密集对应的迁移学习方法，以提取城市环境图像的深度表示。然而，这种方法没有考虑到不同和复杂的驾驶场景。交通标志的成功检测和分类是完全自动驾驶汽车需要克服的主要挑战之一。例如，Sajjad等人（2020）开发了一种用于检测和避免障碍物的方法。该模型基于视觉传感器识别各种交通标志;它允许使用超声波传感器避开障碍物。作者实现了他们的原型，仅使用单目视觉传感器来促进车辆感知。4.1.2. 对象检测准确和实时地检测周围的物体，包括其他道路使用者，对自动驾驶汽车来说是至关重要的。 Wang等人（2020 b）提出了一种基于DL技术的端到端3D目标检测方法。具体来说，他们的技术使用CNN和融合网络（FoFNet）来预测边界框和对象的类别，如汽车、行人和骑自行车的人。Prabhakar等人（2017）提出了一种通过考虑天气条件来提高检测有效性的方法。更具体地说，他们使用区域卷积神经网络（R-CNN）来识别和分类障碍物，如车辆、行人和动物。他们在雨天使用边界框，在每个检测到的对象顶部都然而，需要对其他道路图像数据集进行更多的测试来评估该模型的准确性和适用性除了对象检测之外，其他关键参数（例如，距离）以帮助自动驾驶。Chen等人（2018 b）提出了多任务组合策略（CP-MTL）算法，旨在通过在检测过程中估计车辆与其他道路使用者之间的距离来改善检测Li等人（2021）使用CNN解决了夜间检测问题，以改善低光图像识别。他们报告说，他们的建议可以帮助自动驾驶汽车识别道路，特别是在没有路灯的农村地区。Dinh等人（2020）提出了一种基于CNN的方法，用于在城市交通中更好地检测物体;他们假设自动驾驶汽车配备了两个焦距不同的摄像头。他们表明，他们的建议允许检测小物体（例如，小而远的车辆）。几种现有的方法（Wang等人，2020 b;Prabhakar等人，2017年;Chen等人，2018 b; Li等人，2021; Dinh等人， 2020）依靠视频进行对象检测;他们对对象进行分类在连续的帧中。然而，这没有考虑图像帧之间的空间和时间相关性，导致信息丢失。为了填补这一空白，刘等。（2020）基于运动辅助特征校准网络（MFCN）识别了两种情况下的车辆，即遮挡和截断与Ren等人（2017）、Song等人（2018 b）和Zhang等人（2017）相比，他们的提案（Liu等人，2020）在不同的物体外观下确实显示出更好的检测精度。由于来自传感器的数据量巨大，在训练过程中减少数据量可以提高检测模型的性能。基本上，仅使用重要数据可以缩短基于DL的方法的训练持续时间。在驾驶期间，时间是关键的，特别是在紧急情况下;因此，检测必须是实时的（Das等人， 2020年）。3D物体检测为自动驾驶提供更准确的物体大小和位置信息。自动驾驶的许多重要方面，例如运动规划和车辆控制，通常需要车辆周围的3D空间的忠实表示。现有的3D物体检测贡献在使用传感器进行检测的方式上有根本的不同。一些贡献（Ma等人，2019年; Peng等人，2020）只使用单目相机。例如，Zhang等人（2020 b）提出了一种用于自动驾驶场景中的3D检测的新型单目框架;目标是检测和定位具有3D框的对象。几种其他方法提出融合相机图像和LIDAR数据两者。Chen等人（2017 a）试图通过开发基于多视图3D网络（MV3D）的3D对象检测方法来提高检测性能。他们的亲使用LIDAR点云和RGB图像来预测3D边界框;它优于仅依赖在传感器上。Hong等人（2020）提出了一种3D 检测方法，该方法利用 LIDAR 点云和RGB 图像作为CrossFusion Net方法的输入。他们通过模拟表明，他们的提议允许检测通常仅使用传感器难以检测的物体弱势道路使用者（VRU）的安全仍然是主要的挑战性问题之一。因此，行人的检测是最重要的，因为他们被认为是主要的弱势道路使用者。在这种情况下，Zhao等人（2020）提出了一种称为行人位置感知网络（P-LPN）的方法;它基于内部级联网络（InCNet）。P-LPN将行人分为两组：在车道上移动的人和在人行道上移动的人。它使用区域建议网络（RPN）在语义地图上提供每个足的位置。然而，P-LPN没有考虑行人的意图，这是重要的自动驾驶汽车了解行人的运动。表2比较了我们在本节中介绍的场景理解贡献基于审查的工作，这是公平的结论，检测和识别的准确性和检测延迟方面已经达到了相当高的可靠性水平，特别是当涉及到两个或多个传感器模态的融合。这些方法中的一些专注于识别交通标志、道路结构等。其他方法解决了在拐角和交叉口实时检测道路用户的问题。例如，Zhao et al. （2020）研究了车道和人行道中行人的检测。然而，这种方法需要更多的细节来具体地识别行人在车道中移动的每个区域，这可以提高检测精度。根据表2，这些方法中的大多数没有考虑天气和照明条件。因此，今后的工作应进一步调查这些问题。表2场景理解技术的比较。LiDAR净报道GTX1080Ti GPU报道Badr Ben Elallid，N.Benabel，Abdelhakim Senhaji Haupir等人沙特国王大学学报7374论文出版年份传感器输入数据集图像大小像素该方法神经网络架构DL框架学习策略硬件语言交通状况天气状况照明条件Laddha等人（2016年）2016相机KITTI1392×512地图监督CNNsKeras有监督无监督未报告Python城市没有没有Di等人（2017年）2017相机1130图片698856×270 640×360检测DCTLCNNsCaffe监督英伟达EVGAPython城市公路是的是的图像GeForceGTXTITAN XGPUPrabhakar等人（2017年）2017相机KITTIiRoads班加罗尔路钦奈1392×512 640×3601920×10801920×1080(1025× 680、1001×680）障碍物检测和分类R-CNNCaffe监督NvidiaGeForceGTX 980Ti GPUPython城市是的是的Chen等人（2017 a）2017相机激光雷达road动物之路KITTI1392×512MV3DCNNsTensorFlow监督Titan XGPUPython城市没有没有Chen等人（2018年b）2018相机KITTI1392×512MTLCNNsMXNet监督NvidiaTitan X未报告城市没有没有Balado等人（2019年）2019MLS113.6万-SSPointNet未报告监督GPUGPUNvidiaPython城市没有没有Bolte等人（2019年）2019相机点Vigo cityCityscapes700×700面向角点检测CNNs未报告监督Tesla K80NvidiaGeForceGTX 1080Python城市没有没有Zhao等人（2020年）2020相机城市景观1024×2048P-LPNInCNet RPNTensorFlow监督TiGPUNvidiaGTX 1080Python城市没有没有Das等人（2020年）2020相机Camvid数据CARLA256×256SSDeepLabv3+Keras监督Ti注释报道Python城市没有没有Wang等人（2020年b）2020LiDAR数据KITTI1392×5123D对象检测CNN FoFNet未报告监督Nvidia泰坦XPPython城市没有没有Sajjad等人（2020年）2020相机10000图像80×60检测交通标志DNNTensorFlow监督GPURaspberryPiPython-没有没有Liu等人（2020年）2020相机KITTIImageNet1392×512MFCNCNNResNetFlowNet2 R-未报告监督NvidiaGTX未报告城市没有没有Tümen和Ergen（2020）2020相机836张图片458×640路口和crosswalkFCNCNNs未报告监督1080Ti个gpu未报告Python公路没有没有1392×512检测交叉融合Badr Ben Elallid，N.Benabel，Abdelhakim Senhaji Haupir等人沙特国王大学学报7375ð Þ4.2. 运动规划在场景理解（或环境感知）之后，运动规划是AV的下一个主要任务，通过避免在不同环境中发生碰撞来安全平稳地导航。为了处理运动规划问题，传统方法（例如，Dijkstra算法、A-Star算法Aω和状态格算法）依赖于优化模型。这些算法在大范围内缓慢，使得它们不适合于实时应用。因此，许多研究人员提出了替代方法，如基于DL的技术。这些方法分析感知信息，以识别障碍物，然后预测正确的行动（见图5）。这允许AV通过在时间和距离方面找到有效路径来安全地我们将运动规划分为两类：运动指令预测和轨迹预测。运动命令预测主要包括计算转向角、加速度和/或制动，而轨迹预测包括计算所有道路参与者（包括自我车辆）的短期轨迹以及它们的未来状态。4.2.1. 运动指令预测由于交通状况的复杂性，建立一个通用的运动规划系统是困难的，特别是在实时性方面。事实上，道路使用者的行为仍然不可预测，难以建模。例如，Bai et al.（2018）