物联网边缘云自动驾驶汽车基准评估与挑战

BenchCouncil交易基准，标准和评估2（2022）100086病例报告Edge AIBench 2.0：物联网边缘云系统的可扩展自动驾驶汽车基准郝天舒a、b、刘晓波a、高万灵a、蓝传欣a、唐飞a、b、姜紫涵a、b、詹剑锋a、ba中国科学院计算技术研究所先进计算机系统研究中心，中国北京b中国科学院大学，中国A R T I C L E I N F O关键词：A B S T R A C T许多新兴的物联网边缘云计算系统尚未实现，或者过于机密而无法共享代码，甚至难以复制其执行环境，因此它们的基准测试非常具有挑战性。本文以自动驾驶汽车为典型场景，构建了物联网的第一个基准--边缘云系统。我们提出了一套用于复制自动驾驶汽车场景的提取规则，以提取具有相互交织的交互的关键任务。在系统复杂性显著降低的同时，捕获了基本的系统级和组件级特征，以便用户可以快速评估和定位系统和组件瓶颈。此外，我们还实现了一个可扩展的架构，通过该架构，用户可以 评估具有不同工作负载大小的系统我们进行了几个实验来衡量性能。在测试了2000个自动驾驶汽车任务请求后，我们确定了自动驾驶汽车场景中的瓶颈模块，并分析了它们的热点功能。实验结果表明，车道保持任务是最慢的执行模块，第99百分位延迟的尾延迟为77.49 ms。 我们希望这个场景基准将有助于自动驾驶汽车甚至物联网边缘云研究。现在，开放源代码可用从官方网站https://www.benchcouncil.org/scenariobench/edgeaibench.html。1. 介绍作为一个典型的复杂的现实世界应用，此外，许多新兴的例如，典型的- 自动驾驶汽车-仅用一个就可以运行1亿行代码汽车[2]。总的来说，它们太复杂或成本太高，无法复制代码甚至执行环境;因此，它们的基准测试非常具有挑战性。即使我们可以完全复制应用程序，直接使用应用程序作为基准也有几个缺陷。现实世界的应用程序通常有许多实例化偏差。也就是说，现实世界的应用程序或系统被困在高维空间中的有限设计和实现点中[3]。以前的工作[4]已经讨论了实例化偏差的根本原因。 工作负载在现代计算机系统中分层实现：问题定义、算法、中间表示、ISA特定表示和微体系结构表示。从从上到下，设计和实现空间急剧增加。然而，为了维护用户体验或节省软硬件生态系统的投资，用户会坚持使用现有的产品、工具、平台和服务，这在以前的工作中被称为技术惯性[3，5]。技术惯性将问题的现实解决方案困在特定的探索路径中-子空间甚至高维解决方案空间中的一个点。虽然分析已经被应用于对复杂的现实世界应用程序进行基准测试的各个方面[1]，但分析技术在克服这一限制方面帮助不大Gao等人[1]提出了一种情景基准测试方法来应对上述挑战。他们提出了几条规则，将一个真实世界的应用场景从一个高级需求规范中提炼出来，成为一个基本的AI和非AI任务的组合，作为一个场景基准。同时，从系统实现层面识别出真实场景关键路径中的主要模块 因为它们消耗最多的系统资源，并且是系统设计和优化的核心焦点。然而，他们没有考虑复杂的物联网边缘云场景。本文扩展了IoT边缘云系统的场景基准测试方法。Hao等人[6]第一次提出了一个端到端的观点来对物联网-*通讯作者：中国科学院计算技术研究所先进计算机系统研究中心，中国北京电子邮件地址：haotianshu@ict.ac.cn（T.Hao），gaowanling@ict.ac.cn（W.Gao），lanchuanxin@ict.ac.cn（C.Lan），tangfei@ict.ac.cn（F.Tang），jiangzihan@ict.ac.cn（Z.Jiang），zhanjianfeng@ict.ac.cn（J.Zhan）。https://doi.org/10.1016/j.tbench.2023.100086接收日期：2022年11月20日;接收日期：2023年2月13日;接受日期：2023年2月13日在线预订2023年2772-4859/©2023作者。Elsevier B. V.代表KeAi Communications Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表标准和评价期刊主页：www.keaipublishing.com/en/journals/benchcouncil-transactions-on-benchmarks-standards-and-evaluations/BenchCouncil交易基准，T. 郝，W.高氏C.Lan等人BenchCouncil交易基准，标准和评估2（2022）1000862边缘计算层和云服务器。但他们的方法有缺陷。例如，他们没有考虑问题定义和实例偏差。此外，他们只实现了几个孤立的组件基准，没有实际的交互，这不能构成一个端到端的视图。此外，它们的工作负载不可扩展。自动驾驶汽车案例被大多数最先进的基准测试选为代表性场景，并具有物联网边缘冷系统的典型特征此外，自动驾驶汽车可能是最安全的场景，因为它对人类生活至关重要。因此，为自动驾驶汽车建立一个统一、合理、通用的基准集至关重要。有几个基准[ 12 ]如：[13]，[14]，[15]，[16]，[17]。然而，他们缺乏场景视图来构建基准，这将导致缺乏整个系统的性能。因此，在本文中，我们选择自动驾驶汽车作为案例研究，为物联网边缘云系统创建一个可扩展的场景基准自动驾驶汽车的场景非常复杂。各种人工智能视觉工作负载和关键决策任务在自动驾驶汽车中呈现。这些众多的任务产生大量的输入数据，这些前提给系统功能带来了不确定性[14]。美国汽车工程师学会（SAE）将自动驾驶系统的自动化质量虽然目前综上所述，建立一个统一、合理、通用的自动驾驶基准集至关重要，这将有利于自动驾驶领域的系统和应用本文基于最新的基准测试方法[1，3，4]，选择自动驾驶汽车作为研究案例，建立了一个可扩展的物联网边缘云系统的基准测试，该基准测试在保持系统典型特征和关键执行路径的最后，我们使用这个物联网边缘云场景基准进行实验我们将我们的主要贡献总结如下：1. 为了在提取过程中尽可能地保留系统2. 我们提出了物联网边缘云系统的第一个场景基准此外，我们还实现了一个可扩展的框架，以支持不同大小的工作负载。3. 在实验部分，我们测试了终端设备发送的2000个自动驾驶汽车任务，并测量了每个模块的尾部延迟。结果表明，最慢的执行模块是车道保持任务，卷积运算是热点函数。因此，一个基于Java的基准测试将帮助用户找到系统的瓶颈模块我们组织本文的其余部分如下。第2节总结了自动驾驶汽车场景的复杂性，基准构建中的问题定义和实例化，以及相关工作。第三节介绍了省级水准点的建设。第4节介绍了我们的可扩展边缘计算架构。第5节进行评价。第6节结束。2. 问题定义和解决方案实例化Zhan [3]指出，基准测试需要三个过程：问题定义、解决方案实例化和度量。我们遵循这个指南来建立我们的基准。由于物联网、边缘、云系统、工作负载和性能要求不同，定义和实例化问题及其解决方案具有挑战性。2.1. 问题定义首先，本文着重研究如何帮助用户的问题从IoT边缘云系统中获得更好的性能。因此，我们提取了一些关键的工作负载，并提供了一个可扩展的基准来评估系统，以满足性能要求。其次，本文以最具代表性的物联网边缘云场景--自动驾驶汽车为案例研究。与大多数物联网边缘云场景一样综合自主车辆系统可以包括许多处理任务。根据国际标准SAE J3016，驾驶自动化分为六个级别，并参考持续的动态驾驶任务（DDT）性能[15]。因此，我们把滴滴涕的应用作为主要关注的问题来实例化。第三，我们提取代表性的工作负载，并将其形式化与有向无环图（DAG）模型。然后，我们提取他们的关键路径，建立一个场景基准的场景基准方法[1]。我们设计并提供了一个工作负载参考实现，反映了真实场景的特点为了满足不同用户2.2. 自动驾驶汽车场景的复杂性与大多数这些组件在物联网边缘云系统架构的三层之间进行大量通信，使系统更加复杂。分布式三层体系结构需要多个层次的计算资源伸缩因此，基准测试的可扩展性对于适应不同大小的工作负载和满足不同用户的性能要求也很重要然而，与其他场景不同，自动驾驶汽车系统有其自身的特点。我们将其总结如下。1. 系统的复杂性。整个自主车辆系统涉及广泛的通信和数据交互。与此同时，它也充满了许多感知，规划，决策和其他自动驾驶任务。整个系统处理大量数据，同时实时运行那些复杂的AI和非AI算法不同的设计策略给硬件和软件系统都带来了困难。2. 各种环境因素。 在驾驶过程中，汽车将遇到各种自然天气条件（例如，雾和雪）和复杂的地形因素（例如，山脉和丘陵），这将影响传感器数据收集和人工智能任务（如物体识别）的准确性。此外，现有的自动驾驶系统在极端天气下可能无法准确判断[17]。因此，可靠的自动驾驶汽车系统必须考虑各种天气条件。T. 郝，W.高氏C.Lan等人BenchCouncil交易基准，标准和评估2（2022）10008633. 大量的输入数据。自动驾驶汽车配备了许多传感器、GPS定位模块和用于数据收集的摄像头，这将不断产生大量的异质输入数据[18]。此外，多个机载摄像头将不断收集有关周围环境的信息。系统需要考虑如何以及在何处处理、存储和训练这些数据。4. 对准确性的高要求。自动驾驶任务需要自动驾驶系统做出绝对正确的决策。然而，目前人工智能模型中的许多任务无法达到90%以上的准确率[19]。此外，自动驾驶环境中会有更多的不确定性，例如前方车辆突然刹车，行人进入道路以及其他意外情况。因此，在稳定驾驶期间也可以实现5. 稳定的网络性能。作为典型的物联网-边缘-云系统，自动驾驶汽车系统需要与整个车辆网络中的云数据中心和边缘服务器进行实时数据交互。为此，需要高带宽和高性能的网络环境。6. 有限的计算资源。实时任务处理由于数据量巨大，对计算机资源的要求很高。然而，车载芯片的处理能力受到限制。因此，需要为这些AI任务开发一个轻量级的模型来匹配车载计算系统是一个重要的问题。现在提出了许多改进的AI模型修剪技术[20，21]来克服障碍并满足实时要求。7. 高能耗。自动驾驶汽车配备了众多的传感器和强大的处理芯片，具有高能耗。根据研究，汽车的整体功耗将上升2.8至4个百分点，以实现自动驾驶功能[22]。随着5G技术的发展，网络通信的能源需求将增加。如上所述，真正的自动驾驶系统非常复杂，因此很难在创建代表性基准时完全准确地建模这些特征。2.3. 相关工作近年来，具有AI技术的自动驾驶汽车领域已经开始获得牵引力。自动驾驶有一些相关的基准研究工作KITTI [12]是自动驾驶的视觉基准套件。它提出了从相机和激光扫描仪收集的立体和光学视觉数据。然而，它的目的是评估视觉算法CAVBench [11]是边缘计算系统的第一个基准套件。它总结了四种场景，并为自动驾驶汽车实现了六种AI它采用了考虑边缘计算架构的端到端视图。然而，它缺乏一个整体的企业层面的观点。Chauffeur [13]是自动驾驶的开源基准。它实现了端到端的管道，考虑到传感，规划和驱动过程。但也没有考虑到基于端-边-云三层架构的自动驾驶汽车的全貌。总之，最先进的自动驾驶汽车基准测试缺乏考虑整个场景的高级视图。他们专注于特定的算法，AI工作负载或硬件性能。然而，自动驾驶汽车场景在物联网边缘云系统中是典型的，必须考虑组件和整个系统的性能。因此，我们需要提取系统的关键模块，并创建一个新的场景基准来模拟真实世界的系统Fig. 1. 自动驾驶汽车的任务流程图。3. 创建场景基准基于上述挑战和动机，我们提出了为智能边缘计算系统构建自动驾驶汽车性能级基准的方法和构建过程。3.1. 自动驾驶汽车场景自动驾驶系统主要由感知、决策规划和控制执行模块三层处理结构组成。感知层和控制层可以通过配置多层冗余硬件系统来保护。因此，在目前的自动驾驶系统的研究中，我们主要集中在决策规划的核心算法。创建场景基准的主要重点同样是与决策规划相关的人工智能任务模块。根据国际标准SAE J3016的分级表，将驾驶自动化分为6个等级，涉及连续驾驶系统上的动态驾驶任务（DDT）、DDT回退以及对象和事件检测和响应（OEDR）任务的自动化。OEDR是DDT的子任务，包括实时对象识别，分类和其他AI任务。当动态驱动任务失败时，系统必须执行DDT回退[15]。因此，我们实例化我们的基准问题的动态驾驶任务作为主要关注点。动态驾驶是自动驾驶的基本如图1所示，自动驾驶的一整套动态任务的工作流程包括感知、定位、路径规划、目标检测和最终决策。感知模块通过传感器和摄像头收集数据，定位模块结合GPS模块和地图信息定位车辆位置，路线规划模块执行路径规划任务，根据用户目的地确定合适的行驶路线。识别任务包含车辆、道路、行人、障碍物和交通标志灯的识别[23]。最后，基于这些并行任务，以车辆为中心的处理器对当前情况做出判断，并决定对车辆进行物理控制。自动驾驶汽车目前拥有一款具有深度学习模型处理能力的智能边缘芯片，可以实时处理常见的轻量级AI自动驾驶任务。 但是，它仍然需要与云数据中心和边缘服务器协作，以便更好地执行车辆驾驶过程中的任务总之，自动驾驶汽车使用三层如图2、使用一组有向无环图（DAG）模型来形式化整个自主车辆大型计算任务或实时性要求低的任务通常被卸载到云数据中心执行。与此同时，云数据中心还执行模型的离线培训和持续再培训任务。在车联网中，云数据中心必须与所有车辆进行通信，并做出整车网络调度决策。T. 郝，W.高氏C.Lan等人BenchCouncil交易基准，标准和评估2（2022）1000864图二、I o T 边 缘 云 系 统 中 自动驾驶汽车的 D A G 模 型 。自动驾驶汽车在移动时连接到附近的边缘服务器。这些边缘服务器实时收集路边环境数据、道路信息和近端车辆数据，这些数据通常是车辆传感器由于盲点和其他问题而无法收集的。边缘服务器将其发送到局域网中的附近车辆。同时，在通信的保障下，自动驾驶汽车会将车载芯片无法实时处理的任务，发送到具有足够计算能力的边缘服务器进行处理。处理自动驾驶汽车中异构计算和能耗等问题的一个很好的方法是将工作卸载到边缘计算层。车辆侧的智能芯片处理主要的自动驾驶工作流程。路线规划和导航任务由车辆根据用户的指令和GPS位置数据来执行在这个过程中，车辆的传感器和摄像头将实时收集数据，并在车辆端对其进行预处理，以便它能够不断识别环境，执行感知任务并检测物体。车辆将同时接收来自边缘服务器和云数据中心的数据进行集成。最后， 车辆3.2. 自动驾驶汽车场景从图2中可以清楚地看出，将整个IoT边缘云场景形式化是非常复杂的。如果相应地实现场景基准，将产生数亿行代码[24]和海量数据，不利于用户评估系统。因此，本节简化了自动驾驶车辆场景提取几个相互依赖的执行模块。我们的工作受到以前关于复杂场景的提取规则的工作的启发。因此，经过提炼的模块可以执行自动驾驶系统的关键任务，同时保留系统的复杂性和挑战性首先，我们根据自动驾驶的实际经验，参考行业1. 只保留那些使用类似模型和服务于类似目的的任务中的代表性任务。在自动驾驶过程中，存在各种类型的物体识别和检测任务，包括障碍物识别、行人识别、交通信号识别、路线识别等，大多数活动也具有相似的处理逻辑和关键路径，通常通过两个步骤完成：检测和分类，车道保持中的道路路线识别除外。首先，需要在视频图像中检测并定位目标因此，我们从这些任务中提取了关键的交通信号识别，以确保驾驶安全和车道检测任务，以确保车辆遵守交通规则。2. 修剪在云和边缘服务器上执行的任务以及与用户端任务并行执行的任务在IoT边缘云系统中，用户端设备、边缘服务器和云数据中心中的服务器并行执行任务，互不影响。因此，云上的训练和调度任务不会影响车辆驾驶过程。因此，我们修剪了这部分任务。与此同时，T. 郝，W.高氏C.Lan等人BenchCouncil交易基准，标准和评估2（2022）1000865图3. 简 化 后 的 I o T 边 缘 云 系 统 中 自动驾驶汽车场 景 的 D A G 模 型 。边缘处的车辆分析和环境感知模块也被修剪。3. 删除运行时间少于总运行时间1%的模块。经过对真实系统的分析，文本数据传输延迟和传感器、雷达等设备采集数据的具体处理时间占用的时间非常短。不涉及AI模型的最终任务决策和控制模块也可以在很短的时间内完成。因此，我们将修剪这些模块。4. 如果可能的话，合并并发执行的类似任务。在交通信号灯分类和路标分类任务中，都有目标检测用于目标定位。因此，我们合并了这两个模块中的对象检测过程。将结果发送到后续任务-交通信号分类和道路标志分类。5. 拆卸路线规划模块。路径规划是自动驾驶中最关键的任务之一。但在创建此场景基准时，我们将其删除，因为路线规划任务不需要实时图像数据，并且平移结果数据传输时间非常短。此任务通常在现有的真实环境中的云服务器上执行。这些算法已经非常适合于路线规划任务本身，并且许多先进的在线导航地图可供用户使用。百度因此，该模块可以被修剪。6. 删除修剪模块的前置任务和后续任务。在根据前五个提取规则简化整个场景之后，我们将重新检查DAG模型，并将任何先前或后续任务删除到修剪模块。基于提出的六条提取规则，我们对图进行了剪枝。2简化为DAG模型3.首先，我们合并具有相同目的的类似模块。接下来，我们修剪同时在IoT-边缘云系统上执行的并行任务然后，我们修剪的模块，消耗时间短，如预处理和决策。接下来，我们组合并发执行的类似任务，例如对象分类模块。最后，我们删除了导航模块和相关任务。通过这种简化的自动驾驶场景，我们已经缩减了代码和数据集的数量，降低了在保持特色的同时。因此，用户仍然可以评估他们感兴趣的系统和组件4. 自主车辆sce- nario基准4.1. 参考实现我们研究了来自学术界和工业界的先进算法和真实世界的数据集，以用于上一节中提出的简化自动驾驶sce nario模型。然后，我们根据图3实现自动驾驶汽车的Euro级基准。本节简要介绍我们的参考实现中使用的深度学习算法模型和数据集。车道保持任务使用基于自我注意蒸馏机制的CNN模型[26]，并选择CuLane [27]作为真实世界数据集，其中包含3268个标记良好的训练数据和358个验证数据。对象检测任务使用YOLOv5 [28]作为深度学习网络模型，并选择BDD 100K [29]作为数据集，其中包含100，000个标记的HD数据集。交通灯分类任务使用CNN模型[30]作为深度学习网络模型。它使用Nexar数据集[31]作为真实世界数据集，包含18，659个包含交通信号图像的标记训练数据集和500，000个测试数据图像。路标分类任务使用CNN深度学习模型[32]基于LeNet框架[33]和德国交通标志识别基准（GTRB）[34]作为数据集，该任务对43类交通标志进行分类。4.2. 可扩展的为了满足现实世界的边缘计算场景，基准架构需要考虑资源分配，以处理不同规模的AI工作负载。对于我们简化的自主车辆场景，我们提出了一个可扩展的体系结构，可以评估不同大小的系统和分配资源（见图1）。 4）。这种可扩展的架构基于Google Kubernetes [35]，它将卸载工作负载分配给边缘服务器。在边缘服务器上，我们使用TensorFlow Serving[36]加载从云数据中心发送的预训练模型，等待对最终用户任务的响应。T. 郝，W.高氏C.Lan等人BenchCouncil交易基准，标准和评估2（2022）1000866见图4。 可扩展的表1图五. 多任务的总体场景和组件延迟细分。连接到另一个1 GB的以太网连接。我们执行可伸缩框架的可配置参数。参数项目说明在云服务器上对四个AI任务进行离线训练，并将预训练的模型发送到边缘服务器和终端设备。的节点AI模块位置边缘计算层节点AI任务放置的位置：边缘计算层或端5.1. 整个场景的尾部延迟自动驾驶场景在以下方面要求非常高：装置延迟，因此我们选择延迟作为服务质量指标的任务设备将发送情景基准。我们将整个场景延迟分解到每个任务模块，以发现哪些模块是导致任务大小任务的数据输入大小（MB）为了实现系统的可扩展性，主节点存在于边缘层，以管理计算资源并分配由终端设备提供的工作负载。这种架构可以扩展许多边缘节点，将任务从终端设备分发到各种边缘服务器和计算资源。用户可以设置的参数如表1所示。5. 实验和测量我们基于一个四节点服务器集群进行了一个场景基准评估实验其中一个实验设备是一台CPU云服务器，配备两个Xeon E5645处理器和32GB RAM，其他三个节点均配备Nvidia Titan XP GPU。每个节点整个场景中的延迟。我们测试了客户端设备发送的2000个自动驾驶汽车任务请求。图5显示了整个场景的延迟与每个模块的故障延迟的由于在真实场景中多个车辆同时发送一个我们需要关注的重要指标。我们还关注了90%和99%的车辆端用户查询的延迟数据。图5（a）示出了整个场景的端到端延迟数据，第90百分位延迟的尾部延迟为76.45 ms，第99百分位延迟的尾部延迟为77.49 ms。在图5（b）（c）中，我们已经根据它是属于边缘层还是车辆端来分解任务。我们可以看到，车道保持任务的总体延迟比检测和分类任务慢。对物体分类任务的进一步分解显示，最慢的模块是路标分类，第90百分位延迟的尾延迟为58.92 ms，第99百分位延迟为67.70 ms最快的任务T. 郝，W.高氏C.Lan等人BenchCouncil交易基准，标准和评估2（2022）1000867见图6。 热点函数运行时故障。是对象检测任务，90%任务的尾部延迟为8.67 ms，99%任务的尾部延迟为9.40 ms。此外，对于交通信号分类，第90百分位延迟为23.55ms，并且第99%百分位延迟为28.13 ms。在我们的场景基准测试框架中，车道保持任务位于车辆一侧。然而，该任务的大型AI模型导致处理速度缓慢。因此，它降低了系统的整体执行速度。根据网络环境的特点，用户可以尝试将车道保持任务放置在边缘侧。一个合适的任务定位策略将获得更好的绩效。5.2. 热点功能分析由于自动驾驶场景中的大多数任务都采用深度学习模型，这需要板载芯片的高性能，因此，我们使用Nvidia提供的分析工具nvprof [37]分解了GPU的执行时间。然后，我们分析了这些热点函数。我们使用nvprof工具分析每个模块的运行时，以确定消耗最多运行时的热函数。然后，我们根据其内在的计算逻辑将这些函数分为七类：ReLU激活函数，加法操作，卷积操作，池操作，归一化，内存操作和矩阵乘法操作。如可见于图6、卷积运算占在车道保持任务中的时间最多，这就是为什么它是最慢的执行模块。此外，卷积运算在所有其他任务中占很大比例在目标检测和路标分类中，执行时间最长的函数是ReLu激活函数。分析热点函数有利于进一步优化自动驾驶汽车智能芯片CUDA库。还有，针对自动驾驶的特殊场景，需要软硬件协同设计，优化不同模块的执行速度，从而优化整体场景性能。6. 结论本文提出了第一个首先，我们分析了创建自动驾驶场景基准的挑战。然后，我们根据这些用户关注的挑战和工业级自动驾驶场景，重新制作了物联网边缘云系统下的整个自动驾驶场景图由于自动驾驶场景的特殊性，必须考虑许多复杂的因素。因此，完全基于这个场景图来重现整个系统的代码量是巨大的。为了解决这个问题，我们建议采取场景基准视图。我们提出了六个简化自动驾驶汽车场景的提取规则。这些规则确保系统的特性得到保留，同时尽可能简化整个系统，并覆盖关键的端到端IoT我们根据提取规则从自动驾驶汽车场景中获得了基本任务的简化DAG图，并使用最先进的技术实现了它们。为了满足不同规模的系统级评估，我们还为自主车辆场景实现了一个可扩展的最后，我们对这个sce- nario基准进行了几次实验评估，并测量了每个模块的尾部延迟。实验结果表明，车道保持是整个系统中最耗时的任务。此外，对热点函数做了进一步的分析。结果表明，卷积运算是最耗时的函数。实验结果揭示了自动驾驶汽车软件栈的优化点竞合利益作者声明以下可能被视为潜在竞争利益的经济利益/个人关系：所有评审人均来自中国科学院计算技术研究所。T. 郝，W.高氏C.Lan等人BenchCouncil交易基准，标准和评估2（2022）1000868致谢本 研 究 得 到 了 中 国 科 学 院 战 略 重 点 研 究 计 划 （ 批 准 号 ：XDA0320000和XDA0320300）的资助。引用[1]W. Gao，F. Tang，J. Zhan，X. 温湖，澳-地 Wang， Z. 曹氏C. 兰角，澳-地Luo，X. 刘先生，Z. Jiang ， Aibench scenario ： Scenario-distilling AI benchmarking ， in ： 202130thInternationalConferenceonParallelArchitecturesandCompilationTechniques，PACT，IEEE，2021. 142-158[2] J. Somers，《即将到来的软件启示录》，Atl。 26（2017）1.[3] J. Zhan，BenchCouncil对新兴和未来计算基准的看法，BenchCouncilTrans. 基准，立场。Eval. （2022）100064.[4] 詹俊杰，《建立科学与工程基准的呼吁》，《科学与工程基准的标准评估》. 1（ 1 ） （ 2021 ） 100012 ， http ： dx.doi.org/10.1016/j.tbench.2021.100012 ，URL;https://www.sciencedirect.com/science/article/pii/S2772485921000120.[5] 詹杰，技术兴衰的三大定律，《美国技术标准委员会》，标准评估。2（1）（2022）100034，http://dx.doi.org/10.1016/j.tbench.2022.100034，URL;https://www.sciencedirect.com/science/article/pii/S2772485922000217。[6] T. Hao，Y.Huang，X.温，W.Gao，F.Zhang C.，中国古猿科郑湖，澳-地Wang，H.是的，K.黄氏Z Ren等人，Edge AIBench：走向全面的端到端边缘计算基准测试，在：基准测试，测量和优化：第一届BenchCouncil国际研讨会，Bench 2018，美国华盛顿州西雅图，2018年12月10日至13日，修订的论文选集1，Springer，2019年，第11页。23-30[7] T. Hao，K.作者：Hwang，J. Li，Y. Cao，基于场景的分布式云/边缘计算系统的AI基准评估，IEEE Trans. Comput. （2022年）。[8] H. Blum，P. E. Sarlin，J. Nieto，R.齐格瓦特角Cadena，Fishyscapes：自动驾驶中安全语义分割的基准，在：IEEE/CVF计算机视觉研讨会国际会议论文集，2019年。[9] X. Song，P. Wang，D.周河，巴西-地Zhu，C.关，Y. Dai，H. Su，H.利河，巴西-地Yang，Apollocar 3d：自动驾驶的大型3D汽车实例理解基准，在：IEEE/CVF计算机视觉和模式识别会议论文集，2019年，pp. 5452-5462.[10] Xue，J. Fang，T.李湾，澳-地Zhang，P. Zhang，Z. Ye，J. Dou，BLVD：为自动驾驶构建大规模5D语义基准，载于：2019年机器人与自动化国际会议，ICRA，IEEE，2019年，pp. 6685-6691[11]Y. Wang，S. Liu，X.吴，W. Shi，CAVBench：互联和自动驾驶汽车的基准套件，在：2018 IEEE/ACM边缘计算研讨会，SEC，IEEE，2018年，pp. 30-42[12] A. Geiger，P. Lenz，R. Urtasun，我们为自动驾驶做好准备了吗？ Kitti视觉基准套件，在：2012年IEEE计算机视觉和模式识别会议，IEEE，2012年，pp. 3354-3361。[13] B. Maity，S. Yi，中国山杨D.徐湖郑，S- S.林，J. - C.金湾Donyanavard，N. Dutt，Chauffeur：嵌入式系统上自动驾驶车辆设计和端到端分析的基准套件，ACM Trans.Embed。Comput. （TECS）20（5s）（2021）1-22.[14] Y.妈Z。Wang，H.扬湖，澳-地杨，人工智能在自动驾驶汽车开发中的应用：一项调查，IEEE/CAA J. Autom。Sin. 7（2）（2020）315-329.[15]SAE J3016- 2021年道路机动车辆驾驶自动化系统相关术语的分类和定义。[16] H.马丁，K.查布施尼格岛Bridal，D. Watzenig，自动驾驶系统的功能安全：ISO26262是否满足挑战？自动驾驶，Springer，2017，pp. 387-416[17]N.A. Rawashdeh，J. P. Bos，N. J. Abu-Alrub，使用CNN传感器融合进行雪地自动驾驶的可驾驶路径检测，载于：Autonomous Systems：Sensors，Processing，andSecurity for Vehicles and Infrastructure 2021，Vol. 1 1 7 4 8 ，SPIE，2021，pp. 36比45[18] H. Daembkes，自动驾驶更安全，更高效的未来驾驶《自动驾驶：更安全、更高效的未来驾驶》，乌尔姆大学，2017年。[19] L. Liu，S.卢河，巴西-地钟湾，澳-地Wu，Y.姚湾，澳-地Zhang，W. Shi，计算机系统自动驾驶：最新技术和挑战，IEEE Internet Things J。8（8）（2020）6469[20] H. T.J. Horstschäfer，G.加列戈湾Scaramuzza，EVO：基于事件的6自由度并行跟踪和实时映射的几何方法，IEEE机器人。自动Lett. 2（2）（2016）593[21] Y.蔡氏T. Luan，H. Gao，H.王湖，加-地Chen，Y. Li，文学硕士Sotelo，Z.李，YOLOv 4 -5D：一个有效和高效的自动驾驶物体检测器，IEEE Trans. 仪器Meas. 70（2021）1-13.[22] J.H. Gawron，G.A.基奥良河De Kleine，T.J. Wallington，H.C. Kim，互联和自动驾驶汽车的生命周期评估：传感和计算子系统以及车辆水平影响，环境。Sci.技术52（5）（2018）3249-3256。[23] M. Simon，K. Amende，A. Kraus，J. Honer，T. Samann，H. Kaulbersch，S.Milz，H. Michael Gross，Complexer-yolo：语义点云上的实时3D对象检测和跟踪，在：IEEE/CVF计算机视觉和模式识别研讨会会议论文集，2019年。[24] P. Sagal，博世寻求与合并软件，电子单元的优势。网址：https://europe.autonews.com/suppliers/bosch-seeks-edge-combined-software-electronics-unit/。[25] 百度，阿波罗，2020，URL;https://developer.apollo.auto/。[26] Y.胡，Z.马角，澳-地Liu，C.C. Loy，通过自我注意蒸馏学习轻量级车道检测cnns，在：IEEE/CVF计算机视觉国际会议论文集，2019年，pp. 1013-1021[27] X. Pan，J. Shi，P. Luo，X. Wang，X. Tang，Spatial as deep：Spatial cnn fortraffic scene understanding，2017，arXiv预印本arXiv：1712.06080。[28] H. Wang，Y. Xu，Y.他，Y. 蔡湖，加-地 Chen，Y. Li，文学硕士 Sotelo，Z. Li，YOLOv5-Fog：A multiobjective visual detection algorithm for fog driving scenariosbased onimprovedYOLOv5，IEEE Trans. 仪器Meas. 71（2022）1[29] F.余，W.西安Y. Chen，F. Liu，M. Liao，V. Madhavan，T. Darrell，Bdd100k：ADiverse Driving Video Database with Scalable Annotation Tooling，Vol. 2，No. 5，2018，p. 6，arXiv预印本arXiv：1805.04687.[30] Z.欧阳，牛俊，杨文。Liu，M. Guizani，基于深度CNN的自动驾驶车辆实时交通灯检测器，IEEE Trans. Mob. Comput. 19（2）（2019）300-313.[31] V. Madhavan，T. Darrell，Bdd-Nexar Collective：大规模，众包，驾驶场景数据集，博士。论文，硕士论文，EECS系，加州大学，2017年。[32] C. Zhang，X.约河，巴西-地 Wang，N. Li，Y. 丁，基于优化Lenet-5算法的交通标志识别研究，国际模式识别杂志。第内特尔34（01）（2020）2055003.[33] Y.莱昆湖，澳-地博图湾，巴西-地Bengio，P. Haffner，基于一致性的学习应用于文档识别，Proc. IEEE 86（11）（1998）2278[34] J. Stallkamp，M. Schlipsing，J. Salmen，C. Igel，德国交通标志识别基准：多类分类竞争，在：2011年国际神经 网络 联合会议，IEEE，2011年，pp. 1453-1460年。[35] B.作者：J.海托华湖Evenson，Kubernetes：Up and Running，O'Reilly Media，Inc，2022。[36] C. Olston，N. Fiedel，K. Harmsen，L. Lao，F. Li，V. Rajashekhar，S. Ramesh，J. J. Reyke ， Tensorflow-serving ： Flexible ， high-performance ML serving ，2017，arXiv预印本arXiv：1712.06139。[37] Nvidia，Nvidiaprofilingtoolkit，2022，URL;https://docs.nvidia.com/cuda/profiler-usersguide/index.html。