IDD-3D：印度驾驶数据集中非结构化道路场景的多模态注释数据

4482IDD-3D：3D非结构化道路场景的印度驾驶数据集Shubham Dokania1，A. H. Abdul Hafez2，AnbumaniSubramanian1，Manmohan Chandraker3，C.V. Jawahar11海得拉巴工业理工学院，2哈桑·卡里昂库大学，3加州大学圣地亚哥分校，shubham. research.iiit.ac.in，abdul. hku.edu.tr，anbumani@iiit.ac.in，mkchandraker@eng.ucsd.edu，jawahar@iiit.ac.in摘要自动驾驶和辅助系统依赖于来自交通和道路场景的注释数据来建模和学习复杂现实世界场景中的各种对象关系。可部署的深度学习架构的准备和训练需要模型适合不同的交通场景并适应不同的情况。目前，现有的数据集虽然规模很大，但缺乏这种多样性，并且在地理上主要偏向于非城市化城市。在印度等几个发展中国家发现的非结构化和复杂的驾驶布局对这些模型构成为了更好地研究这些场景，我们构建了一个新的数据集IDD-3D，它由来自多个相机和LiDAR传感器的多模态数据组成，其中包含12 k注释的驾驶LiDAR帧，跨越各种交通场景。我们讨论了这个数据集的需要，通过与现有的数据集的统计比较，并突出标准的3D对象检测和跟踪任务在复杂布局的基准。代码和数据可用1.1. 介绍由于深度学习和计算机视觉的快速发展，智能车辆和自动驾驶系统已经走过了漫长的道路，并且随着时间的推移变得越来越复杂。然而，所有这些增量的核心组成部分是高质量注释数据的可用性。最近，许多工作都集中在数据选择和质量改进[34，8，47]，构建高质量和大规模的数据集，以及使用这些资源构建的方法，这改善了自动驾驶的状态[48，16]。现有的数据集通常是在结构良好的环境中收集的，这些环境具有适当的交通规则和相对-1https://github.com/shubham1810/idd3d_kit.git图1.数据集中的一些示例显示了不同的交通场景、带有注释的LiDAR数据以及投影到相机数据上的LiDAR点云样本。均匀分布的交通。在这种情况下，群体行为表现出低多样性和平均密度。在东南亚国家，如印度，交通密度和对象间的行为要复杂得多。在过去[39，5，4]中已经研究了这种复杂性，但是对于这种场景，广泛的数据覆盖和多模式系统仍然不可用。因此，它可能不完全适用于对象类别和类型的分布变化很大的情况在本文中，我们提出了一个具有多模态数据的复杂非结构化驾驶场景数据集，突出了LiDAR等3D传感器在非结构化和偶尔混乱的交通条件下更好地感知场景的能力。在建议的数据集中，由于印度道路交通场景的不同性质，与在欧洲或类似环境中收集的现有数据集相比，我们强调了对象类型和类别的显著不同分布[24，13，38]。此外，所提出的数据集中可用的类别和注释与现有数据集有很大具体地说，它们涵盖了场景中通常出现在仍在发展中4483图2.数据集中的样本突出显示不同的（a）RGB图像和（b）LiDAR鸟瞰图（BEV）以及边界框注释。上面可视化的样本取自数据集的不同序列。例如，城市道路上的自动人力车、手推车、混凝土搅拌机以及道路上的动物。我们提供在印度道路场景中收集的数据，这些数据来自高质量的LiDAR传感器和六个覆盖自我车辆周围区域的摄像头，以实现基于传感器融合的应用。我们为数据集中的15.5k帧提供了注释，其中包括10个主要类别（以及7个额外的杂项类别），我们将其用于模型训练和评估。除了注释之外，我们还提供了来自传感器的额外未标记原始数据所提出的数据集，这源于非结构化环境的一个独特的功能是高度复杂的轨迹的可用性。我们展示了数据集中的样本，这些样本强调了这种情况，并显示了对象检测和跟踪的实验，这是可能的，因为每个序列的每个对象边界框的实例特定标签的可用性。我们的主要贡献可归纳如下：(i)我们提出了IDD-3D数据集，用于在具有3D信息的印度道路的非结构化交通场景中驾驶，（ii）具有9DoF数据的3D对象边界框的高质量注释，以及启用跟踪的实例ID，(iii) 分析高度非结构化和多样化的环境强调建议数据集的有用性，以及(iv) 提供3D物体检测和跟踪基准，跨越文献中的流行方法。2. 相关工作数据在机器学习系统中发挥着巨大的作用，在这种情况下，对于自动驾驶汽车和场景识别来说也是如此。多年来，在这一领域作出了若干努力，以改善现有数据集的状况，并增加高质量和注释良好的数据集的数量。2D驾驶：CamVid是视觉感知和理解驾驶[2]和Cityscapes[9，10]数据集，为语义分割提供注释 ， 并 在 像 素 级 进 行 更 深 入 的 场 景 理 解 研 究 。KITTI[14，15]数据集提供了用于检测和跟踪的2D对象注释以及分割数据。然而，多模态（如3D LiDAR数据）的融合增强了场景理解基准的性能，因为这些在与可用的2D数据组合时提供了更高级别的场景细节这种基于多模态传感器融合的方向一直是所建议的数据集的动机，以减轻现有数据集的差异，为场景4484表1.与现有流行的3D自动驾驶数据集的比较我们的数据集展示了最高的多样性，每帧边界框的平均数量最高，分布范围很广统计分布将在以下章节中进一步研究（*）在训练-验证-测试集上报告的数量，在训练-验证集上报告的实验/统计。（**）17个班是10个小学班和7个附加班的总和。图3. 建议数据集中类别标签的分布。(a)这里显示了主要的10个类别以及3个超类别（车辆，行人和骑手），这些类别被认为使建议的数据集与现有数据集的标签更加一致(b)数据集中注释的另外7个类以对数标度单独显示，因为它们目前不用于训练模型。骑手类别涵盖两轮机动车的骑手和非骑手。我们目前不考虑使用Miscellaneous类来评估数据集。感知和自动驾驶。驱 动 数 据 集 ： 最 近 的 数 据 集 ， 如 nuScenes [3] ，Argoverse [5]，Argoverse 2 [42]，为道路场景提供了高清地图。这允许改进的感知和规划能力，并朝着构建更好的对象检测度量的方向发展，例如[38]。这些大规模数据集涵盖各种场景和交通密度，并在驾驶员辅助和自动驾驶领域启用了具有高安全法规的系统。然而，大多数这些数据集的缺点来自这样一个事实，即收集发生在具有清晰和结构化交通流的发达城市。建议的数据集通过引入不同环境的差距更复杂的环境和扩展驾驶数据集的多样性。复杂环境：已经有多种方法来为困难环境构建数据集，例如极端天气[30，35]，夜间驾驶条件[11]和安全关键场景[1]的变化。最近有一些工作利用不同的传感器，如鱼眼镜头，以覆盖自我车辆[46，24]和事件相机[33]周围的更大区域，以训练具有更快反应时间的模型。然而，这些数据集中的大多数是在流量模式和背景对象的一致性几乎没有变化的环境中收集的。一些文学数据集3D场景相机LiDAR图像类3D盒子交通多样性KITTI[15]15k2是的15k380k低nuScenes[3]40k6是的1.4M231.4M中期阿波罗景观[17]20k6是的06475k低KAIST[7]8.9k2是的8.9k30低[38]第三十八话230k5是的1M412M中期[26]第二十六话1M（16k）7是的7M5417k中期[13]第十三话20k-没有49万8-低[29]第二十九话39k1是的39k7230k中期4485图4. 我们数据集中感兴趣的场景样本（LiDAR和RGB样本），特别是将我们提出的数据集与文献中的数据集区分开来。（从左上角开始）（a）车辆朝向各种方向的复杂交通场景，（b）高架立交桥上的自我车辆场景的透视图，地面可见，另一条高速公路在车辆路径上，有柱子，（c）交通中间的人（红色框中显示）和移动车辆附近的乱穿马路，导致安全关键场景，（d）示例交通密度非常高的情况下。这种情况在所提出的数据集中是丰富的（而不是与其他流行的数据集相比时的特殊情况），因此需要特别注意这种非结构化的环境。更多示例请参考补充材料。[39，36，19，41]探索了标签分布可能显著变化的情况，但这些情况主要限于2D模态或越野环境。在这项工作中，所提出的数据集提高了数据的可用性，使研究在不受约束的交通环境中的自动驾驶。目标检测和跟踪：在最近的文献中已经探索了几种流行的方法，这些方法处理驾驶场景情况下的3D对象检测任务[49，44，43，21，45]。在我们的工作中，我们专门讨论了从点云中检测3D对象，同时我们也注意到了多模态方法的有效性[6、31、37]。我们使用的方法，如第二次[43]其体素化输入点云并应用3D卷积，这导致数据的离散几何表示。由于每个点特征的细节水平很好，因此 已 知 分 配 中 心 的 CenterPoint[45] 我 们 还 探 索 了PointPillars[21]，以分析基于支柱的方法，其中数据被投影到鸟瞰图模式，然后被视为图像。我们在实验部分强调了每一个的性能，并得出了针对所提出的数据集的推论。在 文 献 中 已 经 提 出 了 许 多 针 对 3D 多 目 标 跟 踪（MOT）的方法，4486图5.图中显示了（a）车辆上的传感器（摄像头，LiDAR）及其各自的方向，（b）与传感器装置一起使用的车辆图像请注意，真实世界的汽车图像已被编辑，以保持匿名。示出在不同场景中在大量数据集上表现良好 有多种方法可以对跟踪任务进行建模，例如使用鸟瞰图[25]，基于多传感器融合的方法[20]以及基于距离度量和卡尔曼滤波器等方法的简单跟踪[28]。在这项工作中，我们利用[28]中提出的方法，使用来自我们在IDD-3D上训练的模型的检测，并基于流行的MOT指标（如[40]中提出的指标）进行评估。图6. 一些常见的突出类（汽车，摩托车骑士，行人，旅游车）相对于帧数的类分布可视化，以显示建议的数据集中的交通和人群密度。所有类别的分布情况见补充材料。3. 拟议数据集在下面的部分中，我们讨论并强调了所提出的数据集的质量，包括设计选择和数据收集方法，注释和数据集在有趣的场景中的分析。图7.（a）显示所有边界框距自我车辆的距离的分布车辆和行人的短距离为所提出的数据集提供了动力，以促进更短反应时间的建模。(b)距离的累积分布进一步突出了距离分布的差异，表明与现有的流行数据集相比，所提出的数据集中的大多数对象都接近自我车辆。图8. 每个LiDAR帧的边界框数量分布。场景中的对象数量通常在建议数据集中存在 我们基于图6中所示的数据，基于小于30 m的距离来特定地过滤框。（a）显示具有KITTI数据集的统计数据，（b）显示不具有KITTI数据集的统计数据，以突出KITTI数据集中的稀疏性。我们注意到我们的分布的较重的尾部表明靠近自我载体的物体的密度更大。3.1. 数据采集建议数据集的数据收集涵盖了两个驾驶会话，在白天收集了超过5小时的数据。然后，我们手动采样感兴趣的场景，以10fps的100帧序列制作150个序列，每个序列10秒。数据收集已按-4487形成于印度海得拉巴的不同地区。下面我们将详细介绍配置和数据准备。传感器（硬件配置）：该数据集包含来自多个传感器的 数 据 ， 其 中 包 括 六 个 RGB 相 机 和 一 个 LiDAR（Ouster OS1）传感器。关于所用传感器和数据处理的详细信息见补充材料中的表1。采集车上传感器的位置和方向如图所示。5、汽车的真实形象。数据处理：对于每个驱动序列，所有校准都通过流行的方法进行，如[18，27]。我们以ros- bag格式保存来自传感器的原始数据[32]。数据集的当前版本包含15.5k总帧，其中12k帧来自训练值集。数据隐私权：我们确保数据集中的所有人脸和车牌都是模糊的，首先使用自动方法（如[12，22]），然后执行手动质量检查。对于自动化方法，我们运行对象检测管道，然后执行基于NMS的匹配，以找到帧之间丢失的任何框缺失的框被插值，最后，我们模糊图像中的区域以保护数据。3.2. 数据集分析标签和注释我们为15.5k（train-val-test）LiDAR帧提供3D边界框注释，其中包含223 k 3D边界框。我们已经使用注释工具[23]来标记17个类别的数据，如图所示。3.第三章。序列中的每个对象都包含一个唯一的ID，可以进行跟踪和重新识别。此外，我们提供了基于图中一些突出类别的帧数量的6. 我们注意到，在17个可用类（主要和附加）中，我们目前使用10个主要类进行训练，并对10个类和3个超类（车辆，行人和骑手）进行验证数据统计：我们首先突出显示IDD-3D中的边界框距离分布，并在图7中与以前流行的数据集[3，15，26]进行比较。在图7（a）中，我们显示IDD-3D由靠近自我车辆的大多数注释组成，这是由于车辆之间的低间隙导致LiDAR射线在较长距离内被遮挡。尽管如此，强调建议数据集的这一特征至关重要，因为瞬间决策对于安全性至关重要，特别是当其他对象接近时自我载体我们还显示了更好的数据密度相比，KITTI，这是一个规模相当的IDD-3D。此外，可以看出，在0-25 m的范围内（其中存在大多数所提出的数据集8（b）.有趣的案例：虽然现有的数据集提供了交通场景类型的高度多样性，但这些数据集通常局限于仅具有少数异常的受控和结构良好的环境。在IDD-3D中，我们展示了大量的情况多样性，并强调了一些可能对驾驶行为建模的进展感兴趣的情况，例如图中所示的样本。4.第一章例如，我们看到安全关键的情况下，多个行人被视为乱穿马路，而车辆在道路上。当一帧中有20-30个对象边界框时，现有的数据集声称高密度流量，而在我们的样本中，我们在同一帧中显示了50-60个或更多的对象，并且非常接近。考虑到所提出的数据集中场景的不同变化，监控、道路安全、交通质量和人群行为的应用是巨大的，并且显示出与来自其他数据集的数据模式不同的潜力4. 实验和基准我们提出了一个广泛的分析IDD-3D与现有的方法，以突出的多样性和有用的数据。我们首先讨论了实验设置，然后基于评估，报告了对不同方法的数据集属性和行为的理解。拟定数据集：我们使用图中突出显示的10个主要类别。3，然而，由于文献中的大多数数据集通常提供几个类别作为公共标签（例如，Car，truck，Van作为Vehicle），因此我们将类别标签组合成三个类别，即Vehicle，Pedestrian和Rider作为超类别。网络架构在10个类别上进行训练（汽车、公共汽车、卡车、踏板车、货车、摩托车、行人、摩托车骑士、踏板车骑士、旅游车）.对于3D对象检测任务，我们将注释转换为更简单的格式，即7维向量（x，y，z，w，h，l，α），其中（x，y，z）表示对象位置，（w，h，l）表示边界框的尺寸，α表示偏航角。3D物体检测：我们讨论了一些流行的数据集，这些数据集被认为是与建议的数据集进行比较，并强调了它们在所提出的驾驶场景的复杂设置中的优势和劣势。为了公平比较，我们训练了[43，45，21]中提出的用于3D对象检测的网络架构，4488SuperCategory类别/方法CenterPointCenterPoint二个第二点柱表2.IDD-3D常用方法的结果我们在验证集上报告不同类别的AP分数此表显示了每个培训班的结果每个类别的分数都有不同的阈值（车辆@0.5，骑手@0.4，行人@0.3），所有物体都被考虑到30米的距离，请参阅补充材料了解更多细节和完整的表格。车辆驾乘者整体0- 10米10- 25米>25米整体0- 10米10- 25米>25米中心点nuScene场景73.8587.5770.9830.4871.0384.2469.5423.42中心点-71.2088.8467.6226.3269.5183.6667.4919.76二KITTI72.5188.6068.9928.0771.6083.2570.9824.32二-73.0188.7167.8229.4672.0585.4470.8926.28点柱-68.6187.6464.5926.3069.6682.5668.6025.64表3.实验结果建议的数据集与不同的流行方法。我们在验证集上报告不同类别的AP分数。此表显示了来自建议数据集的车辆和骑手类别的结果。结果见表2、3和4。我们在表3和表4中报告了3个组合类别（车辆，行人和骑手）的mAP得分，并进一步报告了四个子级别的mAP得分，即每个培训班的AP总分见表2。表2中报告的分数是针对数据集中最多30 m的距离，超类中的距离分为最多30 m（表示为总体）、0- 10 m、10- 25 m和25+m。由于数据分布，考虑了小距离桶（如图所示）。（7）在数据库中。3D物体跟踪：建议的数据集的一个显着属性是每个3D边界框的实例ID的存在。 在这项工作中，我们还显示了3D对象跟踪的结果，并在表5中报告了重要指标，如AMOTA、AMOTP [40]。我们使用SimpleTrack[28]进行对象跟踪任务，并基于Centerpoint[45]的检测报告结果，因为检测任务的mAP得分最高。报告了所有10个小学班级和所有类别的MOT分数。数据集：我们使用KITTI[15，14]数据集和nuScenes[3]用于3D对象检测方法的预训练，以进一步对我们提出的数据集进行微调。 我们注意到交叉-在给定数据集中类别和输入数据的显著不同分布的情况下，数据集训练在这种情况下可能不会有成果现有数据集通常利用LiDAR强度、伸长率和时间戳信息等信息然而，考虑到基于这些数据集的广泛研究，我们必须强调如何使用在这些数据集上训练的现有模型作为预训练骨干通常会提高性能。为此，我们考虑使用模型[43，45]通过使用公共层的权重进行预训练，并进行微调以获得更好的性能。结果分析：我们注意到，10个类别和3个超类别的架构性能是一致的，与我们的声明一致。很明显，注释实例的数量对于更好的mAP分数起着主要作用，例如，与诸如Van或Scooter之类的类相比，诸如Car之类的类实现高mAP另一个主要因素似乎是对象大小，其中与较小的实例相比，较大和较密集的对象更容易建模和检测。基于大小的mAP分数变化的示例是以下差异：方法预训练（nuScenes）（KITTI）车65.2866.9769.8968.5067.77总线59.0978.4759.1249.6943.70车辆货车68.7972.1865.1168.0963.68Van9.5812.711.2715.770.14TourCar76.9477.4074.8177.0272.80行人28.6022.4919.5423.7422.72摩托车23.6525.2821.6922.7916.97骑士滑板车42.3638.0526.9823.7316.81摩托车手59.2961.4853.3948.9046.52ScooterRider66.3364.6552.2750.6241.60地图49.9951.9744.3144.8939.274489行人mAP整体0- 10米10- 25米>25米整体0- 10米10- 25米>25米中心点nuScene场景22.4933.8519.474.4855.7968.5653.3319.46中心点-28.6044.8924.393.4856.4372.4653.1716.52二KITTI23.7433.6721.055.5855.9568.5153.6719.32二-19.5427.1817.616.4454.8767.1152.1120.73点柱-22.7229.3420.455.4553.6666.5251.2119.13表4.实验结果（续）建议的数据集与不同流行的方法。我们在验证集上报告不同类别的AP分数。该表显示了行人类别的结果和来自建议数据集的mAP得分类别AMOTAAMOTP召回砂浆MOTPMotaLGDtidFAF总线0.8310.6790.8120.9070.5890.7363.0452.65913.805车0.6410.7260.6670.7870.5180.5213.4222.03544.806摩托车0.2020.8260.2420.9410.3560.2282.0002.0002.321摩托车手0.5070.7350.4960.8010.3200.3905.0272.58536.410行人0.2540.9120.3190.7370.3630.2259.9186.73134.557滑板车0.2500.4940.3231.0000.0920.3230.0000.0000.000ScooterRider0.5400.5360.5810.7420.2580.4273.8682.27435.251TourCar0.7960.4330.8480.8210.3510.6922.8771.03448.866卡车0.7010.6350.6750.9030.4030.6075.1082.67617.796Van0.0001.6770.2750.0000.5630.00014.5000.00075.163整体0.4720.7650.5240.7640.3810.4154.9772.19930.898表5.实验结果的3D对象跟踪的10个主要类中存在的建议的数据集。我们使用SimpleTrack[28]来执行使用CenterPoint[45]中的检测进行跟踪的任务。有关消融研究，请参阅补充材料。在行人和公共汽车/卡车类别之间，即使行人类别由最大边界框实例组成从表2中，我们看到CenterPoint方法对于所提出的数据集通常比SECOND或PointPillars执行得更好我们还提供了在不同距离范围内相同架构的超类结果，并显示出所有方法的相似性能。对于表5中所示的对象跟踪结果，我们注意到检测分数和跟踪分数（AP和AMOTA/MOTA）之间的相关性，例如行人和汽车。我们强调，检测以及跟踪模型在所提出的数据集上充分执行，实现了0.472的总体AMOTA分数（越高越好），同时我们还注意到，类似 的 配 置 在 nuscenes 数 据 集 上 实 现 了 0.668 的 总 体AMOTA（来自排行榜）。在行人类的结果中，所提出的数据集的复杂性尤其突出，其中低分数证明数据集中存在复杂的我们在补充部分提供了进一步的结果以及使用SECOND和PointPillars模型的跟踪结果，以确保完整性，并提供相应的可视化。5. 结论在这项工作中，我们提出了IDD-3D，一个数据集的非结构化驾驶场景与复杂的道路情况下，提出了全面的统计和实验分析。通过这个数据集和未来的版本，我们的目标是解决跨地理位置的概括性问题，并在驾驶数据集和道路场景分析中提供更多样化的信息。我们展示了有趣的案例，涵盖了多种情况，但也显示了一些安全关键的情况下，这是经常在几个城市。我们通过一组使用最先进的方法进行3D对象检测和跟踪的实验来证明我们对所提出的数据集的声明，数据集的未来工作将把这些任务扩展到大量的应用程序中，进一步增强拟议数据集对自动驾驶应用程序的适用性。6. 确认该项目由IIIT Hyderabad的iHub数据和移动性资助。作者要感谢Radha Krishna B对数据收集和注释的支持。我们还要感谢特兰加纳政府的许可、鼓励和支持这一方法预训练4490引用[1] 包文涛、齐钰、俞空。基于时空关系学习的不确定性第28届ACM国际多媒体会议论文集，第2682-2690页，2020年[2] Gabriel J Brostow，Julien Fauqueur，and Roberto Cipolla.视频中的语义对象类：一个高清晰度地面实况数据库。Pattern Recognition Letters，30（2）：88[3] 放大图片作者：Holger Caesar，Varun Bankiti，AlexH.Lang，Sourabh Vora，Venice Erin Liong，Qiang Xu，Anush Krishnan ， Yu Pan ， Gi- ancarlo Baldan ， andOscar Beijbom.nuscenes：自动驾驶的多模态数据集。在CVPR，2020年。[4] Rohan Chandra、Mridul Mahajan、Rahul Kala、RishithaPalugulla 、 Chandrababu Naidu 、 Alok Jain 和 DineshManocha。Meteor：一个用于自动驾驶的大规模密集异构 行 为 数 据 集 。 arXiv 预 印 本 arXiv ： 2109.07648 ，2021。[5] Ming-Fang Chang，John Lambert，Patsorn Sangkloy，Jag-jeetSingh ， Slawomir Bak ， Andrew Hartnett ， DeWang，Peter Carr，Simon Lucey，Deva Ramanan，et al.Argoverse：3d跟踪和预测与丰富的地图。在IEEE/CVF计算机视觉和模式识别会议论文集，第8748-8757页[6] Xiaozhi Chen，Huimin Ma，Ji Wan，Bo Li，and TianXia.用于自动驾驶的多视角三维物体检测网络。在IEEE计算机视觉和模式识别会议论文集，第1907-1915页[7] Yukyung Choi，Namil Kim，Soonmin Hwang，KibaekPark，Jae Shin Yoon，Kongghwan An，and In So Kweon.用于自动驾驶和辅助驾驶的Kaist多光谱昼夜数据集IEEE Transactions on Intelligent Transportation Systems，19（3）：934[8] 布兰登柯林斯，贾登，李凯，李飞飞。面向可扩展数据集构建：积极的学习方法。欧洲计算机视觉会议，第86-98页。Springer，2008.[9] Marius Cordts ， Mohamed Omran ， Sebastian Ramos ，Timo Rehfeld，Markus Enzweiler，Rodrigo Benenson，Uwe Franke，Stefan Roth，and Bernt Schiele.用于语义城市场景理解的cityscapes数据集。 IEEE计算机视觉与模式识别会议（CVPR），2016年。[10] Marius Cordts ， Mohamed Omran ， Sebastian Ramos ，TimoScharwaéchter，MarkusEnzweiler，RodrigoBenenson，Uwe Franke，Stefan Roth，and BerntSchiele.城市景观数据集。在CVPR研讨会上，2015年，数据集的未来。[11] Dengxin Dai和Luc Van Gool。暗模式适应：从白天到夜间的语义图像分割。在2018年第21届智能运输系统国际会议（ITSC）上，第3819-3824页。IEEE，2018年。[12] Jia Guo ， Evangelos Ververas ， Irene Kot- sia ， andStefanos Zafeiriou. Retinaface：在野外进行单次拍摄的多层次面部定位。 在IEEE/CVF计算机视觉和模式识别会议论文集，第5203-5212页[13] NilsG¨hlert ， NicolasJourdan ， MariusCordts ， UweFranke，and Joachim Denzler.Cityscapes 3D：9自由度车辆检测的数据集和基准。arXiv预印本arXiv：2006.07864，2020。[14] Andreas Geiger ， Philip Lenz ， Christoph Stiller ， andRaquel Urtasun.视觉与机器人技术的结合：Kitti数据集。The InternationalJournal of Robotics Research ，32（11）：1231[15] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们准备好自动驾驶了吗？Kitti Vision基准套件。在2012年IEEE计 算 机 视 觉 和 模 式 识 别 上 ， 第 3354-3361页 。IEEE，2012。[16] Sorin Grigorescu，Bogdan Trasnea，Tiberiu Cocias，andGigel Macesanu.自动驾驶深度学习技术综述。Journal ofField Robotics，37（3）：362[17] X. Huang，X.成角，澳-地耿湾，澳-地Cao，中国粘蝇D.Zhou，P.Wang，Y.Lin和R.杨自动驾驶的apolloscape数据集。2018年IEEE/CVF计算机视觉和模式识别研讨会（CVPRW），第1067[18] Ganesh Iyer，R Karnik Ram，J Krishna Murthy，and KMad- hava Krishna.Calibnet：使用3D空间Transformer网络进行几何监督外部校准。2018年IEEE/RSJ智能机器人和系统国际会议（IROS），第1110-1117页。IEEE，2018年。[19] Peng Jiang ， Philip Osteen ， Maggie Wigness ， andSrikanth Saripalli. Rellis-3D数据集：数据、基准和分析。2021年IEEE机器人与自动化国际会议（ICRA），第1110-1116页。IEEE，2021。[20] Alek s andrKim ， Alj osdaughaO sdaughep 和 LauraLeal-Taix e'。通过传感器融合实现三维多目标跟踪。2021年IEEE机器人与自动化国际会议（ICRA），第11315-11321页。IEEE，2021。[21] Alex H Lang ， Sourabh Vora ， Holger Caesar ， LubingZhou，Jiong Yang，and Oscar Beijbom.点柱：用于从点云中检测物体的快速编码器。在IEEE/CVF计算机视觉和模式识别会议论文集，第12697-12705页[22] RaysonLaroca，LuizAZanlorensi，GabrielRGoncRehalves ， Eduardo Todt ， William RobsonSchwartz，and David Menotti.基于yolo检测器的高效的与版面无关的车牌自动识别系统。IET智能交通系统，15（4）：483[23] E Li ， Shuaijun Wang ， Chengyang Li ， Dachuan Li ，Xiangbin Wu，and Qi Hao.Sustech积分：一种可携式三维点云互动注记平台系统。2020年IEEE智能车辆研讨会（IV），第1108-1115页。IEEE，2020年。[24] 廖依依，谢君，安德烈亚斯·盖格。Kitti-360：一个用于2D和3D城市场景理解的新数据集和基准arXiv预印本arXiv：2109.13410，2021。[25] Zhijian Liu ， Haotian Tang ， Alexander Amini ， XinyuYang ， Huizi Mao ， Daniela Rus ， and Song Han.Bevfusion：多任务多传感器融合，具有统一的鸟瞰arXiv预印本arXiv：2205.13542，2022。[26] Jiageng Mao ， Minzhe Niu ， Chenhan Jiang ， HanxueLiang ， Jingheng Chen ， Xiaodan Liang ， Yamin Li ，4491Chaoqiang Ye，4492张伟，李振国， 等人 100万个自动驾驶场景：一次数据集。arXiv预印本arXiv：2106.11037，2021。[27] Gaurav Pandey，James R McBride，Silvio Savarese，andRyan M Eustice.通过最大化互信息的3d激光雷达和摄像机的自动无目标外部校准2012年第26届AAAI人工智能会议。[28] 庞子奇、李志超、王乃燕。Simpletrack：三维多目标跟踪的理解与再思考。arXiv预印本arXiv：2111.09621，2021。[29] Quang-Hieu Pham ， Pierre Sevestre ， Ramanpreet SinghPahwa ，Huijing Zhan，Chun Ho Pang，Yuda Chen，Armin Mustafa ，Vijay Chandrasekhar，and Jie Lin. A*3D数据集：在充满挑战的环境中实现自动驾驶。在2020年IEEE机器人和自动化国际会议上，第2267-2273页IEEE，2020年。[30] MatthewPitropov ， DansonEvanGarcia ， JasonRebello ， Michael Smart ， Carlos Wang ， KrzysztofCzarnecki，and Steven Waslander.加拿大不良驾驶条件数据集。国际机器人研究杂志，40（4-5）：681[31] Charles R Qi ， Wei Liu ， Chenxia Wu ， Hao Su ， andLeonidas J Guibas.从rgb- d数据中检测三维物体的平截体点网。在IEEE计算机视觉和模式识别会议论文集，第918-927页[32] Morgan Quigley ， Ken Conley ， Brian Gerkey ， JoshFaust ， Tully Foote ， Jeremy Leibs ， Rob Wheeler ，Andrew Y Ng，et al. Ros：一个开源的机器人操作系统。ICRA开放源码软件，第3卷，第5页。2009年，日本神户[33] Henri Rebecq 、 Rene 'Ranftl 、 Vladlen Koltun 和 DavideScaramuzza。高速和高动态范围视频与事件摄像机。IEEEtransactionsonpatternanalysisandmachineintelligence，43（6）：1964[34] Pengzhen Ren ， Yun Xiao ， Xiaojun Chang ， Po-YaoHuang，Zhihui Li，Brij B Gupta，Xiaojiang Chen，andXin Wang.深 度 主 动 学 习 的 研 究 。 ACM 计 算 调 查（CSUR），54（9）：1[35] Christos Sakaridis ， Dengxin Dai ， and Luc Van Gool.ACDC：用于语义驾驶场景理解的具有对应关系的不利条件数据集。IEEE/CVF计算机视觉国际会议论文集，第10765-10775页，2021年[36] Suvash Sharma ， Lalitha Dabbiru ， Tyler Hannis ，GeorgeMa- son，Daniel W Carruth，Matthew Doude，Chris Goodin，Christopher Hudson，Sam Ozier，John EBall，et al. Cat：Cavs Traversability dataset for off-roadautonomous driving. IEEE访问，10：24759[37] Vishwanath A Sindagi，Yin Zhou，and Oncel Tuzel.用于三维物体检测的多模态体素网2019年国际机器人与自动化会议（ICRA），第7276-7282页IEEE，2019。[3