基于真实LiDAR点云的雾模拟用于恶劣天气

15283^ ^您的位置：基于真实LiDAR点云的雾模拟用于恶劣天气马丁·哈纳1mhahner@vision.ee.ethz.chChristos Sakaridis1csakarid@vision.ee.ethz.chDengxin Dai1，2ddai@mpi-inf.mpg.deLuc Van Gool1，3邮箱：luc. kuleuven.be1ETHZuürich2MPIforInformatics3KULeuv en摘要这项工作解决了具有挑战性的任务，基于激光雷达的三维物体检测在雾天。在这种情况下收集和注释数据是非常耗时、劳动力和成本密集的。在本文中，我们解决了这个问题，通过模拟物理上准确的雾到晴朗的天气场景，使丰富的现有的真实数据集捕捉到晴朗的天气可以重新利用我们的任务。我们的贡献是双重的：1）我们开发了一种物理上有效的雾模拟方法，适用于任何LiDAR数据集。这释放了大规模的雾训练数据的采集，没有额外的成本。这些部分合成的数据可以用于提高几种感知方法的鲁棒性，例如3D对象检测和跟踪或同步定位和映射，在真实的雾数据上。2）通过对几种最先进的检测方法进行广泛的实验，我们表明我们的雾模拟可以被利用来显着提高雾存在下的3D对象检测因此，我们是第一个在Seeing ThroughFog数据集上提供强大的3D对象检测基线的公司。我们的代码可以在www.trace.ethz.ch/lidarfog simulation上找到。1. 介绍光探测和测距（LiDAR）对于实现安全的自动驾驶汽车至关重要，因为LiDAR测量物体与传感器的精确距离，而相机无法直接测量。因此，LiDAR已经进入许多应用，包括检测[23，34]、跟踪[7，50]、定位[25，8]和映射[48，15]。尽管测量精确深度信息的益处 ，但 LiDAR 具 有显 著缺 点。 与汽 车 雷达 相反 ，LiDAR传感器在不可见近红外（NIR）光谱（通常在850和903至905nm波长[4]）中发射的光脉冲不会这意味着一旦空气中有雾形式的水粒子，传感器发出的光脉冲就会发生后向散射和衰减。(a) 最强收益（b）最后收益图1：（顶部）场景中由雾引起的LiDAR回波。(a) 显示了最强的回波和（b）最后的回波，由LiDAR通道进行颜色编码。将移除地面的返回，以便更好地查看由雾引入的点最佳彩色视图（红色=低，青色=高，3D边界框注释为绿色，自我车辆尺寸为灰色）。衰减降低了与应当测量的视线中的固体物体的范围相对应的接收信号功率，而反向散射在不正确的范围处在接收信号功率中产生伪峰值。因此，只要在捕获时存在雾，所获取的LiDAR点云将包含一些虚假返回这对大多数户外应用提出了很大的挑战，因为它们通常需要在所有天气条件下的稳健性能。近年来，已经提出了用于3D对象检测的几个LiDAR数据集[10，3，19，5，39，27，11，16]。虽然它们中的许多包含不同的驾驶场景，但是它们中没有一个允许对不同种类的广告天气进行评估。仅在最近，加拿大不利驾驶条件（CADC）数据集[28]和透视雾（STF ）数 据集[2]解决 了此 类评估 的需 求。虽 然CADC侧重于降雪，但STF的目标是在雾，雨和雪下进行评估因此，仍然没有大量可用的LiDAR雾数据可用于训练深度神经网络。15284原因显而易见：收集和注释大规模数据集本身是时间、劳动力和成本密集的，更不用说在不利的天气条件下进行。这正是我们工作要解决的不足之处。节中3，我们提出了一个基于物理的雾模拟，将真正的晴朗天气的激光雷达点云转换成雾的同行。特别地，我们使用对LiDAR脉冲的传输进行建模的标准线性系统[30]我们区分的情况下，晴朗的天气和雾相对于该系统的脉冲响应和estab- lish收到的响应下，下雾和相应的响应在晴朗的天气之间的正式连接。这种连接使得能够直接变换每个原始晴朗天气点的范围和强度，使得新的范围和强度对应于如果场景中存在雾则将进行的测量。然后我们在Sec中显示。4，可以在我们的部分合成数据上训练几个最先进的3D对象检测流水线，以提高对真实雾数据的鲁棒性。该方案已经应用于图像的语义分割[32，31，13]，我们表明，它也是成功的激光雷达数据和3D对象检测。对于我们的实验，我们在STF [2]的晴朗天气训练集上模拟雾，并在他们的真实雾测试集上进行评估。图1示出了来自STF浓雾测试集的示例场景，其中由雾引入的噪声在LiDAR数据中清晰可见。STF [2]的作者使用Velodyne HDL-64 E作为他们的主要LiDAR传感器。该传感器具有64个通道和所谓的双模式。在这种模式下，它不仅可以测量最强的，而且还可以测量每个单独发射的光脉冲的最后即使最后的信号包含不太严重的噪声，雾仍然会导致大量的杂散回波。因此，即使在这种双模式下，传感器也不能完全图图2示出了由雾引入的噪声的有趣特性，即，其不均匀地分布在传感器周围。相反，噪声的存在取决于在距离传感器一定范围以下如果在中等范围内存在固体物体，则存在很少的（如果有的话）来自相应脉冲的伪返回另一方面，如果在一定范围以下的视线中没有这在图1的示例2、道路左侧有山，右侧护栏后有空地的只有在后一种情况下，由雾引起的噪声才会出现在测量中。这种行为是用我们的理论公式解释的。3.第三章。顺便说一句，类似的传感器噪音也可能是由废气引起的，但如果未来的交通工具是电动的，至少这个问题可能会消失在空气中。(a) 通道（b）强度图2：（顶部）场景中由雾引起的LiDAR回波。由（a）中的LiDAR通道和（b）中的强度进行将移除地面的返回，以便更好地查看由雾引入的点。最好用彩色观察，与图中相同的颜色编码。1适用。2. 相关工作2.1. 恶劣天气对激光雷达的影响一些早期的作品包括艾萨克等。[20]第20段。2001年，他们研究了雾和霾对近红外光谱中光学无线通信的影响然后，在2011年，Rasshoferet al. [30]研究天气现象对汽车LiDAR系统的影响。近年来，不利的天气条件得到了更多的关注，并且有许多其他工作值得一提，这些工作研究了不同不利天气条件下LiDAR数据的退化[45，9，21，17，14，44，24，22]。最近，在2020年，LIBRE [4]的作者在雨和雾的天气室中测试因此，它们提供了关于此时单个传感器在具有挑战性的天气条件下的鲁棒性的重要且有价值的见解。2.2. 恶劣天气与激光雷达模拟在汽车环境中，人工雾模拟到目前为止主要限于基于 图 像 的 方 法 。 Sakaridis 等 人 [32] 例 如 ， 创 建Cityscapes的模糊版本[6]，用于语义分割的数据集，以及Hahner等人。[13]纯粹合成数据集Synscapes [46]的模 糊 版 本 ， 通 过 利 用 原 始 数 据 集nal 数 据 集 。Sakaridis等人还发布了ACDC [33]，这是一个数据集，为不利条件下的19个Cityscapes类提供语义像素级注释。直到最近，Bijelicet al.[2]提出一阶近似来模拟汽车LiDAR设置中的雾。然而，他们的模拟仅旨在再现他们在30米长的雾室中进行的测量。15285.Σsint，0 ≤t≤ 2 τGoodin等人[12]开发了一个模型来量化激光雷达在雨中的性能退化，并将他们的模型纳入模拟中，用于测试高级驾驶员辅助系统（ADAS）。Michaud等人[26]和Trem- Blayet al.[41]提出了一种在图像上绘制雨的方法，以评估和提高雨图像的鲁棒性。2.3. 3D对象检测在许多LiDAR数据集[10，3，19，5，在过去的几年中，3D物体检测在朝向自动驾驶的竞赛中受到越来越多的关注。虽然存在基于相机的方法，例如Simonelli等。[38]和门控相机方法，如Gated3D[18]， 所 有 数 据 集 排 行 榜 的 最 高 排 名 通 常 在 基 于LiDAR的方法中进行排序。基于LiDAR的3D对象检测方法中的种子工作包括PointNet [29]和VoxelNet [49]。PointNet [29]是一种神经网络，它直接处理点云，而无需事先将3D空间量化为体素。最值得注意的是，网络架构对输入扰动是鲁棒的，因此点被馈送到网络中的顺序不会影响其性能。3. 基于真实LiDAR点云的雾模拟为了模拟雾对在晴朗天气下记录的真实世界LiDAR点云的影响，我们需要求助于LiDAR传感器的发射器和接收器功能的光学系统模型特别地，我们检查单个测量/点，将接收功率的全信号建模为范围的函数，并恢复其对应于原始晴朗天气测量的精确形式。这允许我们在信号域中操作，并且简单地通过修改脉冲响应的与光信道有关的部分（即，与光信道相关的部分）来实现从晴朗天气到雾的变换。大气层）。在本节的剩余部分中，我们首先提供LiDAR传感器的光学系统的背景，然后基于该系统提出我们的3.1. 激光雷达光学模型Rashofer等人[30]介绍了一个简单的线性系统模型来描述在激光雷达的接收机，这是有效的非弹性散射的接收信号的功率。特别地，距离相关的接收信号功率P_R被建模为时间相关的发射信号功率P_T与环境的时间相关的脉冲响应HVoxelNet [49]建立在将3D空间量化为相等大小的体素的想法上，然后利用PointNet类PR（R）=CA2R/c0PT（t）H.R−ctΣ2DT.（一）层来处理每个体素。然而，由于它这PointPillars [23]基于SECOND [47]代码库，但由于新的支柱c是光速，CA是与时间和距离无关的系统常数。对于我们的雾模拟，正如我们在第二节中解释的那样。3.2，CA可以被分解。我们继续对（1）中的其余项进行描述和建模对于汽车LiDAR传感器[30]，发射脉冲的时间特征可以通过sin2函数建模：基于这个想法，它可以回落到更快的2D卷积，并以更快 的 速 度 实 现 非 常 有 竞 争 力 的 结 果 其 继 任 者PointPainting [43]进一步利用图像分割-PT（t）=.均p02π2τHH0否则。（二）在使用PointPillars [23]体系结构处理这些点之前，Shi等人在3D物体检测中实现了几个最近的里程碑。PointRCNN [36]是一种两阶段架构，其中第一阶段以自下而上的方式从点云生成3D边界框提案，第二阶段以规范的方式细化这些3D边界框提案。Part-A2[37]在某种意义上是部分感知的，即网络会考虑一个点属于对象的哪一部分。它利用这些对象内部分位置，从而可以实现更高的结果。PV-RCNN [34]和它其中P0表示脉冲τH的典型值介于10和20 ns之间[30]。在（2）中，将时间原点设置为开始因此，在LiDAR传感器不报告与上升沿相关联的范围而是返回信号中的对应峰值的最大值的情况下，我们可以稍后在我们的流水线中执行所需的校正由于在嵌入式信号处理中报告上升沿是常见的，因此我们在所有方程中保持这种约定，并显示稍后可以在何处执行这种校正。环境的空间脉冲响应函数H可以被建模为光信道HC和目标HT的各个脉冲响应的乘积：H（R）= HC（R）HT（R）。（三）∫15286-12号不超过≪----020--0光信道H_C的脉冲响应为T2（R）HC（R）= R2 ξ（R），（4）其中，T（R）表示总单向传输损耗，并且ξ（R）表示交叉函数，该交叉函数定义由发射器照射的面积与由发射器照射的部分的面积的比率。它观察到的接收器，如图所示。3. 因为通常商用LiDAR传感器中的光学配置的全部细节不是公开可得的（即，R1和R2的精确值是未知的），ξ（R）在我们的情况下是分段线性近似，定义为图3：LiDAR传感器的草图，其中发射器Tx和接收器Rx不具有同轴光学器件，而是具有平行轴。这被称为双基地波束配置。ξ（R）=RR2−R10，R R1R1，RRR<P15289R，雾.P软（R）=CAP0β2τH0罪 2π2τH tΣ×软目标响应仅启发式地建模，我们软exp，−2α，R −ctΣ，ct雾模拟模型PR，雾在物理上健全的方式。2？，R−ctΣ2ξ（R−）U（R02-R+）dt2（十八）为了突出这种差异，我们特别挑选了一个清晰的布局与真实雾场景示于图2. 仅在雾模拟中（最佳可见没有一个封闭式的表达式，就像的右侧的预测积分I（R，R0，α，τH）(18)无法解析计算。在图的右下可视化5）、相似的一半模拟了雾噪声的循环。在补充材料中，我们展示了与其他α值的比较。∫2CT15290←0i←← ×−←×r10的2←←MORπ6≈算法1LiDAR雾模拟一曰： 程序FOGGIFY（p，i，α，β，β0，τH）2：R0←p3：x，y，z←p▷i=PR，clear4.2. 雾中的三维目标检测我们的实验设置代码库是从Open-PCDet [40]派生的 。 它 附 带 了 3D 对 象 检 测 方 法 PV-RCNN [34] 、PointRCNN [36]、4：CAP0R2β0▷ 从Eq。（十二）第二[47]部分-A2 [37]和PointPillars [23]。为5：ihardiexp（2αR0）▷参见等式（十七）6：对于R在（0，0. 1、…R0）do▷10 cm准确度7：IRSIMPSON（I（R，R0，α，τH））▷参见等式（十八）8：结束9：itmp←max（IR）10：Rtmp←arg max（IR）11：isoftCAP0 βitmp▷再次参见等式（十八）12：如果我软>我硬然后在我们的实验中，我们在STF [2]数据集上用它们提供的标准训练策略从头开始训练所有这些方法80个时期。我们还尝试从KITTI [10]权重（使用相同的LiDAR传感器）进行微调，但除了网络收敛更快之外，我们没有看到因此，您在第4.2节中看到的所有数字都是在由3469个场景组成的STF [2]晴朗天气训练集上从头开始训练的。 [2]天气13：s←Rtmp14：p←随机一致浮动（−1，1）▷比例因子s验证和测试集由781和1847个场景组成分别然而，使用STF的主要好处[2]15：n←2p▷噪声因子n ∈（1，2）16：x←s×n×x17：y←s×n×y18：z←s×n×z19：i i软20：否则▷保留原始位置21：i ihard▷only modify intensity22：如果结束23：返回x，y，z，i是因为它附带了测试集不同的恶劣天气条件。特别是，它配备了946场景的轻雾测试集和786场景的浓雾测试集。这使我们能够在真实的雾数据上测试雾模拟管道的有效性。关于我们的雾模拟，我们假设Velodyne HDL-64E传感器的半功率脉冲宽度τH为20 ns，并将β设置为0。046，如Rasshofer等人[30]第30段。我们根据经验将β0设置为1×10−，以获得类似的in-24：结束程序图5：我们的雾模拟（底部）与[2]中的雾模拟（中间）的比较，α设置为0。06，其对应于气象光学范围（MOR）50m。在左列中，点云通过强度进行颜色编码，并且在右列中，点云通过高度（z值）进行颜色编码顶行显示原始点云。15291我们可以在STF的真实雾点云中观察到强度分布[2]。由于Velodyne HDL-64 E使用一些未知的内部动态增益机制，因此它在每个时间步长处提供全值范围内的强度值[0，255]。为了模拟这种行为并且还再次覆盖整个值范围，我们在通过算法1修改强度值之后线性地按比例增加4.2.1定量结果对于我们报告的数字，我们选择在晴朗天气验证集上具有最佳性能的快照，并在上述测试分割上对其进行测试。在表1中，我们报告了汽车、自行车和行人类别的STF [2]浓雾测试分割的3D平均精度（AP）以及这三个类别的3D平均精度（mAP）。注意，总是一个模型预测所有三个类，而不是每个类一个模型。本文中报告的所有AP和mAP数量都是使用[38]中建议的40个回忆位置计算的。我们可以看到，在所有类别的mAP中以及在主要的Car类别上，使用我们的雾模拟的所有方法的训练运行都优于[2]中使用雾模拟的晴朗天气基线和训练运行。作为第二个基线，我们在测试时应用额外的预处理步骤后评估晴朗天气模型，其中我们仅将那些点馈送到网络存在于同一场景的最强和最后测量中。我们称这个过滤器为15292† ‡ †∩† ‡ †∩PV-RCNN [34]‡α汽车AP@.5IoU自行车AP@.25IoU行人AP@.25IoU类上的mAPPointRCNN [36]‡第二[47]‡第一部分² [37]‡[23]第二十三话[2]中的雾模拟 * 37.02 38.1637.88我们的雾模拟 *38.31 39.1438.9121.68 21.6823.3323.4023.4028.84 28.2526.9530.50 29.5127.9129.18 29.37 29.3930.73 30.68 30.73表1：STF [2]浓雾测试分割的3D平均精度（AP）结果晴天基线 晴朗天气基线（与 ）在测试时应用最强的*雾模拟应用于每个训练示例，α从 [0，0.005，0.01，0.02，0.03，0.06]方法α浓雾简易模式硬轻雾简易模式硬明确简易模式硬mAP在条件下容易修改。硬PV-RCNN [34]†0 45.03 46.0045.08PV-RCNN [34]‡0 45.24 46.1845.25[2]中的雾模拟 * 45.60 46.6045.60我们的雾模拟 *46.69 47.3846.51RCNN [36]†0 44.00 45.0343.73[36]‡0 44.40 45.2544.15[2]中的雾模拟 * 46.08 47.0245.85我们的雾模拟 *47.81 47.9946.68第二[47]†0 42.36 42.9941.99第二[47]‡0 42.78 43.4742.42[2]中的雾模拟 * 42.67 43.5842.77我们的雾模拟 *43.47 44.0143.20部分A ² [37]†0 37.60 38.1537.76A部分² [37]‡0 38.04 38.7338.30[2]中的雾模拟 * 41.07 41.6340.81我们的雾模拟 *42.16 42.7541.70PointPillars [23]†0 34.30 35.2335.002016年12月25日 [23][2]中的雾模拟 * 37.02 38.1637.88我们的雾模拟 *38.31 39.1438.9169.55 70.1768.4469.64 70.3068.4270.02 70.5669.3771.42 70.9669.0371.3071.4868.3171.3670.4568.2870.80 70.2767.6670.74 70.8467.6570.5170.0770.5070.0868.6369.67 69.8968.4569.55 69.6368.4965.29 65.8864.3165.9866.4165.91 65.8463.9168.12 67.7665.1967.92 68.4766.7367.97 68.5266.7668.18 68.2468.31 68.9567.1879.61 77.0571.0379.8077.1671.0879.6377.4872.4879.27 76.7580.05 76.5270.8079.96 76.3770.5979.90 76.1669.1880.41 76.5869.6878.67 75.2070.6778.53 75.0869.9179.2376.6171.8979.4475.9571.9476.38 73.7968.5676.4373.8668.5776.61 73.8468.3176.64 73.8668.0577.20 74.6469.6377.2774.6669.5976.3373.9177.4274.5669.5564.73 64.41 61.5264.89 64.55 61.5865.08 64.8862.4865.79 65.0362.4565.12 64.3465.24 64.0265.59 64.48 60.9066.32 65.14 61.3463.85 62.75 60.4263.93 62.87 60.3263.8563.3661.0464.1563.2059.76 59.27 56.8860.15 59.67 57.1661.20 60.44 57.6862.31 61.46 58.3259.81 59.4560.04 59.67 57.2760.51 60.10 58.0061.34 60.88 58.55表2：所有相关STF [2]测试拆分的Car 3D AP@.5IoU结果晴天基线 晴朗天气基线（与 ）在测试时应用最强的*雾模拟应用于每个训练示例，α从 [0，0.005，0.01，0.02，0.03，0.06]方法容易mod.硬容易mod.硬容易mod.硬容易mod.硬PV-RCNN [34]†雾模拟在[2]我们的雾模拟045.03045.24* 45.60*46.6946.0046.1846.6047.3845.0845.2545.6046.5124.3324.3826.4227.8924.6324.6726.9327.8924.6324.6727.8029.2943.9644.8142.9542.3841.9243.0940.8940.6540.0940.9839.0939.2037.7738.1538.3238.9937.5137.9838.1438.6436.6036.9737.5038.33PointRCNN [36]†雾模拟在[2]我们的雾模拟0 44.00044.40* 46.08*47.8145.0345.2547.0247.9943.7344.1545.8546.6822.9923.5220.3622.8822.9923.5220.3622.8824.2325.6220.3625.1841.7343.2343.0345.7938.3840.1641.6043.4735.7137.0539.9541.3336.2437.0536.4938.8335.4736.3136.3338.1134.5635.6135.3937.73第二[47]†雾模拟在[2]我们的雾模拟0 42.36042.78* 42.67*43.4742.9943.4743.5844.0141.9942.4242.7743.2024.0322.3226.2826.8525.2123.6927.1127.2125.2123.6927.1127.4636.7237.0637.8938.4135.3736.1436.5437.0633.8434.1435.3835.8734.3734.0535.6136.2434.5234.4335.7436.0933.6833.4235.0935.51部分A ² [37]†雾模拟在[2]我们的雾模拟0 37.600 38.04* 41.07*42.1638.1538.7341.6342.7537.7638.3040.8141.7024.5124.3721.1225.1325.5925.4521.1225.7225.5925.4521.1226.2241.0340.3638.8339.1939.2938.5537.5738.2937.5936.6534.9436.2934.3834.2633.6735.4934.3434.2533.4435.5933.6533.4732.2934.74[23]第二十三话034.300 34.8935.2335.8435.0035.4723.0524.1423.2624.3625.5025.3826.4327.1725.3526.0424.1724.8527.9328.7427.9528.7528.2228.5715293∞图6：（顶部）行示出了在原始晴朗天气数据（上表中的第一行）上训练的PV-RCNN [34]的预测，（底部）行示出了在来自STF [2]浓雾测试分割的三个示例场景上训练的PV-RCNN [34]的预测，所述PV-RCNN [34]在晴朗天气和模拟雾数据的混合（上表中的第四行）上训练。地面实况框为彩色，模型预测为白色。最好在屏幕上观看（并放大）。该滤波器的想法源于这样的事实，即被该滤波器丢弃的所有点必须是噪声（最有可能由场景中的雾引入）并且不能来自感兴趣的物理对象。我们可以看到，这个过滤器在大多数情况下提高了晴朗天气模型的性能人们可能还注意到，骑自行车类的性能通常低于其他两个类。我们将此归因于这样的事实，即与STF [2]数据集中的其他两个类相比，Cy-clist类的代表性相当不足（例如，Cy- clist类的代表性不足）。28骑自行车的人490名行人和1186辆汽车在浓雾中测试分流）。对于行人（和骑自行车的）类，我们仍然实现了五分之三的最先进的性能。对于使用我们的fog模拟或[2]中的fog模拟的训练运行，我们从[0，0.005，0.01，0.02，0.03，0.06]中均匀地对每个训练示例α进行采样，其对应于MOR分别约为[，600，300，150，100，50]m。尝试更复杂的技术比如课程学习[1]是为了将来的工作。在表2中，我们呈现了在浓雾、轻雾和晴朗测试集上的主要汽车类的3D AP以及在这三种天气条件下的mAP。我们可以看到，在浓雾中，使用我们的雾模拟的所有方法的训练运行优于所有其他训练运行，这正是我们的物理精确雾模拟的目标。我们还可以看到，在训练中的雾模拟中的混合不会太多地损害晴朗天气中的性能，因此我们在所有三种天气条件下的mAP中的大多数情况下也实现了最先进的水平。在补充材料中，我们讨论了为什么我们选择专注于宽松的交集（IoU）阈值，并使用官方KITTI [10]评估严格性呈现结果。此外，我们还提供2D和鸟类Eye View（BEV）结果，以及STF [2]数据集的更多详细信息。4.2.2定性结果图6我们展示了三个例子，我们明显超过了明确的天气基线。我们可以检查在训练中看到我们模拟的雾的模型，具有更少的假阳性（左），更多的真阳性（中）和更准确的预测（右），每次应用相同的置信度阈值进行公平比较。5. 结论在这项工作中，我们引入了一个物理上准确的方法来转换现实世界中的明确的天气点云到雾点云。在这个过程中，我们可以完全控制物理方程中涉及的所有这不仅使我们能够逼真地模拟任何密度的雾，而且还使我们能够模拟雾对目前市场上基本上任何LiDAR传感器的影响。我们表明，通过使用这种物理上准确的雾模拟，我们可以提高性能的几个国家的最先进的3D对象检测方法的点云，已收集在现实世界的浓雾。我们预计，如果LiDAR数据以360°进行注释，而不仅仅是在单个前向相机的视场中，则我们的雾模拟可以带来更大的性能提升，但目前还没有公开的数据集来测试这一假设。我们相信，我们的物理上准确的雾模拟不仅适用于3D物体检测的任务所以我们希望我们的雾模拟也能应用到许多其他任务和工作。鸣谢：这项工作是由丰田摩托车欧洲通过研究项目跟踪苏黎世资助15294引用[1] YoshuaBengio ， Je´ ro meLouradour， RonanCollobert ，andJa-son Weston. 课 程 学 习 。 国 际 机 器 学 习 会 议（ICML），2009年。[2] Mario Bijelic、Tobias Gruber、Fahim Mannan、FlorianKraus、Werner Ritter、Klaus Dietmayer和Felix Heide。透过雾看不见雾：在看不见的恶劣天气下进行深度多模态传 感器 融合。 IEEE计算 机视 觉和模 式识 别会议（CVPR），2020。[3] 放大图片作者：Holger Caesar，Varun Bankiti，AlexH.Lang，Sourabh Vora，Venice Erin Liong，Qiang Xu，Anush Krishnan，Yu Pan，Giancarlo Baldan，and OscarBeijbom.nuscenes：用于自动驾驶的多模态数据集。arXiv预印本1903.11027，2019。[4] A.卡巴洛兰伯特，A. Monrroy，D. Wong，P. Narksri，Y. Kitsukawa、E. Takeuchi，S. Kato和K.武田Libre：多个 3D 激 光 雷 达 数 据 集 。 在 IEEE 智 能 车 辆 研 讨 会（IV），2020年。[5] M. Chang，J.兰伯特山口Sangkloy，J.辛格，S。Bak、黑腹滨藜A.Hart nett，D. Wang，P. Carr，S. Lucey，D.Ramanan和J.海斯Argoverse：3d跟踪和预测与丰富的地图。在IEEE计算机视觉和模式识别会议，2019年。[6] Marius Cordts ， Mohamed Omran ， Sebastian Ramos ，Timo Rehfeld，Markus Enzweiler，Rodrigo Benenson，Uwe Franke，Stefan Roth，and Bernt Schiele.用于语义城市场景理解的cityscapes数据集。在IEEE计算机视觉和模式识别会议（CVPR），2016年。[7] A. Dewan，T.卡塞利茨湾D. Tipaldi和W. Burgard三维激光雷达扫描中基于运动的检测和跟踪。IEEE机器人与自动化国际会议，2016年。[8] M. Elhousni和X.煌自主车辆三维激光雷达定位研究综述2020年IEEE智能车辆研讨会（IV），2020年。[9] A. Filgueira，HiginioGonzalez，SusanaLa guela，LuciaD'ıazVilarin o，andPedroArias. 量化降雨对激光雷达性能的影响测量，95，2016。[10] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们准备好自动驾驶了吗？Kitti Vision基准套件。在IEEE计算机视觉和模式识别会议（CVPR），2012年。[11] Jakob Geyer，Yohannes Kassahun，Mentar Mahmudi，Xavier Ricou ， Rupesh Durgesh ， Andrew S. Chung ，LorenzHauswald ， VietHoangPham ， MaximilianMu¨hlegg ， Sebas-tianDorn ， Tiff an yFernandez ， MartinJ¨nicke ， Sudesh