没有合适的资源?快使用搜索试试~ 我知道了~
1186基于LiDAR点云的自适应特征融合协同感知乔东浩,加拿大FarhanaZulkernine女王{d.qiao,farhana.zulkernine} @ queensu.ca摘要协同感知允许联网自主车辆(CAV)与附近的其他CAV交互,以增强对周围物体的感知,从而提高安全性和可靠性。它可以弥补传统车辆感知的局限性,如盲点,低分辨率和天气影响。一种有效的特征融合模型用于协同感知的中间融合方法,可以改善特征选择和信息聚合,进一步提高感知精度。我们提出了具有可训练特征选择模块的自适应特征融合模型。我们提出的模型之一空间自适应特征融合(S-AdaFusion)在OPV 2 V数据集的两个子集上的性能优于所有其他最先进的(SO-TA):用于车辆检测的默认CARLA Towns和用于域自适应的Culver City此外,以前的研究只测试了车辆检测的合作感知。然而,行人更有可能在交通事故中受重伤。我们使用CODD数据集评估了车辆和行人检测的合作感知性能。我们的架构在CODD数据集上实现了比其他现有模型更高的车辆和行人检测平均精度(AP)实验结果表明,与传统的单车辆感知过程相比,协同感知也提高了行人检测的准确性1. 介绍近年来,使用LiDAR传感器的3D物体检测在自动驾驶汽车(AV)中变得更加重要[5,10,20,28,31],因为它可以提供有关感兴趣物体的更多空间信息,包括它们的位置,大小和方向。 LiDAR可以生成包含精确深度信息且受外界光照条件影响较小的点云数据。然而,远离LiDAR的点云是非常稀疏的,这使得进一步的物体的检测更加困难。被遮挡的物体将生成图1:来自CODD数据集[2]的一个示例帧,具有四个CAV。红色箭头表示四辆CAV、一辆左转车辆和两名行人的移动方向。更少的点,这使得推理更困难,特别是对于小物体,如行人。协作感知使互联自主车辆(CAV)和/或路侧单元(RSU)能够使用通信范围内的车辆通信(VC)系统共享感知信息[1,3,16,22、25、26、27]。所感知的信息可以由GPS和各种传感器数据(包括雷达、摄像机和激光雷达数据)组成。合作感知有助于弥补当前视觉感知技术的局限性,如有限的分辨率,天气影响和盲点。CAV装备有VC系统,能够与周围的CAV交换交通信息。一辆车可以接收和汇总来自其他CAV的信息,并具有自己的本地感知数据,以实现协作感知,从而提高自动驾驶系统的安全性和鲁棒性。CODD数据集[2]的一个例子如图所示1. 该图描绘了一个有四个CAV的交叉口的场景。在这种情况下,CAV 1正朝着hori-zagraphy主街道行驶,并将与其他车辆和行人互动。即使CAV2正在离开主要街道,它仍然可以为其他CAV提供交叉路口的视图。与此同时,CAV3和CAV4将为CAV1提供主要街道视图,使其能够通过交叉路口。1187--------安全有效地。此外,当CAV4假设选择CAV 1作为本机车辆,并且所有预测都由本机车辆驱动。首先,四个CAV处理它们的LiDAR点云,并在它们的本地系统中并行提取中间特征图。接下来,其他三个CAV将其提取的特征图与LiDAR姿态信息一起广播到CAV 1然后,CAV1将这三个特征映射投影到其自身的坐标系中,并将这些信息与其自身感知的信息进行聚合,以进行3D对象检测。根据CAV之间共享的数据类型,在现有文献中发现三种数据融合方法:1)早期融合[4]聚合来自其他CAV的原始输入传感器数据; 2)中间融合[3,16,22,27]聚合来自其他CAV的处理后的特征图;以及3)后期融合[9,30]聚合来自其他CAV的目标检测的预测输出。在最近的研究中,中间特征融合被反复证明是最有效的融合方法相比,早期和后期的融合方法。我们假设,中间融合方法可以进一步改善实时感知和更高的准确性,通过实施一个有效的特征选择和融合模块具有减少计算成本。车对车(V2V)通信允许车辆通过具有低带宽和有限通信范围的无线网络进行通信。正因为如此,有效的特征提取,数据传播和数据融合是必不可少的合作感知。PointPillars[10]主干应用于编码点云,因为它的推理时间短,精度相当。它在62 Hz下运行,KITTI数据集上的mAP为 59.20%[7]利用具有2D卷积神经网络(CNN)的特征提取模块AV必须表现出极高的准确性和效率。在这些前提下,我们提出了几种基于可训练神经网络的特征融合模型,可以从多个CAV中自适应地选择特征贡献本工作的贡献如下:2)将3D CNN和自适应特征融合技术应用于协同感知,提出了三种可训练的协同感知特征融合模型; 3)我们使用两个公共合作感知基准数据集(OPV 2 V数据集[27]和CODD数据集[2])验证了所提出的模型,用于多个任务,包括a)车辆检测,b)行人检测和c)域自适应;(4)实验不同的观察其对合作知觉的影响我们的S-AdaFusion模型在OPV 2 V Default CARLATowns的车辆检测任务和OPV 2 V Culver City的域适应任务上的性能优于所有现有模型。我们还在CODD数据集上验证了我们的模型,用于车辆和行人检测任务。我们的模型实现了比所有其他最先进的(SOTA)模型更高的平均精度(AP)。我们的实验还表明,与传统的感知过程相比,与LiDAR点云的合作感知可以提高行人检测的准确性。本文的结构如下。第二节介绍了协同感知和特征融合模型的相关工作。我们提出的协同感知框架和特征融合模型分别在第3节和第4节中说明。实验结果见第5节。第6节总结了未来的工作清单的文件。2. 背景及相关工作我们首先提出了合作感知的形式化描述和相关的特征集成方法作为背景概念。然后,讨论了相关的工作,以突出我们的研究贡献方面的研究差距。2.1. 合作感知形式上,合作感知的问题可以描述如下。我们将原始输入数据(相机数据和LiDAR数据)表示为I=I1,I2,. . .,In从一组周围的CAV作为V = v1,v2,. . . ,v n. 输入数据的提取的中间特征的相应集合表示为F=F1,F2,. . .,Fn,其中来自对象检测器的输出的预测集合被表示为O = O1,O2,. . . ,O n.在传统的视觉感知过程中,AV v i从诸如相机和LiDAR的传感器接收原始数据I i。然后处理该数据以提取特征图Fi,该特征图Fi将在用于预测对象的计算模型中使用作为输出Oi。 在协同感知中,应用额外的数据融合步骤来聚合来自其他车辆的数据以改善感知。在数据传播阶段,研究人员根据信息的类型,提出了三种数据融合方法(早期融合、中期融合和晚期CAV在早期融合[4]中广播原始传感器数据I,这会导致最高的数据传输成本。后期融合[9,30]共享并聚合来自CAV的预测O,并且对数据传输造成较小的负担,但是目标检测性能高度依赖于其他CAV早期合作知觉的表现1188××××××后期融合可以通过优化3D目标探测器和后处理方法来改进[30]。中间融合是利用经处理的中间特征表示F的折衷。因此,从不同位置获得的信息的准确和优化的集成和处理对于有效的特征融合以实现准确的对象检测变得至关重要。Marvasti等人[16]将3D LiDAR点云扭曲成鸟瞰图(BEV),并应用2DCNN来提取每个连接的AV中的中间特征。来自CAV的特征然后将这些与自我车辆的特征图聚合。在[16]中,仅使用两个CAV,并且求和使重叠具有更大的权重,而在现实生活中,CAV的数量会有所不同。我们计算重叠处的平均值。Chen等人[3]提出了特征级融合方案,并选择重叠处的最大值来表示中间特征。上面提到的模型利用简单的约简运算符,如求和、最大池化或平均池化。这些算子能够处理重叠处的信息并以可忽略的计算成本融合特征图。然而,由于缺乏信息选择和数据相关性的识别,所选择的特征不一定 是 最 好 的 在 V2VNet[22] 中 , 应 用 图 神 经 网 络(GNN)来表示基于地质坐标的CAV地图,以促进数据融合。GNN将从多个车辆接收到的信息与车辆的内部状态(从其自身的传感器数据计算)聚合,以计算更 新 的 中 间 表 示 。 Xu et al.[27] 提 出 Attendance 和leverage自我注意模型[21]来融合中间特征图。在V2X-Vit[26]和CoBEVT[25]中利用变压器进行中间特征融合的协作感知我们探索的特征融合模型,可以有效地利用多个特征映射的CAV2.2. 特征学习与特征融合注意力机制已经证明了它在解决计算机视觉任务中的实用性[8,18,21,23]。通过在神经网络中引入一个小模块,该模型可以利用信道和/或空间信息,并增强所提取的表示。在过去,特征学习和特征融合也被用于相机和LiDAR在3D对象检测中的探索。Yoo等人。[29]提出了一种自适应门控融合网络,以结合LiDAR和图像特征。 Liu et al.[15] and Liang et al.[11]提出了一种BEV融合方法,该方法将来自使用相机捕获的图像的中间特征和由LiDAR生成的点云投影到BEV中,并沿着通道轴Liu等人[15]利用卷积编码器基于BEV特征图生成精细融合。Liang等人[11]提出了一个动态融合模块,并应用通道注意力自适应地选择特征。在协同感知中,通过特征通道连接中间特征图会随着CAV数量的增加而大幅增加计算成本。因此,与其连接特征图并创建超大的特征提取网络,不如将特征图与几何和地质信息聚合在一起更有效3. 拟议框架所 提 出 的 基 于 特 征 融 合 的 协 同 决 策 架 构 是 从PointPillars [10]扩展而来的,如图所示。二、整个网络将点云作为输入,并通过5个步骤处理数据:1)特征编码将点云转换为具有柱特征网络(PFN)的伪图像;2)中间特征提取,利用二维金字塔网络从伪图像中提取多尺度特征; 3)特征投影将CAV的中间特征映射到具有LiDAR姿态信息的本机坐标上:4)中间特征融合利用特征融合网络生成组合特征映射;和5)3D对象检测用单镜头检测器(SSD)[14]回归边界框,并预测检测到的对象的类别。3.1. 特征编码输入点云的维数为(n4),由n个点组成,每个点具有属性(x,y,z)坐标和强度。点云被编码成柱,柱的高度等于点云在z轴上的高度。每个支柱中的点增加了5个额外的属性,包括支柱中所有点的算术平均值的偏移和支柱中心的偏移将点云数据转换为P个柱,每个柱具有N个点和D个特征。然后将PointNet[17]应用于支柱以提取特征并生成大小为(P中的C)的张量。特征 中 具 有 C 的 柱 被 投 射 回 原 始 位 置 以 生 成 大 小 为(2H2W中的C)的伪图像。我们在这里使用2H和2W,因为我们将特征图下采样为(C HW)在下一特征提取步骤中。3.2. 特征提取与 PointPillars[10] 类 似 , 利 用 特 征 金 字 塔 网 络(FPN)[12,19]从伪图像中提取中间特征。FPN包含用于多分辨率特征提取的三个下采样块。每个块包含一个2D卷积层,一个批处理归一化层和一个ReLU激活函数。然后,从三个下采样块获得的三个1189××∈图2:协作感知模型的架构。上采样和级联。通过CNN对所得到的多尺度特征图进行细化,以生成大小为F′∈RC×H×W的特征图。3.3. 特征投影从不同的CAV提取的特征图具有不同的地质位置和方向。因此,它们需要被转换到接收器的坐标系中以进行特征融合和目标检测。骑士队HWfeature map with(c+7)B频道。对于B锚框中的每一个,我们预测c类置信度得分和7个偏移(x,y,z,w,l,h,θ)到地面真相。3.6. 损失[10]中的损失函数由焦点损失组成(方程11)。(二)[13]对于分类,以及平滑l1损失(等式14)。(3)回归。完整的损失函数如下:传播特征图以及包含(X、Y、Z、滚动、偏航、俯仰)的LiDAR姿态信息。 一旦自我飞行器从邻近的CAV接收到数据,L=βclsLcls+βregLreg=βcls Lfocal(p)+βreg smoothL1(sin(q−yreg))(一)它被投影到EGO车辆的坐标系和时间戳中。在这项工作中,我们使用中间特征投影和集成。3.4. 特征融合将来自不同CAV的投影中间特征图扩展为4D张量并连接以进行进一步处理。如相关工作第2.2节所述,在特征通道上连接特征图会生成具有nC个通道的3D张量,其中,β cls= 1和β reg= 2分别是分类损失和回归损失系数,p是预测概率,q是锚框的数量,y reg是真实框的数量。L焦点(p)= −α(1−p)γlog(p)(2)其中α = 0。25和γ=2是焦点损失的参数.0的情况。5x2 如果|X|<1增加了特征融合和细化计算复杂性和成本。因此,我们将特征smoothL1(x)=|-0。| − 0. 5 否则(三)映射到4D张量FR n× C × H × W,其中n是CAV的最大数量。 为了融合地质坐标系中的重叠特征图,我们提出了空间方向和通道方向的特征融合模型,如第4节所述。3.5. 对象检测融合的特征Ffusion被馈送到SSD[14]中,SSD可以回归3D边界框并预测检测到的对象类别的置信度得分输出是4. 提出的自适应特征融合模型在这项研究中,我们专注于中间特征融合的合作感知,特别是优化的特征融合模块,以实现更好的性能和更高的精度对3D对象检测。我们假设一个可训练的神经网络可以比普通的约简算子更有效地选择特征。我们提出的特征融合模型分为空间方面的特征融合和通道方面的特征融合。1190∈∈∈信道∈∈∈∈∈∈(a)空间融合与通道池,如最大池( MaxFu-sion ) 和 平 均 池(AvgFusion)在通道轴。(c)3D 卷 积 通 道 融 合 ( C-3DFusion)。(b)空间方向自适应特征融合(S-AdaFusion)。(d)自适应特征融合(C-AdaFusion)。图3:用于中间特征映射聚合的特征融合网络。空间特征融合。为了融合特征图,将一个简单的约简运算符(如Max [3]或Mean)应用于重叠特征,如图所示。3a. 本文将这两种融合方法称为MaxFusion和AvgFusion,分别计算通道轴上的最大池化和平均池化,得到融合后的特征图F fusionR1× C × H × W。我们提出了空间自适应特征融合(S-AdaFusion),它自适应地利用了由最大池化和平均池化生成的空间特征,如图所示。3b. 首先,输入特征图F∈Rn×C×H ×WAdaFusion)模块,该模块可以通过使用通道信息来选择和融合中间特征图,如图所示。3D. 全局池化用于将全局信息挤压在通道方式描述符中。我们利用3D自适应最大池化和平均池化来提取两个信道描述符Cmax Rn×1×1×1和Cavg Rn×1×1×1。然后,这两个向量被合并并通过分别具有ReLU和Sigmoid激活函数的两个线性层输入特征图F∈Rn × C × H × W按通道乘以学习信道权重F′∈Rn×1×1×1以生成分解为SmaxR1×C ×H ×WSavgR1×C ×H ×W,计算沿第一通道轴的最大池化和平均池化。 两个特征图 的中间特征映射,得到一个包含两种空间信息的四维张量F空间R2×C ×H ×W然后,利用具有ReLU激活函数的3D卷积进行进一步的特征选择和降维,其中输入通道和输出通道的数量分别等于2和1。智能特征融合。 CNN在从表示中提取特征并减少其维度方面表现得非常好。对于输入的4D张量FR n× C × H × W,可以使用3D CNN来提取通道特征并减少输入特征通道的数量,如图所示。3c(C-3DFusion)。3DCNN的输入通道的数量将等于CAV的最大数量,其中单个输出通道表示组合特征集。受通道注意模块SENet[8]的启发,我们提出了一种基于通道的自适应特征融合(C-新特征表示F′Rn×C×H×W。融合特征映射F 融 合 R1×C ×H ×W通过使用通道缩减3DCNN获得。5. 实验我们在公开可用的合作感知数据集OPV2V数据集[27]和CODD数据集[2]上进行实验。我们比较了不同感知任务的预测精度,以验证所提出的模型对传统的单车辆感知模型(无融合)和多个合作的感知基准模型的性能5.1. 数据集OPV2V数据集。OPV2V数据集[27]使用OpenCDA模拟工具[24]构建。它有两个子集,一个是默认的卡拉城镇 , 一 个 是 卡 尔 弗 城 。 默 认CARLA 城 镇 包 含 8 个CARLA默认城镇中的6,765个训练样本、1,980个验证样本和2,170个测试样本Culver City包含550个样本,以测试模型的领域适应能力。的数量1191表1:OPV2V Default CARLA Towns测试集用于车辆检测、OPV2V Culver City测试集用于领域自适应以及CODD数据集用于车辆和行人检测的评估结果。我们比较了所提出的模型与基线模型和SOTA融合模型的合作感知。方法OPV2VCodd#参数(百万)默认城镇AP@.5 AP@.7卡尔弗城AP@.5 AP@.7车辆AP@.5 AP@.7行人AP@.1基线无融合67.960.255.747.161.755.223.66.58早期融合89.180.082.969.673.968.232.26.58后期融合85.878.179.966.866.661.727.26.58SOTAF-Cooper[3]88.779.084.672.877.674.332.87.27附件[27]90.881.585.473.581.477.738.06.58V2VNet[22]89.782.286.073.480.375.832.014.61[26]第二十六话89.182.687.373.782.378.933.813.45我们AvgFusion84.374.780.968.075.365.028.17.27C-3DFusion90.883.687.075.782.280.139.57.27C-AdaFusion88.581.485.972.483.480.837.57.27S-AdaFusion91.685.688.179.086.283.945.27.27此数据集中的CAV范围在[2,7]之间,每个CAV都有其LiDAR信息和标记的3D边界框。CODD数据集。CODD数据集[2]是用CARLA模拟工具[6]构建的,包含八个CARLA城镇的108个片段,每个片段有125帧。前100帧用于训练,后25帧用于测试。该数据集的车辆和行人数量范围在[4,15]和[2,8]之间。该数据集包含所有车辆5.2. 实现细节在训练期间,从具有包括自我车辆的CAV的限定上限的场景中为了验证的目的,自我飞行器和CAV是固定的,以便进行公平的比较。为了与其他基准进行比较,我们遵循[27]中的参数设置。在OPV 2 V数据集上,x、y、z的范围为[(-140.8,140.8),(-40,40),(-3,1)]米我们在CODD数据集上将x,y,z范围设置为[(-140.8,140.8),(-40,40),(-6,4)]米支柱的x和y分辨率为0。两个数据集中的4米。车辆锚和行人锚分别具有 (3.9 ,1.6 ,1.56) 米和 (0.6 , 0.6, 1.7) 米的(长、宽、高)我们的模型使用PyTorch框架实现,在具有32 GBRAM,CUDA v10.1和cuDNN v9.1的Tesla V100 GPU上进行训练和评估。早期停止,多步调度器和Adam优化器,其中k为0.1,权重衰减为0.0001,用于训练网络。在推理阶段,我们使用置信度阈值-老0.2应用具有0.15的交集大于并集(IoU)阈值的非最大值抑制(NMS)来移除冗余预测。该模型的有效性评估与通用指标平均精度(AP)的车辆与0.5和0.7 IoU阈值(AP@0.5和AP@0.7),以及AP行人与0.1 IoU阈值(AP@0.1)。5.3. 结果OPV 2V和CODD数据集的评价结果见表1。我们将我们提出的模型与基线模型进行了比较,包括无融合,早期融合和后期融合,以及合作感知的多个SOTA融合模型[3,22,26,27]。图4显示了不同数量CAV的协同感知结果。当CAV的数量为1时,它是传统的感知过程。在OPV2V和CODD数据集上,CAV的最大数量分别为7和5。我们的S-AdaFusion的一些预测输出如图所示。图5和图6。如果没有合作识别,非融合模型会错误地将灌木丛和建筑物识别为车辆,并产生更多的误报,如图所示。5a. 比较黄色矩形中的预测,合作感知在回归远离自我车辆的车辆的边界框方面比没有融合更鲁棒。无论车辆是否被遮挡,其他CAV都可以帮助自我车辆感知被遮挡的物体,并获得更好的整体感知结果。图6示出了在其他两个CAV的帮助下,即使当车辆和行人在垂直街道上被完全遮挡时,自我车辆仍然可以检测到车辆和行人。1192××× ×10090807060504001 2 3 45 6 7CAV s90807060504030200 1 2 3 4 5CAV s(a) OPV2V数据集上的合作感知结果(b)CODD数据集上的合作感知结果。图4:CAV数量对S-AdaFusion模型架构的协同感知的影响5.4. 讨论从表1中我们可以发现,大多数中间融合模型的性能优于早期和晚期融合。我们的S-AdaFusion在所有识别任务上都优于所有模型,包括车辆检测,行人检测和域自适应。SOTA模型和我们提出的自适应特征融合模型在OPV 2 V Default CARLA Towns集上都达到了90%左右或以上的AP@0.5,而我们的S-AdaFusion模型获得了85.6%的AP@0.7,这是现有模型中最高的这意味着即使所有的模型都能达到很高的分类精度,我们的模型在3D边界框回归上要好得多。S-AdaFusion模型在领域自适应方面取得了更显著的改进,在AP@0.7中比其他模型至少高出5.3%。领域自适应的大幅度改进说明了在特征融合中使用池化和我们提出的模型的泛化的优势。在CODD数据集上的测试结果进一步验证了本文提出的模型在车辆和行人检测上的有效性。我们的C-AdaFusion 在车辆检测方面优于其他型号我们的S-AdaFusion模型在车辆检测方面超过其他基准模型至少3.9%AP@0.5和5.0%AP@0.7,在行人检测方面超过其他基准模型7.2%AP@0.1此外,我们的架构具有比当前SOTA V2 VNet和V2X-ViT更少的参数。图4表明,车辆检测精度和域自适应精度都随着CAV数量的增加而行人检测的准确性与传统感知(无融 合 ) 相 比 , 协 同 感 知 在 车 辆 检 测 上 提 高 了20%AP@0.7,在行人检测上提高了20%AP@0.1虽然合作感知可以提高行人检测的准确性,但它并没有达到我们预期的准确性。表2:OPV2V数据集上具有不同核大小的拟议模型的消融研究方法默认AP@.5 AP@.7卡尔弗AP@.5 AP@.7C-3DFusion(ks=1)83.773.679.263.0C-3DFusion(ks=3)90.883.687.075.7S-AdaFusion(ks=1)91.883.086.170.4S-AdaFusion(ks=3)91.685.688.179.0”ks” stands for kernel很有希望。我们推测导致这一观察结果的可能原因有两个。首先,CODD数据集中的行人数量较少,分布稀疏,这使得检测非常困难。其次,该模型在小目标检测方面存在局限性。因此,改进幅度不如车辆检测显著。5.5. 消融研究F-Cooper[3](MaxFusion)、AvgFusion以及我们提出的C-3DFusion和S-AdaFusion用于消融研究的一组实验。如表1所示,应用MaxFusion模型的F-Cooper方法比AvgFusion模型获得了更好的结果,因为它从多个特征图中选择了最具特色的特征。在不使用空间信息的情况下,具有可训练的3D卷积层的C- 3DFusion模型可以从多个CAV中选择和融合特征。另外,将内核从111信道缩减内核(步幅=1,填充=0)切换到333内核(步幅=1,填充=1)在车辆检测上将准确度提高了约10%AP@0.7,如表2所示。这是因为更大的核不仅可以聚焦于一个细胞并减少通道,还可以增加感知范围并从相邻细胞中提取一些空间特征。值得注意的是,C-3D融合已经超越了所有默认卡尔弗AP(%)车辆行人AP(%)1193(a) 单一车辆感知(无融合)。(b)具有中间融合的合作感知。图5:OPV2V数据集上的单一车辆感知(无融合)和协作感知示例地面实况和预测的3D边界框分别以绿色和红色描绘黄色矩形突出显示被遮挡或远离自我车辆的车辆图6:使用协作感知解决遮挡情况的示例。在大多数实验中,通过结合这些模块,S-AdaFusion,自适应特征选择和融合模型,实现了最高的AP上的所有验证数据集的合作感知。6. 结论随着用于AV和VC系统的感测技术的进步,正在探索新技术以解决了车辆感知的挑战,特别是交通对象检测。在这项研究中,我们研究了合作感知使用激光雷达点云数据,以弥补传统的目标检测过程中的一些限制,如传感器分辨率和目标遮挡。提出了一种基于可训练神经网络的自适应特征融合模型,用于协同感知的中间融合,并通过两个基准数据集的实验验证了该模型的优越性。研究验证了可训练神经网络中间特征融合模块可 以 提 高 协 同 目 标 检 测 精 度 的 假 设 。 我 们 的 S-AdaFusion模型在两个基准数据集上的性能优于SOTA中间特征融合合作感知模型为了提高行人检测的准确性,可以探索不同的点编码或对象检测网络来提高行人检测的准确性。此外,图像可以包括更多的人类特征,这可能有助于行人和骑自行车者检测。引用[1] Eduardo Arnold,Mehrdad Dianati,Robert de Temple,and Saber Fallah.用于三维物体检测的协同感知1194在驾驶场景中使用基础设施传感器。IEEE Transactionson Intelligent Transportation Systems,2020。[2] Eduardo Arnold,Sajjad Mozaffari,and Mehrdad Dianati.部分重叠点云的快速鲁棒配准。2021年。[3] 齐 尘 、 徐马 、 四 海 堂 、 郭 敬达 、 青 阳 、 宋 浮 。 F-cooper:使用3d点云的自主车辆边缘计算系统的基于特征的协同感知在第四届ACM/IEEE边缘计算集,第88-100页[4] 齐尘,四海堂,青阳,宋浮。Cooper:基于3D点云的联网自动驾驶车辆的协作感知。2019年IEEE第39届分布式计算系统国际会议(ICDCS),第514-524页。IEEE,2019。[5] Jiajun Deng , Shaoshuai Shi , Peiwei Li , WengangZhou,Yanyong Zhang,and Houqiang Li.体素r-cnn:面向高性能的基于体素的三维目标检测。在AAAI人工智能会议的Proceedings,第35卷,第1201-1209页[6] 阿列克谢·多索维茨基,德国人罗斯,费利佩·科德维拉,安东尼奥·洛佩兹和弗拉德连·科尔通。卡拉:一个开放式的城市驾驶模拟器.在机器人学习会议上,第1PMLR,2017年。[7] Andreas Geiger,Philip Lenz,and Raquel Urtasun.我们准备好自动驾驶了吗?Kitti Vision基准套件。在2012年IEEE计 算 机 视 觉 和 模 式 识 别 上 , 第 3354-3361 页 。IEEE,2012。[8] 杰虎,李申,孙刚。挤压-激发网络。在IEEE计算机视觉和模式识别会议论文集,第7132-7141页[9] Braden Hurl,Robin Cohen,Krzysztof Czarnecki,andSteven Waslander.Trueconept:从合成数据中进行自主车辆合作感知的信任建模2020年IEEE智能车辆研讨会(IV),第341-347页。IEEE,2020年。[10] Alex H Lang , Sourabh Vora , Holger Caesar , LubingZhou,Jiong Yang,and Oscar Beijbom.点柱:用于从点云中检测物体的快速编码器。在IEEE/CVF计算机视觉和模式识别会议论文集,第12697-12705页[11] Tingting Liang,Hongwei Xie,Kaicheng Yu,ZhongyuXia , Zhiwei Lin , Yongtao Wang , Tao Tang , BingWang,and Zhi Tang.Bevfusion:一个简单而强大的激光 雷 达 相 机 融 合 框 架 。 arXiv 预 印 本 arXiv :2205.13790,2022。[12] 林宗义、彼得·多尔、罗斯·格希克、何启明、巴拉特·哈里哈兰和塞尔日·贝隆吉. 用于目标检测的特征金字塔网络。在IEEE计算机视觉和模式识别会议论文集,第2117-2125页[13] 林宗义、普里亚·戈亚尔、罗斯·格希克、何开明和彼得·多尔·拉尔。密集目标检测的焦面损失。在IEEE计算机视觉国际会议的论文集,第2980-2988页,2017年[14] Wei Liu , Dragomir Anguelov , Dumitru Erhan ,Christian Szegedy , Scott Reed , Cheng-Yang Fu , andAlexander C Berg. Ssd:单发多盒探测器。在欧洲计算机视觉会议上,第21-37页。施普林格,2016年。[15] Zhijian Liu , Haotian Tang , Alexander Amini , XinyuYang , Huizi Mao , Daniela Rus , and Song Han.Bevfusion:多任务多传感器融合,具有统一的鸟瞰arXiv预印本arXiv:2205.13542,2022。[16] Ehsan Emad Marvasti 、 Arash Raftari 、 Amir EmadMarvasti、Yaser P Fallah、Rui Guo和Hongsheng Lu。通过深度网络中的特征共享进行协作激光雷达目标检测。在2020年 IEEE第 92届 车辆 技术 会 议( VTC 2020-秋季),第1-7页IEEE,2020年。[17] Charles R Qi, Hao Su ,Kaichun Mo, and Leonidas JGuibas.Pointnet:对点集进行深度学习,用于3D分类和分割。在IEEE计算机视觉和模式识别集,第652[18] 乔东浩和法哈娜·祖尔克宁。用于胎儿超声图像分割的扩张挤压-激励u网2020年IEEE生物信息学和计算生物学计算智能会议(CIBCB),第1-7页。IEEE,2020年。[19] 乔东浩和法哈娜·祖尔克宁。使用深度学习模型进行自动驾驶的可驾驶区域检测。2021年IEEE大数据国际会议(Big Data),第5233-5238页。IEEE,2021。[20] Shaoshuai Shi , Li Jiang , Jiajun Deng , Zhe Wang ,Chaoxu Guo , Jianping Shi , Xiaogang Wang , andHongsheng Li. Pv- rcnn++:点体素特征集抽象与局部矢量 表 示 的 3d 对 象 检 测 。 arXiv 预 印 本 arXiv :2102.00463,2021。[21] Ashish Vaswani, Noam Shazeer , Niki Parmar , JakobUszko-reit , Llion Jones , Aidan N Gomez , ukaszKaiser,and Illia Polosukhin.注意力是你所需要的。神经信息处理系统的进展,30,2017。[22] Tsun-Hsuan Wang , Sivabalan Manivasagam , MingLiang,Bin Yang,Wenyuan Zeng,and Raquel Urtasun.V2vnet:用于联合感知和预测的车对车通信。欧洲计算机视觉会议,第605-621页。Springer,2020年。[23] Sanghyun Woo,Jongchan Park,Joon-Young Lee,andIn So Kweon.Cbam:卷积块注意模块。在欧洲计算机视觉会议(ECCV)会议录,第3-19页[24] 徐 润 生 , 郭 毅 , 韩 旭 , 夏 欣 , 向 浩 , 马 佳 琪 。Opencda:一个集成了协同仿真的开放式协同驾驶自动化框架2021年IEEE国际智能交通系统会议(ITSC),第1155-1162页IEEE,2021。[25] Runsheng Xu , Zhengzhong Tu , Hao Xiang , WeiShao,Bolei Zhou,and Jiaqi Ma.Cobevt:使用稀疏变换器 的 协 作 鸟 瞰 图 语 义 分 割 。 arXiv 预 印 本 arXiv :2207.02202,2022。[26] 徐润生,郝翔,涂正中,夏鑫,杨明轩,马佳琪. V2x-vit:车辆到一切的协同感知与视觉Transformer。arXiv预印本arXiv:2203.10638,2022。[27] Runsheng Xu,Hao Xiang,Xin Xia,Xu Han,JinlongLiu,and Jiaqi Ma. Opv2v:一个开放的基准数据集和融合管道,用于车辆到车辆通信的感知。arXiv预印本arXiv:2109.07644,2021。1195[28] 严妍,毛宇星,李波第二:稀疏嵌入卷积检测。传感器,18(10):3337,2018。[29] Jin Hyeok Yoo,Yecheol Kim,Jisong Kim和Jun WonChoi。3d-cvf:使用交叉视图空间特征融合生成联合相机和激光雷达特征,用于3d对象检测。欧洲计算机视觉会议,第720-736页。Springer,2020年。[30] Zhang Zijian,Shuai Wang,Yuncong Hong,LiangkaiZhou,Qi Hao.智能网联车辆通过联邦学习的分布式动态 地 图 融 合 2021 年 IEEE 机 器 人 与 自 动 化 国 际 会 议(ICRA),第953-959页IEEE,2021。[31] 尹周和昂塞尔·图泽尔。Voxelnet:基于点云的3D对象检测的端到端学习。在IEEE计算机视觉和模式识别会议论文集,第4490-4499页
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 保险服务门店新年工作计划PPT.pptx
- 车辆安全工作计划PPT.pptx
- ipqc工作总结PPT.pptx
- 车间员工上半年工作总结PPT.pptx
- 保险公司员工的工作总结PPT.pptx
- 报价工作总结PPT.pptx
- 冲压车间实习工作总结PPT.pptx
- ktv周工作总结PPT.pptx
- 保育院总务工作计划PPT.pptx
- xx年度现代教育技术工作总结PPT.pptx
- 出纳的年终总结PPT.pptx
- 贝贝班班级工作计划PPT.pptx
- 变电值班员技术个人工作总结PPT.pptx
- 大学生读书活动策划书PPT.pptx
- 财务出纳月工作总结PPT.pptx
- 大学生“三支一扶”服务期满工作总结(2)PPT.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功