V2X-ViT：Vision Transformer碰撞协同感知

10V2X-ViT：基于VisionTransformer的车辆到一切协同感知0Runsheng Xu 1 � Hao Xiang 1 � Zhengzhong Tu 2 � Xin Xia 10Ming-Hsuan Yang 3 , 4 Jiaqi Ma 1 †01 加利福尼亚大学洛杉矶分校 2德克萨斯大学奥斯汀分校 3 谷歌研究 4加利福尼亚大学默塞德分校0摘要0本文研究了车辆到一切（V2X）通信在提高自动驾驶车辆感知性能方面的应用。我们提出了一个稳健的V2X通信合作感知框架，使用了一种新颖的VisionTransformer。具体而言，我们构建了一个全面的注意力模型，即V2X-ViT，以有效地融合道路上的代理（即车辆和基础设施）之间的信息。V2X-ViT由异构多代理自注意力和多尺度窗口自注意力的交替层组成，捕捉代理间的相互作用和每个代理的空间关系。这些关键模块在一个统一的Transformer架构中设计，以处理常见的V2X挑战，包括异步信息共享、姿态误差和V2X组件的异构性。为了验证我们的方法，我们使用CARLA和OpenCDA创建了一个大规模的V2X感知数据集。广泛的实验结果表明，V2X-ViT在3D目标检测方面取得了最新的性能，并在恶劣的噪声环境下实现了稳健的性能。数据集、源代码和训练模型将开源。01 引言0准确感知复杂的驾驶环境对于自动驾驶车辆（AVs）的安全至关重要。随着深度学习的最新进展，单车辆感知系统的鲁棒性在语义分割[33,12]和目标检测[21,24]等多个任务中已经取得了显著的改进。尽管最近的进展，仍然存在挑战。单一代理感知系统往往在远距离处遭受遮挡和稀疏传感器观测，这可能导致灾难性后果[48]。这个问题的原因是个体车辆只能从有限的视野角度感知环境。为了解决这些问题，最近的研究[39,7,43,6]利用同一场景的多个视点的优势，研究了车辆到车辆（V2V）协作，其中视觉0� 同等贡献。†通讯作者：jiaqima@ucla.edu。本材料部分得到联邦公路管理局探索性先进研究（EAR）计划的支持，并通过美国国家科学基金会的CMMI # 1901998号资助。0arXiv:2203.10638v1[cs.CV]20Mar20220+v:mala2255获取更多论文2+v:mala2255获取更多论文0（a）仿真快照0（b）聚合的LiDAR点云0图1：来自提出的V2XSet的数据样本。（a）在CARLA中的一个模拟场景，两辆自动驾驶车辆和基础设施位于繁忙交叉口的不同侧面。（b）这三个代理的聚合LiDAR点云。0多个附近的自动驾驶车辆共享信息（例如检测输出、原始感知信息、中间深度学习特征，详见第2节），以完整准确地理解环境。虽然V2V技术有可能彻底改变移动行业，但它忽视了一个关键的合作者——路边基础设施。自动驾驶车辆的存在通常是不可预测的，而基础设施一旦安装在关键场景（如交叉口和人行横道）上，就可以始终提供支持。此外，装备有传感器的高架基础设施具有更广阔的视野和潜在的较少遮挡。尽管具有这些优势，但将基础设施纳入到强大的V2X感知系统中部署并不容易。与V2V协作不同，其中所有代理都是同质的，V2X系统通常涉及由基础设施和自动驾驶车辆形成的异构图。基础设施和车辆传感器之间的配置差异（例如类型、噪声水平、安装高度，甚至传感器属性和模态）使得设计V2X感知系统具有挑战性。此外，自动驾驶车辆和基础设施的GPS定位噪声以及异步传感器测量可能会引入不准确的坐标转换和滞后的感知信息。未能正确处理这些挑战将使系统容易受到攻击。在本文中，我们介绍了一个统一的融合框架，即V2XVisionTransformer或V2X-ViT，用于V2X感知，可以共同处理这些挑战。图2展示了整个系统。自动驾驶车辆和基础设施彼此捕获、编码、压缩和发送中间视觉特征，而自车（即接收器）使用V2X-Transformer进行目标检测的信息融合。我们提出了两个新颖的注意力模块来适应V2X挑战：1）定制的异构多代理自注意力模块，在执行注意力融合时明确考虑代理类型（车辆和基础设施）及其连接；2）多尺度窗口注意力模块，通过使用多分辨率窗口并行处理定位误差，可以处理定位误差引起的特征不对齐和时间延迟。这两个模块将以迭代的方式自适应地融合视觉特征，捕捉代理间的相互作用和每个代理的空间关系，纠正由定位误差和时间延迟引起的特征不对齐。此外，我们还集成了一种延迟感知编码来进一步处理时间延迟的不确定性。值得注意的是，所有这些模块都被纳入一个单一的Transformer中，该Transformer学习端到端地解决这些挑战。V2X metadata sharingFeature ExtractionCompression & SharingV2X-ViTDetection HeadProjectedLiDARProjectedFeature SharingFeature SharingDetection OutputAVEgoAVInfraPose,timestampPose,timestampLiDARLiDARSharedVehicle-to-Everything Vision Transformer(V2X-ViT)HeadCNNEncoderEncoderDecoderDecoderSTCMFeaturesFeaturesFeaturesSharedFigure 2: Overview of our proposed V2X perception system. It consists of five sequentialsteps:V2X metadata sharing, feature extraction, compression & sharing, V2X-ViT, and thedetection head. The details of each individual component are illustrated in Sec. 3.1.To evaluate our approach, we collect a new large-scale open dataset, namely V2XSet, thatexplicitly considers real-world noises during V2X communication using the high-fidelity simulatorCARLA [11], and a cooperative driving automation simulation tool OpenCDA. Fig. 1 shows adata sample in the collected dataset. Experiments show that our proposed V2X-ViT significantlyadvances the performance on V2X LiDAR-based 3D object detection, achieving a 21.2% gain ofAP compared to single-agent baseline and performing favorably against leading intermediate fusionmethods by at least 7.3%. Our contributions are:• We present the first unified transformer architecture (V2X-ViT) for V2X perception, whichcan capture the heterogeneity nature of V2X systems with strong robustness against variousnoises. Moreover, the proposed model achieves state-of-the-art performance on the challengingcooperative detection task.• We propose a novel heterogeneous multi-agent attention module (HMSA) tailored for adaptiveinformation fusion between heterogeneous agents.• We present a new multi-scale window attention module (MSWin) that simultaneously captureslocal and global spatial feature interactions in parallel.• We construct V2XSet, a new large-scale open simulation dataset for V2X perception, whichexplicitly accounts for imperfect real-world conditions.2Related workV2X perception. Cooperative perception studies how to leverage visual cues from neighboringconnected vehicles and infrastructure to boost the overall perception performance. Based on itsmessage sharing strategy, it can be divided into 3 categories: 1) early fusion [7] where raw data isshared and gathered to form a holistic view, 2) intermediate fusion [39, 43, 35, 6] where intermediateneural features are extracted based on each agent’s observation and then transmitted, and 3) latefusion [29, 30] where detection outputs (e.g., 3D bounding box position, confidence score) arecirculated.As early fusion usually requires large transmission bandwidth and late fusion fails3+v:mala2255获取更多论文to provide valuable scenario context [39], intermediate fusion has attracted increasing attentionbecause of its good balance between accuracy and transmission bandwidth. Several intermediatefusion methods have been proposed for V2V perception recently. F-Cooper [6] aggregates the sharedfeatures with equal weights. V2VNet [39] proposes a spatial-aware message passing mechanism tojointly reason detection and prediction.To attenuate outlier messages, [35] regresses vehicles’localization errors with consistent pose constraints. DiscoNet [22] leverages knowledge distillationto enhance training by constraining the corresponding features to the ones from the network for earlyfusion. However, intermediate fusion for V2X is still in its infancy. Most V2X methods exploredlate fusion strategies to aggregate information from infrastructure and vehicles. For example, alate fusion two-level Kalman filter is proposed by [27] for roadside infrastructure failure conditions.Xiangmo et al. [49] propose fusing the lane mark detection from infrastructure and vehicle sensors,leveraging Dempster-Shafer theory to model the uncertainty.LiDAR-based 3D object detection. Numerous methods have been explored to extract featuresfrom raw points, voxels, bird-eye-view (BEV) images, and their mixtures. PointRCNN [32] proposesa two-stage strategy based on raw point clouds, which learns rough estimation in the first stageand then refines it with semantic attributes. The authors of [51, 44] propose to split the spaceinto voxels and produce features per voxel. Despite having high accuracy, their inference speedand memory consumption are difficult to optimize due to reliance on 3D convolutions. To avoidcomputationally expensive 3D convolutions, [21, 45] propose an efficient BEV representation. Tosatisfy both computational and flexible receptive field requirements,[31, 50, 46] combine voxel-based and point-based approaches to detect 3D objects.Transformers in vision. The Transformer [37] is first proposed for machine translation [37], wheremulti-head self-attention and feed-forward layers are stacked to capture long-range interactionsbetween words. Dosovitskiy et al. [10] present a Vision Transformer (ViT) for image recognition byregarding image patches as visual words and directly applying self-attention. The full self-attentionin ViT [37, 10], despite having global interaction, suffers from heavy computational complexity anddoes not scale to long-range sequences or high-resolution images. To ameliorate this issue, numerousmethods have introduced locality into self-attention, such as Swin [26], CSwin [9], Twins [8], windowattention [40], and HaloNet [36]. A hierarchical architecture is usually adopted to progressivelyincrease the receptive fields for capturing longer dependencies.While these vision transformers have proven efficient in modeling homogeneous structured data,their efficacy to represent heterogeneous graphs has been less studied. One of the developmentsrelated to our work is the heterogeneous graph transformer (HGT) [17].HGT was originallydesigned for web-scale Open Academic Graph where the nodes are text and attributes. Inspiredby HGT, we build a customized heterogeneous multi-head self-attention module tailored for graphattribute-aware multi-agent 3D visual feature fusion, which is able to capture the heterogeneity ofV2X systems.403方法论0在本文中，我们将V2X感知视为异构多代理感知系统，其中不同类型的代理（即智能基础设施和AV）感知周围环境并彼此通信。为了模拟真实世界的情景，我们假设所有代理的定位都不完美，并且在特征传输过程中存在时间延迟。在此基础上，我们的目标是开发一个强大的融合系统，以增强车辆的感知能力并处理0+v:mala2255获取更多论文5+v:mala2255获取更多论文0以统一的端到端方式解决上述挑战。我们框架的总体架构如图2所示，包括五个主要组件：1）元数据共享，2）特征提取，3）压缩和共享，4）V2X视觉Transformer，和5）检测头。03.1主要架构设计0V2X元数据共享。在合作的早期阶段，通信网络中的每个代理i∈{1...N}与彼此共享元数据，例如姿势、外部特征和代理类型ci∈{I，V}（表示基础设施或车辆）。我们选择连接的AV中的一个作为自我车辆（e），以构建围绕它的V2X图，其中节点可以是AV或基础设施，边表示定向的V2X通信通道。在这项工作中，我们关注特征共享延迟，并忽略元数据共享延迟，因为其大小很小。更具体地说，我们假设元数据的传输是同步的，这意味着每个代理i可以在时间ti接收到自我姿势xtie。在接收到自我车辆的姿势后，所有其他附近的连接代理将在特征提取之前将自己的LiDAR点云投影到自我车辆的坐标系中。特征提取。我们利用基于锚点的PointPillar方法[21]从点云中提取视觉特征，因为它具有低推理延迟和优化的内存使用[43]。原始点云将被转换为堆叠的柱状张量，然后散布到2D伪图像并馈送到PointPillar主干。主干提取信息特征图Fti∈RH×W×C，表示代理i在时间ti的特征，其中H为高度，W为宽度，C为通道数。压缩和共享。为了减少所需的传输带宽，我们利用一系列1×1卷积逐渐压缩特征图的通道维度。压缩后的特征的大小为（H，W，C'）（其中C'�C），然后传输到自我车辆（e），在该车辆上，特征通过1×1卷积投影回（H，W，C）。连接代理捕获LiDAR数据和提取特征被自我车辆接收之间存在不可避免的时间差（详见附录）。因此，从周围代理收集的特征通常在时间上与自我车辆上捕获的特征不对齐。为了纠正由延迟引起的全局空间不对齐，我们需要将接收到的特征转换（即旋转和平移）到当前自我车辆的姿势。因此，我们利用空间-时间校正模块（STCM），它使用差分变换和采样运算符Γξ来对特征图进行空间扭曲[18]。还计算ROI掩码，以防止网络关注由空间扭曲引起的填充零。V2X-ViT。从连接代理聚合的中间特征Hi=Γξ�Fti�∈RH×W×C被馈送到我们框架的主要组件，即V2X-ViT，使用自注意机制进行迭代的代理间和代理内特征融合。我们在整个Transformer中保持相同分辨率级别的高清晰度特征图，因为我们观察到缺乏高清晰度特征会严重影响目标检测性能。我们提出的V2X-ViT的详细信息将在第3.2节中展开。检测头。在接收到最终融合的特征图Y∈RH×W×C后，我们应用两个1×1卷积层进行框回归和分类。回归输出为（x，y，z，w，l，h，θ），分别表示预定义锚框的位置、大小和偏航角。分类输出是每个锚框是对象还是背景的置信度分数。我们使用PointPillar中定义的相同损失，即回归的平滑ℓ1损失和分类的焦点LayerNormLayerNormMLPL x(b) HMSA(a) V2X-ViT(c) MSwinijI-VI-VV-I V-IV-VV-VV-VV-VI-Ik[H, W, C]……[H, W, C]3.2V2X-Vision Transformer6+v:mala2255获取更多论文0HMSA块0MSwin块0输入特征0车辆 i0车辆 j0位置注意力0V-I边0I-V边0V-V边0I-I边0特征图0k 基础设施节点 i/j 车辆节点0窗口0自注意力0分组注意力0输入特征0多尺度0窗口划分0窗口0自注意力0窗口0自注意力0输出特征0一个窗口用于0执行多头0自注意力0延迟感知0位置编码0图3：V2X-ViT架构。 (a) 我们提出的V2X-ViT模型的架构。 (b)在第3.2.1节中介绍的异构多智能体自注意力(HMSA)。 (c)在第3.2.2节中说明的多尺度窗口注意力模块(MSwindows)。0用于分类的损失[25]。0我们的目标是设计一个定制的视觉Transformer，可以共同处理常见的V2X挑战。首先，为了有效地捕捉基础设施和自动驾驶车辆之间的异构图表示，我们构建了一个异构多智能体自注意力模块，根据节点和边的类型学习不同的关系。此外，我们提出了一种新颖的空间注意力模块，即多尺度窗口注意力(MSwindows)，它可以在不同尺度上捕捉长距离的交互作用。MSwindows使用多个窗口大小来聚合空间信息，极大地提高了对定位误差的检测鲁棒性。最后，这两个注意力模块以分解的方式集成到单个的V2X-ViT块中(如图3a所示)，使我们能够在整个过程中保持高分辨率的特征。我们堆叠一系列的V2X-ViT块来迭代地学习智能体之间的相互作用和每个智能体的空间注意力，从而得到一个稳健的聚合特征表示用于检测。03.2.1 异构多智能体自注意力0基础设施和自动驾驶车辆捕获的传感器测量可能具有不同的特征。基础设施的激光雷达通常安装在较高的位置，遮挡较少，视角也不同。此外，由于维护频率、硬件质量等原因，传感器可能具有不同级别的传感器噪声。为了编码这种异质性，我们构建了一种新颖的异构多智能体自注意力(HMSA)，其中我们为有向图中的节点和边附加了类型。为了简化图结构，我们假设同一类别的智能体之间的传感器设置是相同的。如图3b所示，我们有两种节点类型和四种边类型，即节点类型 c i  ∈ { I, V  }  和边类型 φ  ( e ij )  ∈ { V  − V, V  − I,I  − V, I  − I }。请注意，与传统的注意力不同，其中节点特征被视为向量，我们只推理来自不同智能体的相同空间位置的特征之间的交互，以保留空间线索。形式上，(2)70HSMA表示为：H i  =  Dense c i � j ∈ N ( i ) ( ATT  ( i, j )  ∙  MSG  ( i, j )) (1)0其中包含3个运算符：线性聚合器Denseci，注意力权重估计器ATT和消息聚合器MSG。Dense是一组由节点类型ci索引的线性投影器，用于聚合多头信息。ATT根据关联的节点和边类型计算节点对之间的重要性权重：0ATT（i，j）=softmax�j∈N（i0�0∥m∈[1，h]headm0�0headmATT（i，j）=�Km（j）Wm，ATTφ（eij）Qm（i）T�1√0C（3）0Km（j）=Densem cj（Hj）（4）0Qm（i）=Densemci（Hi）（5）0其中∥表示连接，m是当前头的编号，h是头的总数。注意，这里的Dense是由节点类型ci/j和头编号m索引的。K和Q中的线性层具有不同的参数。为了融合边的语义含义，我们计算由矩阵Wm，ATTφ（eij）∈RC×C加权的查询和键向量的点积。类似地，当解析来自相邻代理的消息时，我们通过Densemcj分别嵌入基础设施和车辆的特征。使用矩阵Wm，MSGφ（eij）对基于源节点和目标节点之间的边类型的特征进行投影：0MSG（i，j）=∥m∈[1，h]headmMSG（i，j）（6）0headmMSG（i，j）=Densem cj（Hj）Wm，MSGφ（eij）。（7）03.2.2多尺度窗口注意力0我们提出了一种针对高分辨率检测的高效长程空间交互的新型注意力机制，称为多尺度窗口注意力（MSwin）。它使用金字塔形的窗口，每个窗口都有不同的注意范围，如图3c所示。使用可变的窗口大小可以极大地提高V2X-ViT对定位误差的检测鲁棒性（见图5b中的消融研究）。在较大的窗口内执行的注意力可以捕捉到长程视觉线索，以弥补较大的定位误差，而较小的窗口分支在更细的尺度上执行注意力以保留局部上下文。之后，使用分割注意力模块[47]来自多个分支的信息进行自适应融合，使MSwin能够处理一系列姿态误差。请注意，MSwin独立地应用于每个代理，不考虑任何代理间的融合；因此，在本小节中为简洁起见，我们省略了代理下标。形式上，设H∈RH×W×C为单个代理的输入特征图。在k个并行分支中的第j个分支中，使用窗口大小Pj×Pj对H进行分区，得到形状为（H0Pj×W0Pj，Pj×0每个分支使用Pj×Pj大小的非重叠网格补丁。我们使用hj个头来提高第j个分支的注意力能力。更详细的公式可以在附录中找到。根据[26,16]，我们还考虑了一个额外的相对位置编码B，它作为偏置项添加到注意力图中。由于每个轴上的相对位置位于范围[-Pj+1，Pj-1]内，我们从参数化矩阵ˆB∈R（2Pj-1）×（2Pj-1）中获取B。0+v:mala2255获取更多论文pc (∆ti) =�sin�∆ti/100002cC�,c = 2kcos ∆ti/100002cC,c = 2k + 1(8)DPE (∆ti) = f (p (∆ti))(9)Hi = Hi + DPE (∆ti)(10)80为了实现每个代理的多范围空间关系，每个分支使用不同的窗口大小对输入张量H进行分区，即{Pj}kj=1={P, 2P, ...,kP}。当使用较大的窗口大小时，我们逐渐减少头的数量以节省内存使用。最后，我们通过Split-Attention模块[47]融合来自所有分支的特征，得到输出特征Y。所提出的MSwin的复杂度与图像大小HW成线性关系，同时享受长程多尺度感受野，并并行自适应融合本地和（子）全局视觉提示。值得注意的是，与SwinTransformer[26]不同，我们的多尺度窗口方法不需要掩码、填充或循环移位，使其在实现中更高效，同时具有更大尺度的空间交互作用。03.2.3 延迟感知位置编码0尽管全局不对齐由空间扭曲矩阵 Γ ξ捕获，但还需要考虑另一种类型的局部不对齐，即由于延迟引起的时间滞后期间的物体运动引起的不对齐。为了编码这些时间信息，我们利用自适应的延迟感知位置编码（DPE），由线性投影和可学习的嵌入组成。我们将其初始化为以时间延迟 ∆ t i  和通道  c  ∈  [1 , C ]为条件的正弦函数：0线性投影  f  :  R C →  R C 将进一步扭曲可学习的嵌入，使其能够更好地推广到未见过的时间延迟 [ 17]。在将特征  H i 输入到Transformer之前，我们将这个投影嵌入添加到每个代理的特征  H i中，以便在之前对特征进行时间对齐。04 实验04.1 V2XSet: 一个用于V2X合作感知的开放数据集0据我们所知，目前还没有完全公开的适用于研究常见V2X挑战（如定位误差和传输时延）的V2X感知数据集。DAIR-V2X [ 2 ]是一个大规模的真实世界V2I数据集，但没有V2V合作，并且尚未完全公开。V2X-Sim [22 ]是一个开放的V2X模拟数据集，但不模拟噪声环境，并且只包含单一道路类型-交叉口。OPV2V [ 43]包含更多道路类型，但限制为V2V合作。为此，我们收集了一个新的用于V2X感知的大规模数据集，明确考虑了V2X协作期间的这些真实世界噪声。我们使用CARLA [ 11 ]和OpenCDA [ 42]生成我们的数据集。CARLA负责逼真的环境渲染和传感器建模，OpenCDA提供了方便的多个AV的同时控制和嵌入式车辆网络通信协议。我们在CARLA中收集了73个代表性场景，涵盖5种不同的道路类型和8个城镇。每个场景限制为25秒，在每个场景中，至少有2个至多5个可以相互通信的智能代理。每个代理配备32通道LiDAR，数据范围为120米。我们在每辆AV的顶部安装传感器，而在交叉口、中间区域和入口匝道上，我们只部署基础设施传感器，高度为14英尺，因为这些场景通常更拥挤和具有挑战性 [ 15 ]。我们以10Hz记录LiDAR点云，并保存相应的位置数据和时间戳。总共，我们的数据集中有11,447帧（如果我们计算同一场景中每个代理的帧数，则为33,081个样本），训练/验证/测试分别为6,694 / 1,920 /2,833。与现有数据集相比，V2XSet结合了V2X合作和具有多样化道路类型的真实噪声模拟。0+v:mala2255获取更多论文We evaluate the detection accuracy in the range of x ∈ [−140, 140] m longitudinally and y ∈[−40, 40] m laterally in the ego-vehicle coordinate frame.Note the evaluation range on the xdirection is longer than the single AV dataset [5, 13] for the purpose of leveraging and investigatingthe increased sensing range of the V2X system. We assess models under two settings: 1) PerfectSetting, where the pose is accurate, and everything is synchronized across agents; 2) Noisy Setting,where pose error and time delay are both considered. In the Noisy Setting, the positional andheading noises of the transmitter are drawn from a Gaussian distribution with a default standarddeviation of 0.2 m and 0.2° respectively, following the real-world noise levels [41, 23, 1]. The timedelay is set to 100 ms for all the evaluated models to have a fair comparison of their robustnessagainst asynchronous message propagation.Evaluation metrics. The detection performance is measured with Average Precisions (AP) atIntersection-over-Union (IoU) thresholds of 0.5 and 0.7. In this work, we focus on LiDAR-basedvehicle detection.Vehicles hit by at least one LiDAR point from any connected agent will beincluded as evaluation targets.Implementation details. During training, a random AV will be selected as the ego vehicle, whileduring testing, we evaluate on a fixed ego vehicle for all the compared models. The communicationrange of each agent is set as 70 m based on [19], whereas all the agents out of this broadcastingradius of ego vehicle will be ignored. For the PointPillar backbone, we set the voxel resolution to0.4 m for both height and width. The default compression rate is 32 for all intermediate fusionmethods. Our V2X-ViT has 3 encoder layers with 3 various window sizes in MSwin: 4, 8, and 16.We first train the model under the Perfect Setting, and then fine-tune it while fixing the backboneon Noisy Setting. We adopt Adam optimizer [20] with an initial learning rate of 10−3 and steadilydecay it ev