位置嵌入变换：多视点3D目标检测的简单而强大基线

+v：mala2255获取更多论文PETR：用于多视点3D目标检测的位置嵌入变换刘颖飞刘天才王翔宇张剑孙MEGVII技术{liuyingfei，wangtiancai，zhangxiangyu，sunjian} @ megvii.com抽象的。在本文中，我们开发了位置嵌入变换（PETR）的多视图三维物体检测。PETR将3D坐标的位置信息编码成图像特征，产生3D位置感知特征。对象查询可以感知三维位置感知特征并执行端到端的对象检测。PETR在标准nuScenes数据集上实现了最先进的性能（50.4%NDS和44.1%mAP），并在基准测试中排名第一。它可以作为未来研究的简单而强大的基线。代码可在https://github.com/megvii-research/PETR.关键词：位置嵌入，Transformer，三维目标检测1介绍基于多视点图像的3D目标检测由于其低成本而备受关注在自动驾驶系统中。以前的工作[6，33，49，34，48]主要从单目目标检测的角度解决这个问题最近，DETR [4]由于其对端到端对象检测的贡献而受到了极大的关注。在DETR [4]中，每个对象查询表示一个对象，并与Transformer 解 码 器 中 的 2D 特 征 交 互 以 产 生 预 测 （ 见 图 11 ） 。 1（a））。简单地从DETR [4]框架扩展，DETR3D [51]为端到端3D对象检测提供了直观的解决方案通过对象查询预测的3D参考点通过相机参数被投影回图像空间，并用于从所有相机视图中采样2D特征（参见图1（b））。解码器将采样的特征和查询作为输入，并更新对象查询的表示。然而，DETR 3D [51]中的这种2D到3D转换可能会引入一些问题。首先，参考点的预测坐标可能不那么准确，使得采样的特征不在对象区域内。第二，只收集投影点处的图像特征，无法从全局角度进行表示学习此外，复杂的特征采样过程将阻碍检测器的实际应用。因此，在没有在线2D到3D变换和特征采样的情况下构建端到端3D对象检测框架仍然是一个遗留问题。平等贡献。arXiv：2203.05625v3 [cs.CV] 2022年7+v：mala2255获取更多论文2Liu等人(a) DETR（b）DETR 3D（c）PETR图1：DETR、DETR3D和我们提出的PETR的比较（a）在DETR中，对象查询与2D特征交互以执行2D检测。(b)DETR3D将生成的3D参考点重复投影到图像平面，并对2D特征进行采样，以与解码器中的对象查询进行交互（c）PETR通过将3D位置嵌入（3D PE）编码到2D图像特征中来生成3D位置感知特征。对象查询直接与3D位置感知特征交互并输出3D检测结果。在本文中，我们的目标是开发一个简单而优雅的框架，基于DETR[4]的3D对象检测。我们想知道是否有可能将多视图的2D特征转换为3D感知特征。这样，可以在3D环境下直接更新对象查询。我们的工作受到这些内隐神经表征进展的启发[17，8，32]。在MetaSR [17]和LIFF [8]中，通过将HR坐标信息编码到LR特征中，从低分辨率（LR）输入生成高分辨率（HR）RGB值在本文中，我们尝试通过编码3D位置 嵌 入 将 多 视 图 图 像 的 2D 特 征 转 换 为 3D 表 示 （ 见 图 11 ） 。 1（c））。为了实现这一目标，相机截头体空间，共享不同的意见，首先离散成meshgrid坐标。然后通过不同的相机参数对坐标进行然后将从主干和3D坐标中提取的2D图像特征输入到简单的3D位置编码器以产生3D位置感知特征。3D位置感知特征将与Transformer解码器中的对象查询交互，并且更新的对象查询进一步用于预测对象类和3D边界框。与DETR 3D相比，所提出的PETR架构带来了许多优势[51]。它保持了原始DETR [4]的端到端精神，同时避免了复杂的2D到3D投影和特征采样。在推断时间期间，3D位置坐标可以以离线方式生成并且用作额外的输入位置嵌入。实际应用相对容易概括起来，我们的贡献是：– 我们提出了一个简单而优雅的框架，称为PETR，用于多视图3D对象检测。通过对3D坐标进行编码，将多视图特征转换为3D域。对象查询可以通过与3D位置感知特征交互来更新，并生成3D预测。– 提出了一种新的三维位置感知表示方法，用于多视点三维目标检测。引入一个简单的隐函数将三维位置信息编码为二维多视图特征。+v：mala2255获取更多论文用于多视图3D对象检测的位置嵌入变换3– 实验表明，PETR在标准nuScenes数据集上实现了最先进的性能（50.4%NDS和44.1%mAP），并在3D对象检测排行榜上排名第2相关工作2.1基于变换器的目标检测Transformer [47]是一种广泛应用于对长距离依赖性建模的注意力块。在Transformer中，特征通常添加位置嵌入，提供图像[13，53，27]，序列[15，47，11，10，54]和视频[1，24，52]的位置信息。Transformer-XL [10]使用相对位置嵌入来编码成对令牌的相对距离。ViT [13]将学习的位置嵌入添加到对不同补丁的距离进行编码的补丁表示中。MViT [24]分解了相对位置嵌入的距离计算并对时空结构进行建模。最近，DETR [4]涉及到将Transformer转换为端到端检测的2D对象检测任务。在DETR [4]中，每个对象被表示为对象查询，该对象查询通过Transformer解码器与2D图像特征交互。然而，DETR [4]具有收敛缓慢的缺点[44]将收敛缓慢归因于交叉注意机制，并设计了仅编码器的DETR。此外，许多工作通过添加位置先验来加速收敛SMAC [14]预测2D类高斯权重图作为每个查询的空间先验可变形DETR [58]将对象查询与2D参考点相关联，并提出可变形交叉注意来执行稀疏交互。[50，30，26]从锚点或锚点生成对象查询，所述锚点或锚点使用位置先验以用于快速收敛。从DETR [58]扩展而来，SOLQ [12]使用对象查询同时执行分类，框回归和实例分割。2.2基于视觉的三维目标检测基于视觉的3D目标检测是从摄像机图像中检测出3D边界框。许多以前的作品[6，33，20，21，41，19，2，49，48]在图像视图中执行3D对象检测。M3 D-RPN [2]引入了深度感知卷积，它可以学习用于3D对象检测的位置感知特征。FCOS3D [49]将3D地面实况转换为图像视图，并扩展FCOS [46]以预测3D长方体参数。PGD [48]遵循FCOS3D [49]，并使用概率表示来捕获深度的不确定性。它大大简化了深度估计问题，同时引入了更多的计算预算和更大的推理延迟。DD3D [34]表明，在大规模深度数据集上进行深度预训练可以显着提高3D对象检测的性能最近，一些工作尝试在3D世界空间中进行3D对象检测。OFT[39]和CaDDN[38]将单目图像特征映射到鸟瞰ImVoxel- Net[40]在3D世界空间中构建3D体积并对多视图特征进行+v：mala2255获取更多论文我我{∈}{∈}{∈}4 Liu et al.以获得体素表示。然后使用3D卷积和特定领域的头部来检测室内和室外场景中的对象。与CaDDN [38]类似，BEVDet [18]采用Lift-Splat-Shoot [37] 将 2D 多 视 图 特 征 转 换 为 BEV 表 示 。 在 BEV 表 示 中 ，CenterPoint [55]头用于以直观的方式检测3D对象在DETR [4]之后，DETR3D [51]将3D对象表示为对象查询。从对象查询生成的3D参考点被重复地投影回所有相机视图并对2D特征进行采样。基于BEV的方法倾向于引入Z轴误差，导致其他3D感知任务的性能较差（例如，3D车道检测）。基于DETR的方法可以通过更多的训练增强享受端到端建模的更多好处。我们的方法是基于DETR的，以简单有效的方式检测3D对象。我们将3D位置信息编码成2D特征，产生3D位置感知特征。对象查询可以直接与这样的3D位置感知表示交互，而没有投影误差。2.3内隐神经表征隐式神经表征（INR）通常通过多层感知器（MLP）将坐标映射为视觉信号。这是一种高效的建模3D对象[35，9，31]，3D场景[32，43，5，36]和2D图像[17，8，45，42]的方法NeRF [32]采用完全连接的网络来表示特定场景。为了合成一个新的视图，沿着相机光线的5D坐标作为查询输入到网络，并输出体密度和视图相关的发射辐射。在MetaSR [17]和LIFF [8]中，HR坐标被编码到LR特征中，可以生成任意大小的HR图像。我们的方法可以被视为INR在3D目标检测中的扩展2D图像用3D坐标编码通过MLP将3D空间中的锚点转换为对象查询，并进一步与3D位置感知特征交互以预测相应的3D对象。3方法3.1整体架构图2示出了所提出的PETR的总体架构。给定图像I= IiR3×HIXWI，i=1，2，. . .，N，将图像输入到骨干网络（例如ResNet-50 [16]）以提取2D多视图特征F2 d=F2dRC×HF×WF，i=1，2，. . .、N.在三维坐标生成器中，首先将摄像机视锥空间离散为三维网格。然后利用摄像机参数对网格坐标进行变换，生成三维世界坐标。3D坐标与2D多视图特征一起被输入到3D位置编码器，从而产生3D位置感知特征F3d =F3dRC ×HF ×WF，i =1，2，. . . 、N. 3D特征被进一步输入到Transformer解码器，并与从查询生成器生成的对象查询交互。更新的对象查询用于预测对象类以及3D边界框。+v：mala2255获取更多论文Ji、j∈xi，j=（xi，j−xmi n）/（xmax−xmin）用于多视图3D对象检测的位置嵌入变换5图2：所提出的PETR范例的架构多视图图像被输入到骨干网络（例如ResNet）以提取多视图2D图像特征。在三维坐标生成器中，所有视图共享的摄像机视锥空间被离散成三维网格。通过不同的摄像机参数对网格坐标进行变换，得到3D世界空间中的坐标。然后将二维图像特征和三维坐标注入到所提出的三维位置编码器中，以生成三维位置感知特征。查询生成器生成的对象更新的查询还用于预测3D边界框和对象类。3.23D坐标生成器为了建立2D图像和3D空间之间的关系，我们将相机截头体空间中的点投影到3D空间，因为这两个空间之间的点是一对一的分配。类似于DGSN [7]，我们首先离散相机截头体空间以生成大小为（WF，HF，D）的网格。每个点在网格中可表示为Pm=（uj×dj，vj×dj，dj，1）T，其中（uj，vj）是图像中的pixel坐标，dj是沿轴的深度值，垂直于图像平面。 由于网格是由不同视图共享的，因此可以通过反向三维投影来计算三维世界空间中的相应三维坐标p3d=（xi，j，yi，j，zi，j，1）T：p3d=K− 1pm（一）i，jij其中KiR4× 4是建立从3D世界空间到相机截头体空间的变换的第i个如示于图2、所有视图的3D坐标覆盖了变换后场景的全景我们进一步将3D坐标归一化，如等式（1）中所二、yi，j=（yi，j−ymin）/（ymax−ymin）zi，j=（z i，j−z min）/（z max−zmin）（二更）+v：mala2255获取更多论文×我我我}}{∈{∈×6 Liu et al.图3：所提出的3D位置编码器的图示多视图2D图像特征被输入到11卷积层以用于降维。由3D坐标生成器产生的3D坐标通过多层感知被转换成3D位置嵌入。3D位置嵌入与同一视图的2D图像特征一起添加，产生3D位置感知特征。最后，对3D位置感知要素进行展平并用作Transformer解码器的输入端。○F是扁平化操作。其中[xmin，ymin，zmin，xmax，ymax，zmax]是3D世界空间的感兴趣区域（RoI）。最后将HF×WF×D点的归一化坐标转置为P3 d={P3 d∈ R（D× 4）×HF ×WF，i = 1，2，. . . ，N}。3.33D位置编码器3D位置编码器的目的是获得3D特征F3d =F3dRC ×HF×WF，i=1，2，. . . .，N通过关联2D图像特征F2 d=F2dRC×HF ×WF，i = 1，2，. . . ，N与3D位置信息。类似于Meta SR [17]，3D位置编码器可以公式化为：F3d = n（F2d，P3d）， i = 1，2，. . . ，N（3）我我我其中，是图3中所示的位置编码函数。接下来，我们将详细描述fixed（. ）. 给定 2D特征F2d和3D坐标P3d，首 先将P3d馈送到 多层感知（MLP）网络中并转换为3D位置嵌入（PE）。然后，2D特征F2d通过11卷积层进行变换，并与3D PE相加以制定3D位置感知特征。最后，我们将三维位置感知特征扁平化，作为Transformer解码器的关键组成部分。3D PE分析为了证明3D PE的效果，我们在前视图中随机如图4所示，靠近这些点的区域往往具有较高的相似性。例如，当我们选择前视图中的左点时，左前视图的右侧区域将具有相对较高的响应。这表明3D PE隐含地建立了3D空间中不同视图的位置相关性。+v：mala2255获取更多论文∈用于多视图3D对象检测的位置嵌入变换7图4：3D位置嵌入相似性。红点是前视图中的选定位置。我们计算了这些选定位置的位置嵌入和所有图像视图之间的相似性。这表明，靠近这些选择点的区域往往具有较高的相似性。3.4查询生成器和解码器Query Generator：原始DETR [4]直接使用一组可学习的参数作为初始对象查询。在Deformable-DETR [58]之后，DETR 3D [51]根据初始化的对象查询预测参考点。为了缓解3D场景中的收敛困难，类似于Anchor-DETR [50]，我们首先在3D世界空间中初始化一组可学习的锚点，这些锚点具有从0到1的均匀分布。然后将3D锚点的坐标输入到具有两个线性层的小型MLP网络中，并生成初始对象查询Q0。在我们的实践中，在3D空间中使用锚点可以保证PETR的收敛，而采用DETR中的设置或在BEV空间中生成锚点则无法获得令人满意的检测性能。欲了解更多详情，请参阅我们的实验部分。解码器：对于解码器网络，我们遵循DETR [4]中的标准Transformer解码器，其中包括L个解码器层。在这里，我们将解码器层中的交互过程公式化为：Ql=l（F3 d，Ql−1），l =1，. . . 、L（4）其中，R1是解码器的第L层。QlRM×C是第l层更新后的对象查询.M和C是查询和通道的数量，re-boundary。在每个解码器层中，对象查询通过多头注意和前馈网络与3D位置感知特征交互经过迭代交互后，更新后的对象查询具有高级表示，可以用来预测相应的对象。3.5水头与损失检测头主要包括分类和回归两个分支。来自解码器的更新的对象查询被输入到检测头部和预测对象类以及3D边界框的概率。请注意，回归分支预测相对于到锚点的坐标为了与DETR3D进行公平比较，我们还+v：mala2255获取更多论文×−- -8 Liu et al.采用焦点损失[25]进行分类，采用L1损失进行3D边界框回归。Lety=（c，b）和dyy=（ct，b）de分别不是基础事实和预测的集合匈牙利算法[22]用于地面实况和预测之间的标签分配假设σ是最优分配函数，则3D对象检测的损失可以总结为：L（y，y∈）=λcls<$Lcls（c，σ（c∈））+Lreg（b，σ（c∈b））（5）这里Lcls表示分类的焦点损失，Lreg是回归的L1损失。λcls是平衡不同损失的超参数。4实验4.1数据集和数据库我们在nuScenes基准上验证了我们的方法[3]。NuScenes是一个大规模的多模态数据集，由6台相机，1台激光雷达和5台雷达收集的数据组成。该数据集有1000个场景，并正式分为700/150/150个场景，分别用于训练/验证/测试。每个场景都有20秒的视频帧，每隔0.5秒就有3D边界框进行完整注释。与官方评估指标一致，我们报告了nuScenes检测评分（NDS）和平均精度（mAP），以及平均翻译误差（mATE）、平均比例误差（mASE）、平均定向误差（mAOE）、平均速度误差（mAVE）、平均属性误差（mAAE）。4.2实现细节为了提取2D特征，ResNet [16]，Swin-Transformer [27]或VoVNetV 2 [23]被用作骨干网络。C5特征（第5级的输出）被上采样并与C4特征（第4级的输出）融合以产生P4特征。具有1/16输入分辨率的P4特征用作2D特征。对于3D坐标生成，我们在CaDDN [38]中进行线性递增离散化（LID）后沿深度轴采样64个点。我们将区域设置为[ 61]。2米61X和Y轴为[2m]，Z轴为[ 10m，10m]。3D世界空间中的3D坐标被归一化为[0，1]。 在DETR3D [51]之后，我们设置λcls= 2。0来平衡分类和回归。PETR使用AdamW [29]优化器进行训练，权重衰减为0.01。学习率初始化为2。0 10−4，并以余弦退火策略衰减[28]。采用多尺度训练策略，其中短边在[640，900]内随机选择，长边小于或等于1600。在CenterPoint [55]之后，实例的地面真实值在[ 2 2]的范围内随机旋转。5分22秒[5]在3D空间中。 所有的实验都在8个Tesla V100 GPU 上训练了24个epochs（2x schedule），批量大小为8。在推理过程中不使用测试+v：mala2255获取更多论文†×方法骨架大小NDS↑mAP↑mATE↓mASE↓mAOE↓mAVE↓mAAE↓用于多视图3D对象检测的位置嵌入变换9表1：最近在nuScenes val set上的作品比较。FCOS3D和PGD的结果进行了微调，并与测试时间增加测试。DETR3D、BEVDet和PETR使用CBGS进行培训[57]。从FCOS3D主干初始化。CenterNetDLA-0.328 0.3060.7160.2640.6091.4260.658FCOS3DPGDRES-101RES-1011600×9001600×9000.4150.4280.3430.3690.7250.6830.2630.2600.4220.4391.2921.2680.1530.185BEVDetRes-101Swin-TRes-50Res-50Res-101Res-101Swin-T1056×3841056×3841408×5121056×3841408×5121056×3841408×5121408×5120.381 0.3040.7190.2720.5550.9030.257BEVDet0.389 0.3170.7040.2730.5310.9400.250BEVDet0.417 0.349 0.637 0.2690.4900.9140.268Petr0.381 0.3130.7680.2780.5640.9230.225Petr0.403 0.3390.7480.2730.5390.9070.203Petr0.399 0.3330.7350.2750.5590.8990.205Petr0.421 0.3570.7100.2700.4900.8850.224Petr0.431 0.3610.7320.2730.4970.8080.185DETR 3D<$PETR<$PETR<$PETR†Res-101Res-101RES-1011600×9001056×3841408×5121600×9000.434 0.3490.423 0.3470.441 0.3660.442 0.3700.7160.7360.7170.7110.2680.2690.2670.2670.3790.4480.4120.3830.8420.8440.8340.8650.2000.2020.1900.2014.3最新技术水平比较如Tab中所示1，我们首先在nuScenes val set上比较了与现有方法的性能它表明PETR在NDS和mAP指标上都达到了最佳性能。CenterNet[56]、FCOS3D [49]和PGD [48]是典型的单目3D对象检测方法。与FCOS3D [49]和PGD [48]相比，使用ResNet-101 [16]的PETR在NDS上分别超过它们2.7%和1.4%然而，由于明确的深度监督，PGD [48]实现了相对较低的mATE此外，我们还将PETR与多视图3D对象检测方法DETR3D[51]和BEVDet [18]进行了比较，这些方法在统一视图中检测3D对象。由于DETR3D [51]和BEVDet [18]在图像大小和主干初始化方面遵循不同的设置，因此我们单独比较PETR与它们进行公平比较。我们的方法优于他们的NDS分别为0.8%和1.4%。选项卡. 2显示了nuScenes测试集上的性能比较我们的方法在NDS和mAP上也实现了最佳性能。为了与BEVDet [18]进行公平比较，还使用2112 768的图像大小训练了具有Swin-S主干的结果表明，PETR在mAP和NDS中分别超过BEVDet [18] 3.6%和1.8%值得注意的是，与使用外部数据的现有方法相比，使用Swin-B的PETR当使用外部数据时，具有VOVNetV2 [23]主干的PETR实现了50.4%的NDS和44.1%的mAP。据我们所知，PETR是第一个超过50.0%NDS的基于视觉的方法。+v：mala2255获取更多论文×10 Liu et al.(a)（b）第（1）款图5：PETR的收敛性和速度分析。(a)PETR和DETR 3D之间的收敛性比较[51]。PETR在初始阶段收敛较慢，并且需要相对较长的训练时间才能完全收敛。(b)不同骨干网和输入大小下的性能和速度分析表2：nuScenes测试集上最近作品的比较。用外部数据训练神经网络。 增加测试时间。方法骨干NDS↑mAP↑mATE↓mASE↓mAOE↓mAVE↓mAAE↓FCOS3D微处理器Res-101Res-101V2 -99Swin-SV2-990.4280.4480.4770.4790.4630.4880.3580.3860.4180.4120.3980.4240.6900.6260.5720.6410.5560.5240.2490.2450.2490.2550.2390.2420.4520.4510.3680.3940.4140.3731.4341.5091.0140.8451.0100.9500.1240.1270.1240.1330.1530.148PGD治疗DD3D贴片机DETR3D打印机BEVDetBEVDet ®PetrRES-101 0.455 0.3910.6470.2510.4330.9330.143PetrSwin-T0.450 0.4110.6640.2560.5220.9710.137PetrSwin-S0.481 0.4340.6410.2480.4370.8940.143PetrSwin-B0.483 0.445 0.6270.2490.4490.9270.141PETR系列V2-990.504 0.4410.5930.2490.3830.8080.132对PETR算法的收敛性和检测速度进行了分析。我们首先比较了DETR3D [51]和PETR的收敛性（见图1）。5（a））。PETR在前12个历元内的收敛速度比DETR 3D [51]相对较慢这表明PETR需要相对较长的训练时间才能完全收敛。我们猜测原因是PETR通过全局注意力学习3D相关性，而DETR3D [51]在局部区域内感知3D场景图5（b）进一步报道了PETR在不同输入尺寸下的检测性能和速度。FPS是在单个Tesla V100 GPU上测量的。对于相同的图像大小（例如，1056 384），我们的PETR推断为10.7 FPS，而BEVDet [18]为4.2 FPS。请注意，BEVDet [18] 的 速 度 是 在 NVIDIA 3090 GPU 上 测 量 的 ， 它 比 TeslaV100GPU更强。+v：mala2255获取更多论文用于多视图3D对象检测的位置嵌入变换11表3：3D位置嵌入的影响。2D PE是DETR中常用的位置嵌入MV是多视图位置嵌入，以区分不同的视图。3D PE是在我们的方法中提出的3D位置嵌入。PE 2D MV 3DNDS↑mAP↑mATE↓mASE↓mAOE↓mAVE↓mAAE↓1✓✓✓0.208 0.0691.1650.2900.7730.9360.2592✓✓✓✓0.224 0.0891.1650.2870.7380.9290.25130.356 0.3050.835 0.2380.6390.9710.23740.351 0.3050.8380.2830.6331.0480.2565✓✓ 0.359 0.3090.8440.2780.6530.9450.241表4：分析不同的方法来离散相机平截头体空间和不同的感兴趣区域（ROI）范围以归一化3D坐标。UD是均匀离散化，而LID是线性增加离散化。深度范围（x最小值，y最小值，z最小值，x最大值，y最大值，z最大值）UD盖NDS↑mAP↑mATE↓（1，51.2）（-51.2，-51.2，-10.0，51.2，51.2，10.0）✓0.3520.3030.862（1，51.2）（-51.2，-51.2，-5，51.2，51.2，3）✓0.3520.3050.854（1，61.2）（-61.2，-61.2，-10.0，61.2，61.2，10.0）✓0.358 0.3080.850（1，61.2）（-61.2，-61.2，-5，61.2，61.2，3）✓0.3420.2970.860（1，51.2）（-51.2，-51.2，-10.0，51.2，51.2，10.0）✓0.350 0.3100.843（1，51.2）（-51.2，-51.2，-5，51.2，51.2，3）✓0.3550.3060.838（1，61.2）（-61.2，-61.2，-10.0，61.2，61.2，10.0）✓0.359 0.3090.839（1，61.2）（-61.2，-61.2，-5，61.2，61.2，3）✓0.3460.3040.8424.4消融研究在本节中，我们对PETR的一些重要组件进行了消融研究。所有实验都是使用ResNet-50主干的单级C5特征进行的，而没有CBGS [57]。3D位置嵌入的影响。我们评估了不同位置嵌入（PE）的影响（见表1） 。 3 ） 。 当 仅 使 用 DETR 中 的 标 准 2D PE时 ， 模 型 只 能 收 敛 到6.9%mAP。然后，我们加入了多视图先验（将视图编号转换为PE）来区分不同的视图，它带来了轻微的改善。当仅使用由3D坐标生成的3D PE时，PETR可以直接实现30.5%mAP。这表明3D PE在感知3D场景之前提供了强有力的位置。此外，当我们将3D PE与2D PE和多视图先验相结合时，可以提高性能。应该注意的是，主要的改进来自3DPE，并且在实践中可以选择性地使用2D PE/多视图先验。三维坐标生成器。 在三维坐标生成器中，将摄像机视锥空间中的透视图离散为三维网格。3D世界空间中的变换坐标进一步用感兴趣区域（RoI）归一化+v：mala2255获取更多论文×××- − −12 Liu等人。表5：申报PETR中不同组件的消融研究。PE网络NDS↑ mAP↑ mATE↓融合方式NDS↑mAP↑mATE↓(a) 用于生成3D PE的网络。“无”意味着归一化的3D坐标直接用作3D PE。(b) 在3D位置编码器中融合2D多视图特征与3D PE的不同方式Anc-PointsNDS↑ mAP↑mATE↓波因特NDS↑mAP↑mATE↓没有一---6000.3390.3000.847Fix-BEV0.3370.2950.8529000.3510.3030.860修复-3D0.3430.3030.86412000.3540.3030.854学习-3D0.359 0.3090.83915000.359 0.309 0.839(c) “ 无 ” 表 示 DETR 后 无 锚 点 。“Fix-BEV” and “Fix- 3D” mean thegrid anchor points in(d) 具有不同数量锚点的结果。我们 探 索 了 从 600 到 1500 的 锚 点 数量。点越多性能越好。在这里，我们探讨不同的离散化方法和ROI范围的有效性（见表1）。4）。均匀离散化（UD）与线性递增离散化（LID）的性能相似。我们还尝试了几个常见的投资回报率区域和投资回报率范围（61。2米61两米十。0米，61。2米61两米十。0m）获得了比其他人更好的性能。3D位置编码器。3D位置编码器用于将3D位置编码为2D特征。在这里，我们首先探索将3D坐标转换为3D位置嵌入的多层感知（MLP）的效果。可以在Tab中看到。5（a）用一个简单的MLP网络可以提高与没有MLP的基线相比，NDS和mAP的性能分别提高了4.8%和5.3%（将2D要素的通道数与D对齐4）。当使用两个33卷积层，由于33卷积破坏了2D特征和3D位置之间的对应关系，因此模型将不会收敛。此外，我们比较了不同的方法来融合二维图像特征，选项卡中的3D PE。5（b）.级联操作实现了与加法相似的性能，同时超过了乘法融合。查询生成器。选项卡. 图5（c）示出了不同锚点对生成查询的影响。在这里，我们比较了四种类型的锚点：“无”、“固定- BEV”、“固定-3D”和“学习-3D”。原始的DETR（“None”）直接使用一组可学习的参数作为没有锚点的对象查询。对象查询的全局性使模型不能收敛。“Fix-BEV” is thefixed anchor没有一0.311 0.256 1.00添加0.359 0.3090.8391×1 ReLU 1×13×3 ReLU 3×30.359 0.309 0.8390.017 0.000 1.054Concat繁殖0.3580.3570.3090.3030.8320.848+v：mala2255获取更多论文××用于多视图3D对象检测的位置嵌入变换13图6：BEV和图像视图中检测结果的定性分析。分数阈值为0.25，而主干是ResNet-101。3D边界框用不同的颜色绘制以区分不同的类。图7：注意力地图的可视化，从多视图图像上的对象查询（对应于卡车）左前和左后视图在注意力地图上都表示固定锚点数量为16166在3D世界空间“学习的-3D”是在3D空间中定义的可学习的锚点。我们发现“Fix-BEV”和“Fix-3D”的性能都低于学习的锚点。我们还探讨了锚点的数量（见Tab。 5（d）），其范围为600至1500。该模型在锚点数为1500时性能最佳。考虑到计算成本随着锚点数量的增加而增加，我们简单地使用1500个锚点来进行权衡。4.5可视化图6显示了一些定性检测结果。在BEV空间和图像视图中投影和绘制3D边界框如BEV所示，+v：mala2255获取更多论文14 Liu等人。图8：PETR故障案例我们用红圈和绿圈标记失败案例红色圆圈是一些未被检测到的小物体。绿色圆圈是被错误分类的物体。空间，预测的边界框接近地面实况。这表明，我们的方法取得了良好的检测性能。我们还可视化从多视图图像上的对象查询生成的注意力地图。如图7所示，对象查询倾向于关注相同的对象，即使在不同的视图中。这表明，三维位置嵌入可以建立不同视图之间的位置相关性最后，我们提供了一些失败案例（见图8）。失败案例用红色和绿色圆圈标记。红色圆圈显示了一些未检测到的小物体。绿色圆圈中的物体被错误分类。错误检测主要发生在不同车辆在外观上具有高度相似性时。5结论本文为多视图三维物体检测提供了一种简单而优雅的解决方案。通过3D坐标生成和位置编码，可以将2D特征转换为3D位置感知特征表示。这种3D表示可以直接结合到基于查询的DETR体系结构中，并实现端到端的检测。它实现了最先进的性能，可以作为未来研究的强大基线。鸣谢：本研究得到了国家重点研发计划（No. 2017YFA0700800）和北京人工智能研究院（BAAI）的支持+v：mala2255获取更多论文基于位置嵌入变换的多视点三维目标检测15引用1. Bertasius，G.，王，H.，Torresani，L.：时空注意力是你理解视频所需要的全部吗？arXiv预印本arXiv：2102.050952（3），4（2021）32. 巴西，G.，Liu，X.：M3 d-rpn：单目3D区域建议网络的对象去保护IEEE/CVF计算机视觉国际会议论文集。pp. 2019 - 093. 凯撒，H.，Bankiti，V.，Lang，A.H.，Vora，S.，Liong，V.E.，徐，Q，Krishnan，A.，Pan，Y.，Baldan，G.，Beijbom，O.：nuscenes：用于自动驾驶的多模式数据集。在：IEEE/CVF计算机视觉和模式识别会议论文集。pp. 116214. Carion，N.，Massa，F.，Synnaeve，G.，N.C.，Kirillov，A.，Zagoruyko，S.：结束-使用变压器进行端到端目标检测。在：欧洲计算机视觉会议。pp. 213-229.Springer（2020）1，2，3，4，75. 查布拉河Lenssen，J.E.，Ilg，E.，施密特，T.，Straub，J.，Lovegrove，S.，新-Combe，R.：深度局部形状：学习局部SDF先验，以获得详细的3D再现。欧洲计算机视觉会议。pp. 608-625.施普林格（2020）46. 陈旭，Kundu，K.，张志，妈妈，H.，Fidler，S.，Urtasun，R.：单眼3d用于自动驾驶的物体检测。在：IEEE计算机视觉和模式识别会议论文集。pp. 21477. 陈玉，Liu，S.，Shen，X.，Jia，J.：Dsgn：3D立体几何网络目标检测在：IEEE/CVF计算机视觉和模式识别会议论文集。pp. 125368. 陈玉，Liu，S.，Wang，X.：学习连续图像表示与局部隐象函数在：IEEE/CVF计算机视觉和模式识别会议论文集。pp.电话：021- 8628-8638传真：021 - 86289. 陈志，Zhang，H.：学习生成式形状建模的隐式字段于：IEEE/CVF计算机视觉和模式识别会议论文集。pp. 593910. Dai，Z.，杨志，杨，Y.，Carbonell，J.，Le，Q.V.，Salakhutdinov，R.：Transformer-xl：超越固定长度上下文的专注语言模型。arXiv预印本arXiv：1901.02860（2019）311. Devlin，J.，Chang，M.W.，Lee，K.，Toutanova，K.：Bert：深度bidirec的预训练语言理解的转换器。arXiv预印本arXiv：1810.04805（2018）312. 董湾，英-地Zeng，F.，王，T.，张，X.，Wei，Y.：Solq：分割对象学习查询。神经信息处理系统的进展34（2021）313. Dosovitskiy，A.，拜尔湖，Kolesnikov，A.，Weissenborn，D.，Zhai，X.，Unterthiner，T.，Dehghani，M.，Minderer，M.，Heigold，G.，Gelly，S.，等： 一张图片相当于16x16个单词：用于大规模图像识别的变形金刚。arXiv预印本arXiv：2010.11929（2020）314. Gao，P.，Zheng，M.，王，X.，Dai，J.，Li，H.：具有空间调制共同注意力的detr算法的快速收敛。IEEE/CVF计算机视觉国际会议论文集。pp.362115. Gehring，J.， Auli，M.， Grangier，D.， Yarats，D.， Dauphin，Y.N.：卷积序