基于遮挡的LiDAR数据的三维目标探测器属性图

1141车（墙）OccAM的激光：基于遮挡的LiDAR数据的三维目标探测器属性图大卫Schinagl1，2格奥尔格Kriririvet1霍斯特Possegger1彼得M.Horst Bischof1，2{david.schinagl，georg. krilliant，possegger，bischof}@ icg.tugraz.at，peter. tum.de1格拉茨科技大学2克里斯蒂安·多普勒嵌入式机器学习3慕尼黑工业大学4维也纳兽医大学摘要虽然LiDAR点云中的3D物体检测在学术界和工业界都很成熟，但这些模型的可解释性在很大程度上是一个未探索的领域。在本文中，我们提出了一种方法来生成属性图的检测对象，以更好地理解这种模型的属性。 这些图指示每个3D点在预测特定对象中的重要性。我们的方法适用于黑盒模型：我们不需要任何架构的先验知识，也不需要访问模型的内部，如参数，激活或梯度。我们有效的扰动为基础的方法经验估计，通过测试模型与随机生成的子集的输入点云的每个点的重要性。我们的子采样策略考虑了LiDAR数据的特殊特性，如深度依赖的点密度。我们展示了对属性的详细评估-车汽车行人车骑车人这些地图是可解释的，信息量很大。此外，我们比较了最近的3D对象检测架构的属性图，以提供他们的决策过程的见解。1. 介绍在自动驾驶竞赛的推动下，工业界和研究界对3D物体检测的兴趣越来越大。特别是在用LiDAR（光探测和测距）传感器获取的点云中的对象的检测一方面，这可以通过包括LiDAR数据的已发布数据集的数量和数量来看出，例如，[3，4，8，12，42]，另一方面，最近的出版物的数量，处理这一主题，例如。[11，14，18，33，35，36，46，49相比之下，这些基于深度神经网络的检测器的可解释性然而，对于自动驾驶等与安全相关的领域，做出这些内部人员的决定尤为重要，图1.我们的属性图显示了单个LiDAR点对于黑盒检测模型决策的重要性不透明的模型更加透明。用于基于对图像数据进行操作的深度神经网络的模型的分析的已建立的技术是属性或显著性图的生成，例如，[30、39、41、43、55、55]。目标是可视化输入像素对模型决策过程的重要性这些已被证明是有用的解释检测或分析学习功能。然而，对于在点云上操作的模型，只有少数方法解决了点级属性图的生成，例如。[10、58]。这些专门侧重于点云分类模型的分析分析的模型对源自CAD模型的人工生成的点云进行操作，例如在ModelNet数据集中[48]。此外，这些属性图方法假定了体系结构的先验知识，并且需要访问模型的梯度。因此，它们仅适用于分析白色-1142箱分类模型这些属性阻止了将它们用于LiDAR点云上的3D对象检测器的分析首先，对于3D对象检测，不仅对象的分类是重要的，而且其定位也是重要的。这些任务通常是齐头并进的，不能单独分析。其次，检测器通常由复杂的结构组成，其中不同的部分有助于最终检测，例如，[33，36]，使得基于梯度的方法变得困难或不可行。此外，在某些模型中，例如，使用不可微的预处理步骤。[14，50]，防止反向传播到输入点。据我们所知，我们提出了第一种方法来生成点级属性地图的三维物体探测器上的激光雷达点云。 对于每个检测到的对象，创建单独的地图，如图1所示，其反映每个3D点对对象的分类和定位的影响。 我们的方法适用于黑盒模型，因此，在原则上，任何检测器，因为既不需要模型的架构，也不需要访问其内部的先验知识受扰动方法的启发，为基于图像的黑盒模型生成显着图[23，24，55]，我们利用了遮挡分析的原理。我们提出了OccAM：基于Occusion的AtumorM aps，用于LiDAR数据上的3D对象检测器。我们通过用输入点云的随机生成的子集测试模型来估计点的重要性。潜在的假设是，如果对检测重要的输入区域已被移除或扰动，则对象将被较不准确地检测到或根本检测不到然而，点云的特殊因此，我们提出了一种基于体素的子采样策略，其中采样概率适应于点密度，以适当地挑战检测器。为了尽可能精确地评估对检测的影响，我们进一步使用针对3D边界框的属性进行优化的相似性度量。在对PointPillars [14]的详细分析中，我们证明了我们的属性图是可解释的和信息性的，例如。让我们分析出错误检测的潜在来源我们表明，通过平均一类的多个地图，特别重要的区域可以推导出来。通过比较不同的国家的最先进的三维物体探测器，即平均属性图。PointPillars，SECOND [49]和PV-RCNN [33]，我们进一步分析是否可以检测到差异。2. 相关工作基于LiDAR的3D物体检测：这些方法可以大致分为基于点的，基于网格的和混合的方法，这取决于它们如何处理unstruc。点云的固定格式。基于点的方法直接处理无序点[15，25 ， 26 ， 35 ， 37 ， 51] 。 PointNet [25] 及 其 继 任 者PointNet++ [26]在其开创性工作中展示了一种使用共享MLP 以 及 全 局 池 函 数 直 接 提 取 特 征 的 方 法 。 在PointRCNN [35]中，PointNet++功能用于分割前景点并生成建议。另一方面，基于网格的方法将3D空间离散成规则的网格，然后可以更容易地处理这些网格。[14，46，49，50，60]。在端到端可训练的Voxel-Net[60]中，3D空间被划分为相等大小的voxel，其中每个voxel内的特征使用PointNet学习。为了提高VoxelNet的效率，在SECOND [49]中使用了改进的3D稀疏卷积。PointPillars [14]没有使用体素，而是引入了一种列（柱）表示法，以进一步降低复杂性。PV-RCNN[33，34]或STD [52]等混合方法同时处理点和体素信息，以获得多尺度特征和细粒度定位[11，20，21，53]。例如，部分A2 [36]使用逐点特征来预测对象内部分，然后聚集用于框细化的部分信息以提高鲁棒性。最近，已经提出了几种基于变压器[45]的方法，使用基于点和/或基于网格的特征[9，19，22，32]。基于图像的模型的属性映射：为了分析白盒模型，其中可以访问模型的内部，提出了几种基于梯度的方法，这些方法利用了输出相对于输入图像的梯度[39]。然而，由于梯度反向传播，这些方法往往会创建噪声映射。因此，一些方法平均多个梯度[1，40，43]或尝试使用梯度计算规则改进反向传播[29，38，41，55，56]。Fong等人[6，7]创建一个最小扰动掩模，通过反向传播误差来最小化目标类的概率白盒分析的另一种方法使用中间层的激活[2，27，30，59]。例如，Grad-CAM [30]使用卷积层中可用的空间信息，并使用类分数的梯度对每个位置的激活分数进行w.r.t. 层。Bakken等人[2]使用PCA分解最终卷积层的特征。相反，要分析黑盒模型，既没有关于体系结构的先验知识，也没有对内部的访问这些方法通过扰动输入并分析对模型输出的影响来生成归因图[17，61]，并且与Shapley值密切相关[31]，Shapley值是博弈论中的一个概念，其目标是确定玩家Zeiler和Fergus [55]使用滑动窗口来阻止输入补丁，同时观察分类模型的输出分数的下降。基于超像素的LIME [28]1143∈∈ XX{}{}∈ DXD{}通过D={d}计算。F或单个检测d∈D和lk˜˜使用线性代理模型来估计如果去除超像素对输出的影响。RISE [23]根据屏蔽输入的模型输出类概率对随机二进制掩码进行平均。这在D-RISE [24]中通过相似性度量进行了扩展，允许其应用于检测模型。总的来说，黑盒分析在计算上是昂贵的，但当然提供了更普遍适用性的优点。受这些图像数据解释方法的启发，我们解决了黑盒3D对象检测器的属性图的创建问题，以更好地理解其决策过程。基于点云的模型的属性图：与基于图像的模型的属性图相比，只有很少的方法研究基于点云的模型。现有方法专注于白盒分类模型的分析，主要基于处理合成点云的PointNet架构，如ModelNet数据集[48]。Gupta等人[10]调整图像分类模型基于梯度的属性图，以分析在模型网络数据上训练的点云分类模型Zheng等[58]提出了一种基于梯度的方法，该方法基于通过向点云中心移动点来近似不可微点的思想。基本假设是中心的点对于分类模型是无信息的，因此，点丢弃可以通过该可重构操作来近似。然而，这仅适用于从CAD模型（如ModelNet数据集中）导出的点云。在真实的LiDAR数据中，对象的背面表面上没有点，但对象内有潜在的重要点。例如，通过汽车的侧窗感测到的驾驶员可以是检测器的提示。与之关系较远的是对点云分类模型的对抗性攻击。更具体地说，试图识别模型中最重要的点以瞄准它们的方法[13，16，47，57]。然而，它们也只针对白盒分类模型，几乎只在ModelNet数据上进行训练，并使用基于梯度的方法确定显着性。与现有方法相比，我们能够生成用于处理宽范围LiDAR点云的3D对象检测模型的属性图。由于三维目标检测的目标不仅仅是单个目标的分类，而是多个目标的定位和分类3. LiDAR数据我们的目标是为点云中的每个检测到的对象创建属性图该图应指示每个3D点对于探测器关于特定对象的预测的重要性我们不需要任何关于模型架构的知识，也不需要访问参数、特征或梯度。这允许普遍适用性，因此，不同架构的比较独立于他们的设计。OccAM通过利用遮挡分析来提供对黑盒检测器的决策的见解。其基本思想是通过系统地移除输入点，同时考虑所分析模型输出的变化，来估计输入点的重要性，如图2所示。与已充分应用该原理来分析2D图像模型的方法相比[23，24，55]，分析基于LiDAR的3D物体探测器提出了以下新挑战，我们解决了这些挑战：• 点云的非结构化格式使得输入数据的系统子采样更加复杂。我们提出了一种有效的基于体素的采样方法，允许掩蔽相邻区域，同时保留点级信息（第3.1节）。• LiDAR数据的一个固有特性是非均匀的深度相关点密度，在子采样期间必须考虑到这一点。因此，我们提出了一种密度感知采样策略，以允许模拟分析所有对象，而不管它们与LiDAR传感器的距离如何（第3.2节）。• 单独的交集（IoU）不足以精确评估细微的检测变化因此，我们使用一个相似性度量，分别评估平移，旋转和缩放（第3.3节）。定义&符号：设=xjj=1. M是LiDAR点云，其中M个无序点中的 每一个由3D坐标和强度/反射率值组成。此外，设F是黑盒对象检测流水线，并且F（）是一组检测=dk进行分析。我们的目标是生成一个归因图，k=k，j，j=1. M，它反映了每个点xj对模型F w.r.t. dk.然而，这些探测器通常由复杂的架构组成e.G. [33、36]。这使得基于梯度的分析变得困难，属性映射生成：令{ωj}j=1…M根本不可行。此外，模型通常使用不可微的预处理步骤，例如，[14，50]，防止反向传播到3D点。因此，受基于图像的模型的模型不可知方法的启发[23，24，55]，我们提出了一种为黑盒3D对象检测模型生成属性图的方法ωj∈{0 ， 1} ， 是 随 机 二 进 制 掩 码 。 然 后 ， 我 们 对X={xj∈X|ωj=1}，根据在该子采样点云中检测到的对象F（X）是单个3D点xj∈ X，然后定义贡献k，j∈k作为相似性度量S1144~D˜联系我们--{X}我−~XJi=1ΣJωj=0，其中计数器概率为1Pv我们认为，几个相邻点的模式是-J图2. OccAM概述。我们考虑在输入点云的子采样期间的特定点云特性，使得黑盒3D对象检测器针对所有感测范围被适当地挑战。使用为这项任务量身定制的相似性度量，我们可以精确地分析检测输出中的变化，以获得高度表达的归因图。在所有可能的掩码上，其中xj是输入的一部分I. e. ωj=1：k，j=Edk，D|ωj=1π。（一）S（dk，）评估如何以及由dk描述的对象被检测到，尽管删除个别点，见第- tion3.3。为此，我们将dk与=d1，类似于[24]中的基于图像的分析。这个想法背后的直觉是，如果用于检测的重要3D点可见，则可以更准确地检测对象。 Eq中的期望值（1）可以使用Monte Carlo抽样近似，如[23]所示。因此，一组掩码i=1. N是从可能掩模的域上的概率分布和对应的子采样点云ii=1. N用作检测器的输入。然后将所得的贡献分数汇总以获得需要几个点、多次迭代来获得整个输入的信息。另一方面，删除大的输入区域会导致粗糙的属性图。因此，与图像相比，对点云进行适当的子采样更加复杂，在图像中，相邻性是明确定义的，并且可以很容易地在规则网格中对补丁进行采样。单独地移除3D点将导致可能的掩模的巨大空间，N和N将高得不可思议。此外，评估隐藏整个区域（如车辆侧面）的影响的能力也将受到限制：在单个掩模内，特定区域的所有点被移除而其他区域保持未被触及的概率将非常低。因此，我们建议沿着x，y和z轴将3D空间细分为均匀分布的等边长体素。然后，我们根据点所在的体素对点进行分组。在每次迭代中，第v个体素的所有点以概率Pv联合保持，1克河S.dk，Di·ω，⑵通过将对应的掩码条目设置为ωj共同移动= 1，或re-.其中ω i∈ ωi表示点云i中存在3D点xj。每个点的贡献由其中点w可见的预期样本数归一化，i。e. E[ωj]·N。We可以用经验观测值Nω i代替这个归一化值。3.1.基于体素的采样子采样影响两者，结果属性图的准确性和必要的迭代次数N以获得方程的良好近似。（二）、如果我们也在实际的LiDAR数据中，同时去除的情况也很常见，例如，当一个物体被另一个物体部分遮挡时。为了避免在每次迭代中总是将相同的点分组到相同的体素中，体素网格在所有方向上随机旋转和平移。这种子采样方法有两个优点：首先，通过将点分组为体素，我们大大减少了必要的迭代次数N。其次，通过在每次迭代中随机改变体素网格，仍然可以获得点级洞察。XD1DD23D相似性度量Ψ1·Ψ2密度感知子采样XX-1~N·D˜D11D1~ND˜12信心评分D˜13规模翻译旋转黑盒3D物体探测器S（d2，D1）S（d1，D1）S（d2，DN）S（d 1，D N）NE[ωj]·Ni=1Σ1145联系我们˜˜v··KL一KLKL否则，K0否则。L0.250.200.150.100.800.600.40中心，λ是超参数。因此，每个体素的概率Pv取决于平均体素密度ρ，通过λ缩放以调整子采样点云中的期望密度。平均体素密度ρ和Pv之间的关系也如图3所示。这种二次抽样策略-0.050.00图3.0.200.000 10 20 30 40 50 60 7080rv：LiDAR传感器到体素的距离[m]平均体素密度的可视化，ρ∈[0，1]，EGY使我们能够适当地挑战探测器，而不考虑与LiDAR传感器的距离。3.3.相似性度量相似性度量S测量（预-对于KITTI数据集[8]（体素大小20 cm），定义为1 m内非空体素的平均百分比，取决于距离rv。我们用二阶多项式ρ（rv）近似这个密度，并使用其逆，由超参数λ缩放，以确定每个体素的采样概率Pv。在对输入进行子采样之后仍然检测到对象dk 为此，将dk与所有检测值=d1。受基于图像的方法[24]的启发，我们将S定义为dk与检测dl∈D之间的最大成对相似度，3.2.密度感知采样策略S（dk，D）=maxd<$l∈D<$s（dk，dl），（4）如等式1所示（2）通过在子采样点云中检测到感兴趣对象的准确度来对每个掩模进行加权因此，最终属性图的质量取决于探测器的挑战程度。如果并使其适应LiDAR数据三维目标检测的要求。每个检测dk由类别标签yk、置信度分数ck和3D边界框bk定义。为了计算两个检测之间的成对相似性，概率Pv保持相关体素和相应响应点太低，感兴趣的对象从未被也是如此s（d，d）=Ys（d，d），（5）A∈A如果Pv太高，物体总是被准确地检测我们还必须考虑到，与图像中的像素相比，点的密度点密度很大程度上取决于到LiDAR传感器的距离。这意味着对于近距离物体，必须比远距离物体移除更多的体素，以适当地挑战探测器从图3中，我们可以看到我们定义一组子度量A以确定标签中的前两个子度量sclass和soverlap确保只有相同类的检测和重叠检测，IoU>0，可以导致非零相似性：一辆车停在10米的地方，一般来说，年龄，大约是放置在50米外的汽车的4倍的体素。因此，单个体素对模型的贡献sclass s（d，d）=.1如果yk=yl（六）随着距离的增加，激光雷达的分辨率也会增加。排序更正式地说，两个相邻的激光射线之间的距离，击中一个表面正交的激光雷达传感器sovererla p（d，d）=.1如果IoU（bk，bkl）>0（七）由robj·tan（α）给出，其中robj是到为了确保置信度得分的潜在增加与原始检测相比，即，CC、不物体和α是LiDAR传感器的角分辨率。因此，假设一个特定大小的正方形区域，那么到达该区域的数据点的数量随着距离LiDAR传感器的距离而二次减少。因此，我们近似平均体素对于具有二阶多项式ρ（rv）=（a r2+b rv+c）−1的数据集，密度为一次。当生成属性图时，我们使用该平均密度的缩放倒数来确定每个体素的Pv1Pv（rv）=λ，（3）ρ（rv）其中rv是从LiDAR传感器到体素的距离ρ（r）1v2a·r+b·r+cvvPv（rv）=λρ（rv）平均体素密度ρ概率Pv1146˜˜˜L k导致惩罚，我们直接使用clsconf（dk，dl）= c l.（八）为了尽可能精确地确定成对3D边界框的对应关系，我们分别评估旋转、平移和缩放，这受到nuScene [3]的真实正度量的启发每个边界框d由其中心坐标C、其框尺寸和其偏航角θ给出。平移相似性被计算为边界框中心之间的欧氏距离，s_x_n（d_k，d_l）=m_ax.1−Ck−Cl，0。（九）1147˜˜˜˜˜对于尺度相似性，我们将边界框相对于他们的中心和偏航角，然后计算他们的IoU，对齐的sscale（dk，dl）= IoU（bk，bl）。（十）最后，方位相似性由θk和θl之间的最小偏航角差（以弧度计）确定，s方向（dk，dl）= max（1-|θ k− θ l|，0）。（十一）这些单独评分的优点在于，与仅使用IoU相比，可以更准确地评估对象的定位。此外，这允许为单个属性创建属性图。4. 实验我们详细展示了OccAM4.1. 实现细节我们的实验设置1基于开源工具箱OpenPCDet [44]。除非另有说明，否则所有检测器都是在KITTI数据集[8]上使用其故障配置和标准训练策略进行训练的。我们使用标准分割[5]来训练和验证样本。所有显示的属性图都来自验证集的3769个样本，我们也使用这些样本来估计体素密度ρ。我们在所有实验中使用20我们根据经验确定超参数N和λ的值。我们发现，N= 3000是运行时间和属性映射质量之间的一个很好的折衷（详细信息见补充材料）。选择参数λ，使得在rv= 25 m的距离处，采样概率Pv等于0。15、除非有明确的说明。无论检测器的架构如何，这种配置都能提供稳定的结果由于所有N个探测步骤彼此独立，因此整个过程是完全可并行的。此外，扰动点云可以有效地产生在CPU上。因此，运行时间由GPU上的检测器运行时间支配对于PointPillars，在使用单个NVIDIA® GeForce®RTX 3090 GPU的台式PC上，KITTI点云的分析平均耗时50秒（N= 30004.2. 定性结果我们证明了我们的属性图是可解释的和信息丰富的。图4示出了真阳性检测和假阳性检测的示例考虑到汽车类，我们发现，车牌，由于其高1https://github.com/dschinagl/occam图4. KITTI上PointPillars检测的属性映射示例。较暖的颜色（涡轮色图）表示较高的贡献，灰一点，这一检测。裁剪仅用于可视化。反射率代表非常有区别的特征。皮草、车顶栏杆、A柱和B柱是这款车非常明显的特征。我们认为，这些区域具有很高的识别价值，由于其形状和透明的窗口。特别是，如果汽车只能从侧面看到，或者车牌被其他物体遮挡，这些区域对于检测非常重要。对于行人，正如预期的那样，头肩轮廓被证明是一个高度区分的特征，并被认为是最重要的区域。除了自行车前部和后部的反射器之外，该区域也与骑自行车者的检测非常相关高可解释性对于错误检测也是明显的。例如，在将垃圾箱误检测为车辆的情况下，顶部后部区域显然被错误地解释为车顶栏杆。在挂车被误检一案中，检测人员明显被车牌误导。 还请注意，即使在拥挤的场景中，我们的归因图也能让我们很好地分析单个物体。看到人群中的行人。这些例子表明，我们的归因图可以提供有用的洞察模型的行为，也非常适合分析错误的检测。4.3. 平均归因图为了从个人归因图中验证这些发现，我们还对特定类别的地图进行了平均。为此，我们首先将所有框和相关点缩放到统一的大小，然后将它们相对对齐。它们的中心和偏航角。然后，我们对产生的点云进行体素化，并进行平均。汽车（垃圾箱）汽车（拖车）自行车杆（bikepole）骑自行车的人（坐着的人）行人（杆）行人（墙）骑车人行人行人车车车假阳性真阳性1148高高铜turbo低KITTI低(a) PointPillars [14]在KITTI [8]上训练和评估的平均属性图（涡轮彩色）。我们还显示了平均激光雷达反射率/强度值（铜色）。从左至右：汽车、行人和骑自行车的人。点柱反射率点柱无反射二PV-RCNNKITTI二汽车二轻型卡车WOD(b)PointPillars [14]（使用和不使用反射率值进行训练）、SECOND [49]和PV- RCNN [33]在KITTI [8]上训练和评估的比较。 请注意平均属性映射如何反映粒度 底层的探测器架构。(c)SECOND [49]在Waymo开放数据集（WOD）上进行训练和评估[42]。出于可视化的目的，我们按大小对车辆进行了聚类。图5. （a）（b）KITTI [8]和（c）Waymo开放数据集（WOD）[42]上的平均属性地图（涡轮彩色）。我们根据体素的属性得分调整体素的不透明度。最好在屏幕上观看。老化体素内各个点的属性值。图5a中示出了所得到的图。我们先前从个体归因图中得到的发现，如车牌或头肩银纹的重要性，在这些平均图中也清晰可见。4.4. 度量评价归因图的可解释性仍然是一个悬而未决的问题，即使是基于图像的分析方法。我们采用点丢弃方法[58]用于点云分类模型。基本思想是迭代地重新移动最重要的点并重新评估模型w.r.t. 爱与信任如果属性图是表达性的，那么模型的性能应该比随机删除点下降得相反，如果首先移除最不重要的点，则性能应当比随机移除期间更慢地然而，对于3D对象检测，这种想法不公平地使随机移除基线平均化。因此，我们只对实际检测范围内的点应用点丢弃。为此，我们使用原始黑盒检测器输出作为伪地面实况。迭代地，我们然后删除最重要/最不重要的由于随机基线也仅在检测范围内删除点，这是一个公平的比较：这些点显然比远离任何检测的外部无关点更重要。如图6所示，与随机删除相比，首先删除最重要/最不重要的点会导致模型退化明显更快/更慢。因此，我们的属性图是有表现力的。请注意，即使边界框内的所有点都被删除，IoU和置信度得分也不会达到零这是由一个有趣的发现引起的，即周围的特征也对探测器的决策有显著的参见图7。4.5. 密度感知采样为了证明我们的密度感知采样策略的重要性，我们比较了我们的点密度导出的距离依赖的选择Pv（rv）与固定的选择Pv。图8示出了在属性图计算期间作为感兴趣对象与LiDAR传感器之间的距离的函数的平均相似性分数。在Pv的固定选择的情况下，平均相似性得分强烈地依赖于到对象的距离。直觉上，近距离物体可以比远距离物体更准确地检测到。然而，如果在该探测阶段中对象被太精确地识别或仅被非常罕见地识别，则这些样本不1149ρ（rv）ρ（rv）ρ（rv）1.00.81.00.80.80.6Pv（rv）=2·λPv（rv）=λ0.60.6Pv（rv）=0。5·λ0.40.20.000。20的情况。4 0的情况。6 0的情况。81删除的点0.40.20.000。20的情况。4 0的情况。6 0的情况。8 1删除的点0.40.20.010 20 30 40 50LiDAR传感器到物体的距离[m]P v= 0。20P v= 0。15P v= 0。10P v= 0。05图6.分数下降评估。每个边界框内的点按重要性的降序或升序被移除，并且使用置信度得分和IoU将所得到的检测结果与原始检测结果进行比较。图7.尽管边界框为空，但仍能检测到：属性地图显示，地面上独特的切口是这些PointPillars检测的原因。由于没有点的检测显然对扰动更敏感，我们设置λs. t。Pv=0。3在rv=25m时的这些可视化。导致任何信息增益。这意味着，对于固定的Pv，只有一个很小的距离范围内，有意义的属性地图将被创建。相比之下，我们的密度感知采样策略导致几乎恒定的相似性分数，独立于对象的距离。这允许计算所有对象的属性图，而不管它们到传感器的距离如何，只需要一个探测过程。4.6. 探测器架构OccAM生成的属性图非常适合比较不同对象检测器的 行 为 在 图 5 b 中 ， 我 们 显 示 了 PointPillars [14] ，SECOND [49]和PV-RCNN [33]的平均汽车属性地图。对于行人和骑自行车的人，我们发现头肩轮廓是最重要的特征，无论分析的架构如何。补充材料中包括了这些额外的地图和其他探测器。对于所有检测器，车顶上的点是区分车辆与其他类别的重要特征，而车门区域则无关紧要。汽车的另一个显著特点是反光良好的车牌和车灯。然而，这里的探测器不同：虽然PointPillars专注于车牌，但这些对SECOND来说并不重要。我们还在没有反射率值的情况下训练了PointPillars，然后它更多地关注图8.PointPillar模型的不同采样方案我们绘制了感兴趣对象与LiDAR传感器之间距离的平均相似性得分。当Pv固定时，属性图只能在很窄的距离范围内表现.对象，类似于第二个。对于PV-RCNN，车辆底层架构和点云处理方法的影响可以在A柱上最好地看到。由于汽车的透明窗户，A柱代表了一个非常鲜明的特点。虽然此功能对于PointPillars来说并不重要，但由于其粗（柱）处理，它对于基于体素的SECOND模型尤为重要PV-RCNN最好地利用了这些精细为了进一步证明OccAM因为，与KITTI相比，WOD只有一个车辆类别（也包括卡车等）。），我们在平均之前按车辆大小对各个地图进行聚类。这些地图显示了KITTI（图5b）和WOD（图5c）之间5. 结论我们提出了OccAM，这是第一种在LiDAR数据上为黑盒3D对象检测器生成属性图的方法。我们的归因图是很好的解释，informative，并提供了有用的见解的行为检测器。虽然有些行为已经预料到了，e.G. 头肩轮廓，我们还发现了意想不到的景点，如。A支柱和当地市场的重要性借助OccAM，我们为社区提供了一种分析任何LiDAR数据集上任何3D对象检测器行为的方法。致 谢 这 项 工 作 得 到 了 澳 大 利 亚 FFG 项 目 iLIDS4SAM（878713）和Christian Doppler嵌入式机器学习实验室的部分资助 。Peter M. Roth 在国 际未 来人工 智能 实验 室AI4EO（01DD 20001）中得到了德国联邦教育和研究部（BMBF）的支持。随机下降函数上升函数随机下降函数上升函数平均置信度评分平均IoU平均相似性评分1150引用[1] SebastianBac h ， Ale xanderBinder ， Gre´ goireMontavon，FrederickKlauschen，Klaus-RobertMüller ，andWojciechSamek.基于逐层相关传播的非线性分类器决策的逐像素解释。PloS ONE，10（7），2015. 2[2] 放大图片作者：Marianne Bakken，Johannes Kvam，Alexey A.Stepanov，and Asbjørn Berge.卷积神经网络中的主要特征可视化。Proc. ECCV，2020。2[3] 放大图片作者：Holger Caesar，Varun Bankiti，AlexH.Lang，Sourabh Vora，Venice Erin Liong，Qiang Xu，Anush Krishnan ， Yu Pan ， Gi- ancarlo Baldan ， andOscar Beijbom.nuScenes：用于自动驾驶的多模态数据集在proc CVPR，2020年。一、五[4] Ming-Fang Chang，John Lambert，Patsorn Sangkloy，Jag-jeetSingh ， Slawomir Bak ， Andrew Hartnett ， DeWang，Peter Carr，Simon Lucey，Deva Ramanan，et al.Argoverse：3D Tracking and Forecasting with Rich Maps.在Proc. CVPR，2019中。1[5] 陈 晓 志 ， Kaustav Kundu ， 朱 玉 坤 ， Andrew G.Berneshawi ， Huimin Ma ， Sanja Fidler ， and RaquelUrtasun. 用 于 精 确 对 象 类 别 检 测 的 3D 对 象 提 案 。InNeurIPS，2015. 6[6] Ruth Fong，Mandela Patrick，Andrea Vedaldi.通过极值扰动和平滑掩码理解深度网络。InProc. ICCV，2019. 2[7] 露丝·方和安德里亚·维达尔迪黑箱的有意义扰动解释。在proc ICCV，2017年。2[8] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们准备好自动驾驶了吗？KITTI视觉基准测试套件。在Proc. CVPR，2012。一、五、六、七[9] Tianrui Guan，Jun Wang，Shiyi Lan，Rohan Chandra，ZuxuanWu，LarryDavis，andDineshManocha.M3DeTR：多表示，多尺度，相互关系的3D物体检测与变压器。arXiv：2104.11896，2021。2[10] Ananya Gupta，Simon Watson，and Hujun Yin.使用基于属性的方法的三维点云特征简化InProc. IJCNN，2020. 第1、3条[11] Chenhang He，Hui Zeng，Jianqiang Huang，Xian-ShengHua，and Lei Zhang.结构感知的单阶段3D对象检测从点云。在Proc. CVPR，2020中。一、二[12] Xinyu Huang ， Peng Wang ， Xinjing Cheng ， DingfuZhou，Qichuan耿，and Ruigang Yang. ApolloScape自动驾驶开放数据集及其应用PAMI， 42：2702-2719，2020。1[13] Jaeyeon Kim，Binh-Son Hua，Thanh Nguyen，and Sai-Kit Yeung.用于3D点云深度学习的最小对抗示例。在Proc.ICCV，2021中。3[14] 亚 历 克 斯 ·H Lang ， Sourabh Vora ， Holger Caesar ，Lubing Zhou ， Jiong Yang ， and Oscar Beijbom.PointPillars：点云目标检测的快速编码器。在Proc.CVPR，2019中。一二三六七八[15] 李志超，王峰，王乃彦LiDAR R-CNN：一种高效通用的3D物体检测器。在Proc. CVPR，2021中。2[16] Daniel Liu、Ronald Yu和Hao Su。将对抗性攻击和防御扩展到深度3D点云分类器。InProc. ICIP，2019. 3[17] 斯科特·M Lundberg和Su-In Lee。解释模型预测的统一方法。NeurIPS，2017。2[18] 毛嘉庚，牛敏哲，白皓月，梁晓丹，徐航，徐春静。Pyramid R-CNN ： Towards Better Performance andAdaptability for 3D Object Detection.在Proc.ICCV，2021中。1[19] Jageng Mao，Yujing Xue，Minzhe Niu，Haoyue Bai，Jiashi Feng，Xiao Dan Liang，Hang Xu，and ChunjingXu. 用 于 三 维 物 体 检 测 的 体 素 Transformer 。 在Proc.ICCV，2021中。2[20] Zhenwei Miao ， Jikai Chen ， Hongyu Pan ， RuiwenZhang ， Kaixuan Liu ， Peihan Hao ， Jun Zhu ， YangWang，and Xin Zhan. PVGNet：一个自下而上的一级3D对象检测器，具有集成的多级功能。在Proc. CVPR，2021中。2[21] 卢钟渊李尚勋和范燮咸HVPR：用于单阶段3D对象检测的混合体素点表示。在Proc. CVPR，2021中。2[22] 潘旭 然、 夏卓 凡、 宋世 济、李 尔然 、郜 荒。 使用Pointformer进行3D物体检测 在procCVPR，2021年。2[23] Vitali Petsiuk Abir Das和Kate Saenko RISE：用于解释黑盒模型的随机输入采样。在Proc. BMVC，2018。二、三、四[24] Vitali Petsiuk，Rajiv Jain，Varun Manjunatha，Vlad I.Morariu，Ashutosh Mehra，Vicente Ordonez，and KateSaenko.通过显着性图对目标检测器的黑盒解释。在Proc. CVPR，2021中。二三四五[25] Charles Ruzhongtai Qi ， Hao Su ， Kaichun Mo ， andLeonidas J. Guibas PointNet：用于3D分类和分割的点集深度学习。在Proc. CVPR，2017中。2[26] Charles Ruzhongtai Qi，Li Yi，Hao Su，and Leonidas J.Guibas PointNet++：度量空间中点集的深度层次特征学习。NeurIPS，2017。2[27] Sylvestre-Alvise Rebuffi，Ruth Fong，Xu Ji，and AndreaVedaldi. There and Back Again：回顾反向传播显著性方法。在Proc. CVPR，2020中。2[28] Marco Tulio Ribeiro Sameer Singh和Carlos Guestrin。“我为什么要相信你？“：解释任何分类器的预测。InProc.KDD，2016. 2[29] Adria Ruiz，Antonio Agudo和Francesc Moreno-Noguer。使 用 解 纠 缠 掩 蔽 反 向 传 播 生 成 属 性 映 射 。 在Proc.ICCV，2021中。2[30] 兰 普 拉 萨 河 Selvaraju ， Michael Cogswell ， AbhishekDas，Ramakrishna Vedantam，Devi Parikh，and DhruvBatra. Grad-CAM：通过基于代理的本地化从深度网络中进行视觉解释。InProc. ICCV，2017. 一、二[31] L. S.沙普利n人博弈的一个值在Contribu- tions游戏理论II，页307-317。普林斯顿大学出版