Tianhang ZhengChangyou ChenJunsong YuanState University of New York at Buffalo{tzheng4, changyou, jsyuan}@buffalo.eduBo LiKui RenZhejiang University{boli, kuiren}@zju.edu.cn15980点云显著性图0摘要0使用PointNet及其变体进行3D点云识别取得了显著进展。然而，一个缺失的要素是能够自动评估点对分类性能的重要性，这通常通过显著性图来反映。显著性图是一个重要的工具，因为它允许对点云数据进行进一步处理。在本文中，我们提出了一种新颖的方法来描述关键点和段以构建点云显著性图。我们的方法为每个点分配一个分数，反映其对模型识别损失的贡献。显著性图明确说明了哪些点对模型识别是关键的。此外，高分数点的聚合指示了点云中重要的段/子集。我们构建显著性图的动机是通过点丢弃，这是一个不可微分的操作。为了解决这个问题，我们使用将点向云质心移动的可微分过程来近似点丢弃。因此，每个显著性分数可以通过相应的梯度来高效地测量损失相对于球坐标下的点的梯度。对几种最先进的点云识别模型进行了广泛评估，包括PointNet、PointNet++和DGCNN，证明了我们提出的显著性图的准确性和普适性。实验代码已在https://github.com/tianzheng4/PointCloud-Saliency-Maps上发布。01. 引言0点云是许多3D数据采集设备（如雷达和声纳）的原始输出，对于计算机视觉应用程序来说是一种重要的3D数据表示[6,17, 12,11]。实际应用，如对象分类和分割通常需要对3D点云进行高级处理[16, 3, 1,5]。最近的研究提出使用深度神经网络（DNN）对点云进行高精度和高级别的处理，取得了显著的成功。用于点云数据分类的代表性DNN模型包括PointNet0图1.从一个长凳点云中删除我们的显著性图所识别的最关键的5%点可以轻松改变预测结果（甚至可以欺骗人类视觉！）0[9]、PointNet++ [10]和DGCNN[19]成功处理了点云的不规则性，并实现了高分类准确性。PointNet及其变体的一个显著特点是它们对最远/随机点丢失的鲁棒性。[9]将这种鲁棒性归功于PointNet中的最大池化层，该层仅集中在点云的关键子集上。换句话说，识别结果主要由那些关键点决定，因此丢弃其他非关键点不会改变预测结果。我们将[9]中给出的相应理论称为关键子集理论。尽管识别出了这样一个重要的子集，但我们观察到关键子集理论过于模糊，因为它没有指定每个点和子集的重要性。在本文中，我们提出了一种简单的方法来构建点级和子集级显著性评估的通用显著性图。请注意，在[13, 14,8]中，显著性图是为图像构建的，用于描述每个像素值对识别结果的贡献。我们将这个概念扩展到点云，旨在研究每个单点的重要性。具体而言，我们的方法为每个点分配一个显著性分数，反映了该点对相应模型预测损失的贡献。显著性图对于更好地理解点云数据非常重要，因为：一方面，如果删除具有最高显著性分数的点，模型性能将显著下降，从而具有构建对抗性攻击模型的潜力。另一方面，如果只删除具有最低分数的点，模型性能不会有太大变化。令人惊讶的是，我们发现删除具有负分数的点甚至会导致更好的识别性能。尽管概念简单，但如何构建这样一个显著性图̸̸15990点级显著图并不简单。一种可能的解决方案是放弃所有可能的点组合，并计算删除这些组合后的损失变化，即由这些组合引起的损失差异。然而，这种简单的蛮力方法在实践中是不可行的，因为计算复杂度随着点云中点的数量呈指数级增长。相反，我们提出了一种高效有效的方法，通过DNN模型的单个反向传播步骤来近似显著图。基本思想是用连续的点移动过程来近似点删除，即将点移向点云中心。这是直观有效的，因为点云中心应该对分类无关紧要。通过这种方式，预测损失的变化可以用相对于球坐标系下的点的损失梯度来近似。因此，点云中的每个点都与与该点相关的损失梯度成比例的分数相关联。我们进一步提出了一种迭代点删除算法来验证我们的显著图。如上所述，如果我们的显著图有效，删除具有最高（正）/最低（负）显著分数的点将降低/提高模型性能。令人惊讶的是，我们的点删除算法操作的一些点云甚至与人类直觉相吻合，如图1所示，表明我们的显著图能够像人类一样识别显著点和片段。我们将我们的显著图驱动的点删除算法与随机点删除基线和基于最佳关键子集策略在几个最先进的点云DNN模型上进行了比较，包括PointNet、PointNet++和DGCNN。我们展示了我们的方法在通过少量点删除来改善或降低模型性能方面始终优于这些方案。例如，我们通过我们的算法从每个点云中删除具有最高显著分数的200/1024个点，可以将PointNet在3D-MNIST/ModelNet40上的分类准确率降低到49.2%/44.3%，而随机删除方案只能将准确率降低到94.8%/87.7%，接近原始准确率。此外，最佳关键子集策略（仅适用于PointNet）只将准确率降低到80.0%/58.1%。所有这些实验证实了我们的显著图比关键子集理论更准确地表征了点级甚至子集级的显著性。02. 预备知识02.1. 定义和符号0点云 点云表示为 (X � {x_i} i = 1...N, y)，其中 x_i ∈ R^3是一个三维点，N 是点云中的点数；y ∈ {1, 2, ..., k}是真实标签，其中 k是类别数。我们将点云分类网络的输出表示为0F_θ(∙) � {F_θ,j | j =1...k}，其输入是一个点云X，输出是一个概率向量F_θ(X)。网络的分类损失表示为L(X, y;θ)，通常定义为F_θ(X)和y之间的交叉熵。0点云贡献我们将点云中一个点/多个点的贡献定义为包含或不包含该点/多个点的两个点云的预测损失之差。形式上，给定点 x_i在 X 中，x_i 的贡献定义为 L(X', y; θ) - L(X, y; θ)，其中 X' �{x_j: j = 1...N, j ≠i}。如果这个值是正的（或者很大），我们认为 x_i对模型预测的贡献是正的（或者很大）。因为在这种情况下，如果将 x_i 添加回X'，损失将减少，从而导致更准确的分类。否则，我们认为x_i 的贡献是负的（或者很小）。0图像和点云显著性图现有的关于模型解释和漏洞的研究构建了图像的显著性图，以确定哪些像素对模型识别至关重要，以及这些像素值如何影响识别性能[13, 14,8]。我们首先在这里提出了类似的点云显著性图。点云显著性图为每个点xi分配一个显著性分数si，以反映xi的贡献。形式上，该映射可以表示为一个以X为输入、输出长度为N的向量的函数Sθ(∙)，即{s1|i=1...N}。我们期望更高（正）的si表示xi的更多（正）的贡献。我们可以使用点云丢弃来验证我们的显著性图的准确性。0点云丢弃是一种评估我们提出的显著性图的准确性的方法。如果我们的显著性图准确，那么丢弃具有最高（正）/最低（负）显著性分数的点将降低/提高识别性能。理想情况下，高（正）显著性分数表示对识别结果有显著的正贡献。因此，在丢弃具有最高分数的点之后，我们期望argjmaxFθ,j(X')≠y，其中X'是剩余的点云。相反地，特别是当被丢弃的点具有负显著性分数时，这意味着它们对预测产生负面影响，我们应该有argjmaxFθ,j(X')=y。02.2. 3D点云识别模型03D物体识别有三种主流方法：基于体积的方法[20,7]，基于多视图的方法[15, 18, 21, 4]和基于点云的方法[9,10,19]，分别依赖于3D物体的体素、多视图图像和点云表示。在这项工作中，我们专注于基于点云的模型。16000PointNet和PointNet++ PointNet[9]应用了由单变量函数、最大池化层和最大池化特征的函数组成的复合函数，该函数对点的顺序不变，用于逼近点云分类和分割的函数。形式上，该复合函数可以表示为γ◦MAXxi∈X{h(xi)}，其中h(∙)是0单变量函数MAX表示最大池化层，γ是最大池化特征（即MAX{h(xi)}）的函数。PointNet在点云高级处理的最新发展中起到了重要作用，成为许多后续点云DNN模型的基准。PointNet++[10]是其中的一个扩展，它在输入点集的嵌套分割上递归地应用PointNet，以捕捉点所在的度量空间引起的分层结构。与PointNet相比，PointNet++能够学习与欧几里德距离度量相关的分层特征，因此通常能够实现更好的性能。0动态图卷积神经网络（DGCNN）DGCNN[19]在PointNet中引入了一种新的操作，即EdgeConv，用于捕捉局部几何结构，同时保持网络对点排列的不变性。具体而言，EdgeConv操作通过构建局部邻域图并在连接相邻点对的边上应用类似于卷积的操作来生成能够描述邻近关系的特征。EdgeConv帮助DGCNN实现进一步的性能改进，通常超过PointNet和PointNet++。0关键子集理论对于任意点云X，[9]证明存在一个子集C�X，即关键子集，它决定了所有最大池化特征u，从而决定了PointNet的输出。我们在下面简要解释这个理论：PointNet网络可以表示为F(X)�γ◦u(X)，其中γ是一个连续函数，u(X)表示最大池化特征。显然，F(X)由u(X)确定。u(X)通过u(X)=MAXxi∈X{h(xi)}计算，其中MAX（即特殊的最大值）0池化层）是一个接受N个向量作为输入并返回一个新向量的运算符，该新向量的每个元素都是输入向量中对应维度的最大值。对于u的第j个维度，存在一个xi ∈ X，使得uj =hj(xi)，其中hj是h的第j个维度。将所有这些xi聚合成一个子集C � X，使得C将确定u和γ ◦u。[9]将C称为关键子集。正如我们所看到的，这个理论适用于类似于γ ◦ MAXxi ∈ X {h(xi)}的网络结构，其中max-0汇聚特征仅由一个点确定，而不是由更复杂结构的网络确定。从视觉上看，C通常均匀分布在X的骨架上。从这个意义上说，对于PointNet来说，关键子集似乎包括所有对识别结果至关重要的点。我们将其称为0对于对更多细节感兴趣的读者，请参阅[9]中的附录。尽管关键子集理论有助于识别显著点子集，但我们发现该理论尚未指定点级显著性，并且也不是一种准确和全面的表征子集级显著性的方法。03. 点云显著性图0在本节中，我们根据第2.1节的定义推导出我们提出的显著性图。我们通过将点移动到点云的球形核心（中心）来近似点删除的过程，而不是删除每个点/子集并计算损失变化（差异）。通过这种方式，可以通过点移位操作近似非可微损失变化，从而构建显著性图。03.1. 从点删除到点移动0我们的想法如图2所示。直觉是点云的所有外部（向外）点应该决定识别结果，因为这些点编码了物体的形状信息，而靠近点中心（向内）的点�几乎对识别性能没有影响。更具体地说，外部对应于所有未移动（到中心）的原始外部点。因此，删除一个点与将该点向中心移动在消除点对分类结果的影响方面具有类似的效果。对于这个直觉的更精确解释是，所有点云的中心点在坐标变换后都位于相同的位置，因此可以忽略它们对识别的贡献。形式上，我们将点云分为两部分{{x'i}，{ci}}，其中{ci}表示质心处的点子集，{x'i}表示表面上的其余点。对于一个自然的点云，{ci}通常是一个空集。PointNet中的最大池化层可以重写为MAX{h(xi)} =max{MAX{h(x'i)}，MAX{h(ci)}}，其中max(a，b)返回a和b的逐元素最大值。由于在坐标变换后{ci}对于所有点云都是相同的，决定性的最大池化特征应主要来自MAX{h(x'i)}。为了验证我们的假设，我们进行了一个概念验证实验：通过删除100/1024个点和将这些100/1024个点移动到点云中心，生成了数千对点云。在这里，我们总共使用了三种方案来选择这100/1024个点，包括最远点删除、随机点删除和基于我们的显著性图的点删除。我们使用PointNet对每对点云进行分类。对于所有这些选择方案，0� x、y、z坐标的中位数值∂L∂ri=3�j=1∂L∂ xijxij∂L∂ρi= −si = −16010图2. 通过向点云中心移动点来近似点删除。0分类结果达到了95%以上的成对一致性†，表明我们的方法具有适用性。03.2. 基于梯度的显著性图0基于3.1节的直觉，我们通过损失的梯度来近似点的贡献，即在点移动操作下包含或排除该点的两个点云的预测损失之差。请注意，在原始坐标系中测量梯度是有问题的，因为点不具有视角（角度）不变性。为了解决这个问题，我们考虑在球坐标系中进行点移动，其中一个点表示为 ( r, ψ, φ ) ，其中 r 是点到球心的距离， ψ 和 φ是点相对于球心的两个角度。在这个球坐标系下，如图2所示，将一个点向中心移动 δ将使损失 L 增加 − ∂ L0∂r δ。然后根据我们在第3.1节中建立的等价关系，我们通过负梯度来衡量点的贡献，即损失 L 关于 r 的负梯度，即 − ∂ L0∂r 。为了计算 ∂ L0∂r，我们使用点云中所有点的轴值的中位数作为球心，表示为x c ，以构建用于鲁棒性的球坐标系[2]。形式上， x c可以表示为0x cj = 中位数（ { x ij | x i ∈ X } ）（ j = 1 , 2 , 3 ），（1）0其中 ( x i 1 , x i 2 , x i 3 ) 表示点 x i 对应的正交坐标 ( x, y, z ) 的轴值。因此， ∂ L0∂r 可以通过原始正交坐标下的梯度计算得到：0r i ，（2）0其中 r i = �� 3 j =1 ( x ij − x cj ) 20通过变量变换 ρ i = r − α i （ α > 0）来允许在显著性图构建中更多的灵活性，其中 α用于重新缩放点云。可以通过以下公式计算 L 关于 ρ i的梯度0†对于超过95%的配对，每对中的两个点云的分类结果是相同的（可能是正确的或错误的）0α ∂ L ∂r i r 1+ α i 。 (3)0将 δ ρ / δ r 定义为沿 ρ / r 的微分步长。由于 δ ρ = − αr − ( α +1) δ r ，将点 ( r,ψ, φ ) 向中心 r = 0 移动 δ r （即向中心移动 δ r ）等效于将点移动 δ ρ，如果忽略正因子 αr − ( α +1) 。因此，在 ( ρ, ψ, φ ) 的框架下，我们通过 ∂ L0∂ρ 。因此，在重新缩放的坐标下，我们通过 ∂ L0α 是一个常数，我们简单地使用0∂r i r 1+ α i （4）0作为我们显著性图中的点 x i的显著性分数。注意，附加参数 α为我们的显著性图构建提供了额外的灵活性，而最佳的 α的选择将是问题特定的。在下面的实验中，我们简单地将 α设置为1，这已经取得了显著的性能。为了更好地理解我们的显著性图，我们在图3中可视化了几个显著性图。我们通过它们的显著性分数的排名对这些点进行了颜色编码，即较大的数字表示较高的显著性分数。04. 点删除算法0如第2.1节所述，点删除可以用于验证我们的显著性图的准确性。因此，在第4.1节中，我们提出了两种点删除算法。为了与关键子集理论进行比较，我们还尝试了几种基于关键子集的点删除策略，并在第4.2节中提出了最有效的策略。为简单起见，我们将得分最高的点称为高删除，将得分最低的点称为低删除，并将最有效的基于关键子集的策略称为关键策略。除了验证之外，点删除还有助于理解子集级（段级）显著性。例如，在高删除之后，剩余的碎片化点云将被识别为另一个对象，这意味着被删除的点属于对象中用于识别的最重要的段。令人惊讶的是，我们基于显著性图的高删除算法删除的点总是聚集在一起，如图8所示，并且这些聚类实际上是对象识别中的关键段，即使对于人眼来说也是如此。04.1. 基于显著图的点删除0根据第3.2节中的说明，通过计算梯度来构建显著图（4），这些梯度指导我们的点删除过程（算法）。算法1描述了我们的点删除迭代算法。注意一次计算所有显著性分数可能不是最优的，因为点之间的依赖关系被忽略了。为了缓解这个问题，我们建议进行迭代点删除‡https://www.kaggle.com/daavoo/3d-mnist/version/13§http://modelnet.cs.princeton.edu/16020图3. 可视化数字和目标的几个显著图（一步）：通过分数排名对点进行着色。0这样，当计算下一次迭代的显著性分数时，将考虑剩余点集中的点依赖关系。具体来说，在每次迭代中，为剩余点构建一个新的显著图，并且根据当前显著图删除其中的 n/T个点。在第5.3节中，我们设置 n/T =5，删除具有最高显著性分数的点，并且证明了这个设置在改善性能和理解子集级显著性方面具有合理的计算成本。0算法1 根据动态显著图迭代删除点 需求：损失函数 L(X, y; θ)；点云输入 X，标签y，模型权重 θ；超参数 α；要删除的点的总数 n；迭代次数 T。对于 t = 0 到T，计算梯度 g t i = � x t i L(X t, y; θ)通过 x t c � (x t c 1, x t c 2, x t c 3) = median(x t i 1,x t i 2, x t i 3)计算 r i ∂ L0∂r i = ( x t i − x t c ) ∙ g t i（内积）通过 s i = − r α i r i ∂ L 构建显著图0∂r i 如果是高删除，则从 X t 中删除具有最低 s i 的 n/T 个点0否则，如果是低删除，则从 X t 中删除具有最高 s i 的 n/T 个点0结束 如果 结束输出 X T04.2. 基于临界子集的点删除0为了将我们的显著图与临界子集理论进行比较，我们还提出了基于临界子集理论的几种点删除策略，例如从临界子集中随机删除点一次/迭代地和删除对最多数量的最大池化特征贡献的点一次/迭代地。在所有这些基于临界子集的方案中，删除具有0对最多数量的最大池化特征的贡献（至少两个特征）进行迭代地提供最佳性能。该策略在算法2中进行了说明。然而，我们发现即使这个方案仍然比我们基于显著图的点删除算法表现更差，这表明我们的显著图在点级和子集级显著性上是更准确的度量。0算法2 根据动态临界子集迭代删除点 需求：PointNet网络 f= γ ◦ MAX x i ∈ X { h ( x i ) }；点0云输入 X，标签 y，模型权重 θ；超参数 α；要删除的点的总数 n；迭代次数 T。对于t = 0 到 T，计算临界子集中的点的索引（索引列表）通过 arg MAX { h ( x i ) } 计算 ci � 列表中 i 的频率（即 x i 确定 c i 最大池化特征）从 X t 中删除 n/T 个具有最大 c i的点0结束 输出 X T05. 实验0我们通过将我们的显著图和点删除算法应用于几个基准来验证它们。05.1. 数据集和模型0我们使用两个公共数据集，3D MNIST ‡ 和 Mod- elNet40§ [20]，来测试我们的显著图和点删除算法。3D MNIST包含 6000 个从2D MNIST图像生成的原始3D点云，其中5000 个用于训练，1000 个用于测试。每个原始点云包含约20000 个3D点。为了丰富数据集，我们rand-drop, and the critical-subset-based strategy introducedin Section 4.2, denoted as critical (only applicable to thePointNet structure). For simplicity, we refer to droppingn points with the lowest saliency scores as low-drop, anddropping n points with highest positive scores as high-dropin the followings. For low-drop, we found one iteration ofAlgorithm 1 is already enough to achieve a good perfor-mance. While for high-drop, as explained in 4.1, we setn/T = 5 when dropping points with the highest scores inorder to achieve better performance. We will further explainwhy we use this setting in the parameter study.16030图4. 从左到右依次为3D-MNIST和ModelNet40的PointNet：平均损失（3D-MNIST），整体准确率（3D-MNIST），平均损失（ModelNet40），整体准确率（ModelNet40）。0图5. 从左到右依次为3D-MNIST和ModelNet40的PointNet++：平均损失（3D-MNIST），整体准确率（3D-MNIST），平均损失（ModelNet40），整体准确率（ModelNet40）。0随机选择每个原始点云中的1024个点，重复10次以创建10个点云，形成大小为50000的训练集和大小为10000的测试集，每个点云由1024个点组成。ModelNet40包含40个类别的12311个网格CAD模型，其中9843个模型用于训练，2468个模型用于测试。我们使用[9]提供的相同点云数据，这些数据是从这些CAD模型的表面采样得到的。最后，我们的方法在第2.2节介绍的最先进的点云模型上进行评估，即PointNet、PointNet++和DGCNN。05.2. 实现细节0我们的实现基于[9, 10,19]提供的模型和代码。使用默认设置来训练这些模型。为了在批次输入张量的第二个维度上启用动态点数输入，对于这三个模型，我们用支持动态输入的等效操作替换了几个TensorFlow操作。我们还通过C++和Cuda重写了DGCNN的动态批次收集操作及其梯度操作。为了简单起见，我们将投票数设置为1。在所有以下情况中，通过更多的投票（例如12票），可以获得近1%的准确率提升。此外，加入额外的特征如面法线将进一步提高准确率近1%。为了简单起见，我们在实验中没有考虑这些技巧。05.3. 实证结果0从多个旋转中聚合分类得分0PointNet在3D-MNIST测试集上的表现如图4所示。在随机删除的情况下，PointNet的整体准确率在94%�95%之间，而删除的点数在0到200之间变化。相比之下，高删除会将PointNet的整体准确率降低到49.2%。此外，有趣的是，通过删除具有负分数的点，准确率甚至比使用原始点云增加近1%。这对于其他模型和数据集也是一致的，如下所示。对于ModelNet40，如图4所示，PointNet的整体准确率在随机删除的情况下保持在87%�89%之间。然而，我们的点删除算法可以将准确率提高/降低到91.4%/44.3%。0PointNet++的结果如图5所示，在3D-MNIST上保持95%�96%的准确率，在随机删除的情况下，而我们的点删除算法可以将准确率提高/降低到97.2%/59.5%。在ModelNet40测试集上，PointNet++保持88�0�在[9]中可以通过将投票数设置为12来获得89.2%的准确率。我们将投票数设置为1以简化。这两种设置下的准确率之间的差异始终小于1%。16040图6.3D-MNIST和ModelNet40上的DGCNN：平均损失（3D-MNIST），整体准确率（3D-MNIST），平均损失（ModelNet40），整体准确率（ModelNet40）。0图7.超参数的影响：（1）缩放因子α，（2）丢弃点数n（中间），（3）迭代次数T，（4）泛化结果（通过在PointNet上进行点丢弃生成的子集）。090%†在随机丢弃的情况下的整体准确率，而我们的算法可以将准确率增加/降低到91.1%/58.5%。0DGCNN在3D-MNIST和ModelNet40测试集上的准确率分别如图6所示。同样，在随机丢弃的情况下，DGCNN分别保持96%�97%和89%�91%的准确率。在相同条件下，我们的算法能够将准确率增加/降低到97.2%/76.4%和91.3%/64.2%。0可视化在图8中展示了由高丢弃操作的几个点云。对于这些图中显示的点云，我们的显著性图和迭代点丢弃算法成功地识别出重要的段（即丢弃的段），这些段与其他点云有所区别，例如灯的底座。值得指出的是，人类也将图8中的几个点云识别为其他物体。相反，如图9所示，低丢弃在视觉上类似于去噪过程，即去除点云中散布的噪声/无用点。尽管DNN模型在某些情况下错误地分类了原始点云，但是丢弃这些噪声点可以纠正模型的预测。0参数研究我们使用PointNet在ModelNet40上研究了缩放因子α，丢弃点数n和迭代次数T对模型性能的影响。如图7所示，α=1是算法1的一个好设置，因为随着α的增加，模型预测损失会略微减小。此外，从图7（第2张）中可以清楚地看出0†在[10]中可以通过将面法线作为附加特征并将投票数设置为12来实现91.9%的准确率。0我们的高丢弃在降低模型性能方面明显优于随机丢弃：在随机丢弃600/1024个点的情况下，PointNet的准确率仍然保持在80%以上，而高丢弃将准确率降低到接近0。在图7（第3张）中，我们显示更多的迭代会导致更好的性能。然而，当涉及到低丢弃时，更多的迭代只会稍微提高性能，但会增加更多的计算成本。因此，我们建议执行我们的算法进行20次迭代以识别重要的子集（高丢弃），并进行一次迭代以去噪点云（低丢弃）。0泛化性能我们还在图7（第4张）中展示了我们算法的泛化性能。具体而言，我们在PointNet++和DGCNN上测试了PointNet生成的子集（在丢弃高分点之后），准确率仍然大幅下降。0在所有三种用于3D点云的最先进的DNN模型中，DGCNN似乎是对点的丢失最具鲁棒性的模型，这表明DGCNN更依赖于整个点云而不是某个点或段。我们推测这种鲁棒性来自于其设计用于捕捉更多局部和全局信息的结构，这应该可以弥补丢失点或段的信息损失。相反，PointNet不捕捉局部结构[10]，使其对点的丢失最敏感。06.结论0在本文中，为3D点云构建了一个显著性图，用于衡量每个点对模型预测损失的贡献（重要性）。通过将点删除与连续的点移动过程相结合，我们展示了点的贡献近似于点在缩放球坐标系下损失梯度，并且可以通过该梯度对点进行评分。使用这个显著性图，我们进一步标准化点删除过程，以验证我们的显著性图对点级别的特征进行表征的准确性。16050图8. 高分点删除（高删除）：原始正确预测（左），由算法1得到的与最高分数相关的删除点（中），点删除后的错误预测（右）。0图9. 低分点删除（低删除）：原始错误预测（左），与最低分数相关的删除点（中），点删除后的正确预测（右）。0通过将点删除与连续的点移动过程相结合，我们展示了点的贡献近似于点在缩放球坐标系下损失梯度，并且可以通过该梯度对点进行评分。使用这个显著性图，我们进一步标准化点删除过程，以验证我们的显著性图对点级别和子集级别显著性的准确性。0和子集级显著性。广泛的评估表明，我们的显著性图驱动的点删除算法始终优于其他方案，如随机点删除方案和基于关键子集的策略，表明我们的显著性是量化点云点级和子集级显著性的更准确的度量。16060参考文献0[1] Joydeep Biswas和ManuelaVeloso。基于深度相机的室内移动机器人定位和导航。在2012年IEEE国际机器人与自动化会议上，页码1697-1702。IEEE，2012年。[2] Christian B¨ohm，Christos Faloutsos和ClaudiaPlant。使用独立分量的异常值鲁棒聚类。在2008年ACMSIGMOD国际数据管理会议论文集上，页码185-198。ACM，2008年。[3] Raia Hadsell，Pierre Sermanet，Jan Ben，AyseErkan，Marco Scof�er，Koray Kavukcuoglu，Urs Muller和YannLeCun。学习用于自主越野驾驶的远程视觉。《现场机器人学杂志》，26（2）：120-144，2009年。[4] AsakoKanezaki，Yasuyuki Matsushita和YoshifumiNishida。Rotationnet：使用无监督视点的多视图联合对象分类和姿态估计。在2018年IEEE国际计算机视觉和模式识别会议（CVPR）论文集上。[5] Ben Kehoe，Akihiro Matsukawa，SalCandido，James Kuffner和KenGoldberg。使用谷歌对象识别引擎的基于云的机器人抓取。在2013年IEEE国际机器人与自动化会议上，页码4263-4270。IEEE，2013年。[6] Lars Linsen。点云表示。Univ.，Fak. f¨urInformatik，Bibliothek Technical Report，Faculty ofComputer，2001年。[7] Daniel Maturana和SebastianScherer。Voxnet：用于实时对象识别的3D卷积神经网络。在2015年IEEE/RSJ国际智能机器人与系统会议（IROS）上，页码922-928。IEEE，2015年。[8] Nicolas Papernot，PatrickMcDaniel，Somesh Jha，Matt Fredrikson，Z BerkayCelik和AnanthramSwami。深度学习在对抗环境中的局限性。在2016年IEEE欧洲安全与隐私会议（EuroS&P）上，页码372-387。IEEE，2016年。[9]Charles R Qi，Hao Su，Kaichun Mo和Leonidas JGuibas。Pointnet：用于3D分类和分割的点集深度学习。《计算机视觉和模式识别（CVPR）会议录》，IEEE，1（2）：4，2017年。[10] Charles Ruizhongtai Qi，Li Yi，Hao Su和Leonidas JGuibas。Pointnet++：度量空间中点集的深层分层特征学习。在《神经信息处理系统进展》上，页码5099-5108，2017年。[11]Radu Bogdan Rusu，Nico Blodow和MichaelBeetz。用于3D注册的快速点特征直方图（fpfh）。在2009年IEEE国际机器人与自动化会议上，页码3212-3217。IEEE，2009年。[12] Radu Bogdan Rusu，Zoltan Csaba Marton，NicoBlodow，Mihai Dolha和MichaelBeetz。面向家庭环境的基于3D点云的对象地图。《机器人与自主系统》，56（11）：927-941，2008年。[13] KarenSimonyan，Andrea Vedaldi和AndrewZisserman。深入卷积网络：可视化图像分类模型和显著性图。arXiv预印本arXiv:1312.6034，2013年。0[14] Jost Tobias Springenberg, Alexey Dosovitskiy, ThomasBrox, and Martin Riedmiller.追求简单性：全卷积网络。arXiv预印本arXiv:1412.6806，2014年。[15] Hang Su, Subhransu Maji, Evangelos Kalogerakis和ErikLearned-Miller.用于3D形状识别的多视图卷积神经网络。在国际计算机视觉会议论文集中，页码为945-953，2015年。[16] SebastianThrun，Michael Montemerlo和AndreiAron。用于高速沙漠驾驶的概率地形分析。在机器人学：科学与系统中，页码为16-19，2006年。[17] George Vosselman，BenGH Gorte，George Sithole和TahirRabbani。识别激光扫描仪点云中的结构。国际摄影测量、遥感和空间信息科学档案，第46卷，第8期，页码为33-38，2004年。[18] Chu Wang，Marcello Pelillo和KaleemSiddiqi。主导集聚类和汇聚用于多视图3D物体识别。在英国机器视觉会议（BMVC）论文集中，第12卷，2017年。[19] YueWang，Yongbin Sun，Ziwei Liu，Sanjay E Sarma，Michael MBronstein和Justin MSolomon。用于点云学习的动态图CNN。arXiv预印本arXiv:1801.07829，2018年。[20] Zhirong Wu，Shuran Song，AdityaKhosla，Fisher Yu，Linguang Zhang，XiaoouTang和Jianxiong Xiao。3DShapeNets：用于体积形状的深度表示。在IEEE计算机视觉和模式识别会议论文集中，页码为1912-1920，2015年。[21] TanYu，Jingjing Meng和JunsongYuan。用于3D物体识别的多视图和谐双线性网络。在IEEE计算机视觉和模式识别会议论文集中，页码为186-194，2018年。
我的内容管理
展开
