没有合适的资源?快使用搜索试试~ 我知道了~
Ehsan Nezhadarya, Ehsan Taghavi, Ryan Razani, Bingbing Liu and Jun LuoNoah’s Ark Lab, Huawei Technologies Inc.Toronto, Canada{ehsan.nezhadarya, ehsan.taghavi, ryan.razani, liu.bingbing, jun.luo1}@huawei.comcessful in point cloud classification benchmarks, such asModelNet40 [27].In practical scenarios, the number of points in the pointcloud associated with an object may be quite large, es-pecially as a result of using high density sensors such asVelodyne-64 [16]. One possible way to reduce computa-tion is to down-sample the points in the point cloud as itgets passed through the network. A class of methods areproposed in which k-NN search [18] is used to find theneighbourhood for each point and down-sample accordingto these neighbourhoods. Such methods, however, trade onekind of expensive computation (neighbourhood search) foranother one (processing large point cloud).In another family of works such as [19] and [20], the3D point cloud is processed directly, while other workstransform point cloud to regular voxels such as methods in[27, 14, 6]. Transforming to regular voxels however, leadsto loss of goemetric information and high computationalcomplexity. Recently, the method introduced in RS-CNN[12] attempts to learn irregular CNN-like filters to capturelocal point cloud features which achieves the state-of-the-art accuracy in classification. In addition to these papers,a deep learning network for point cloud sampling is pre-sented in [5]. This method produces a down-sampled pointcloud from raw and unordered input point cloud which isnot guaranteed to be a subset of the original one. There-fore, a post-processing matching step is required, leading toa more complex system.In order to fully leverage a down-sampling method, whatis highly needed is a deterministic content-sensitive but fastway of down-sampling an unordered point cloud that canbe integrated into a deep neural network – a technique sim-ilarly effective and efficient as max pooling in conventionalCNN. In this paper, we introduce the Critical Points Layer(CPL), which meets these requirements.Unlike previous down-sampling methods that generate aset of points different from the input points, CPL not onlyselects the output points from the input, but also down-samples the points within the network in a way that thecritical ones are not lost in this process. Unlike random129560自适应分层下采样用于点云分类0摘要0迄今为止,深度神经网络中无序点云的确定性下采样还没有得到严格的研究。现有的方法会对点进行下采样,而不考虑它们对网络输出的重要性。因此,点云中的一些重要点可能会被删除,而较不重要的点可能会传递到下一层。相反,提出的自适应下采样方法会考虑到每个点的重要性,这个重要性根据应用、任务和训练数据的不同而变化。在本文中,我们提出了一种新的确定性、自适应、置换不变的下采样层,称为Critical PointsLayer(CPL),它学习如何在保留重要(关键)点的同时减少无序点云中的点的数量。与大多数基于图的点云下采样方法使用k-NN查找相邻点不同,CPL是一种全局下采样方法,因此计算非常高效。该提出的层可以与基于图的点云卷积层一起使用,形成一个卷积神经网络,本文称之为CP-Net。我们介绍了一个用于3D物体分类任务的CP-Net,在基于点云的方法中在ModelNet40数据集上实现了高准确性,这验证了CPL的有效性。01. 引言0在大多数机器人应用中,激光点云数据在感知周围环境中起着关键作用。特别是自主移动机器人系统使用点云数据来训练深度模型以解决不同的问题,如动态物体检测、同时定位与地图构建(SLAM)、路径规划等。随着许多新方法的引入,如PointNet [19]、PointNet++ [20]、DGCNN[26]、PointCNN [11]和SO-Net[10],使用深度神经网络从无序点云中提取特征已成为一个非常活跃的研究领域。这些方法被证明在点云分类基准测试中非常成功。129570与在推断时生成随机不同点集的采样类型的层相比,CPL是一个确定性的层,在每次运行后生成相同的点集。它对输入点的排列是不变的,即无序的。它是自适应的,因为它在训练过程中学习对点进行下采样。最后但并非最不重要的是,它是一种全局方法,不限于邻域搜索,因此非常高效。02. 相关工作02.1. 点云上的深度学习0为了应对点云的稀疏性,深度学习方法倾向于将空间进行体素化,然后对体素应用3D CNNs [14,28]。这种方法的一个问题是网络大小和计算复杂度随着空间分辨率的增加而迅速增长。相反,较低的空间分辨率意味着更大的体素和更高的量化误差。缓解这个问题的一种方法是使用八叉树[25]或kd树[8]代替体素。例如,在[8]中,构建了点云的kd树,然后通过分层特征提取器遍历该树,利用点云在不同空间尺度上的不变性。然而,这些方法仍然依赖于对边界体积进行细分,并未利用点本身的局部几何结构。相反,基于点的神经网络不需要将点云转换为另一种格式,因此避免了分辨率损失 [29]。02.2. 基于点云的CNN0利用局部几何信息的一种有前途的方法是将点云建模为无序(非欧几里德)点的图,然后对其应用CNNs。这个重要的研究方向[23]有两个主要的变体。谱方法将空间图卷积重新定义为在谱域中的乘法[23,22]。沿着这条线提出的第一个方法缺乏滤波器的空间局部性。将卷积滤波器参数化为特征值的切比雪夫多项式,并对其进行近似评估,可以以计算效率高的方式创建局部化的空间滤波器[4]。不幸的是,这些滤波器是在谱域中学习的[1],因此对于数据集中的所有图形来说都是相同的。这意味着在图形结构因点云等数据集而变化时,从一个形状学习的图无法推广到其他形状。相反,局部空间滤波[23, 17, 9, 24,30, 3, 13,15]使用空间滤波器。在图上使用局部补丁的概念允许将类似于卷积的操作应用于每个局部补丁。根据滤波器权重和每个局部补丁中的节点之间的特定对应关系,我们有了诸如MoNet [15]、GCNN [7]和DCNN[2]等变体。尽管在应用空间滤波进行深度学习的一般图上已经做了很多工作,但只有少数方法,如KCNet[21]、FoldingNet [29]、ECC [23]和DGCNN[26]使用深度学习。0在点云图上。02.3. 深度网络中的点云下采样0尽管点云上的图卷积最近受到了广泛关注,但点云下采样在文献中并没有得到很好的探索。点云下采样有以下几个原因:0•大多数点云上的图卷积方法使用k-NN搜索来找到每个点的邻域。因此,对点进行下采样可以减少后续卷积层的计算成本。0• 减少网络中的点的数量可以降低运行时内存使用。0• 下采样可以提高对输入数据中某些扰动的鲁棒性。0在典型的基于点的神经网络中,例如PointNet和DGCNN,点云中的点的数量在整个网络中是固定的。PointNet++[20]使用最远点采样(FPS)对点云进行下采样。然而,由于它通过找到每个样本点周围的k个最近邻点来生成重叠的分区,所以它需要比PointNet更多的计算能力,因为需要在高维特征空间中进行搜索。KCNet [21]和FoldingNet[29]使用基于图的最大池化对图进行下采样,该方法使用预先构建的k最近邻图(KNNG)在每个节点的邻域上取最大特征。然而,这些方法不能保证将最重要的点(我们称之为关键点)传递给下游。可能会选择或生成具有较少相关特征的点,而重要的点可能会被删除或降低价值。此外,某些网络中使用的下采样是静态的,仅基于输入点云中的空间位置进行采样,而不基于它们对应的学习特征。另一种突出的方法是[5]引入了一种用于优化点云采样的深度学习方法,该方法训练了一个神经网络模型,从原始数据集中生成下采样的点云。最后,所有这些方法都会生成一组新的点,而不是选择输入点的子集。这使得很难跟踪每个输入点对输出的贡献。在本文中,我们引入了一种计算效率高的关键点层(CPL),它根据学习到的特征自适应地对点进行下采样。CPL根据点对全局最大池化(最大化特征向量)的贡献程度,全局地过滤掉不重要的点,同时保留重要的点。CPL的计算效率非常高,因为它不需要4 4 0 5 3 3 6 4 1 1 0 5 6 0Maximum value in columnfeatures5 1 3 6 04�������4 0 5 3 6 1����� 5 1 3 6 0 4����������4 4 0 5 3 3 6 4 1 1 0 5 6 0WeightedCritical PointsMaximum value in columnfeatures5 1 3 6 0 4��������4 0 5 3 6 1����������������3 3 2 2 2 25 5 1 1 3 3 6 6 0 0 0 4 4 4�����5 1 3 6 0 4129580局部最近邻搜索。此外,由于从图卷积层获得的特征向量已经包含了每个点的重要的局部邻域信息,CPL可以在不丢失相关信息的情况下生成一个更小的子集。在接下来的两节中,我们详细解释CPL并报告我们的实验结果。03. 提出的解决方案0在本节中,我们提出了两种新的自适应下采样方法,可用于深度神经网络。所提出方法的重点是引入一种系统性的解决方案,以在任意神经网络架构中对点(或与之相关的特征向量)进行下采样。这与[5]等方法不同,后者提出了一种用于对特定数据集进行下采样的新方法。我们提出的层名为关键点层(CPL)和加权关键点层(WCPL),可以高效地对无序点云相关的特征进行下采样,同时具有置换不变性。本节将详细解释CPL、WCPL以及在深度神经网络和更具体地说是分类网络中使用这两个层的系统方法。03.1. 关键点层(CPL)0假设CPL的输入是一个无序点云,其中包含 n个点,每个点表示为特征向量 x ∈ R d ,其中 R是实数集合,d是特征向量的维度。CPL的目标是生成一个输入点的子集,称为关键点(CP),其中包含 m ≤ n个点,每个点表示为特征向量 y ∈ R l ,其中 l是新特征向量的维度。点云的关键点是需要在下采样(或池化)过程中保留的具有最大信息的点。这些点可能根据任务和应用而变化。所提出的关键点层(CPL)的块图如图1a所示。为了更详细地说明CPL的功能,我们还提供了其伪代码,如算法1所示。算法的步骤将在下面更详细地解释:01. 输入点云 F S 是一个具有 n 行(对应于 n个输入点)和 d 列(对应于 d 维特征向量)的矩阵。02. 在第一步(操作3)中,对矩阵 F S的每一列获取最大特征值。这与PointNet[19]中的最大池化操作相同。得到的 d 维特征向量,记为 f max,与输入特征向量具有相同的维度,可以独立用于分类和分割任务。然而,我们感兴趣的是下采样输入点而不是生成一个特征向量。为此,还保存了具有最大特征值的每行的索引在索引向量 idx中。向量 idx 包含所有贡献到特征向量 f max的点的索引。根据定义,我们称这些点为关键点(CP)。这些是在下采样过程中应该保留的重要点。0特征0点0关键点0收集点0无效 数据 数据0无0无0(a)关键点层(CPL)0特征0点调整大小0收集点0无效 数据0无0无0无0无效0(b)加权关键点层(WCPL)0图1:所提出的CPL和WCPL的示意图。0生成一个由它们组成的单个特征向量。为此,还保存了具有最大特征值的每行的索引在索引向量 idx 中。向量idx 包含所有贡献到特征向量 f max的点的索引。根据定义,我们称这些点为关键点(CP)。这些是在下采样过程中应该保留的重要点。03. 索引向量 idx可能包含多个相同点的实例。为了避免这些重复,我们使用“set (unique)”函数从 idx中提取唯一索引(操作6)。具有唯一索引的输出集称为关键集(CS),用 uidx表示。除了找到唯一向量之外,我们还将对应于相同点或索引的 f max 的特征值相加(操作7)。生成的特征向量 fS 将在后续用于对输入点进行排序。04.接下来,对特征向量fS进行排序(按升序)。根据排序输出对uidx中的索引也进行重新排列(操作12),得到一个称为suidx的索引向量。这一步对于下面的采样(调整大小)操作是必要的。它还使得CPL对于输入点的顺序是不变的。05. suidx中的元素数量在输入批次的不同点云中可能不同。对于批处理处理129590算法1(加权)关键点层(CPL/WCPL)01: function (F O, f O, suidx) = CPL(F S, F I, k) 2: for i = 0 toncols(F S) − 1 do � 最大池化 3: f max[i] = max(F S[:, i]) 4: idx[i]= argmax(F S[:, i]) 5: end for 6: uidx = unique(idx) � 集合操作7: f S[j] = �0idx[i] = uidx[j] f max[i] 8: if WCPL then 9: fr[j] = |{i | idx[i] =uidx[j]}| � uidx[j]在idx中的频率 10: end if 11: −, l = sort(f S) � 排序12: suidx = uidx[l] 13: if WCPL then 14: midx = repeat(suidx,fr) 15: rmidx = resize(midx, k) � 最近邻调整大小016: F O = F I[rmidx, :] � 点集合 17: else 18: rsuidx = resize(suidx,k) � 最近邻调整大小 19: F O = F i[rsuidx, :] � 点集合 20: end if 21:for i = 0 to ncols(F O) − 1 do � 最大池化 22: f O[i] = max(F O[:,i]) 23: end for 24: 25: if WCPL then return (F O, f O, rmidx) 26:else return (F O, f O, rsuidx) 27: end if 28: end function0然而,这些数字需要相同。为了解决这个问题,对于输入批次中的每个点云,使用上采样方法将索引向量suidx上采样到一个固定大小的向量rsuidx,例如最近邻调整大小(操作18)。06.作为最后一步,使用包含所有关键点索引的上采样索引向量rsuidx来收集点和它们对应的特征向量。由于不同的特征向量可能对应于一个点,并且由于在隐藏的NN层中过滤的信息,我们可能希望从其他层(用F I表示)中收集特征,而不是用于选择点的层(用F S表示)。然而,关键点是根据每个点在从F S获得的最大特征向量中的贡献来定义的,因此这里我们使用F I = F S。0点云处理的任何层的一个主要要求是对点云排列的不变性。所提出的CPL通过以下特性满足这一要求:0•第4步中对特征向量fS进行排序是与顺序无关的,因为排序是基于特征值而不是基于点的索引。0•第5步中的最近邻调整大小对于交换输入点的索引是不变的,即0resize(sort(swap(uidx))) =0swap(resize(sort(uidx))) (1)0其中sort是基于特征值进行排序,swap仅对索引进行交换。03.2. 加权关键点层(WCPL)0在CPL中,如果点云中的任何特征对输出的最大特征向量fmax有贡献,则将点云中的点计为关键点,而不考虑其贡献特征的数量。例如,如果一个点贡献了两个特征,而另一个点贡献了十个特征,两者在CPL中被视为相同。换句话说,在CPL中,一个点的“重要性”具有二进制值:给定的点要么重要(关键),要么不重要(非关键)。在本节中,我们介绍了CPL的修改版本,称为加权关键点层(WCPL)。所提出的WCPL(图1b)根据其对fmax的贡献程度为点分配权重。在这种情况下,通过将点索引重复C次来增加点的权重。通过增加重复频率,选择该点的概率也会增加。从另一个角度来看,在WCPL中,输出中漏掉关键点的概率低于CPL中的概率。WCPL的伪代码在算法1中使用if语句给出。03.3. 关键点网络(CP-Net)0在本节中,我们提出了一种分层架构,通过使用所提出的CPL/WCPL系统地减少点的数量,将深度卷积神经网络应用于点云。在所提出的网络模型中,命名为关键点网络(CP-Net),可以使用任何图卷积方法,如DCNN [2]、GCNN [13]、MoNet [15]或EdgeConv(来自DGCNN[26])在卷积层中。以EdgeConv为例的CP-Net的块图如图2所示。图2中的输入是一个无序的大小为n的点云。在第一步中,点云经过一个卷积层进行过滤,得到一组更丰富的特征。过滤后的输出点云FS0作为第一个CPL/WCPL的输入。使用下采样因子k0的CPL/WCPL,将FS0中的点的数量减少到n/k0个。这些步骤根据需要重复多次,以达到所需的点云大小(无论是点的数量还是特征向量的大小)。注意,在第j个CPL/WCPL块中,可以从所有或部分先前层中使用或连接特征,即{FIj0, FIj1, ...,FIjj},只要它们对应于相同的点。结果,输出点的数量将为n129600图2:所提出CP-Net的通用块图。0图3:使用CP-Net的点云分类网络示意图。0使用选择的卷积层将输入点云过滤为一组更丰富的特征。然后,将过滤后的输出点云FS0作为第一个CPL/WCPL的输入。使用下采样因子k0的CPL/WCPL,将FS0中的点的数量减少到n/k0个。这些步骤根据需要重复多次,以达到所需的点云大小(无论是点的数量还是特征向量的大小)。注意,在第j个CPL/WCPL块中,可以从所有或部分先前层中使用或连接特征,即{FIj0, FIj1, ..., FIjj},只要它们对应于相同的点。结果,输出点的数量将为n0k0 k1 ... kj+1 .03.4. 用于3D物体分类的CP-Net0这里我们以3D物体分类问题中的CP-Net应用为例。图3展示了所提出网络的块图。该网络由三个子网络组成:1)n点特征提取子网络,2)(n/4)点子网络和3)分类子网络。所提出网络的详细步骤如下:0• 网络输入是一个大小为n×3的无序点云,其中每个点是一个3D向量。0•输入数据经过空间变换网络,如[19]中所述,使其对任何刚性变换(包括旋转和平移)具有鲁棒性。值得注意的是,空间变换使用的是EdgeConv[26]的修改版本边缘特征,如下所述。0在下一步中进行。0•空间变换的输出进入一个滤波CNN,这里使用EdgeConv [26]来产生更丰富的特征。与原始的EdgeConv[26]算子不同,我们使用三核版本hΘ(xi, xj - xi, (xj -xi)2),其中(xj -xi)2是每个点xi和其相邻点xj之间的逐元素平方操作。在提出的网络中,将具有128个过滤器的EdgeConv应用于大小为n×3的输入点云,得到大小为n×128的点云。0•多层感知机(MLP)层将特征维度从128扩展到1024个特征,从而得到一个大小为n×1024的点云。0•接下来,应用CPL/WCPL来找到关键点并减少输入点的数量。如第4节所示,这一步骤可以减少计算复杂度,而不会损失分类准确性。选择1/4的降采样因子将点的数量从n减少到n/4。0•另一个EdgeConv层用于过滤点云,这次保留深度和大小以进一步处理接收到的点云。注意,减少前一层中的点的数量大大降低了该层的计算复杂度。01 提出的层可以与其他复杂的图卷积层(如EdgeConv [26]或MoNet[15])一起高效使用。在本文中,我们使用EdgeConv[26]的修改版本进行图卷积。EdgeConv Kernels The effect of using two and threekernels (in EdgeConv operator used in DGCNN [26]) onthe overall classification accuracy and execution time isshown in Table 2. For double-kernel version, we use theone used in [26]. The triple-kernel version is defined insection 3.4-c. As seen, the triple kernel version is compu-tationally more complex than the double kernel version. Inboth cases, not only the proposed CP-Net/WCP-Net out-performs the DGCNN in classification accuracy, it is com-putationally less complex, due to CPL/WCPL point clouddown-sampling.Effect of Bottleneck Dimension The effect of bottle-neck layer size (number of features in the output featurevector) on classification accuracy is shown in Table 3.129610• 使用reduce-max层从大小为n×1024的点云生成大小为1024的向量。0•最后,将大小为1024的特征向量转换为ModelNet40数据集[27]中的类别数量,即40,应用全连接层大小为512、256和40。0在提出的3D分类方法中,使用标准的softmax交叉熵作为损失函数。此外,所有层都包括ReLU激活函数和批归一化。04. 实验04.1. 数据预处理0我们在ModelNet403D物体分类数据集[27]上评估我们的模型。该数据集包含来自40个不同物体类别的12,311个网格化CAD模型,其中9,843个模型用于训练,2,468个模型用于测试。从每个模型的网格表面均匀采样并归一化为单位球上的1024个点。为了进行数据增强,我们随机缩放、旋转和平移每个物体的点云在3D空间中。04.2. 训练细节0为了训练模型,我们使用Adam优化器,初始学习率为0.001,并以0.5的速率指数衰减,每200,000步衰减一次。批归一化的衰减率从0.5开始增加到0.99。最后两个全连接层使用0.5的概率进行Dropout。在Nvidia P100GPU上使用TensorFlow训练网络,批大小为32,需要9-10小时进行400个训练周期。04.3. 统计结果0为了评估3D点云分类方法的性能,我们使用整体准确率和每类平均准确率来计算所有测试样本。我们提出的CP-Net/WCP-Net的分类准确率结果如表1所示,并与先前提出的方法进行比较。如图所示,我们的CP-Net/WCP-Net方法在表1中排名第二,超过了其他所有方法在表1和ModelNet40基准排行榜上的准确率。04.4. 定性结果0图4展示了提出的CPL如何学习对不同的点云进行下采样。图4(a)显示了对象类别灯、飞机、花盆、笔记本和汽车的原始大小为1024的点云。图4(b-e)对应于使用下采样比例0.25在1、100、200和300个训练周期时得到的输出。如图4(b)所示,在训练开始时,0算法整体准确率(%)平均类别准确率(%)0Vox-Net [14] 83.00 85.9 ECC [23] 83.2 - SO-Net [10] 89.16 -Pointnet [19] 89.20 86.0 Pointnet++ [20] 90.70 - KCNet [21]91.0 - KD-Net [8] 91.8 - DGCNN[30] (1 vote) 91.84 89.40RS-CNN [12] 93.6 -0我们的(CP-Net)92.33 89.90 我们的(WCP-Net)92.41 90.530表1:ModelNet40数据集[27]上的分类准确率结果,输入大小为1024×3。0方法 双核 三核0DGCNN 91.84 (135ms) 89.26 (141ms)CP-Net 91.88 (115ms) 92.33 (119ms)WCP-Net 91.76 (116ms) 92.41 (120ms)0表2:边缘特征核对整体分类准确率(%)和执行时间(以毫秒为单位)的影响。0一些重要部分的对象,如灯柱、花叶和笔记本屏幕,由于下采样而部分丢失。然而,在经过300个训练周期后,CPL学会了对点云进行下采样,以便大部分保留对象的关键点。在点云分类的上下文中,通过对象的重要点我们指的是那些包含区分数据集中不同对象所必需的信息的点。图4(f)显示了经过300个训练周期后按比例1/16下采样的相应点云。可以看到,即使在这样小的64个点的点云中,我们分类任务的每个对象的重要点仍然被保留下来。灯柱、飞机机翼和笔记本的六个角是保留的重要对象部分的一些例子。04.5. 消融研究Figure 4: (From top to bottom and left to right) The original point clouds for the laptop and car object categories inModelNet40 dataset [27], and their down-sampled versions (with ratio 14) obtained after training the classification CP-Net,shown in Figure 3, for 1, 100, 200 and 300 epochs. (f) The result of training for 300 epochs with down–sampling ratio116.The images are color coded to reflect the depth information.64128256512102411/21/41/81/16129620显然,增加瓶颈层大小可以提高准确性,但几乎在1024个特征处饱和。请注意,即使瓶颈大小为64,提出的CP-Net(%89.35)的准确性也高于瓶颈大小为1024的PointNet(%89.20)。0CP-Net 89.35 89.83 90.85 91.94 92.33 WCP-Net89.16 89.71 90.73 91.54 92.410Table 3: 瓶颈维度对准确性的影响(%)。0下采样比率对分类准确性的影响如表4所示。如预期,点云缩小得越多,准确性越低。这是因为由于下采样而丢失了关于对象的一些重要信息。然而,提出的CPL和WCLP层尽可能地保留了重要的对象点。这可以从表4中验证,在下采样比率为1和1/16(对应于1024和64个点的点云)时,准确性值之间的差异仅为0.73%。这意味着在下采样过程中,CPL保留了每个对象的最重要信息,因此即使只有这么少的点,对象仍然可以以高准确性进行分类。0在训练分类CP-Net后得到的点云(图3)的效果,分别为1、100、200和300个时期。(f)下采样比率为1/16的300个时期训练的结果。图像的颜色编码反映了深度信息。0CP-Net 92.25 92.24 92.33 92.29 91.52 WCP-Net92.09 92.15 92.41 92.03 91.810Table 4: 下采样比率对准确性的影响(%)。0考虑下采样对4倍比率(即256个点)的影响,值得比较CPL与随机下采样的准确性。如果我们使用4倍比率的随机下采样代替CPL/WCPL,CP-Net分类网络的准确性从92.33(CPL)和92.41(WCPL)下降到91.47,这表明CPL在获取架构中的临界点和特征方面是有效的。值得注意的是,尽管在训练中使用随机下采样是可行的,但它在数学上不是确定性的。129630方法 模型 推理 准确性 大小(MB) 时间(ms)(%)0PointNet 40 36.1 89.20 PointNet++ 12 232.2 90.70KCNet 11 26.4 91.0 DGCNN 21 134.5 91.84CP-Net/WCP-Net 57 118.9 92.33/92.410Table 5: 模型大小(MB),在P100GPU上的推理模式执行时间(ms)和分类准确性(%)。0推理时数学上和统计上是可靠的。原因是每次运行推理时,随机采样器会为下采样产生一组新的索引,导致相同输入的非确定性输出/分类。此外,我们的实验表明,与CPL不同,随机下采样无法找到输入点云的临界点。时间和空间复杂度表5比较了在Ubuntu机器上运行提出的CP-Net/WCP-Net与其他最先进的物体分类方法的执行时间,该机器配备了一块P100 GPU和一颗Intel 1.2 GHzCPU。所有实验中都使用了32个1024点的点云批处理大小。就模型大小而言,KCNet生成的模型最小。CP-Net和WCP-Net生成的模型最大,因为它们具有更多的网络参数。可以通过减小瓶颈维度来减小模型大小。在计算复杂性方面,CP-Net和WCP-Net比DGCNN和PointNet++运行速度更快。但是,它们比PointNet和KCNet慢。与DGCNN相比,CP-Net的计算复杂度较低是因为其网络中使用了CP层。同样,通过适当的网络设计,预期的CPL/WCPL可以加速其他分类深度网络,如KCNet和PointNet++。05. 结论0在本文中,我们提出了一种新的确定性自适应下采样方法,可以训练以将最重要的点(关键点)传递给神经网络中的下一层。提出了两个下采样层,关键点层(CPL)及其加权版本,加权CPL(WCPL)。作为在深度神经网络中使用CPL /WCPL的系统方法,还介绍了这些层的分层实现CP-Net。最后,基于所提出的CP-Net设计了一个用于3D对象分类的深度分类网络。使用常见数据集的实验结果显示了与先前最先进方法相比,在分类准确性与计算复杂度之间的竞争力。0最后但同样重要的是,CPL对于动态下采样无序数据的有效性,启发了一种可以处理无序数据(如点云)的新型自动编码器的设计。这种方法已经在研究中,并将在未来的工作中展示结果。0参考文献0[1] William N Anderson Jr和Thomas DMorley。图的拉普拉斯特征值。线性和多线性代数,18(2):141-145,1985年。[2] James Atwood和DonTowsley。搜索卷积神经网络。CoRR,2015年。[3] DavideBoscaini,Jonathan Masci,Emanuele Rodol`a和MichaelBronstein。使用各向异性卷积神经网络学习形状对应关系。在神经信息处理系统进展中,页码3189-3197,2016年。[4] Micha¨elDefferrard,Xavier Bresson和PierreVanderheynst。具有快速局部化谱滤波的图卷积神经网络。在神经信息处理系统进展中,页码3844-3852,2016年。[5] OrenDovrat,Itai Lang和ShaiAvidan。学习采样。在计算机视觉和模式识别IEEE会议文集中,页码2760-2769,2019年。[6] Matheus Gadelha,RuiWang和SubhransuMaji。用于3D点云处理的多分辨率树网络。在欧洲计算机视觉会议(ECCV)文集中,页码103-118,2018年。[7] Thomas NKipf和MaxWelling。具有图卷积网络的半监督分类。arXiv预印本arXiv:1609.02907,2016年。[8] Roman Klokov和VictorLempitsky。逃离细胞:用于识别3D点云模型的深度kd网络。在计算机视觉(ICCV)会议文集中,页码863-872,2017年。[9] RonLevie,Federico Monti,Xavier Bresson和Michael MBronstein。Cayleynets:具有复杂有理谱滤波器的图卷积神经网络。arXiv预印本arXiv:1705.07664,2017年。[10] JiaxinLi,Ben M Chen和Gim HeeLee。So-net:用于点云分析的自组织网络。在计算机视觉和模式识别IEEE会议文集中,页码9397-9406,2018年。[11] YangyanLi,Rui Bu,Mingchao Sun和Bao
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功