没有合适的资源?快使用搜索试试~ 我知道了~
10468−|| ||SGMNet:通过排序的Gram矩阵徐建云,唐欣,朱雨诗,孙洁,蒲世良*海康威视研究院{xujianyun,tangxin10,zhuyushi,sunjie,pushiliang.hri} @ hikvision.com摘要最近,试图将旋转不变性引入点云分析的各种工作然而,在这些方法中,点对仅由中心点及其附近的相邻点组成而在本文中,我们将每个点与局部邻域中的所有其他点紧密具体来说,我们提出了一个简单但有效的本地功能(一)简化的PPF本地修补程序pcxjPJGXTX(X[x,x,x])123(b)第(1)款密集连接PPF这种表示称为排序的G矩阵(SGM),其不仅对任意旋转是不变的,而且对邻域中所有点的成对关系进行建模。更详细地说,我们利用向量内积来模拟两点之间的距离和角度信息为了保证置换不变性,我们对每个点的Gram矩阵中的相关值进行排序,因此这个几何特征称为排序Gram矩阵。此外,我们从数学上证明了格拉姆矩阵是旋转不变的,足以模拟点云补丁的固有结构然后,我们使用SGM作为功能的卷积,它可以很容易地集成为一个下拉模块到任何基于点的网络。最后,我们在两个广泛使用的数据集上评估了所提出的方法,并且它在形状分类和部分分割任务上都大大优于以前的最新技术。1. 介绍在过去的几年里,3D计算机视觉的发展蓬勃发展,由于其广泛的应用,如机器人,AR/VR和自动驾驶。点云作为最常见的3D数据格式,已经吸引了越来越多的关注,并且已经提出了大量的工作[19,20,1,25,13,26,24]来直接在点上提取3D特征*通讯作者。本研究得到了国家重点研究发展计划(批准号:2020AAA010400X)的资助。图1.简化的PPF和我们改进的密集连接版本的图示 在图(a)中,PPF通过距离在中心点pc和相邻点pj之间构造。xj(xj=pjpc)和角度(m,xj)(m=Opc,O是一个参考点,如质心),不能完全约束pj,让它自由地位于圆Ω中,从而导致信息丢失。在图(b)中,我们密集地连接每个点对,并且通过内积计算每对与密集图像相比,点云是不规则的和非结构化的,因此有必要设计置换不变特征提取器,其由点网络[19]使用对称函数处理。此外,空间变换(包括平移和旋转)在三维世界中也是普遍存在的。因此,点云的学习表示也应该对平移和旋转不变[19]。虽然平移不变性可以通过使用2D卷积在图像中所做的权重共享来完美地实现,但是由于其空间复杂性,3D点云中的旋转不变性尚未得到很好的解决本质上,旋转不变性在分类、局部分割、匹配和形状检索等特定任务中是至关重要的因此,有必要确保学习的点云特征是旋转不变的,并且特别地,局部块描述是旋转不变的。本地修补程序圆pc x j PJMO参考点10469AECNN我们图2.旋转不变局部特征表示的说明。上图:它示出了AECNN的局部特征提取[31]。对于该飞机的两个图像,虽然具有相同的结构,但由于LRF结构的不同,它们的局部特征是有区别的,因此AECNN的局部特征不是旋转不变的。请注意,这就是为什么AECNN需要对齐不同LRF中的特征。下图:它示出了我们提出的局部特征描述符,其对于两个局部块是严格旋转不变的,只要它们的固有结构保持相同。tor也应该是旋转不变的,即,共享相同固有结构的两个点云片应该具有相同的特征表示。为了处理旋转问题,一种直接的方法是向模型提供大量的旋转增强数据。为了进一步的旋转鲁棒性,一些[19,25]使用STN [10]将输入转换为规范空间。然而,所有这些方法都严重依赖于数据扩增,并且不足以确保对看不见的旋转的概括性。此外,这些基于增广的方法必须从极其巨大的输入空间中提取特征,导致更高的模型复杂度。相反,旋转不变方法具有较低的模型复杂度。在过去的几年里,已经提出了关于旋转不变深度学习的研究一个方法流[11,28,31,33]试图构建局部参考系(LRF)并将坐标从全局转移到局部坐标系,因此对全局旋转是不变的。AECNN [31]使用全局原点作为参考构建LRF,即使对于相同的两个局部补丁,其LRF也会发生变化,如图2所示,因此其局部特征描述符不是旋转不变的,限制了其应用于其他任务,如对象检测和匹配。其他方法[11,28]利用主成分分析(PCA)来构建LRF,遭受本征向量的模糊性。另一种直观的方式是利用自然旋转不变的特征,例如,角度和距离,作为网络输入。Drost等人[7]首先提出了点对特征(PPF),通过构造两点与其法向量之间的距离和角度来构造旋转不变网络。后来的方法[32,23]简化了PPF通过去除计算上昂贵的正常估计。然而,如图1(a)所示,这导致本地表示的大量信息丢失。ClusterNet [3]使用原始点作为参考定义了一个平面,并对邻居之间的投影角度进行排序,这完全约束了局部面片,但失去了其局部特征表示的旋转不变性,类似于AECNN[31]。对于所有这些基于PPF的方法,尽管它们有助于网络生成看不见的旋转,但它们的性能相对低于基于LRF的方法。为了简单和推广,我们遵循利用点对特征的轨道,并通过将邻域中的每对点穷举连接以获得完整的局部几何表示来改进它。为此,我们使用所有点对之间的向量内积 为了保证置换不变性,我们对每个点的Gram矩阵中的相关值进行排序,因此这个几何特征称为排序的Gram矩阵。我们使用SGM本身作为卷积中的特征,其可以容易地实现为任何基于点的网络中的插入模块。主要贡献概述如下:• 我们提出了一个简单而有效的局部特征表示,命名为SGM,它不仅保持不变性的任意旋转,但也模型在一个邻域中的所有点的成对关系。• 我们将SGM封装成一个嵌入式模块,并将其集成到许多流行的基于点的网络中,显示了SGM的鲁棒性,效率和通用性• 我们说明,我们提出的方法是不变的旋转,并实现了国家的最先进的结果,在点云形状分类和部分分割任务。2. 相关作品2.1. 点云近年来,使用深度神经网络的3D点云处理引起了广泛的研究兴趣,并在多个3D任务中表现出卓越的性能[19]。3D Shapenet [27]和Voxnet [16]将3D卷积神经网络引入体积数据,因为它与图像数据相似。然而,3DCNN导致大量的内存消耗,并且大量的计算浪费在稀疏的vox-els上。PointNet [19]是使用原始点云作为输入而不转换为常规3D数据的先驱工作。它将原始3D坐标映射到具有MLP的高维特征,然后进行置换不变池操作,将单个特征聚合到全局特征。O10470∈∈F›→∈||·||−真的。然而,PointNet忽略了局部形状描述符在各种高级3D理解任务中的关键作用。几个后续行动试图以不同 的 方 式 了 解 当 地 的 特 点 。 PointNet++ [20] 使 用PointNet作为局部特征描述符,并形成层次结构。DGCNN [25]利用图形并结合边缘信息。其他工作[12,13,26,24]对卷积算子适应点云学习进行了一些探索。在这项研究中,我们的目标是学习具有旋转不变性的DNN。2.2. 旋转鲁棒3D网络实现旋转鲁棒性的一种直观方法是向网络提供大量的旋转增强数据。然而,数据增强不能确保泛化到不可见的旋转,并且具有更高的模型复杂度。一些方法[4,8,21]将3D数据投影到单位球体并使用球面谐波基执行卷积。这些方法中的光栅化使得它们在旋转时不能保持一致的性能,而球面投影可能难以处理复杂的非凸对象。[30]提出了球形体素卷积,以在球形体素网格处提取逐点旋转不变特征。然而,它一些方法求助于点对之间的几何特征[5,3,32,23]以追求固有的旋转不变特性。PPF-FoldNet [5]利用了点对之间的差异向量及其法向量的相对角度。类似于PPF-FoldNet [5],Clus-terNet [3]利用距离和角度来定义旋转不变特征。但该方法以原点为参考点构造投影平面和投影角度,导致局部特征旋转变化。相反,RIConv [32]使用质心作为参考点,通过使用简化的点对特征来构造旋转不变特征。这些方法可以在一定程度上实现全局旋转不变性,但在分类和分割等基本任务的对齐场景中,与标准点云学习方法的性能相差甚远。其 他 方 法 [31 , 11 , 33 , 28]通 过 将 局 部 参 考 系(LRF)引入网络来学习旋转不变表示。然而,LRF对点密度变化敏感,模糊的并且有时是非唯一的,这限制了对看不见的旋转的表示能力和泛化性能。此外,基于LRF的方法可以根据其LRF定义为相同但旋转的局部块生成不同的特征,如图2所示,其偏离初始动机,因此不适合于像场景的分割,对象检测和点云匹配,其中存在局部旋转的补丁。所有以前的作品的一个共同问题是,他们要么依赖于额外的信息或非常复杂的设计。我们的工作更加直观,直接,易于集成到各种基于点的网络。此外,上述方法对于局部特征并非都是旋转不变的,例如ClusterNet [3]和AECNN [31]。它们的全局特征是旋转不变的,而局部特征不是,这限制了它们在匹配和目标检测等任务中的应用。3. 方法在本节中,我们首先陈述旋转不变性问题,然后重新讨论点对特征和Gram矩阵的概念排序的Gram矩阵最后给出了网络体系结构。3.1. 问题陈述研究了点云的旋转不变局部描述子问题。给定具有K个点的点云片,表示为X=[X1,…,其中每个xi(i=l,…K)包含欧氏空间中一点的三维坐标,因此XR3× K。注意,本文中讨论的局部补丁已经由该补丁的中心平移 对于任意给定的RSO(3)(特殊正交群),我们需要找到一个映射:R3× KRC× K,CN+,在这个映射中,不同方向上的相同点云应该统一为唯一的一致表示. 在数学上,它可以用公式表示如下:F(X)=F(RX)⑴其中F(·)是我们所执行的旋转不变运算,F(X)是X的旋转不变描述子。3.2. 预赛点对特征(PPF)。如[7,2,9]中所示,PPF是一对定向3D点p,c和p,j 的 反对称4D描述符,其被构造为:(||XJ||2 ,(nc,xj),(nj,xj),(nc,nj))(2)其中,Xj表示计算为Xj=Pj的pc,nc和nj是在pc和pj处 的 表 面 法 线。是欧氏距离,是角度算子。在我们的例子中,点云作为3D空间中的坐标而没有表面法线,并且有时很难计算法线,特别是对于稀疏点云。考虑到简单性和可推广性,我们10471∈∈||−||≤∈·∀ ∈ ∀∈∀∈1112.2.. ..2.(四)我我×我排序.类似于[32],将PPF简化为没有法向量的简短表示,公式为:(||XJ||其 中,Xj仍表示P。与P(m,Xj)之间的差向量。pj,m是参考点O和pc之间的向量,如图1(a)所示。这种简化的特征在任意旋转下是不变的,因为每对点之间的距离和角度是保持不变的,这已经在许多以前的工作中证明了[2,6,3,32]。我们使用这个简化的PPF作为基线来探索然后我们将说明Gram矩阵足以模拟点云面片的固有结构。引理1. 如果两个点云的Gram矩阵相等,则它们的几何结构也相同,即,一个可以通过旋转或反射由另一个表示。证据我们从[18]中导出了这个引理:对于两个点云面片,X1,X2R3× K,K[ 18 ][19][19]局部点集的旋转不变表示,以及我们发现,用这种方式,只有中心点pc和它的邻居pj之间的关系被建立,而不是整个最小Q值||X1−QX2||F≤δ(X1)√2(1−.1−2||G(X1)−G(X2)||F)a2(X1)(七)几何结构没有被捕获,即,如图1(a)所示,相邻点之间的固有关系不受约束,从而导致局部点云描述的模糊性(或者换句话说,信息丢失)。这启发了我们,点对关系不仅应该在中心参考和它的neighbor点之间计算,而且应该考虑邻域中的所有点,如图1(b)所示,鼓励我们找到更合适的描述符。革兰氏矩阵。直观地,两个向量之间的内积包括距离和角度信息。如果我们计算点云面片中每对点之间的内积,那么它自然形成了一个Gram矩阵。更具体地说,对于给定的点云,X∈R3×K,X的格拉姆矩阵G可以定义为:x Tx1x Tx2。. .x T xK其中Q是旋转或反射矩阵,δ(X1)是X1的最小奇异值。由于G ( X1 )=G (X2 ) ,它意味着min QX1QX2F0,因此X1=QX2,这完成了证明。3.3. 排序格拉姆矩阵分类革兰氏矩阵。如上所述,点云面片XR3×K的格拉姆矩阵G(X)是旋转不变的,足以模拟X的固有结构.在本节中,我们打算使用G(X)本身作为网络中的初始特征,然而,G(X)不能直接使用,因为它不是置换不变的,这确实是基于点的网络所需要的。我们通过按升序或降序对每行的Gram矩阵的相关值进行排序来解决这个问题,并且排序的Gram矩阵可以定义为:x Tx1x Tx2。. .x TxK。..SGM(X)=fso rt(G(X))=.中国(8)fsort(XK)其中每个xi(i = l,… K)包含的3D坐标3D空间中的点。显然,G(X)是一个K-K矩阵,并且以紧凑的方式包括所有点对的几何信息。我们将首先证明,革兰氏矩阵是旋转不变的,然后说明,这种表示是足够的模型的内在结构的点云补丁。定理1. Gram矩阵是旋转不变的,即,为<$R∈SO(3), <$X∈R3×K(K ∈N+),满足G(X)=G(RX)(5)证据对于R SO(3),XR3× K,根据等式(1)中的GM定义,4、G(RX)=(RX)TRX=XT RT RX=XT X(6)因此G(RX)=G(X),即,Gram矩阵是旋转不变的。其 中, fsort ( ) 是 按行 排 序函 数 , Xi=[x Tx1 , xTx2,… x Tx K](i = 1,… K)是每 行 的相关值。在实现SGM之前,我们首先说明了SGM的旋转不变性和置换不变性。定理2(旋转不变性)。对于XR3× K,由等式(1)定义的X的SGM为:8是旋转不变的。证据根据定理1,Gram矩阵是旋转不变的,SGM(RX)=fsort(G(RX))=fsort(G(X))(9)因此SGM(RX)=SGM(X),即,SGM是旋转不变。G(X)=XTX=F(X1)x Tx1x Tx2。. . xT xKKKK10472n化eC+KK∀∈× A·∀ ∈×A·∈ ∈∈∈TTA·A Aa不图3.集成在PointNet++中的SGM概述为了简单起见,仅描绘了具有一个尺度的一个集合抽象定理3(置换不变性)。 为 XR3× K,X的SGM由方程定义。在对称函数之后,δ是置换不变的,公式化为:A(SGM(XP))=A(SGM(X))(10)其中P是KK列置换矩阵,以及 ()下一页是用于特征聚合的对称函数证据设XR3×K,对任意K-K列置换矩阵P,SGM(XP)=fsort(G(XP))=fsort((XP)T(XP))=fsort(PT XT XP)中心点更正式地,不失一般性,我们假设具有K个点的局部点云具有坐标XR3×K和特征FRC×K,CN+是F的通道数(注意,在我们的情况下,特征F是旋转不变的,例如语义特征或来自SGM的先前高级特征然后,该局部点云的学习的旋转和置换不变表示f可以被公式化为:f=δ(A(MLP(Ψ)(15)其中()是与等式(1)中相同的对称函数。δ是激活函数,Ψ=Φ(X,F)=concat(SGM⑵,F)(16)我们称Φ(·,·)为SGM模,Ψ∈=f排序(PT G(X)P)(11)R(C+K)× K是它的输出。 fRC输出 是最终的代表此局部点云的表示,其中Cout是最后一个因为f排序是行排序函数,并且PT是行置换矩阵,因此fsort(PTG(X)P)=PTf sort(G(X)P)=PTf sort(G(X))(十二)合并等式十一十二(SGM(XP))=(Pfsort(G(X)=(PSGM(X))(十三)由于对称函数(),例如maxpooling,已在[19]中被证明是置换不变的,因此A(PSGM(X))=A(SGM(X))(14)即A(SGM(X))是置换不变的。学习排序的Gram矩阵。在旋转不变网络方面,我们可以使用从点的原始欧几里德坐标计算的SGM作为局部点云的初始描述符,并将SGM与其高维特征连接起来,然后馈送到后续卷积层,最后将局部特征聚合为跳过连接分段新功能尺寸(N1,C,K)JC(N1,K,)concat高亮度特征插值MLP(1,C2)(k)JX J p jXTXC排序几何XYZ图矩阵(N1,3,K)(N1,K,K)排序文法矩阵FC采样&分组PointNet分类PointNetSGM模块PointNet++中的集合抽象课成绩10473MLP的信道号。然后,SGM模块可以轻松集成到任何基于点的网络中,以执行各种任务,如以下部分所示。3.4. 网络架构在本节中,我们将在分层网络中使用SGM模块,并通过在分类和分割任务中实现它来说明通用性。我们利用PointNet++ [20]框架将SGM模块集成到分类 和 分 割 任 务 中 , 如 图 3 所 示 。 SGM 放 置 在PointNet++的集合抽象模块中,其作用是提取几何特征,取代原始的xyz坐标。通过这种微小的修改,PointNet++获得了旋转不变性,显示了SGM模块的应用潜力。4. 实验在本节中,我们首先在两个不同的任务上将我们的方法与以前的最先进的方法进行比较:10474−方法输入输入大小z/zz/SO(3)SO(3)/SO(3)PointNet [19][20]第二十话[25]第二十五话pcpc+正常PC1024×35000×61024×389.291.892.216.418.420.675.577.481.1球面CNN [8][22]第二十二话体素PC2×64×641024×388.991.476.984.886.990.1PCA-RI [28]L2G-GCN [1]PCPC1024×31024×388.889.588.889.588.889.5RICNN [32]SRINet [23]集群网络[3]PC个人电脑1024×31024×31024×386.587.087.186.487.087.186.487.087.1SGMNet(我们的)PC1024×390.090.090.0表1.ModelNet40数据集上的形状分类结果我们报告了三种不同训练/测试设置下的总体分类准确度(%):(z/z)、(z/SO⑶)和(SO⑶/SO ⑶)。结果从上到下按旋转敏感方法、旋转稳健(但不是旋转不变)方法、基于LRF和基于PPF的旋转不变方法分组。虽然我们的方法在z/z和SO(3)/SO(3)情况下与旋转鲁棒方法(SFCNN [22])相比不是最好的,但在所有情况下都保持相同的性能并且我们的方法显著优于基于LRF和PPF的旋转不变方法,特别是基于PPF的方法,这些方法也是基于角度和距离的。ModelNet40数据集[27]上的sification任务(Sec. 4.1)和ShapeNet数据集上的部分分割任务[29](Sec. 4.2)。然后,在Sec。4.3,我们进行了广泛的消融研究,以调查SGMNet的关键组成部分,并得出一些有希望的结论。4.1. 分类数据集。我们评估了Model-Net 40 [27]上的分类任务,该任务提供了来自40个对象类别的12311个CAD模型。有9843个模型用于训练,2468个模型用于测试。我们使用PointNet [19]提供的广泛使用的版本,每个点云中包含2048个点我们均匀采样1024个点,并将它们归一化到一个单位球面。注意,仅使用采样点的(x,y,z)实施详情。该网络在单个Tesla V100 GPU上使用SGD优化器从头开始训练。我们训练了250个epoch,批量大小为32,初始学习率为0。001。对于学习率的衰减,采用余弦平均学习率策略.对于模型架构,我们保持与PointNet++ [20]相同,并采用其MLP设置。我们使用Leaky ReLU [15]作为激活函数。交叉熵损失被用作具有标签平滑的损失函数。在训练过程中,我们在范围[0]中随机缩放来增加点云。66,1。5]和范围内的随机平移[ 0。2,0。2]。在测试过程中,我们报告最好的单个模型结果,而不进行任何投票操作。评估指标。与以前的工作[19]相同,我们将总体分类准确度作为度量,公式为acc=Ncorrect/Nall,其中Ncorrect表示正确分类的对象数量,Nall表示总对象数量。结果与[3]类似,我们在三种设置下进行实验:用垂直旋转训练和测试(z/z)、用垂直旋转训练和用任意旋转测试(z/SO(3))以及用任意旋转训练和测试(SO(3)/SO(3))。 如表1所示,结果从上到下按旋转敏感方法、旋转稳健(但不是旋转不变)方法、基于LRF和基于PPF的旋转不变方法分组。虽然我们的方法在(z/z)和(SO(3)/SO(3))情况下与旋转鲁棒方法(SFCNN [22])相比不是最好的,但在所有情况下都保持相同的性能。并且我们的方法显著优于基于LRF和基于PPF的旋转不变方法,特别是也基于角度和距离的基于PPF的方法。然而,当与标准(旋转敏感)网络相比时,在(z/z)设置中仍然存在性能差距[19,20,25]。我们推测造成这种现象的原因是这些标准网络在(z/z)设置下使用了一些独特的信息,即过拟合这类场景。4.2. 部分分割数据集。零件分割是细粒度形状分析的一项具有挑战性的任务我们在ShapeNet部件基准[29]上评估了我们的方法,该基准包含来自16个类别的16,881个形状,总共注释了50个我们遵循[19]中的数据分割,并随机选择2048个点,其中只有坐标xyz作为输入。实施详情。我们保持与PointNet++ [20]相同的模型架构,并将对象标签的one-hot编码连接到最后一个特征层。我们使用ReLU [17]作为激活函数。负对数似然损失在训练期间被最小化其他培训和测试10475NNCNcNsT Ps+FPs+FNs方法输入输入大小z/zz/SO(3)SO(3)/SO(3)PointNet [19][20]第二十话[25]第二十五话个人电脑PC2048×32048×32048×379.380.679.243.045.946.173.975.571.8L2G-GCN [1]PC2048×3-77.277.3RICNN [32]SRINet [23]PCPC2048×32048×3-7775.377.075.577.0我们PC2048×379.379.379.3表2.ShapeNet部件数据集上的部件分割结果我们在三种不同的训练/测试设置中报告了所有类的mIoU:(z/z),(z/SO(3))和(SO(3)/SO(3))。结果从上到下按旋转敏感方法、基于LRF的旋转不变方法和基于PPF的旋转不变方法分组。我们的方法优于其他旋转不变的方法在所有情况下,由一个大的利润率。设置保持与形状分类任务中相同。评估指标。我们使用所有类的平均交集(mIoU)作为评估指标,与PointNet [19]相同。mIoU可以被公式化为:CsCspsmIoU=1Σ[1Σ(1ΣTPi)]c=1% s%s=1pi=1ii我(十七)表3.说明SGM描述符的有效性。整体报告了ModelNet40上的分类准确度(%)[27]其中TPs、FPs、FNs表示真阳性、假阳性,我我我和形状s中的第i部分的假阴性预测,Nsp是形状中的总零件编号,cs Ns是总形状类别c中的数量,并且C是类别的数量。请注意,如果地面实况和预测点的并集为空,则将部分IoU计数为1。结果如表2所示,旋转敏感方法[19,20,25]在z/SO(3)情况下急剧下降,并且我们的方法在所有情况下都显著优于以前的旋转不变方法。该结果与对象分类任务中报告的性能很好地我们的预测和地面实况对象部分的可视化如图4所示。我们可以看到,网络在输入点云上进行任意旋转时产生相同的分割结果在图5中,我们可视化了我们的方法和AECNN [31]在两次旋转下的桌子特征。当围绕AECNN选择为参考点的点O1旋转时,两种方法的桌子特征然而,当围绕另一点O2旋转时,AECNN的特征明显地改变,如图5(b)所示,因为LRF在围绕其他点而不是参考点旋转时改变。因此,这证实了我们的论点,即AECNN不是一个局部旋转不变网络。4.3. 讨论SGM的有效性 SGM描述子本质上是点之间的密集连接角度和距离信息。我们进行了消融实验,以探索SGM的有效性如表3所示,我们可以发现SGM的性能大大优于简化的PPF,这表明SGM确实可以提高表4.模型复杂度比较。报告了在z/SO(3)设置下ModelNet40 [27]上的总体分类准确度(%)。我们的SGMNet基于PointNet++ [20],并不断削减通道以降低模型复杂性。旋转不变网络的性能。模型复杂性。对于依赖于数据扩充来处理旋转问题的网络,它需要更多的参数来适应扩大的输入空间。设计为旋转不变的模型应该具有较低的复杂性,特别是对于那些局部特征也是旋转不变的模型。我们进行了几个实验来证明上述论点,结果如表4所示。我们从两个角度来说明:①的人。 我们提议的股东大会是一个紧凑和强大的局部特征描述,因为性能只下降了一点点(0。4%至1。2%)时,连续切割模型通道以降低复杂度,SGMNet即使使用一半的参数也优于其他旋转不变方法; 2)的情况。所设计的SGM特征描述子对局部旋转具有不变性,从而降低了模型复杂度,特征准确性距离角距离+角度80.685.286.6SGM90.0方法#params(M)z/SO(3)[20]第二十话1.7416.0球面CNN [8]RICNN [32]AECNN(无对齐)[31]0.500.701.9478.686.489.6SGMNet(大)1.8190.0SGMNet(中)0.6789.6SGMNet(小型)0.4489.3SGMNet(小型)0.2388.810476飞机椅子表灯图4. ShapeNet数据集上所提出方法的定性结果。从上到下,我们显示了飞机,椅子,桌子和灯类的部分分割结果。从左到右是地面实况和分割结果,其中输入点云在测试期间任意旋转。我们可以看到,网络在输入点云上进行任意旋转时产生相同的分割结果方法z/zz/SO(3)SO(3)/SO(3)PointNet++ [20] + SGM90.090.090.0RSCNN [14] + SGM88.588.588.5DGCNN [25] + SGM88.988.988.9表5. SGM描述符集成到三个不同点云分析网络时的通用性说明。报告了ModelNet40 [27]的总体分类准确度(%)。图5.局部旋转不变性(RI)特性的图示:a1和b1是同一张桌子。我们首先围绕原点O1(由AECNN [31]选择为参考点)旋转a 1和b 1以获得a2和b2,然后围绕另一个任意点O2旋转a2和b 2以获得a3和b3。颜色表示特征的规范。对于我们的方法,a1和a2(Δa1a2),a2和a3(Δa2a3)在特征空间的差值都接近于0,表现出完美的局部RI性质。对于AECNN [31],b1和b2之间的差(Δb1b2)仍然接近0,而b2和b3之间的差(Δb2b3)则不是。注意b2和b3中两个红色椭圆的明显区别。全局旋转[31],因此具有更广泛的应用潜力,特别是在计算资源受限的情况下。SGM的推广。在表5中,我们展示了SGM作为插入式模块集成到一些流行的点云分析网络中的结果[20,14,25]。所有三个网络在Model-Net 40 [27]上实现了不错的性能,并且在(z/z)、(z/SO(3))和(SO(3)/SO(3))设置下保持相同的性能,这表明SGM的通用性。5. 结论我们提出了一个简单而有效的旋转不变的描述,即排序的Gram矩阵(SGM),局部点云表示。我们将局部邻域中的每对点密集连接起来,通过Gram矩阵获得完整的几何描述,并在数学上证明了它是旋转不变的,足以模拟点云面片的内在结构大量的实验进行分类和分割任务的定性和定量的结果表明,我们的SGM描述器的effectiveness,效率和概括性。a22 3阿21 2Bibb 1e1 2yy一个3B3XOX2O2yyo1Xo1X一个2B2的1(a)我们B1(b)AECNNb2b310477引用[1] Matan Atzmon,Haggai Maron,and Yaron Lipman.基于扩 展 算 子 的 点 卷 积 神 经 网 络 arXiv 预 印 本 arXiv :1803.10091,2018。1[2] Tolga Birdal和Slobodan Ilic。基于点对特征的目标检测和姿态估计。2015年3D视觉国际会议,第527IEEE,2015年。三、四[3] Chao Chen,Guanbin Li,Ruijia Xu,Tianshui Chen,Meng Wang,and Liang Lin. Clusternet:具有严格旋转不变表示的深度层次集群网络,用于点云分析。在IEEE/CVF计算机视觉和模式识别会议论文集,第4994-5002页二三四六[4] TacoSCohen, MarioGeiger , JonasK?hler ,andMaxWelling. 球 形 cnns 。 arXiv 预 印 本 arXiv :1801.10130,2018。3[5] Haowen Deng,Tolga Birdal,and Slobodan Ilic.Ppf折叠网:旋转不变三维局部描述子的无监督学习。第620-638页,2018年9月。3[6] Haowen Deng,Tolga Birdal,and Slobodan Ilic. Ppfnet:全局上下文感知局部特征,用于鲁棒的3d点匹配。在IEEE计算机视觉和模式识别会议论文集,第195-205页,2018年。4[7] Bertram Drost Markus Ulrich Nassir Navab 和 SlobodanIlic。全局建模,局部匹配:高效而稳健的三维物体识别。在2010年IEEE计算机学会计算机视觉和模式识别会议上,第998IEEE,2010年。二、三[8] Carlos Esteves 、 Christine Allen-Blanchette 、 AmeeshMaka- dia和Kostas Daniilidis。用球面cnn学习so(3)等变在欧洲计算机视觉会议(ECCV)的会议中,第52三六七[9] Stefan Hinterstoisser、Vincent Lepetit、Naresh Rajkumar和Kurt Konolige。进一步介绍点对特征。欧洲计算机视觉会议,第834施普林格,2016年。3[10] Max Jaderberg,Karen Simonyan,Andrew Zisserman,Koray Kavukcuoglu.空间Transformer网络。arXiv预印本arXiv:1506.02025,2015。2[11] Seohyun Kim,Jaeyoo Park,and Bohyung Han.三维点云的旋转不变局部到全局表示学习。arXiv预印本arXiv:2010.03318,2020。二三六七[12] 罗曼·克洛科夫和维克多·伦皮茨基逃离细胞:用于三维点云模型识别的深度kd网络。在IEEE计算机视觉国际会议论文集,第863-872页3[13] Yangyan Li,Rui Bu,Mingchao Sun,Wei Wu,XinhanDi,and Baoquan Chen. Pointcnn:X变换点上的卷积。第32届神经信息处理系统国际会议论文集,第828-838页,2018年。第1、3条[14] 刘永成,范斌,S. Xiang和C.锅用于点云分析的关系-形状卷积神经网络2019 年 IEEE/CVF 计 算 机 视 觉 和 模 式 识 别 会 议(CVPR),第8887-8896页,2019年。8[15] Andrew L Maas、Awni Y Hannun和Andrew Y Ng。整流器的非线性改善了神经网络声学模型。在Proc.icml,第30卷,第3页中。Citeseer,2013. 6[16] Daniel Maturana和Sebastian Scherer。Voxnet:用于实时对象识别的3D卷积神经网络。2015年2[17] Vinod Nair和Geoffrey E Hinton。校正线性单元改善受限玻尔兹曼机。InIcml,2010. 6[18] Thomas Pumir,Amit Singer,and Nicolas Boumal.高噪声区的广义正交procrustes问题。arXiv预印本arXiv:1907.01145,2019。4[19] Charles R Qi, Hao Su ,Kaichun Mo, and Leonidas JGuibas.Pointnet:对点集进行深度学习,用于3D分类和分割。arXiv预印本arXiv:1612.00593,2016。一、二、五、六、七[20] Charles R Qi,Li Yi,Hao Su,and Leonidas J Guibas.Point- net++:度量空间中点集上的深度层次特征学习。arXiv预印本arXiv:1706.02413,2017。一、三、五、六、七、八[21] Rao Yongming,Jiwen Lu,and J.舟用于点云识别的球形分形卷积神经网络。2019年IEEE/CVF计算机视觉和模式识别会议(CVPR),第452-460页,2019年。3[22] 饶永明,陆继文,周杰。用于点云识别的球形分形卷积神经网络。在IEEE/CVF计算机视觉和模式识别会议论文集,第452-460页,2019年。6[23] 孙晓,连周辉,肖建国。Srinet:学习- ING严格旋转不变表示点云分类和分割。在第27届ACM国际多媒体会议论文集,第980- 988页,2019年。二三六七[24] Hugues Thomas , Charles R Qi , Jean-EmmanuelDeschaud , BeatrizMarcote gui , Franc oisGoulette ,andLeonidasJGuibas.Kpconv:点云的灵活和可变形卷积。在IEEE/CVF计算机视觉国际会议,第6411第1、3条[25] Yue Wang,Yongbin Sun,Ziwei Liu,Sanjay E Sarma,Michael M Bronstein,and Justin M Solomon.点云学习的动态图cnn。Acm Transactions On Graphics(tog),38(5):1-12,2019。一二三六七八[26] 吴文轩,齐忠昂,李福新。Pointconv:3D点云上的深度卷积网络。在IEEE/CVF计算机视觉和模式识别会议论文集,第9621-9630页,2019年。第1、3条[27] 吴 志 荣 , 宋 舒 然 , Aditya Khosla , Fisher Yu , Lin-guang Zhang , Xiaoou Tang , and Jianxiong Xiao. 3dshapenets:体积形状的深度表示。在IEEE计算机视觉和模式识别会议论文集,第1912-1920页,2015年。二、六、七、八[28] Zelin Xiao,Hongxin Lin,Renjie Li,Lishuai Geng,Hongyang Chao,and Shengyong Ding.基于主成分分析赋予深三维模型旋转不变性。2020年10478多媒体和博览会(ICME),第1-6页。IEEE,2020年。二,三,6[29] Li Yi,Vladimir G Kim,Duygu Ceylan,I-Chao Shen,Mengyan Yan,Hao Su,Cewu Lu,Qixing Huang,AllaShef fer,and Leonidas Guibas.三维形状集合中区域标注ACM Transactions on Graphics(ToG),35(6):1-12,2016. 6[30] Yang You , Yujing Lou ,
下载后可阅读完整内容,剩余1页未读,立即下载
![m](https://img-home.csdnimg.cn/images/20210720083646.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 保险服务门店新年工作计划PPT.pptx
- 车辆安全工作计划PPT.pptx
- ipqc工作总结PPT.pptx
- 车间员工上半年工作总结PPT.pptx
- 保险公司员工的工作总结PPT.pptx
- 报价工作总结PPT.pptx
- 冲压车间实习工作总结PPT.pptx
- ktv周工作总结PPT.pptx
- 保育院总务工作计划PPT.pptx
- xx年度现代教育技术工作总结PPT.pptx
- 出纳的年终总结PPT.pptx
- 贝贝班班级工作计划PPT.pptx
- 变电值班员技术个人工作总结PPT.pptx
- 大学生读书活动策划书PPT.pptx
- 财务出纳月工作总结PPT.pptx
- 大学生“三支一扶”服务期满工作总结(2)PPT.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)