没有合适的资源?快使用搜索试试~ 我知道了~
面向差异性的点云配准位置均衡方法
5490XYX面向差异性的点云配准位置均衡方法TaewonMin*KAISTChonghyukSong*Eunseok Kim*添加摘要最近基于学习的点云配准方法主要基于图神经网络(GNN)。然而,这些突出的GNN主干遭受与高级特征的过平滑和结构模糊相关联的不可区分的特征问题,这是点云配准的关键瓶颈,在最近的相关文献中已经逃避了审查。为了解决这个问题,我们提出了一种 新 的 位 置 嵌 入 方 案 , 即 DistinctivenessorientedPositionalE equilibrium(DoPE)模块,它显著提高了源点云和目标点云中高级特征的独特性具体而言,我们在迭代配准框架中使用DoPE模块,从而通过从DoPE的位置感知特征计算的刚性变换来逐渐配准两个点云随着每次连续迭代,DoPE模块将越来越一致的位置信息馈送到可能的对应对,这进而增强了用于估计刚性变换的所得点对点对应预测。仅在几次迭代内,网络就收敛到所需的平衡,其中给予匹配对的位置嵌入变得基本相同。我们通过对各种注册基准测试、注册任务设置和突出骨干的全面实验来验证DoPE的有效性,从而在所有组合中获得前所未有的性能改进1. 介绍点云配准是一项众所周知的任务,通过该任务,两个点云经由刚性变换进行匹配。对于源点云和目标点云、配准问题是找到一个刚性变换,使Y*这项工作是在Taewon Min,Chonghyuk Song和Eun-seok Kim在国防开发署(ADD)工作时完成的。†通讯作者:iwshim@add.re.kr和 被 改 造 的 人 在 诸 如 3D 重 建 和 同 时 定 位 和 映 射(SLAM)的许多应用中,配准过程长期依赖于传统的、基于非学习的算法来预测最佳刚性变换。最近,深度学习方法在各种3D视觉任务中带来了显著的进步,包括分类、分割和点云配准。许多基于学习的配准方法[18,19,24,5,25]中的一个共同主题是它们由以下组成:1)特征提取主干,通常是图神经网络(GNN),其通过迭代局部聚合生成每点特征描述符,随后是2)特征匹配步骤,其计算点对点匹配性得分,或(软)对应关系,使用其提取的特征在源点云和目标点云之间进行。例如,深度最近点(DCP)[18]通过与指针生成相结合的注意力从学习的特征中计算点对应关系,以便从初始化开始对网络进行去敏感化并避免局部最小图像。RPM-Net [24]将鲁棒点匹配(RPM)[3]纳入特征匹配步骤,以便也能够处理离群值和丢失的对应关系。另一方面,DeepGMR [25]通过学习从两个点云到学习的潜在空间内的共同分布的对应关系,避免了穷举的点对点对应关系虽然这些最近的方法已经对特征匹配步骤做出了显著的改进并且显示了最先进的性能,但是它们忽略了特征提取的关键设计考虑,该特征提取可能严重影响注册准确性:源点云和目标点云内的每点特征的独特性;也就是说,为了获得用于估计最佳刚性变换的精确的点到点对应关系,期望的点特征应当充分地表示任何给定点的邻域中的几何图案,同时仍然能够与围绕同一点云中的其他点的局部图案足够地区分。然而,通常用于将输入点云嵌入特征空间[12,20]的许多GNN主干容易受到过平滑[6,17,1]和结构性的影响。549101 01 01 01 015.34(R)/0.022(t)(a) 仅GNN4.74(R)/0.022(t)(b) 局部注意力4.45(R)/0.020(t)(c) 非本地关注1.04(R)/0.006(t)(d) DoPE*0.80(R)/0.006(t)(e) DoPE认证图1:在特征空间中使用余弦相似性得分的不可区分特征问题的可视化上面一行的图表示源点云的自相似性矩阵;下面一行的图可视化了3D空间中红色封闭圆圈中的点与组成椅子的所有点之间的相似性DoPE*和DoPE**分别使用本地和非本地注意力来消除特征歧义。每个数字下面的数字表示旋转(R) 翻译错误(T)注意,增强集合内独特性一致地提高配准准确度。模糊性,导致无法区分的点特征。图1a示出了这种现象,此后称为不可区分特征问题,其导致与精确配准所需的尖锐匹配相反的大量模糊的点对点为 了 解 决 这 些 问 题 , 我 们 提 出 了DistinctivenessorientedPositionalEequilibrium(DoPE),这是一种新型的轻量级位置嵌入模块,其显著改善了源点云嵌入和目标点云嵌入的集内独特性,从而增强了结果点到点对应性。具体地,DoPE通过用相对于组合的源和目标点云的质心计算的全局位置信息来增强每点特征来消除每点特征的歧义,所述质心充当共享坐标系的原点。我们在迭代配准框架中使用此DoPE模块,其中两个点云通过从DoPE联合原点和对应矩阵被交替地细化,使得DoPE模块将越来越一致的位置信息馈送到可能的对应对,并且增强用于估计刚性变换的所得对应预测,这进而更新用于在下一次迭代中提供位置嵌入的联合原点。在仅仅几次迭代内,网络收敛到所谓的位置平衡,即期望的具有高配准精度的固定点,其中给予匹配对的位置嵌入变得基本相同。总之,贡献如下:• 我们确定和分析的影响因素,难以区分的功能问题,一个关键的瓶颈点云注册,是普遍存在的GNN为基础的架构,但在最近的注册文献逃避审查。• 为了解决这个问题,我们提出了具有方向性的位置均衡(DoPE)模块,一种新颖的位置嵌入方案,其消除点特征并增强所得到的刚性变换预测。我们使用DoPE作为迭代配准框架的一部分,由此两个点云通过从DoPE的位置感知特征计算的刚性变换逐渐对齐• 我们通过将该模块集成到最先进的配准体系结构中,并在各种配准数据集和任务设置上进行全面的实验,证明了DoPE的有效性,从而在所有组合。2. 相关工作点云上的深度学习点云上的深度学习是由PointNet [11]开创的,它直接与5492≤≤联系我们X {} Y{X Y}XYΣΣYXΣǁ −ǁ在没有任何近似变换的情况下对输入点云求和(例如,体素化或2D投影)通过使用共享的多层感知器(MLP)独立地嵌入每个输入点。PointNet还通过使用最大池化层作为对称函数聚合最终特征来实现置换不变性。然而,输入点的独立处理排除了点网络能够捕获其特征中的局部几何形状,这一特征已被证明对点云配准具有重要意义[18]。图神经网络(GNN)提供了一种自然的方式来编码的局部几何的点云凭借在每一层的本地聚合。例如,Point-Net++ [12]递归地将PointNet应用于本地构造的图(例如,球查询或k-NN图);动态图卷积神经网络(DGCNN)[20]在特征空间中构建局部邻域图,并在连接相邻点对的边缘上应用局部特征聚合。虽然基于GNN的方法对点云分类和分割等3D视觉任务做出了显著改进,但许多GNN主干易于过平滑[6,17,1]和结构模糊,导致无法区分的点特征,这对点云配准中的特征匹配步骤不利。基于学习的配准最新的基于学习的配准方法[18,19,24,5,25]主要集中在改进输入点云的嵌入式特征描述符之间的匹配过程,这些特征描述符通常由图神经网络(GNN)生成。具体而言,DCP [18]通过与指针生成相结合的注意力从学习的特征中找到匹配的对应关系,而RPM-Net [24]将Ro-bust Point Matching [3]纳入学习框架,以便能够处理丢失的对应关系。PRNet[19]和IDAM [5]都提取关键点,然后迭代地找到关键点到关键点的对应关系。DeepGMR [25]明确提出了一种使用高斯混合模型(GMM)参数的概率配准模型然而,这些方法仍然没有注意到以下事实:通常用于嵌入输入点云的GNN主干易于出现不可区分的特征问题,从而严重缺乏从嵌入的特征生成准确的点对点对应所需在本文中,我们识别和分析的不可区分的特征问题的影响因素,并提出了一种新的位置嵌入模块,显着提高了每点特征的集内区分。并行工作[8]还建议使用位置编码来提高点描述符的集内独特性。然而,[8]中的位置编码方案仍然是每个点云的本地编码方案,并且是源X特征提取掺杂特征匹配SVD!目标Y图2:迭代配准过程的总体流程而不是完全意识到所提出的方法无意中解决的潜在注册瓶颈。另一方面,DoPE,完全由不可区分的功能问题,饲料的位置嵌入计算相对于组合的源和目标点云的质心,这作为一个共享的坐标系的原点。因此,网络在迭代配准过程期间仍然知道点云的相对空间取向,这是我们在实验上证明对DoPE3. 预赛3.1. 问题陈述点云配准是找到最佳对齐两个未对齐点云的刚性变换的过程。设是两个有限点集,分别包含J点和K假设x1,x2,x3,…XN并且yX1、yX2、yX3、… yxN是 两 组 对 应 的点云,N是对应对的数量(NJ和NK),最优旋转R_t和平移R_t估计如下:N(R,t)=argmin(Rxi+t)yi2,(1)R∈SO(3),t∈R3i=1其中,(R,t)包括最佳对齐两个点云的rig_ id变换3.2. 迭代配准过程为了找到等式中的最佳变换。(1),许多作品[19,24,5]遵循图2所示的迭代过程。在每次迭代中,源点云和目标点云首先被馈送到特征提取层以生成高级特征。接下来,特征匹配层找到点对点对应。最后,opti-maltransformationT=Rt;01使用奇异值分解(SVD)[14]。整个亲-cess重复,和通过在先前迭代中计算的T进行变换在这项工作中,我们提出了一个轻量级的,高效的模块称为DoPE,并使用它作为这个迭代注册框架之间的fea-5493YXXY1 2JJK真实提取和匹配层。通过这样做,我们增强了每一次迭代的中间特征的集内独特性,并实现越来越多的精确点对点对应。3.3. 基于学习的点云配准在这一小节中,我们识别并分析了上述不可区分特征问题的成因。在这样做的过程中,我们证明了缺乏内部集的独特性一直是一个巨大的瓶颈,最新的基于GNN的注册架构,并描述了DoPEGNN中不可区分的特征主要以两种方式来管理:首先,经验表明,各种各样的GNN易于出现过平滑问题[6,17,1],这是一种现象,由此在每个GNN层中重复应用消息传播步骤使得所有图形节点朝向整个点云上的类似特征收敛,如图1a所示。这对下游注册过程是严重有害的,因为如果点集的所有点特征之间存在非常小的差异,则这使得网络寻找点集的给定点的最佳匹配具有挑战性,反之亦然。GNN中的过平滑问题可以通过注意力机制[10,9]在一定程度上缓解,这要归功于它们的数据相关的注意力加权聚合方案,其中已经针对图像的CNN中的过平滑进行了类似的配置[27,21]。这在图1中得到了证实,其中由本地(图1b)和非本地(图1c)注意处理的主干的特征比原始香草特征(图1a)明显更独特。更值得注意的是,集合内独特性的增加伴随着配准的有意义的改善错误.然而,基于注意力的特征聚合未能解决什么是对indistin的更微妙的贡献因素将每条腿定位到目标点云中的正确对应物。如图1d和1e所示,位置嵌入进一步将组内独特性增强到其上限,从而显著提高配准准确性。这表明,尽管结构模糊性4. 该方法我们现在提出DoPE,这是一种用作迭代配准框架(图2)的一部分的新型位置嵌入单元,其消除了骨干GNN特征的歧义,以实现更有效的在第4.1节中,我们介绍了DoPE模块的组成操作及其属性;在第4.2节中,我们描述了DoPE模块的迭代应用如何将网络收敛到位置平衡,位置平衡是具有高配准精度的固定点,其中匹配点被给予基本相同的位置嵌入;最后,在4.3节中,我们概述了损失函数,该损失函数用于以端到端的方式进一步鼓励特征消歧。4.1. DoPE模块联合起源更新DoPE模块通过位置嵌入消除骨干特征的歧义,然后进行非局部注意力操作。为了将位置嵌入馈送到源点云和目标点云两者,我们首先计算关节原点,即定义位置信息的共享坐标系的原点。在配准流水线的前向传递的迭代t中,我们将joint-ori ginz¯(t)更新为X(t)={x(t),x(t),· · ·,x(t)}和Y={yi,y2,· · ·,yK}:z<$(t)=1 (Σx(t)+Σy),(2)可猜测的GNN特性:结构歧义,由编码在J+K我i=1我i=1突出的GNN主干[18,19,24,5]的消息传播步骤,其呈现点云的分离的例如,图1b和1c中由红色圆圈包围的点特征与位于椅子的其他腿上的对应点保持相似。由于源点云中的局部相似结构与目标点云中的局部相似结构之间的虚假匹配,这样的特征可能潜在地妨碍注册过程。这是所提出的DoPE模块中的位置嵌入进入等式的地方;它为网络提供了额外的线索,以区分四条腿,并能够适当地匹配联合起源是DoPE模块的一个重要方面。相对于共享坐标系计算位置嵌入允许网络在迭代配准期间保持此外,将联合原点更新为组合点云的质心强制了特殊类型的平移不变性,由此DoPE模块将相同的位置嵌入集合馈送到在3D空间中具有相同相对配置但位于不同绝对位置的点云对因此,我们的配准架构对于数据集本身甚至整个迭代过程中可能发生的变化是不变的,从而缩小了配准的空间5494J!!!!���!��������� ≈������JJ我J我Σ不(a) 地面实况(b) 初始输入(c) 第1次迭代(d) 第2次迭代(e) 第3次迭代图3:根据重新登记迭代的联合原点z<$(t)的更新过程。来自两个匹配点x(t)和yk的联合原点的位置信息变得越来越相同。培训方案所面临的DoPE模块,并有利于整个培训程序。为了消除主干特征的歧义,位置平衡通过自关注将关于联合原点的位置信息与主干高级特征在第t次迭代后估计关节原点<$z(t)后,位置平衡首先计算每个点的位置嵌入,然后添加到主干特征,如下所示:预测进而,从该对应矩阵估计的刚性变换更新用于在下一次迭代中提供位置嵌入例如,在图3中,我们对飞机的源(蓝绿色)和目标(粉红色)点云假设xj和yk是位于飞机发动机部分的源点和目标点的对应对。我们把x0记为xj的初始点. 在配准过程开始时(图3b),x0和yk的位置信息彼此不那么接近,导致图3c中的失配因为Fxi ←Fxi +M(x(t)−¯z(t)),(三)x0和yk的位置信息越接近,网络供参考 ←Fyi +M(yi−¯z(t)),预测更正确的对应矩阵(图3d.)在仅几次迭代内,x(t)收敛到y,indicate-其中M是共享多层感知器(MLP)。在ad-JK的除了将位置嵌入添加到骨干特征中之外,通过自我注意[16]聚合其他上下文线索可以直观地增加每个点的独特性,如下所示:位置平衡,其中位置如图3e所示,给予匹配对的垫料变得基本相同。4.3.损失函数Fxi ←j∈ΣS(X)αxijFxj, Fyi ←j∈ΣS(Y)αyij Fyj,(4)为了鼓励网络学习不同的特征描述符,我们采用了基于平衡状态对应矩阵的损失函数。对于IDE-其中αxij=Softmaxj(qxikxj)是通过设置qx=Fxi和kxj,第i个查询和x的第j个关键特征之间的相似度=Fxj。 αyij也定义为与αxij相同。 因为Eq. (4)具有二次时空复杂度。我们对键进行采样)以利用轻量存储器和计算来对长范围依赖性进行建模。受[4]的启发,我们使用随机采样来均匀地选择从其中聚合特征的随机采样点。由于NS,DoPE的复杂度低,为O(N·S)的阶。4.2.位置平衡在图2中概述的迭代配准框架中,联合原点和对应矩阵交替细化,使得DoPE模块向可能的对应对馈送越来越一致的位置信息,并增强所得到的对应性对于不同的特征描述符,特征描述符应当在匹配对之间具有高相似性,并且应当在非匹配对之间具有低相似性假设从特征匹配层输出的对应矩阵如下:P={pjk}J×K,0≤pjk≤1(5)在不损失一般性的情况下,pjk是Fxj和Fyk。 因为平衡状态对应矩阵的每个元素p,j,k对于除了x,j和y,k是匹配对(即,e. 如果xj和yk是匹配对,则pjk=1,如果不是匹配对,则pjk=0),它们与地面实况对应矩阵的元素相同,因此我们监督我们的网络学习地面实况对应关系,如下所示:JLcorr=−log(pjk*),(6)j=15495Lk=1L−N反式22其中yk*是与源点xj对应的真实目标点。对应损失corr是[5,2]中使用的交叉熵损失。我们专门使用这种损失,对(ΣKpjk=1.)对应性损失容易出现过拟合问题lem,因为它引导关于所有匹配对的点对点对应。为了减轻过拟合,我们另外将变换损失trans添加到网络的总损失中作为正则化项,如下所示:Ltotal=Lcorr+λLtrans,(7)表1:ModelNet40完整+干净数据集其中L=RTR−I2+t−t2也可用于现有方法[18,19,24,2,25]。如第3.2节所述,我们将DoPE融合到其他配准方法中,并计算每第t次迭代的总损失。5. 实验在以下部分中,我们将评估性能 我们的DoPE的插入到各种基线注册方法与各种数据集。基于学习的配准方法,如深度闭合点(DCP [18]),PRNet [19],RPM-Net [24],迭代距离感知矩阵卷积(IDAM [5]),DeepGMR [25]和深度全局配准(DGR [2])被认为是我们的基线网络 。 采 用 对 象 级 数 据 集 ( ModelNet40 [22] ,ScanObjectNN [15] ) 和 场 景 级 数 据 集 ( 3DMatch[26])。我们报告了原始论文和基线方法结果的重新运行之间的优越结果。5.1. 对象级数据集ModelNet40数据集由12,311个模型组成40个类别。与DCP [18]一样,我们将12,311模型分为9,843个用于培训,2,468个用于测试。在训练过程中,我们在[0,45◦]和[0. 5,0。5),分别。然后,我们测量均方根误差(RMSE)和地面真实值(R*,t*)与预处理dicted(R,t). 旋转测量是度。We使用DCP,PRNet,IDAM,RPM-Net作为我们的基线方法对象级数据集。完整数据完整数据设置意味着源点云和目标点云的所有点都具有精确的一对一对应关系。具体来说,我们遵循DCP [18]的实验设置来获取ModelNet40的完整数据,从ModelNet40的每个模型的表面采样1024个表1显示了完整数据的配准结果,未使用表2:ModelNet40完整+噪声数据集点的任何扰动(完整+干净数据集。)DoPE显著地提高了基线方法的性能。RPM-Net+DoPE尤其在旋转度量方面实现了数十倍的性能改进,与基线性能相比。此外,我们还研究了表2中对高斯噪声的鲁棒性。我们添加了分布为(0,0. 01)对源点云和目标点云中的每个点进行独立的匹配,使得某些点不能有精确的匹配点。表2示出了DoPE在存在噪声的情况下仍然显著地改善了跨所有基准的配准性能,尽管匹配点的位置信息由于噪声而可能不相同。部分数据由于点云配准在实际应用中主要发生在部分重叠的点云我们从每个源点云和目标点云中随机选取一个点,然后从全部1024个点中计算768表3示出了部分+清洁模型-Net 40的结果。DoPE增强了所有基线特别地,具有DoPE的DCP令人惊讶地优于关于所有性能度量的其他基线方法,尽管DCP没有明确地处理部分重叠的配准问题。这表明特征的区别性对于点云配准是重要的。我们还用高斯噪声(部分+噪声数据集)进行了实验,并表明我们提出的模块对表4中的噪声也是鲁棒的模型RMSE(R)↓MAE(R)↓RMSE(t)↓MAE(t)↓DCP [18]1.1433850.7705730.0017860.001195DCP+DoPE0.3834300.0852780.0012240.000512PRNet [19]2.14250.9600.009430.006PRNet+DoPE0.2645310.1588850.0036690.002054IDAM [5]1.5569971.0149150.0197740.012126IDAM+DoPE0.5430970.3094200.0034950.002103RPMNet [24]0.0840.0280.000320.00016RPMNet+DoPE0.00170.00090.000030.00003DeepGMR [25]0.01250.00080.00010.0000DeepGMR+DoPE0.0030.00020.00000.0000模型RMSE(R)↓MAE(R)↓RMSE(t)↓MAE(t)↓DCP [18]7.2244.5280.05140.0345DCP+DoPE3.47701.62400.00710.004396PRNet [19]2.7551831.2190110.0104280.007927PRNet+DoPE0.6156370.4250770.0063960.004585IDAM [5]2.39170.83350.0087600.004363IDAM+DoPE0.9001240.5646580.0051790.003647RPMNet [24]1.15870.3430.00680.0030RPMNet+DoPE0.10570.07950.0010110.0007823DeepGMR [25]1.753191.006460.004850.002849DeepGMR+DoPE0.92050.60730.0029590.001998549622ǁ − ǁ图4:DCP+DoPE(上)和DCP(下)之间的匹配对的定性比较绿线表示正确匹配对,而红线指示不正确匹配对。模型RMSE(R)↓MAE(R)↓RMSE(t)↓MAE(t)↓模型RMSE(R)↓MAE(R)↓RMSE(t)↓MAE(t)↓DCP [18]6.7094.4480.0270.020DCP [18]7.9234675.7499130.0257230.020359DCP+DoPE1.91250.8001020.0114670.006442DCP+DoPE4.5562731.7313770.0095490.004982PRNet [19]PRNet+DoPE3.19930.5141251.4540.3116340.0160.0085710.0100.005826PRNet [19]PRNet+DoPE1.44860.2715680.7110520.2019600.00660.0046690.00500.003531IDAM [5]IDAM+DoPE2.950.4058340.760.3072740.0210.0020630.0050.001598IDAM [5]IDAM+DoPE2.37180.90631.29680.57370.0105780.00580.0055940.0037沪公网安备31010502000112号RPMNet+DoPE0.1944 0.1178 0.001889 0.001250表3:ModelNet40 partial+clean数据集DeepGMR [25] 2.79 1.223 0.0085 0.0061DeepGMR+DoPE1.48 0.7713 0.0057 0.0038表5:ScanObjectNN数据集IDAM [5] 3.72 1.85IDAM+DoPE0.560017 0.423182 0.003644 0.002962沪公网安备31010502000114号RPMNet+DoPE0.2143 0.1566 0.001917表4:ModelNet40部分+噪声数据集为了比较每种方法的泛化能力,我们使用在表4中的完整 + 噪 声 ModelNet40 数 据 集 上 训 练 的 模 型 在ScanObjectNN数据集上进行测试。由于ScanObjectNN是从扫描的室内场景数据中提取的真实世界点云对象数据集,该数据集由15个类别的15,000个对象组成,因此ScanObjectNN包含与合成CAD数据集-ModelNet40显著不同的对象。由于ScanObjectNN数据是从扫描的场景数据中提取的,因此每个对象数据中可能包含背景元素或附近对象的部分,甚至点云的密度也是不均匀的。ScanObjectNN的结果如表5所示,表明DoPE模块即使在不熟悉的数据中也能很好地工作。5.2. 场景级数据集对 于 场 景 级 数 据 集 , 我 们 使 用 真 实 世 界 室 内3DMatch数据集[26],其由3D点云组成表6:3DMatch数据集对从八个不同的场景与地面真值变换估计从RGB-D重建和使用DGR作为我们的基线。在每个5cm体素内对单个点进行子采样以生成具有均匀密度的点云。我们遵循训练/测试分割和标准流程,以生成至少30%重叠的对,用于训练和测试。与合成数据集的误差度量不同,我们使用DGR的误差度量来进行公平竞争。型坯:旋转误差(RE)作为rccosTr(RTR)−1,transla-标准误差(TE)astT2,并召回。Recal 11是成功配准的比率,并且我们将成功配准定义为RE小于15度并且TE小于0.3m的情况。表6总结了3DMatch数据集的实验结果。DGR+DoPE显著优于基线,表明DoPE在场景级数据集中可以很好地扩展。模型RMSE(R)↓MAE(R)↓RMSE(t)↓MAE(t)↓模型回忆↑TE(cm)↓RE(deg)↓DCP [18]7.8847865.8340280.0405860.030548FGR [28]42.70%10.604.08DCP+DoPE5.88853.14870.01700.0104RANSAC-2M [13]66.10%8.853.00PRNet [19]4.3232.0510.0170.012[13]第十三话70.70%9.162.95PRNet+DoPE0.614777 0.406517 0.009008 0.006338Go-ICP [23]22.90%14.705.38超4PCS [7]21.60%14.105.25ICP(P2Point)[29]ICP(P2平面)[29]6.04%6.59%18.1015.208.256.61DGR [2]91.3%7.342.43DGR+DoPE百分之6.091.635497GNN(DCP)LAN-LAIndiv.关节MAE(R)↓ MAE(t)↓J5.34 0.022J J4.74 0.022J J J2.38 0.021J J J1.040.006J J4.45 0.020J J J3.86 0.0250.80 0.006表7:各组分对配准性能型号参数数FLOP数推断时间(ms)DCP [18] 5.60M 29B 18DCP+DoPE7.80M 33B 21PRNet [19] 5.70M 90B 606. 分析6.1.消融研究表7显示由DoPE引起的性能改进很大程度上归因于位置嵌入w.r.t.联合起源,而不仅仅是对现有操作(如自我注意和位置嵌入)的简单采用。表7表明联合原点的使用不是任意的,并且实际上是DoPE影响 关于L Corr表9:各种方法的效率图4中最左边的对象更详细地示出了水平稳定器上的线表示DCP+DoPE中的源点云和目标点云之间的精确的一对一匹配,而DCP中的线表示模糊和不正确的匹配。通过这些定性的可视化结果,我们进一步说明了由GNN骨干的过度平滑和结构模糊引起的问题,以及DoPE如何减轻它们的影响。6.3.效率分析我们使用网络参数的数量、FLOP的数量和表8显示,注册准确性的提高主要归因于DoPE,而不是对应关系型号LcorrMAE(R)↓MAE(t)↓DCP [18] No4.45 0.02是DCP+DoPE编号1.33 0.009是0.80 0.006PRNet [19]否1.45 0.010推理时间。估计处理一对输入点云的FLOPs和推理时间。我们使用与每种方法报告的相同的超参数设置。表9表明,与基线模型相比,DoPE模块几乎没有带来额外的复杂性,这表明DoPE的潜在可扩展性损耗LCorr. 简单1.72 0.018PRNet+DoPE编号0.31 0.006到处理大型数据设置的模型。添加正确的-性能,而 DoPE模块是0.20 0.002是0.12 0.0011表8:Lcorr7. 结论在本文中,我们呼吁注意基于GNN的特征配准的缺点,即与过平滑和结构模糊相关的不可分辨的特征问题。这些构成问题激发了通过增强逐点的因此,通信链路可以被配置为用于通信,并且由此使得骨干网能够更好地平衡通信损失。6.2. 可视化分析在图4中,我们通过其点对点对应矩阵可视化DoPE模块的影响。具体地,当两个点之间的匹配得分超过0.01(即, 如果p,j ,k>0。01)。如果对应关系正确,则该线为绿色,如果不正确,则为红色 通过比较几个ModelNet40对象的DCP和DCP+ DoPE的对应矩阵,我们看到DCP+ DoPE比DCP对所有对象预测更准确的匹配矩阵。DoPE是一种新的位置嵌入模块,其显著增强了由突出的GNN主干生成的每点特征的集合内独特性,并因此增强了所得的点对点对应性。DoPE计算相对于组合点云的联合原点的位置信息,迭代地细化联合原点和对应矩阵,直到收敛到平衡,其中两个点云的位置嵌入变得基本上相同。我们证明,DoPE模块显着提高了所有实验设置组合的配准性能。此外,我们希望我们对无法区分的特征问题的分析能够激励未来设计一个专门针对点云注册的独立GNN主干。曼斯。LA:局部关注,N-LA:非局部关注,In-div. :相对于. r.t.计算的位置嵌入个别原DeepGMR+DoPE1.84M6.4B4Gin(每个点云的质心),关节:位置嵌入-计算的相对湿度联合起源DGR [2]DGR+DoPE243.87M244.11M2 796B2,802B2,1002,200PRNet+DoPE8.00M99B68IDAM [5]0.09M1B0.4IDAM+DoPE0.12M1.3B0.5RPMNet [24]1.82M61B36RPMNet+DoPE2.13M78B46DeepGMR [25]1.64M5.8B3海绵状 输给RPMNet [24]没有0.840.008基线实际上-是的1.410.012盟友 阻碍每-RPMNet+DoPE没有0.140.00135498引用[1] Deli Chen,Yankai Lin,Wei Li,Peng Li,Jie Zhou,and Xu Sun.从拓扑观点度量和缓解图神经网络2020年AAAI人工智能会议(AAAI)[2] Christopher Choy,Wei Dong,and Vladlen Koltun.深度全局配准。IEEE计算机视觉和模式识别会议,2020。[3] Steven Gold , Anand Rangarajan , Chien-Ping Lu ,Suguna Pappu,and Eric Mjolsness.用于2D和3D点匹配的 新 算 法 : 姿 态 估 计 和 对 应 。 Pattern Recognition(PR),31(8):1019[4] Qingyong Hu,Bo Yang,Linhai Xie,Stefano Rosa,Yulan Guo,Zhihua Wang,Niki Trigoni,and AndrewMarkham. Randla-net:大规模点云的高效语义分割。IEEE计算机视觉和模式识别会议(CVPR),2020。[5] Jiahao Li , Changhao Zhang , Ziyao Xu , HangningZhou,and Chi Zhang.迭代距离感知相似性矩阵卷积与相互监督点消除,用于高效点云配准。欧洲计算机视觉会议(ECCV),2020年。[6] Qimai Li,Zhichao Han,and Xiao-Ming Wu.深入了解用于半监督学习的图卷积网络2018年AAAI人工智能会议(AAAI)。[7] Nicolas Mellado、Dror Aiger和Niloy J.米特拉通过智能索引的超计算机图形论坛(CGF),33(5):205[8] Taewon Min,Eunseok Kim和Inwook Shim。用于点云配准 的 几 何 引 导 网 络 。 IEEE Robotics and AutomationLetters(RA-L),6(4):7270[9] Yimeng Min,Frederik Wenkel,Guy Wolf. Scatter- inggcn:Overcoming oversmoothness in graph convolutionalnetworks.神经信息处理系统进展(NeurIPS),2020年。[10] 赫沙姆·穆斯塔法和马塞尔·纳萨尔置换面体-gcn:用全局 注 意 力 绘 制 卷 积 网 络 。 arXiv 预 印 本 arXiv :2003.00635,2020。[11] Charles R Qi, Hao Su ,Kaichun Mo , and Leonidas JGuibas.Pointnet:对点集进行深度学习,用于3D分类和分割。在IEEE计算机视觉和模式识别会议(CVPR),2017。[12] Charles Ruizhongtai Qi,Li Yi,Hao Su,and Leonidas JGuibas. Pointnet++:度量空间中点集的深度层次特征学习。神经信息处理系统进展(NeurIPS),2017年。[13] Radu Bogdan Rusu,Nico Blodow和Michael Beetz。快速点特征直方图三维配准。 IEEE机器人与自动化国际会议(ICRA),2009年。[14] 奥尔加·索金-霍恩和迈克尔·拉比诺维奇。利用svd的最小二乘刚体运动。Computing,1(1):1[15] Mikaela Angelina Uy 、 Quang-Hieu Pham 、 Binh-SonHua、Duc Thanh Nguyen和Sai-Kit Yeung。重温点云分类:新的基准数据集和分类-真 实 世 界 数 据 的 阳 离 子 模 型 IEEEInternationalConference on Computer Vision(ICCV),2019年。[16] 作者:Ashish Vaswani,Noam Shazeer,Niki Parmar,Jakob Uszko-reit,Llion Jones,Aidan N.戈麦斯,卢卡斯凯泽,伊利亚·波罗苏欣。注意力是你所需要的神经信息处理系统进展,2017年。[17] Guangtao Wang,Rex Ying,Jing Huang,and LeskovecJure.改进基于大边缘约束的图注意力网络arXiv预印本arXiv:1910.11945,2019。[18] Yue Wang和Justin M.所罗门深度最近点:点云配准的学习 表 示 。 IEEEInternational Conference on ComputerVision(ICCV),2019年。[19] Yue Wang和Justin M Solomon。Prnet:用于部分到部分配 准 的 自 我 监 督 学 习 。 神 经 信 息 处 理 系 统 进 展(NeurIPS),2019年。[20] Yue Wang,Yongbin Sun,Ziwei Liu,Sanjay E Sarma,Michael M Bronstein,and Justin M Solomon.点云学习的动态图cnn。ACM Transactions on Graphics(TOG),38(5):1[21] Zhihui Wang,Shijie Wang,Shuhui Yang,Haojie Li,Jianjun Li,and Zezhou Li.基于高斯混合模型的弱监督细粒度图像分类。IEEE计算机视觉和模式识别会议(CVPR),2020。[22] 吴 志 荣 , 宋 舒 然 , Aditya Khosla , Fisher Yu , Lin-guang Zhang , Xiaoou Tang , and Jianxiong Xiao. 3dshapenets:体积形状的深度表示。在IEEE计算机视觉和模式
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 电力电子系统建模与控制入门
- SQL数据库基础入门:发展历程与关键概念
- DC/DC变换器动态建模与控制方法解析
- 市***专有云IaaS服务:云主机与数据库解决方案
- 紫鸟数据魔方:跨境电商选品神器,助力爆款打造
- 电力电子技术:DC-DC变换器动态模型与控制
- 视觉与实用并重:跨境电商产品开发的六重价值策略
- VB.NET三层架构下的数据库应用程序开发
- 跨境电商产品开发:关键词策略与用户痛点挖掘
- VC-MFC数据库编程技巧与实现
- 亚马逊新品开发策略:选品与市场研究
- 数据库基础知识:从数据到Visual FoxPro应用
- 计算机专业实习经验与项目总结
- Sparkle家族轻量级加密与哈希:提升IoT设备数据安全性
- SQL数据库期末考试精选题与答案解析
- H3C规模数据融合:技术探讨与应用案例解析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功