没有合适的资源?快使用搜索试试~ 我知道了~
15859PointDSC:使用深度空间一致性的鲁棒点云配准白旭阳1罗子欣1周磊1陈宏凯1李磊1、胡泽宇2傅洪波3戴洁兰11香港理工大学2香港理工大学3香港城市大学{xbaiad,zluoag,lzhouai,hchencf,llibb,zhuam,taicl}@ cse.ust.hkhongbofu@cityu.edu.hk摘要去除离群点对应关系是基于特征的点云配准成功的关键步骤之一尽管在该领域引入深度学习技术越来越受欢迎,但空间一致性基本上是通过点云之间的欧几里得变换建立的,在现有的学习框架中几乎没有受到任何关注在本文中,我们提出了PointDSC,这是一种新型的深度神经网络,它将空间一致性用于修剪离群对应。首先,我们提出了一个非局部特征聚合模块,加权的特征和空间相干性,特征嵌入的输入对应。其次,我们制定了一个可微的光谱匹配模块,由成对的空间compatibility监督,以估计每个对应的内点置信度从嵌入的功能。在适度的计算成本下,我们的方法在几个真实世界数据集上的表现明显优于最先进的手工制作和基于学习的离群值拒绝方法。我们还展示了它的广泛适用性相结合的PointDSC与不同的3D局部描述符。[代码发布]1. 介绍最先进的基于特征的点云配准流水线通常从局部特征提取和匹配开始,然后进行离群值拒绝以实现鲁棒对准。虽然3D局部特征[4,39,18,27,32]发展迅速,但特征匹配产生的对应关系仍然容易出现离群值,特别是当场景片段的重叠很小时。在本文中,我们专注于开发一个强大的离群值拒绝方法,以减轻这个问题。传统的离群值过滤策略可以大致分为两类,即基于个人的和基于群体的[67]。基于个体的方法,例如比率检验[40]和倒数检查[10],仅基于描述符相似性识别内点对应关系,而不考虑其空间相干性。在图1:利用传统的优势(例如,[36]和学习方法(例如,DGR [16]),我们的方法将重要的几何线索集成到深度神经网络中,即使在高离群值比率下也能有效识别内点对应相反,基于组的方法通常利用潜在的2D或3D场景几何形状,并通过空间一致性分析来识别内点对应具体来说,在2D域中,空间一致性仅提供点和极线之间的弱关系[13,9,73]。相反,在3D域中,空间一致性通过刚性变换在每对点之间严格定义,作为内点对应应该遵循的最重要的几何属性之一在本文中,我们专注于利用空间一致性离群拒绝鲁棒的3D点云配准。光谱匹配(SM)[36]是一种众所周知的传统算法,它严重依赖于3D空间一致性来寻找内点对应。它从使用长度一致性构造兼容性图开始,即,在刚性变换下保持点对之间的距离,然后通过特征分析找到图的主簇,得到一个内点集然而,该算法有两个主要缺点。首先,仅仅依靠长度一致性是直观的,但并不充分,因为它会受到歧义问题的影响[54](图10)。4a)。第二,如[68,67]中所解释的,光谱匹配不能有效地处理高离群值比率的情况(图2)。1,左),其中主要的内点聚类变得不那么占主导地位,因此难以通过频谱分析识别最近,基于学习的3D离群点剔除方法,15860∈∈∈ ∈∈∈如DGR [16]和3DRegNet [48],将离群点拒绝公式化为内点/离群点分类问题,其中网络从对应输入中嵌入深层特征,并预测每个对应的内点概率以去除离群对于特征嵌入,这些方法仅依赖于诸如稀疏卷积[17]和逐点MLP [53]等通用运算符来捕获上下文信息,而忽略了基本的3D空间关系此外,在离群值修剪期间,示例方法仅单独对每个对应进行分类,再次忽略了内点之间的空间兼容性,并可能妨碍分类准确性。所有上述离群值剔除方法要么是手工制作的,采用空间一致性,或基于学习的空间一致性集成。在本文中,我们的目标是从这两种方法中取其精华,并提出PointDSC,这是一种功能强大的两阶段深度神经网络,它在特征嵌入和离群值剔除过程中明确利用空间一致性约束具体而言,在给定输入对应点坐标的情况下,提出了一种基于空间一致性的非局部几何特征嵌入模型,该模型通过长度一致性和特征相似性相结合的方法来捕捉不同对应点之间的关系,从而获得更具代表性的特征.其次,我们制定了一个可微分的光谱匹配模块,并提供它不仅与点坐标,但也嵌入特征,以减轻模糊性问题。最后,为了更好地处理小重叠情况,我们提出了一种播种机制,该机制首先识别一组可靠的对应关系,然后形成几个不同的子集来多次执行神经谱匹配最终确定最佳刚性变换,使得几何一致性最大化。总而言之,我们的主要贡献有三个方面:1. 我们提出了一个空间一致性引导的非局部(SC-Nonlocal)特征嵌入模块,该模块利用空间一致性来衡量特征的相关性并指导邻域搜索。2. 在传统谱匹配的基础上,提出了一种可微神经谱匹配(NSM)离群点去除模块,该模块通过深层几何特征超越了简单的长度一致性度量3. 除了表现出优于最先进的性能,我们的模型还表现出强大的泛化能力,从室内到室外的场景,并广泛适用于不同的描述符。2. 相关工作点云配准。传统的点云配准算法(例如,[8,1,47,31,44,44])在[52]中进行了全面审查最近,已经提出了基于学习的算法来取代经典配准流水线中的单个组件,包括关键点检测[4,38,32]和特征描述。[21,22,23,51,4,18,27,30,2]。另外,端对端-已经提出了端注册网络[3,62,63,71]然而,它们在复杂场景中的鲁棒性和适用性并不总是满足期望,如[16]中所观察到的,由于高度离群污染的匹配。传统的离群拒绝。RANSAC [24]及其变体[19,5,35,37]仍然是最流行的离群值剔除方法。然而,它们的主要缺点是收敛速度慢,在大的离群率的情况下,精度低这些问题在3D点云配准中变得更加明显,因为3D描述符的描述能力通常比2D域中的描述能力弱[40,6,42,41,43],这是由于不规则的密度和缺乏有用的纹理[11]。因此,几何一致性(如刚性变换下的长度约束)变得很重要,并且通常被传统的离群值拒绝算法所利用,并通过谱技术[36,20]、投票方案[26,69,57]、最大团[50,12,59]、随机游走[14]、置信传播[76]或博弈论[55]进行分析同时,一些基于BnB [11]或SDP [35]的算法虽然精度较高,但时间复杂度较高此外,FGR [77]和TEASER [65,66]对来自稳健成本函数(如Geman-McClure函数)的离群值具有容忍性对传统3D离群值剔除方法的全面综述可参见[68,67]。基于学习的离群值拒绝。基于学习的离群值拒绝方法首先在2D图像匹配任务中引入[46,73,74,60],其中离群值拒绝被公式化为内点/离群值分类问题。最近的3D离群值拒绝方法DGR [16]和3DReg-Net [48]遵循这一思想,并使用稀疏卷积[17]和逐点MLP [53]等算子对假定的对应进行分类。然而,他们都忽略了3D欧几里得变换的刚性属性,这已被广泛证明是强大的辅助信息。相比之下,我们的网络显式地结合了内点对应之间的空间一致性,受刚性变换的约束,用于修剪离群点对应。3. 方法在这项工作中,我们考虑两组稀疏关键点XR |X|×3和YR |Y|从一对部分重叠的3D点云中提取3 × 3个关键点,每个关键点都有一个相关的局部描述符。 输入的假定对应集C可以通过使用局部描述符的最近邻搜索来生成。每个对应项ciC表示为ci=(xi,yi)R6,其中x为X,yiY是来自两个集合的一对3D关键点的坐标。我们的目标是找到ci的内点/离群点标签,15861图2:建议的网络PointDSC的架构它将假定对应的坐标作为输入,并为每个对应输出刚性变换和内点/离群点标签空间一致性非局部(SC-Nonlocal)模块和神经谱匹配(NSM)模块是我们网络的两个关键组件,分别执行特征嵌入和离群值修剪绿线和红线分别是内值和离群值LS代表最小二乘拟合。分别使w i=1和0,并恢复两个点集之间的最佳3D刚性变换Ri,t。我们的网络PointDSC的管道如图所示2,可以总结如下:1. 我们使用SCNonlocal模(第二节)将输入对应嵌入到高维几何特征3.2)。2. 我们估计每个对应ci的初始置信度vi,以选择有限数量的高 置信度和分布良好的种子(第2节)。3.3)。3. 对于每个种子,我们在特征空间中搜索它的k个最近邻居,并执行神经谱匹配(NSM)以获得它作为内点的置信度置信度值用于加权最小二乘拟合,以计算每个种子的刚性变换(第2节)。3.4)。4. 从所有假设中选择最佳变换矩阵,作为使内点对应的数量最大化的变换矩阵(第二节)。3.5)。3.1. PointDSC与RANSAC在这里,我们澄清PointDSC和RANSAC之间的差异,以帮助理解我们的算法背后的见解。尽管不是为了改进经典的RANSAC而设计的,但我们的PointDSC共享类似于RANSAC的假设和验证流水线在采样步骤中,我们不是迭代地随机采样最小子集,而是使用学习的嵌入空间来在一次拍摄中检索较大的对应子集池(Sec.3.2和SEC。3.3)。由于高度置信的种子,这些子集中的对应具有较高的内点概率,图3:空间一致性引导的非局部层。β表示使用等式(1)计算的空间一致性矩阵2,F是前一层的特征判别嵌入空间在模型拟合步骤中,我们的神经光谱匹配模块(Sec.3.4)有效地修剪了检索到的子集中的潜在离群值,即使从非全内点样本开始也能产生正确的模型通过这种方式,PointDSC可以容忍较大的离群值比率,并产生高度精确的配准结果,而无需穷举迭代。3.2. 几何特征嵌入我们网络的第一个模块是SCNonlocal模块,它接收对应C作为输入,并为每个对应生成一个几何特征以前的网络[16,48]通过通用运算符学习特征嵌入,忽略了3D刚性变换的独特属性相反,我们的SCNonlocal模块示例利用内点对应之间的空间一致性来学习判别嵌入空间,其中内点对应彼此接近15862∈f=f+MLP(softmax(αβ)g(f)),(1)−σ2··⊆||如示于图 2,我们的SCNonlocal模块有12个块,每个块由一个共享的Perceptron层,一个带有ReLU的BatchNorm层和拟议的nonlocal层组成。图图3说明了这个新的非局部层。 设f iF是对应ci的中间特征表示。我们用于更新功能的非本地层的设计从著名的非本地网络[61]中汲取灵感,该网络使用非本地运算符捕获远程依赖性我们的贡献是引入了一个新的空间一致性术语,以补充非局部算子中的特征相似性具体来说,我们使用以下等式更新特征|C|i ijj j其中g是线性投影函数。特征相似度项α定义为嵌入式点积相似度[61]。空间一致性项β是基于3D刚性变换的长度约束定义的,如图所示4a(c1和c2)。具体地说,我们通过测量X中点对的线段与Y中相应线段之间的长度差来计算β:2图4:(a)内点对应对(c1,c2)总是满足长度一致性,而离群点(例如,c4)通常与内点(c1,c2)或其他离群点(例如,c3)。然而,当内点(c2)和外点(c3)恰好满足长度一致性时,则存在歧义特征相似性项α提供了缓解歧义问题的可能性(b)通过空间kNN(左)和特征空间kNN(右)找到的种子(蓝线)的对应子集局部应用神经光谱匹配我们首先找到可靠且分布良好的对应关系作为种子,然后在特征空间中围绕它们搜索一致的对应关系那么每个子集都有一个更高的内点βij =[1dij]D,dij =. 阿斯克斯岛-xj−yi-yj. 、(二)比输入对应集,因此神经谱匹配更容易找到正确的聚类。其中[]+是max(,0)操作,以确保非n例如在βij 的iv e值处,并且σd是距离参数(参见第2节)。4)控制对长度差的灵敏度 长度差大于σ d的对应对被认为是不相容的,并且β为零。相比之下,只有当两个对应ci和cj在空间上兼容时,βijgi才具有较大的值,用作特征相似性项的可靠调节器请注意,其他形式的空间一致性也可以很容易地结合在这里。然而,以基于角度的空间一致性约束为例,输入关键点的法线可能并不总是可用于离群值拒绝,并且法线估计任务本身具有挑战性,特别是对于LiDAR点云[75]。 我们的SC非局部模块为每个对应ci产生特征表示fi ,其将用于种子选择和神经谱匹配模块。3.3. 选种如前所述,传统的光谱匹配技术在低重叠情况下难以找到主导的内点聚类,无法在内点和离群点之间提供清晰的分离[70]。在这种情况下,在加权最小二乘拟合[8]中直接使用光谱匹配的输出进行变换估计可能会导致次优解决方案,因为仍有许多离群值未被明确拒绝。为了解决这个问题,受[13]的启发,我们设计了一个播种机制,为了选择种子,我们首先采用MLP来使用SCNonlocal模块学习的特征fi估计每个对应的初始置信度vi,然后在置信度上应用非最大值抑制[40]以找到分布良好的种子。所选择的种子将用于形成用于神经谱匹配的多个对应子集3.4. 神经光谱匹配在这一步中,我们利用学习到的特征空间,通过在特征空间中执行k-最近邻搜索,用一致对应的子集来增加每个种子然后,我们采用所提出的神经谱匹配(NSM)在每个子集上估计一个变换作为一个假设。空间kNN与空间kNN相比有几个优点,如图所示4b. 首先 , 由 于 SCNon-local 模 块 , 在 特 征 空 间 中 找 到 的neighbor更有可能遵循与种子类似的变换其次,在特征空间中选择的邻居可以在3D空间中相距很远,从而导致更鲁棒的变换估计结果。给定对应子集C′,C(C ′=k),我们应用NSM来估计内点概率,随后将其用于加权最小二乘拟合[8]以进行变换估计。 在[36]之后,我们首先构造一个矩阵M,表示与C ′相关的相容性图,如图所示。五、而不是仅仅依靠长度+15863(Ⅲ) ¢∈“Σ)∈--阈值最后的内点/离群点实验结果w∈R |C|给出||τ||<τIJ我 J我我我¢通过每次变换,R,t=argmax|C|!||R′x +t′−yi||<τ“,(6)R′,T′ i其中·是Iverson括号,τ表示内点wi=. 然后我们重新计算图5:从输入对应关系(左)构建兼容性图和关联矩阵(右)我们将矩阵对角线设置为零,如下[36]。每个图边的权重表示两个相关联的对应之间的成对相容性一致性[36],我们进一步结合几何特征相似性来解决图中所示的模糊性问题凌晨4每个条目Mij测量来自C′的对应ci和cj之间的兼容性,其被定义为Mij=βij<$γij,(3)2变换矩阵以最小二乘方式使用所有幸存的内点,这是常见的做法[19,5]。3.6. 损失公式考虑图1所示的兼容性图5、以前的工作[16,48]主要采用节点损失,分别监督每个通信在我们的工作中,我们进一步设计了一个边方向的损失,以监督的对应关系之间的成对关系节点智能监控。 我们记为wR |C|作为由以下构造的地面实况内点/离群点标签:wi=||Rxi+t−yi||<其中R和t是地面真实旋转和transla。1γ=[1−[f<$−f<$](四)矩阵,分别。第1648章我们先走吧二进制交叉熵损失作为节点监督其中βij与等式中的相同。2,f′i和f′j是L2-标准化特征向量,σf是控制特征差异敏感性的参数(见第二节)。4).上面定义的M的元素总是非负的,并且随着对应关系之间的相容性而增加在[36]之后,我们考虑领先的特征-为了学习最初的信心,Lclass=BCE(v,w),(8)其中v是预测的初始置信度(第二节)。3.3)。我们进一步提出频谱匹配损失作为我们的边缘监督,公式为矩阵M的向量作为每个对应与主聚类的关联由于这个主要的集群是sta-Lsm=1个|C|2(γijIJ-γi(j)2,(9)由内点对应在统计上形成,很自然地将这种关联解释为内点概率。与主聚类的关联越高,对应关系成为内点的概率就越高前导特征向量eRk可以通过幂迭代算法有效地计算[45]。我们将e视为内点概率,因为只有e的相对值才最后,我们使用概率e作为权重,通过最小二乘拟合来估计变换′其中γi<$j 为ci、cj均为内点,是地面实况兼容性值,γij是基于等式中定义的特征相似性的估计兼容性值。四、这种损失监督每对对应之间的关系,作为对节点监督的补充我们的实验(Sec.5.4)表明,所提出的Lsm显著地提高了性能.最终损失是两个损失的加权和Ltotal=L sm+λL class,(10)R′,t′=argminn|C|e<$Rx+t-y<$2。(五)当量5可以通过SVD [8]以封闭形式求解 为了完整起见,我们提供了它的推导在柔软的??. 通过对每个种子执行这些步骤,网络产生一组变换R′,t′用于假设选择。3.5. 假设选择PointDSC的最后阶段涉及在NSM模块产生的转换中选择最佳假设选择最佳变换的标准基于满足的对应数4. 实现细节训练我们在PyTorch中实现我们的网络[49]。由于每对点云可能有不同数量的对应关系,我们从每对点云中随机抽取1,000个对应关系,以在训练期间构建批量输入,并将批量大小设置为16个点云对。对于NSM,我们选择邻域大小为k = 40。( k的选择是在补充研究??)). 我们通过网络学习σf,并将σd设置为室内场景10cm,室外场景60cm,因为σd具有明显的σ2F+R,t我其中λ是平衡两个损失的超参数我15864#保持匹配#内围值(R)= arccos、2(t)为t−t二、(物理意义[36]。超参数λ被设置为3。包括内点精密度(IP)=保留的内点数量关于InlierRe我 们 使 用 ADAM 优 化 器 优 化 网 络 , 初 始 学 习 率 为0.0001 , 指 数 衰 减因 子 为 0.99 , 并 训 练 网络 100 个epoch。所有的实验都是在一块RTX2080 Ti图形卡上进行的试验. 在测试过程中,我们使用完整的对应集作为输入。我们采用非最大值抑制(NMS)来保证所选种子的空间均匀性,并将NMS的半径设置为与内点阈值τ相同的值。为了避免NMS返回过多的种子,并使计算成本可控,我们最多保留10%的输入对应作为种子。为了提高最终变换矩阵的精度,我们进一步采用了类似于迭代重加权最小二乘的简单而有效的后细化阶段[29,7]。 详细算法见补充资料??.5. 实验以下各节组织如下。首先,我们在3DMatch数据集[72](室内设置)上使用不同的描述符(包括学习的描述符和手工制作的描述符)在成对配准任务中评估了我们的方法(PointDSC)。5.1. 接下来,我们使用在3DMatch上训练的模型在KITTI数据集[25](室外设置)上研究PointDSC的泛化能力。5.2. 我们进一步评估了PointDSC在增强ICL-NUIM [15]数据集上的多路配准任务5.3. 最后,我们进行烧蚀研究,以证明PointDSC中每个拟议组件的重要性5.1. 成对配准我们遵循3DMatch中相同的评估协议来准备训练和测试数据,其中测试集包含8个场景,具有1,623个部分重叠的点云片段及其相应的变换矩阵。 我们首先对具有5cm体素大小的点云进行体素下采样,然后提取不同的特征描述符以构建初始对应集作为输入。内围阈值τ被设置为10cm。评价指标。遵循DGR [16],我们使用三个评估指标,即(1)配准召回(RR),旋转误差和平移误差低于某些阈值的成功对齐百分比,(2)旋转误差(RE)和(3)平移误差(TE)。RE和TE被定义为call(IR)=#保留的内点,其被特别引入以评估离群点拒绝模块。对于RR,如果TE小于30 cm且RE小于15°,则一个配准结果被视为成功为了进行公平的比较,我们分别将不同的离群值拒绝算法与学习的描述符FCGF[18]和手工制作的描述符FPFH [56]相结合,报告了两组结果基线方法。我们首先选择了四种代表性的transmitting方法:FGR [77],SM [36],RANSAC [24]和GC-RANSAC[5],以及最先进的基于几何的方法TEASER [66]。对于基于学习的方法,我们选择3DRegNet [48]和DGR [16]作为基线,因为它们也专注于点云配准的离群值拒绝步骤我们还报告了DGR与RANSAC的结果(即,没有所谓的保护机制)以更好地比较加权最小二乘解。我们仔细调整每种方法,以在评估数据集上获得最佳结果,以便进行公平比较。 更多详情请参见补充资料??.与最先进技术的比较。我们将PointDSC与3DMatch上的基线方法进行了比较如表1所示,所有评估度量在两种设置中报告:由FCGF(左列)和FPFH(右列)构造的输入推定对应PointDSC在两种设置下均实现了最佳配准召回以及最低平均TE和RE 更多的统计数据可以在补充资料中找到??.与 FCGF 描 述 符 组 合 。 与 基 于 学 习 的 基 线 相 比 ,PointDSC超越了第二好的方法,即,DGR,在F1得分方面超过9%,表明我们的离群值拒绝算法的有效性此外,尽管DGR在配准召回方面仅略差于PointDSC,但值得注意的是,超过35%(608/1623)的配准对被标记为失败并由RANSAC(保护机制)解决如果不应用保护机制,DGR仅实现86.5%的注册召回。与[16]中的结论不同,我们的实验表明,当与强大的描述符FCGF相结合时,RANSAC仍然显示出有竞争力的结果尽管如此,我们的方法比RANSAC-100 k快约60倍,同时实现更高的配准召回率。我们还报告了RANSAC的性能与建议的后细化步骤,以清楚地证明我们的离群值拒绝模块的优越性。SM和TEASER略微实现RETr(R<$ TR<$)−1TE¨ˆ∗ ¨然而,比PointDSC更好的内点精度,远低于内点召回率(38.36%和68.08%,86.54%(我们的))。因此,我们得出结论,PointDSC实现了更好其中,R和t分别表示地面实况旋转和平移,并且仅在成功配准的对上计算平均RE和TE此外,我们还报告了中间离群拒绝结果,在-精确度和召回率之间的权衡与FPFH描述符组合。我们进一步评估了所有的离群值拒绝方法配备了交易描述符,FPFH。请注意,对于可学习的测试,15865RR(%↑)RE(°↓)学习描述符TE(cm↓)IP(%↑)IR(%↑)F1(%↑)时间(秒)RR(%↑)RE(°↓)FPFH(传统描述符)TE(cm↓)IP(%↑)IR(%↑)F1(%↑)时间(秒)FGR [77]78.562.828.36---0.7640.673.999.83---0.28SM [36]86.572.297.0781.4438.3648.210.0355.882.948.1547.9670.6950.700.03[66]第六十六话85.772.738.6682.4368.0873.960.1175.482.487.3173.0162.6366.930.03GC-RANSAC-100k [5]92.052.337.1164.4693.3975.690.4767.652.336.8748.5569.3856.780.62[24]第二十四话86.573.169.6776.8677.4576.620.0840.055.1613.6551.5234.3139.230.08RANSAC-10k90.702.698.2578.5483.7280.760.5860.634.3511.7962.4354.1257.070.55RANSAC-100k91.502.497.5478.3885.3081.435.5073.573.5510.0468.1867.4067.475.24RANSAC-100 k精炼机92.302.176.7678.3885.3081.435.5177.202.627.4268.1867.4067.475.253DRegNet [48]77.762.748.1367.3456.2858.330.0526.313.759.6028.218.9011.630.05DGR w/o s.g.[16个]86.502.337.3667.4778.9472.760.5627.042.617.7628.8012.4217.350.56DGR [16]91.302.407.4867.4778.9472.761.3669.133.7810.8028.8012.4217.352.49PointDSC93.282.066.5579.1086.5482.350.0978.502.076.5768.5771.6169.850.09表1:3DMatch上的配准结果RANSAC-100k细化表示具有100 k次迭代的RANSAC,随后是建议的后细化步骤。DGRw/os.g. 表示没有保障机制(RANSAC)的DGR [16]Time列报告测试期间的平均时间成本,不包括初始输入对应的构造生活1生活2办公室1办公室2AVG[64]第六十四话66.6124.3313.0435.0234.75[33]第三十三话46.0773.64113.8105.284.68[58]第五十八话失败40.4118.5326.34-[77]第十七话78.9724.9114.9621.0534.98[24]第二十四话110.919.3314.4217.3140.49[16]第十六话21.0621.8815.7611.5617.57Multiway + PointDSC20.2515.5813.5611.3015.18表2:FPFH设置下KITTI的配准结果在包括PointDSC在内的离群值拒绝方法中,我们直接重用用FCGF描述符训练的模型,无需微调,因为期望离群值拒绝网络与不同的特征描述符无缝兼容如表1所示,在使用FPFH进行评估时,PointDSC的优势更加明显,其中PointDSC在注册重新调用中达到78.5%,显著超过竞争对手。RANSAC-1 k和RANSAC-10 k的性能明显更差,因为使用FPFH构建输入对应时,离群值比率要高得多具有后细化步骤的RANSAC-100 k仍然以高计算时间为代价实现了第二好的性能总之,当配备较弱的描述符时,所有其他方法都遭受比PointDSC更大的性能退化,强烈证明了PointDSC对由不同特征描述符生成的输入对应的鲁棒性5.2. 对室外场景的泛化为了评估PointDSC对新数据集和未知领域的推广,我们使用在3DMatch上训练的模型对LiDAR室外数据集(即KITTI里程计数据集)进行评估我们遵循[18,16]中相同的数据分割策略进行公平比较。我们使用30cm的体素大小,并将内点阈值τ设置为60cm。评估指标与室内环境中使用的指标相同,TE阈值为60 cm,RE阈值为5°与最先进技术的比较。我们选择SM,DGR和RANSAC作为基线方法,并将它们与FPFH描述符相结合。我们选择FPFH,因为FCGF的结果或多或少是饱和的。(FCGF的结果见补充资料??.)表3:加强型ICL-NUIM的ATE(cm)最后一列是所有场景的平均ATE由于BAD-SLAM在一个场景上失败,因此我们不报告其平均ATE。我们报告了从头开始训练(标记为“重新训练”)和在3DMatch上预训练(没有额外的标签)时获得的DGR和PointDSC的两组结果如表2所示,在3DMatch上训练的PointDSC仍然给出了有竞争力的结果,证明了其在不可见数据集上的强大泛化能力当从头开始重新训练时,PointDSC可以进一步改进,并大幅超越基线方法。5.3. 多路配准为了评估多路配准,我们使用增强的ICL-NUIM数据集[15],该数据集使用真实的噪声模型增强每个合成场景[28]为了测试泛化能力,我们再次使用在3DMatch上训练的模型,而不进行微调。在[16]之后,我们首先使用具有FPFH描述符的PointDSC执行成对配准以获得初始姿势,然后使用Open3D [78]中实现的姿势图优化[34]优化姿势我们报告了[16]中提出的基线方法的结果绝对轨迹误差(ATE)报告为评估指标。 如表3所示,我们的方法在四种测试场景类型中的三种上实现了最低的平均ATE。5.4. 消融研究消融功能编码器。为了研究所提出的SCNonlocal模块的有效性,我们进行了广泛的消融实验3DMatch。具体来说,我们包括(1)PointCN([46]的3D版本,这是3DRegNet [48]采用的特征提取模块);(2)Nonlocal(没有空间项的SCNonlocal模块,即,与[61]中相同的算子);和(3)SCNonlocal(提议的算子)。上述所有方法都可以结合使用,RR(↑)RE(↓)TE(↓)F1(↑)时间SM [36]79.640.4712.1556.370.18[24]第二十四话11.892.5138.2314.130.20RANSAC-10k48.651.9037.1742.351.23RANSAC-100k89.371.2225.8873.1313.7DGR [16]73.691.6734.744.510.86PointDSC90.270.357.8370.890.31再培训的总干事77.121.6433.1027.960.86PointDSC重新培训98.200.358.1385.540.3115866RR(↑)RE(↓)TE(↓)F1(↑)时间传统SM86.572.297.0748.210.03+神经88.432.216.9148.880.06+播种92.912.156.7282.350.08+精炼93.282.066.5582.350.09不含Lsm92.612.076.7581.580.09图6:内点对和非内点对的特征相似性分布(即,对中的至少一个离群值RR(↑)IP(↑)IR(↑)F1(↑)时间PointCN+分类器78.1958.0539.5942.650.04非局部+分类器83.3065.4967.1364.280.07SCNonlocal+分类器88.1774.7477.8675.040.07PointCN+ NSM92.4878.4882.1079.980.06非局部+ NSM92.5478.6883.1380.580.09SCNonlocal+ NSM93.2879.1086.5482.350.09表4:SCNonlocal模块的消融实验图1-3和图4-6分别显示了不同特征提取器与分类层和神经光谱匹配模块相结合的配准结果使用分类层[16,48]或建议的NSM层,总共产生六种组合其他训练或测试设置保持不变,以便进行公平的比较。如表4所示,所提出的SCNonlocal模块在所有设置和指标上一致地改进了配准结果空间项在SCNonlocal模块中起着关键作用,没有空间项,Nonlocal模块的性能会急剧下降。此外,我们计算在等式中定义的特征相似性4之间的每对对应关系,并绘制分布图。六、使用SCNonlocal模块,内点对的相似性集中在0.8附近,并且通常远大于非内点对的相似这意味着内点在嵌入空间中彼此更接近相比之下,对于基线方法,内点不太集中,即,内点之间的平均相似性较低。光谱匹配消融。我们进一步进行烧蚀实验,以证明NSM模块的重要性如表5中所示,图1和图2之间的比较示出了用神经特征一致性增强传统SM显著地改善了结果。对于+播种,我们采用了通过特征空间kNN搜索从高度置信的种子中找到的多个对应子集上的神经谱匹配,并确定最大化几何一致性的最佳变换这显著提高了性能,因为它更容易找到一致对应子集的内围聚类5.5. 定性结果如图7、PointDSC对极高的离群值比率具有鲁棒性 请参阅补充资料??有关详细表5:NSM模块的烧蚀实验请注意,每一个带有“+”的行+精炼是我们的完整模型。最后一行是在没有Lsm的情况下训练的完整模型。图7:来自3DMatch(第一行)和KITTI(第二行)的高离群值比率样本的离群值拒绝结果的可视化从左到右:输入对应、RANSAC-100 k的结果和PointDSC的结果质量成果。6. 结论我们设计了一个新的3D离群拒绝网络,明确地采用了空间一致性建立的欧几里得变换。我们提出了一个空间一致性指导的非局部模块(SCNonlocal)和神经光谱匹配模块(NSM)的特征嵌入和离群修剪,分别。我们进一步提出了一种种子机制,多次采用NSM模块,以提高高离群率下的鲁棒性在不同数据集上的大量实验表明,我们的方法比现有技术有了显着的改进我们的方法也可以推广到看不见的领域,并与不同的本地描述符无缝合作致 谢 。 本 研 究 得 到 香 港 研 资 局 GRF 16206819 、16203518及香港城市大学创意媒体学院应用计算及互动媒体研究中心(ACIM)的支持15867引用[1] Dror Aiger,Niloy J Mitra,and Daniel Cohen-Or.用于稳健成对表面配准的4点全等集在SIGGRAPH中。2008年2[2] Sheng Ao , Qingyong Hu , Bo Yang , AndrewMarkham,and Yulan Guo.SpinNet:学习用于3D点云配准的通用表面描述符。Arxiv,2020年。2[3] 青木康弘,亨特·戈福斯,兰加普拉萨德·阿伦·斯里瓦特,西蒙·露西. PointNetLK:使用pointnet的强大&高效点云配准。在CVPR,2019年。2[4] 白旭阳,罗紫欣,周磊,傅洪波,龙泉,戴洁兰。D3Feat:3D局部特征的密集检测和描述的联合学习在CVPR,2020年。一、二[5] 丹尼尔· 巴拉斯和吉赛尔· 马塔斯图形切割的勒索 在CVPR,2018年。二五六七[6] 赫伯特·贝,丁恩·图伊特拉尔斯,还有吕克·范古尔。分区域资源中心:加快了强大的功能。在ECCV,2006年。2[7] PerBe rgst romandO veEdlund. 用迭代重加权最小二乘法重建点集。 计算优化与应用,2014。6[8] Paul J Besl和Neil D McKay。三维形状的配准方法传感器融合IV:控制范例和数据结构。 国际光学与光子学学会,1992年。二、四、五[9] JiaWang Bian ,Wen-Yan Lin,Yasuyuki Matsushita ,Sai-Kit Yeung , Tan-Dat Nguyen , and Ming-MingCheng.GMS:基于网格的运动统计,用于快速、超鲁棒的特征对应。在CVPR,2017年。1[10] G. 布拉斯基OpenCV图书馆 博士 Dobb 's Journal ofSoftware Tools,2000年。1[11] A'lvaroParraBuzelandT at-Jun Chin.保证去除离群点云配准与对应。PAMI,2017年。2[12] Alvaro Parra Buffett , Tat-Jun Chin , Frank Neumann ,Tobias Friedrich,and Maximilian Katzmann.一种实用的两两约束匹配最大团算法。 arXiv,2019年。2[13] Luca Cavalli , Viktor Larsson , Martin Ralf Oswald ,TorstenSattler,and Marc Pollefeys.AdaLAM:重温手工制作的异常值检测.Arxiv,2020年。1、4[14] Minsu Cho,Jungmin Lee,and Kyoung Mu Lee.图匹配的加权随机游动。在ECCV,2010年。2[15] Sungjoon Choi,Qian-Yi Zhou,and Vladlen Koltun.室内场景的鲁棒重建。在CVPR,2015年。六、七[16] Christopher Choy,Wei Dong,and Vladlen Koltun. 深度全球配准。在CVPR,2020年。一、二、三、五、六、七、八[17] Christopher Choy,JunYoung Gwak,and Silvio Savarese.4D 时 空卷 积 神经 网 络: Minkowski 卷 积神 经 网络 。在CVPR,2019年。2[18] Christopher Choy,Jaesik Park和Vladlen Koltun。 完全卷积的几何特征。在ICCV,2019年。一
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- BSC关键绩效财务与客户指标详解
- 绘制企业战略地图:从财务到客户价值的六步法
- BSC关键绩效指标详解:财务与运营效率评估
- 手持移动数据终端:常见问题与WIFI设置指南
- 平衡计分卡(BSC):绩效管理与战略实施工具
- ESP8266智能家居控制系统设计与实现
- ESP8266在智能家居中的应用——网络家电控制系统
- BSC:平衡计分卡在绩效管理与信息技术中的应用
- 手持移动数据终端:常见问题与解决办法
- BSC模板:四大领域关键绩效指标详解(财务、客户、运营与成长)
- BSC:从绩效考核到计算机网络的关键概念
- BSC模板:四大维度关键绩效指标详解与预算达成分析
- 平衡计分卡(BSC):绩效考核与战略实施工具
- K-means聚类算法详解及其优缺点
- 平衡计分卡(BSC):从绩效考核到战略实施
- BSC:平衡计分卡与计算机网络中的应用
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)