没有合适的资源?快使用搜索试试~ 我知道了~
3132OMNet:学习重叠掩模的局部点云配准徐浩1、2刘帅成1、2 *王广福2刘光辉1*曾兵11电子科技大学2旷视科技摘要点云配准是许多计算领域中的一个关键问题。先前的基于对应匹配的方法要求输入具有独特的几何结构,以根据逐点稀疏特征匹配来拟合3D刚性变换。然而,变换的准确性严重依赖于所提取的特征的质量,所提取的特征易于相对于局部性和噪声产生误差。此外,它们不能利用所有重叠区域的几何知识。另一方面,先前的基于全局特征的方法可以利用整个点云进行配准,然而它们忽略了在聚集全局特征时非重叠点的负面影响在本文中,我们提出了OM-网,一个全球性的特征为基础的迭代网络的部分到部分的点云配准。我们学习重叠掩模来拒绝非重叠区域,这将部分到部分配准转换为相同形状的配准此外,先前使用的数据仅从每个对象的CAD模型中采样一次,从而产生用于源和参考的相同点云我们提出了一种更实用的数据生成方式,其中CAD模型被采样两次,用于源和参考,避免了以前普遍存在的过拟合问题。实验结果表明,我们的方法实现了国家的最先进的性能相比,传统 的 和 基 于 深 度 学 习 的 方 法 。 代 码 可 在https://github.com/megvii- research/OMNet上获得。1. 介绍点云配准是已经广泛用于各种计算领域的基本任务,增强现实[2,6,4]、3D重建[14,19]和自动驾驶[38,10]。它旨在预测对齐两个点云的3D刚性变换,这两个点云可能被局部遮挡并被噪声污染。*通讯作者图1.我们的OMNet显示出对输入的各种重叠比率的鲁棒性所有输入都通过相同的3D刚性变换进行变换。误差(R)和误差(t)是各向同性误差。迭代最近点(ICP)[3]是一种用于配准问题的众所周知的算法,其中通过奇异值分解(SVD)迭代估计3D变换,给出通过最接近点搜索获得的对应关系然而,ICP很容易收敛到局部极小,因为非凸性问题。出于这个原因,提出了许多方法[23,9,28,5,20,35]来改进匹配或搜索更大的变换空间,一个突出的工作是Go-ICP [35],它使用分支定界算法来跨越局部最小值。不幸的是,它比原来的ICP慢得多所有这些方法都对初始位置敏感。最近,提出了几种基于深度学习(DL)的方法[32,1,33,27,36,13,17,37]来处理大的旋转角度。大致可以分为两类:基于对应匹配的方法和基于全局特征的方法。深度闭合点(DCP)[32]确定来自学习特征的对应关系。DeepGMR [37]集成了高斯混合模型(GMM)来学习姿态不变的点到GMM输出比率=0.8比率=0.5比率=0.2误差(R)=0.98误差(t)误差(R)=1.52误差(t)误差(R)=4.85误差(t)输入3133通信。然而,它们没有考虑到投入的不公正性。PRNet [33],RPMNet [36]和IDAM [17]通过使用然而,这些方法要求输入具有独特的局部几何结构以提取可靠的稀疏3D特征点。因此,它们不能利用整个重叠点云的几何知识相反,基于全局特征的方法通过在估计变换之前聚合全局特征来克服该问题,例如,PointNetLK [1]、PCRNet [27]和特征度量配准(FMR)[13]。然而,它们都忽略了非重叠区域的负面影响在本文中,我们提出OMNet:一种端到端迭代网络,以粗略到精细的方式估计3D刚性变换,同时保持对噪声和干扰的鲁棒性。为了避免非重叠点的负面影响,我们在每次迭代中分别预测两个输入的重叠掩模。给定准确的重叠掩模,在全局特征的聚合期间拒绝非重叠点,这将部分到部分配准转换为相同形状的配准。因此,在给定全局特征而无干扰的情况下,回归刚性变换变得更容易。这desensitizes的初始位置的输入,并提高了鲁棒性噪声和偏见。图图1显示了我们的方法对具有不同重叠率的输入的鲁棒性。实验结果表明,该方法可以达到最先进的性能与以前的算法相比。此外,采用ModelNet40 [34]数据集进行配准[32,1,33,27,36,13,17,37],其最初应用于分类和分割任务。以前的工作遵循Point- Net [ 21 ]的数据处理,它有两个问题:(1)CAD模型在点云生成期间仅被采样一次,产生相同的源和参考点,这十个中的一个导致过拟合问题;(2)ModelNet 40数据集包含了一些轴对称的范畴,在这些范畴中可以合理地获得对称轴上的任意角度。我们提出了一种更合适的方法来生成一对点云。具体地,源点云和参考点云分别从CAD模型随机采样。同时,去除了轴对称类的数据。综上所述,我们的主要贡献包括:• 我 们 提 出 了 一 个 基 于 全 局 特 征 的 配 准 网 络OMNet,它是鲁棒的噪声和不同的部分方式,通过学习掩模拒绝非重叠区域。掩模预测和变换估计可以在迭代过程中相互加强。• 我们暴露了过拟合问题和轴对称类别,这些类别在ModelNet40数据集被采用到配准任务时存在。另外我们提出更合适的方法来生成用于配准任务的数据对。• 我们提供了定性和定量的比较,与其他作品下干净,嘈杂和不同的部分- tial数据集,显示国家的最先进的性能。2. 相关作品基于对应匹配的方法。大多数基于对应匹配的方法通过交替两个步骤来解决配准问题:(1)建立源点云和参考点云之间的对应关系;(2)计算对应之间的最小二乘刚性变换。ICP [3]使用空间距离估计对应性。ICP的后续变体通过检测关键点[11,23]或加权对应[12]来改善性能。然而,由于第一步的非凸性,它们经常被束缚在局部极小值中。为了解决这个问题,Go-ICP[35]使用分支定界策略来搜索变换空间,代价是速度慢得多。最近提出的对称ICP [22]通过设计目标函数改进了原始ICPPFH [25]和FPFH [24]没有使用空间距离,而是设计了旋转不变描述符,并从手工制作的特征中建立了对应关系。为了避免计算RANSAC [8]和最近邻居,FGR [40]使用交替优化技术来加速迭代。最近基于DL的方法 DCP [32个] 用CNN替换手工特征描述符。Deep-GMR [37]进一步估计潜在GMM中的点到分量对应。总之,主要问题是它们要求输入具有独特的几何结构,以便促进稀疏匹配点。然而,并非所有区域都是独特的,从而导致有限数量的匹配或差的分布。此外,仅从匹配的稀疏点及其局部邻居计算变换,其余点不变。相比之下,我们的工作可以使用前指定重叠区域以聚合全局特征。基于全局特征的方法与基于对应性匹配的方法不同,以往的基于全局特征的方法是从两个输入点云的全部(包括重叠和非重叠区域)计算刚性变换,而不需要对应 性。PointNetLK [1]是这 些方 法的 先驱 ,它 将PointNet [21]与Lucas Kanade(LK)算法[18]适配为递归神经网络。PCRNet [27]通过将LK算法与回归网络交替使用,提高了对噪声的鲁棒性。此外,FMR [13]增加了解码器分支并优化了输入的全局特征距离。然而,它们都忽略了非重叠点的负面影响,并且无法注册部分到部分输入。我们的网络可以处理偏见,并表现出不同的部分方式的鲁棒性3134.Σ·.ΣX~{·}YX~Yβ·βX~Y~Y源参考上一次变换刚性变换Conv 1×1最大池级联逐元素乘法迭代64 641234N-1N1234N-1N特征提取1024 1024 512特征提取掩码预测512 256 256 2转换回归2048 1024 512 256 7掩码预测源掩码当前变换基准面模图2. 我们OMNet的总体架构。 在特征提取过程中,全局特征FX~和FY被复制N次以与逐点特征FX~和FY 连 接,其中N是输入中的点的数量。 相同的背景颜色表示共享权重。上标表示迭代计数。部分到部分配准方法。 部分到部分点云的配准被最近的作品[33,36,17]呈现为更现实的问题。特别是,PRNet [33]将DCP扩展为迭代管道并处理通过检测关键点来确定局部。 此外,学习-able Gumble-Softmax [15]用于 控制匹配 矩阵的 平滑度。RPMNet [36]进一步利用Sinkhorn归一化[31]来鼓励匹配矩阵的双射性。然而,它们遭受与基于对应匹配的方法相同的问题,即,它们只能使用稀疏点。相比之下,我们的方法可以利用来自整个重叠点的信息。3. 方法我们的管道如图所示二、我们以四元数q和平移的形式表示t.在每次迭代i处,源点云X通过从先前步骤估计的刚性变换qi-1,ti-1被变换为变换后的点云X~i。然后,提取通过特征提取模块(Sec. 第3.1节)。同时,来自两个点云的混合特征被融合并被馈送到重叠掩模预测模块( Sec.3.2 ) 分 割重 叠 区 域 。同 时 , 转 换 回归 模 块(Sec.3.3)将融合的混合特征作为输入,并输出用于下一次迭代的变换qi,ti最后,损失函数详见第二节。三点四分。3.1. 全局特征提取特征提取模块的目的是学习一个函数可以从两个全局特征之间的差异来估计。受PointNet[21]的启发,在每次迭代时,输入X~i和Y的全局特征由下式给出:F i=max{Mi−1·f(β)},β∈{X~i,Y},(1)其中f()表示多层感知器网络(MLP),其被馈送有X~i和Y以生成逐点特征fi和fi。Mi−1和Mi−1是重叠的XX~i和Y的掩模,其由前一步骤生 成 并在第2节中详述。 3.2. 逐点特征fX~和fY通过最大池操作max聚合,其可以处理任意数量的无序点。3.2. 重叠掩模预测在局部到局部场景中,特别是在包括噪声的场景中,在输入点云X和Y之间存在非重叠区域。然而,它不仅对配准过程没有贡献,而且它还干扰全局特征提取,如图所示。3.第三章。RANSAC [8]在传统方法中被广泛采用,以在求解场景对齐的最近似矩阵时找到内点。遵循类似的思想,我们提出了一个掩模预测模块,自动分割重叠区域。参考PointNet [21],点分割仅采用一个点云作为输入,并且需要结合局部和全局知识。然而,重叠区域预测需要来自两个输入点云X和Y的附加几何信息。我们可以用一种简单而高效的方式来实现这一点具体地,在每次迭代中,全局特征Fif(·),其可以生成不同的全局特征和Fi通过连接被反馈到逐点特征。源点云X和参考点之间的FY与每个点要素fi关联fi一致云Y分别。一个重要的要求是,原始输入的方向和空间坐标应当被保持,使得刚性变换可以被执行。ingly。然后,利用MLPg()融合上述混合特征,并进一步分割重叠区域和回归刚性变换。所以我们可以得到64 128 1024......3135特征掩模….........4 54X~Y我我··⊕X~Y.=∈--X~YYYYX~Y我我我我X~X~X~YYY结合使用和我X~X~我XYX~. .ΣΣ∈·掩模1特征...3 5点…点9 8 1 3 62 1 115 9 7 4 21 0 00最大池无面罩...2 1...6 9...不带掩码的最大池数瓶碗锥杯w/mask…花盆灯帐篷花瓶图3.我们展示了每个点云的4个无序点。相同的下标表示对应的点。黄色表示重叠点特征中每个通道的最大值X和Y的全局特征仅当它们被掩码MX和MY加权时才相同。图4. 8个轴对称类别的示例CAD模型。3.4.损失函数我们同时预测重叠掩模和估计刚性变换,因此提出了两个损失函数来分别监督上述两个过程两个重叠掩模MiMi因为,掩模预测损失。掩模预测损失的目标Mi=h。G.fiF~FiΣ·Mi−1Σ,(2)分割输入点云X和Y中的重叠区域。 为了平衡正样本和负样本的贡献,频率加权softmaxMi=h gfi FFi·Mi−1,(3)其中,h()表示重叠预测网络,其由若干卷积层和随后的softmax层组成。我们将由g()产生的输入X和Y的融合逐点特征定义为gX和gY。表示级联操作。3.3.刚性变换回归给定每个iter处的逐点特征gi和gi在每次迭代i利用交叉熵损失,即L 掩 码 =−αMglog ( Mp ) − ( 1−α ) ( 1−Mg ) log(1−Mp),(5)其中Mp表示属于重叠区域的点的概率,并且α是输入的重叠比率。我们定义了假设的掩码标签Mg来表示两个输入的重叠区域,其通过为由地面实况变换变换的源和参考之间的最近点距离设置固定阈值(设置为0.1)来计算。每个元素是操作i,我们将它们与输出的要素从重叠掩模预测模块的中间层因此,用于回归变换的特征-1,如果点xj对应于ykMg否则.(六)的分类信息可以增强掩码预测分支。同时,用于预测掩模的特征受益于变换分支中的几何知识。然后,将连接的特征馈送到刚性变换回归网络,该网络产生7D向量,其中7D向量的前3个值用于表示平移向量tR3,最后4个值表示四元数形式的3D旋转[29]qR4,qTq=1。r()表示每次迭代i中的整个过程,即当前掩码是基于先前掩码估计的,因此需要针对每次迭代重新计算标签。转换回归损失。受益于四元数的连续性,它能够采用相当直接的训练策略,测量q,t与生成的点云对的地面实况的偏差。因此,迭代i的转换回归损失为Lreg = |q − qg |+ λt − tg2,(7)其中下标g表示地面实况。我们注意到我们-,qi,ti,=r。max{gihi·Mi−1gihi·Mi−1},(4)12其中hi和hi是来自提高训练和推理期间的性能。在我们的大多数实验中,λ掩码预测分支。 Mi−1和Mi−1用于消除-总损耗是两个损耗的总和:X~Y指定非重叠点的干涉。在N次迭代之后,我们通过在每次迭代中累积所有估计的变换来获得两个输入之间的总变换。1144 56 94 51距离可以稍微1 5 4 2 82 3 5 0 71 5 4 2 82 3 5 0 79 8 1 3 69 9 7 4 81 3 2 5 09 8 5 5 89 8 5 3 89 8 5 3 83136Ltotal=Lmask + Lreg.(八)我们计算每次迭代的损失,并且它们对训练期间的最终损失具有相等的贡献。313740RMSE(R)MAE(R)RMSE(t)MAE(t)错误(R)错误(t)方法OS TS OS TS OS TS OS TS OSTS OSTSCopyright © 2018 - 2019 www.cnjs.com All Rights Reserved.粤ICP备1604888号-1粤ICP备13.458号11.296 3.176 3.480 0.0462 0.0571 0.0149 0.0206 6.163 7.138 0.0299 0.0407Copyright © 2018 - 2019 www.jsjsjsj.com版权所有FGR [40] 4.741 28.865 1.110 16.168 0.0269 0.13800.00700.0774 2.152 30.1920.01360.1530Copyright © 2018 - 2019 www.cnjs.com All Rights Reserved.粤ICP备16048888号-1电话:+86-21 - 88888888传真:+86-21 - 88888888电话:+86-021-8888888传真:+86-021- 88888888电话:021 - 88888888传真:021- 888888882019 - 06 -25 00:002019 - 05 - 21 10:000.898 1.045 0.325 0.507 0.0078 0.0084 0.0049 0.0056 0.639 0.991 0.0099 0.0112粤ICP备17.236 18.458 8.610 9.335 0.0817 0.0915 0.0434 0.0505 16.824 18.194 0.0855 0.0993粤ICP备13.572 14.162 3.416 4.190 0.0448 0.0533 0.0152 0.0206 6.688 8.286 0.0299 0.0409Copyright © 2018 - 2019 www.cnjs.com All Rights Reserved粤ICP备05017555号-1FGR [40] 6.390 29.8381.24016.361 0.0375 0.14700.00810.08182.20431.1530.01560.1630Copyright © 2018 - 2019 www.cnz.com版权所有并保留所有权利电话:021 - 88888888传真:021 - 888888882019 - 06- 22 00:00:00 00:00FMR [13] 5.0415.1192.3042.3490.03830.02960.01580.01474.5254.5530.03140.02922019 - 06 - 21 00:00: 00 00:00 00:00沪公网安备31010502000114号我们的2.079 2.514 0.619 1.0040.0177 0.01470.0077 0.0078 1.241 1.949 0.0154 0.0154粤ICP备19.945 21.265 8.546 9.918 0.0898 0.0966 0.0482 0.0541 16.599 18.540 0.0949 0.1070粤ICP备13.612号12.337 3.655 3.880 0.0489 0.0560 0.0174 0.0218 7.257 7.779 0.0348 0.0433Copyright © 2018 - 2019深圳市金源科技有限公司All Rights Reserved粤ICP备05018888号FGR [40] 22.347 34.035 10.309 19.188 0.1070 0.1601 0.0537 0.0942 19.934 35.775 0.1068 0.1850Copyright © 2018 - 2019 www.cnjs.com. All Rights Reserved.粤ICP备16048888号-1电话:+86-021 - 88888888传真:+86-021 - 88888888电话:021-88888888传真:021 - 88888888电话:021 - 88888888传真:021 - 888888882019 - 06 - 25 00:002019 - 05 - 21 10:00我们的1.009 1.305 0.548 0.757 0.0089 0.0103 0.0061 0.0075 1.076 1.490 0.0123 0.0149表1. ModelNet40上的结果。对于每个度量,左列OS表示原始一次采样数据的结果,右列TS表示两次采样数据的结果。红色表示最佳性能,蓝色表示次佳结果。4. 实验在本节中,我们首先描述了数据集的预处理和我们的方法的实施细节。4.1. 同时,竞争者的实验设置四点二。 此外,我们展示了不同实验的结果,以证明我们的方法的有效性和鲁棒性。4.3和Sec. 4.4最后,我们在第二节中进行消融研究。四点五分。4.1. 数据集和实施详细信息ModelNet40. 我们使用ModelNet40数据集来测试以下[1,32,27,33,13,36,17]的有效性。Mod-elNet40包含来自40个类别的CAD模型。先前的工作使用来自PointNet [ 21 ]的处理后的数据,其在用于配准任务时具有两个问题:(1)对于每个对象,其仅包含从CAD模型采样的2,048个点。然而,在现实场景中,X中的点在Y中没有精确的对应关系。对该数据的训练导致过拟合问题,甚至增加噪声或重新采样,(2)它涉及一些轴对称范畴,包括瓶、碗、锥、杯、花盆、灯、帐篷和花瓶,图4给出了一些例子。然而,给轴对称数据固定的地面真值是不合逻辑的,因为它可以获得对称轴上的任意角度以进行精确的配准。将标签固定在对称轴上没有意义。在本文中,我们提出了一个适当的方式来生成数据。具体来说,我们用不同的随机种子从每个CAD模型中均匀采样2,048个点40次,然后随机选择其中的2个作为X和Y。它保证我们可以获得C2=780组合为每个对象。我们表示的数据点只采样一次从CAD模型的数据为一次采样(OS)数据,并将我们的数据称为二次采样(TS)数据。此外,我们简单地去除轴对称范畴。为了评估我们的网络的有效性和鲁棒性,我们使用前14个类别的官方训练和测试分裂(瓶子,碗,圆锥体,杯子,花盆和灯被删除)分别进行训练和验证,并(b)看不见的类别(c)高斯噪声(a)看不见的形状3138--N−其余18个类别的测试拆分(帐篷和花瓶被删除)进行测试。这导致4,196个训练,1,002个验证和1,146个测试模型。根据以前的作品[32,33,13,36,17],我们随机生成[0◦,45◦]内的三个欧拉角旋转和[ 0◦,45 ◦ ]内的平移。[-0。5,0。5]上的每个轴作为刚性变换。斯坦福3D扫描。我们使用斯坦福3D扫描数据集[7]来测试我们方法的通用性。该数据集有10个实际扫描。PRNet [33]中的部分方式用于生成部分重叠的点云。7个场景。7Scenes [30]是一种广泛使用的配准基准,其中数据由室内环境中的Kinect相机捕获。在[39,13]之后,将多个深度图像投影到点云中,然后通过截断符号距离函数(TSDF)进行融合。将数据集分为293和60次扫描进行训练和测试。应用PRNet [33]实施详情。我们的网络架构在图1B中示出。二、我们在训练和测试期间运行N=4次迭代。然而,q,t梯度在每次迭代开始时停止以稳定训练。由于第一次迭代预测的掩码在训练开始时可能不准确,一些重叠点可能被错误分类并影响后续迭代,因此我们在第二次迭代后应用掩码我们用Adam [16]优化器训练我们的初始学习速率为0.0001,并且在220k次迭代之后乘以0.1。批量大小设置为64。4.2. 基线算法我们将我们的方法与传统方法进行比较:ICP [3],Go-ICP [35],Symmetric ICP [22],FGR [40],以及最近基于DL的作品:[1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]、[19]GMR [37].我们使用Intel Open3D [41]中的ICP和FGR的实现,PCL [26]中的Symmetric ICP以及其作者发布的其他实现。此外,通过设置随机种子来固定测试集。请注意,FGR和RPMNet中使用的法线是在数据预处理之后计算的,这与RPMNet中的实现略有不同。我们使用FMR的监督版本。在[32,36]之后,我们测量各向异性误差:旋转和平 移 的 均 方 根 误 差 ( RMSE ) 和 平 均 绝 对 误 差(MAE),以及各向同性误差:误 差 ( R ) =100 。 R−g1RpΣ, Error ( t )=tg−tp2,(9)其中Rg和Rp分别表示从四元数qg和qp如果刚性对准是完美的,则所有度量应该为零。角度度量以度为单位4.3. 对ModelNet40为了评估不同方法的有效性,我们在本节中进行了几个实验。前3个实验的数据预处理设置与PRNet [33]和IDAM [17]相同。此外,最后一个实验显示了我们的方法对RPMNet [36]中使用的不同部分方式的鲁棒性看不见的形状在这个实验中,我们在前14个类别的训练集上训练模型,并在没有噪声的相同类别的验证集上进行评估。注意,X中的所有点对于OS数据在Y中具有精确对应。我们通过在空间中随机放置一个点并分别计算其768个最近邻居来部分X和Y,这与[33,17]中使用的相同。所有基于DL的方法都是在OS和TS数据上独立训练的。表1(a)示出了结果。我们可以发现ICP [3]由于初始位置的较大差异而表现不佳。Go-ICP [35]和FGR [40]实现了更好的性能,这与一些基于DL的方法[1,32,13,17]相当。注意,FGR在两个不同数据上的大性能差距是由法线的计算方式引起的。我们使用在数据预处理之后计算的法线,使得X和Y的法线在我们的TS数据中不同。此外,由于测试数据的固定方式,IDAM [17]的结果略差于PRNet [33],这在其他基于DL的方法中使用。我们的方法实现了非常准确的配准,并在所有metrics排名第一TS数据的示例结果如图1B所示。第6(a)段。看不见的分类。在这个实验中,我们评估了在没有噪声的情况下对不可见类别的性能。模型在前14个类别上进行训练,并在其他18个类别上进行测试。数据预处理与第一次实验相同。结果总结在表1(b)中。我们可以发现,所有基于DL的方法的性能在没有对相同类别进行训练的情况下变得稍微更差然而,由于手工制作的特征,传统算法没有受到太大的影响。我们的方法优于所有其他方法。配准结果的定性比较可以在图10中找到。第6(b)段。高斯噪声。在该实验中,我们添加从(0,0. 012)并剪切到[ 0. 05,0。05],然后重复第一个实验(看不见的形状)。表1(c)示出了结果。FGR对噪声敏感,因此其性能比无噪声情况差得多。所有基于DL的方法随着在OS数据上注入噪声而变差与基于全局特征的方法(PointNetLK、FMR和我们的)相比,基于对应匹配的方法(DCP、PRNet和IDAM)的性能在TS数据上表现出相反的趋势,因为局部特征描述符的鲁棒性通过训练期间的噪声增强而提高。我们的方法达到了最好的性能。示例结果示于图1中。6(c).3139−×0.60.40.20.0-0.2-0.4-0.6图5.我们显示了配准结果(左上),输入X和Y的全局特征之间的差异(右上),以及每次迭代时的预测掩码(底部)红色和蓝色分别指示预测的重叠和非重叠区域方法RMSE(R)MAE(R)RMSE(t)MAE(t)误差(R)误差(t)ICP [3]21.89313.4020.19630.127826.6320.2679对称ICP [22]12.57610.9870.14780.120321.8070.2560FGR [40]46.21330.1160.30340.214158.9680.4364PointNetLK [1]29.73321.1540.26700.193742.0270.3964DCP [32]12.7309.5560.10720.077412.1730.1586RPMNet [36]6.1602.4670.06180.02744.9130.0589FMR [13]11.6747.4000.13640.086714.1210.1870我们4.3561.9240.04860.02233.8340.0476表2.使用RPMNet的部分方式的高斯噪声的两次采样(TS)不可见类别的结果不同的局部方式。我们注意到,以前的作品[33,36]使用了不同的局部方式。为了评估不同部分数据的有效性,我们还在[36]中使用的测试集上测试了不同算法的性能。我们重新训练了所有基于DL的方法,并在表2中示出了最困难的情况(具有高斯噪声的不可见类别)的结果。有关部分方式的详细信息,请参阅我们的补充资料。4.4. 真实数据为了进一步评估可推广性,我们在Stanford 3D Scan和7Scenes数据集上进行了实验。由于Stanford 3D Scan数 据 集 只 有 10 次 真 实 扫 描 , 我 们 直 接 使 用 在ModelNet40上训练的模型,无需微调。一些定性的例子如图所示。9 .第九条。此外,我们在7Scenes室内数据集上评估了我们的方法点云被归一化为单位球体。我们的模型在6个类别(国际象棋,火灾,头部,办公室,南瓜和楼梯)上进行训练,并在另一个类别(Redkitchen)上进行测试图10给出了一些例子。有关更多结果,请参阅我们的补充资料。4.5. 消融研究我们进行消融研究看不见的形状与噪声TS数据,以显示我们的组件和设置的有效性。 如表3所示,我们将我们的模型表示为B基线(B),该模型去除了以下组 分 : M ask 预 测 模 块 ( M ) 、 M ask 预 测 损 耗(ML)、融合表3.每个组件和不同设置的消融研究我们可以看到,在不受掩码预测损失监督的情况下,它在基线的基础上没有任何改进,这表明掩码预测不能无监督地训练。将第三至第五行与基线进行比较,我们可以发现所有组件都提高了性能。由于我们不估计重叠点之间的匹配候选,因此来自源和参考的前k个点可能不对应并且集中分布在点云中,使得前k个模型的结果比使用整个掩模更差。此外,我们调整损失函数中的λ。由于[33,36]的数据生成方式限制了[ 0. 5,0。当我们使用λ2损失进行平移时,平移损失小于四元数,因此大λ旨在形成可比项。5. 讨论在本节中,我们将进行几个实验,以更好地了解各种设置如何影响我们的算法。5.1. 面具的效果为了对重叠掩模有更好的直觉,我们在图1中可视化中间结果。五、我们将长度为1,024的全局特征向量重新成形为32× 32的方阵,并计算变换后的源X~和参考Y之间的误差。在第一场比赛中-回归模块之前的层(F),以及掩模预测和回归模块之间的连接此外,我们仅使用基于掩模预测概率的前k个点来估计刚性变换。此外,我们在损失函数中设置不同的λ在一些实施例中,全局特征差异很大,并且在给定不准确的重叠掩模的情况下,输入对齐不良通过连续迭代,全局特征差异变得非常小,而对齐和预测的重叠掩模几乎是完美的。输入迭代1迭代2迭代3迭代4模型RMSE(R)MAE(R)RMSE(t)MAE(t)误差(R)误差(t)B3.2162.7510.02670.02325.2500.0463B+M3.4372.9430.03490.03015.5500.0604B+M+ML1.6551.4170.01580.01382.6810.0274B+M+ML+F1.4530.8920.01110.00871.7220.0171B+M+ML+F+C1.3050.7570.01030.00751.4900.0149Top-k,k=5001.3641.1680.01270.01092.2550.0220Top-k,k=3001.3991.2030.01610.01412.2820.0278Top-k,k=1001.4831.2700.01800.01572.4580.0311λ=2.01.3560.9000.01090.00771.7210.0154λ=0.51.3970.9860.01160.00851.8900.0169λ=0.11.4161.0680.01270.00952.0380.01893140板岩−输入点NetLK DCP PRNet FMR IDAM Ours GT(一)(b)第(1)款(c)第(1)款图6.ModelNet40上的示例结果(a)不可见形状,(b)不可见类别,以及(c)具有高斯噪声的不可见形状4.00.0303.50.0263.0离子误差0.0222.5在0.0182.00.014误差(R)=2.831,误差(t)=0.0222误差(R)=2.323,误差(t)=0.01511.50.010图9.示例结果斯坦福大学3D扫描0.02 0.03 0.04 0.05 0.06 0.07 0.08图7.我们的方法在不同噪声水平下的误差我们50PointNetLK PRNet40IDAMDCPFMR0.50.4我们的PointNetLKPRNetIDAMDCPFMR0.3300.220十点一0重叠比0.0重叠比1.00.90.80.70.60.50.40.30.2 0.1 1.00.90.80.70.60.50.40.30.20.1片段1片段2输出图8.不同重叠比的各向同性误差。5.2. 抗噪声为了进一步证明我们方法的鲁棒性,我们在不同噪声水平下在ModelNet40上训练和测试我们的模型,如图所示7 .第一次会议。 我们添加从N(0,σ2)采样并被裁剪到[0. 05,0。05]。数据与第4.3节中的第三个实验相同。我们的方法在各种噪声水平下实现了相当的性能。5.3. 不同重叠率我们测试的所有方法的最佳模型,从第二节的第一个实验。在ModelNet40TS验证集上,重叠比率从1.0降低到0.1。我们首先对X进行局部化,然后从Y的重叠和非重叠区域中随机选择两个相邻部分。图8示出了结果。不幸的是,DeepGMR未能获得合理的结果。我们的方法表现出最好的性能。图10. 7Scenes上的示例结果6. 结论我们已经提出了OMNet,一种新的方法,部分到部分点云注册。以往的基于全局特征的方法对局部性关注较少。它们平等地对待输入点,这很容易受到非重叠区域的干扰。我们的方法学习重叠掩模以拒绝非重叠点以用于鲁棒配准。此外,我们提出了一种实用的数据生成方式来解决过拟合问题,并删除ModelNet40数据集中的轴对称类别实验表明,我们的方法的最先进的性能鸣谢。本工作得到了科技部国家重点研发计划(项目编号:2020AAA0104400)和国家自然科学基金项目资助(项目编号:62071097、61872067、62031009、61720106004)的资助。误差(R)误差(t)RMSE(R)MAE(R)误差(R)RMSE(t)MAE(t)误差(t)误差腐Tran3141引用[1] 青木康弘,亨特·戈福斯,兰加普拉萨德·阿伦·斯里瓦特山,西蒙·露西.PointNetLK:使用pointnet的强大高效在Proc. CVPR,第7163-7172页,2019年。一、二、五、六、七[2] 罗 纳 德 ·T· 东 增 强 现 实 的 研 究 概 况 。 Presence :Teleoperators Virtual Environments,6(4):3551[3] Paul J. Besl和Neil D.麦凯一种三维形状配准方法。第14卷,第239-256页,1992。一、二、五、六、七[4] 马克·比林赫斯特艾德里安·克拉克和李刚增强现实的研究概况。Interaction,8(2-3):73-272,2014. 1[5] Sofien Bouaziz,Andrea Tagliasacchi,and Mark Pauly.稀疏迭代最近点。在Computer Graphics forum,第32卷,第113-123页,2013中。1[6] Julie Carmiani , Borko Furht , Marco Anisetti , PaoloCeravolo,Ernesto Damiani,and Misa Ivkovic.增强现实技 术 、 系 统 和 应 用 。 MultimediaToolsandApplications,51(1):341-377,2011. 1[7] Brian Curless和Marc Levoy。从距离图像建立复杂模型在1996年第23届计算机图形和交互技术年会上,第303-312页6[8] Martin A. Fischler和Robert C.波尔斯随机样本一致性:一个范例模型拟合与应用程序的图像分析和自动制图。Communications of the ACM,24(6):381-395,1981.二、三[9] Andrew W.菲茨吉本2d和3d点集的鲁棒配准。图像与视觉计算,21(13-14):1145- 1153,2003。1[10] Andreas Geiger,Philip Lenz,and Raquel Urtasun.我们准备好自动驾驶了吗?Kitti Vision基准套件。在Proc.CVPR,第3354-3361页,2012中。1[11] Natasha Gelfand、Leslie Ikemoto、Szymon Rusinkiewicz和Marc Levoy。icp算法的几何稳定采样。在3D数字成像和建模上,第260-267页,2003年。2[12] Guy Godin,Marc Rioux,and Rejean Baribeau.使用范围和强度信息的三维配准。在Videometrics III,第2350卷,第279-290页,1994中。2[13] 黄
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功