重叠引导高斯混合模型在点云配准中的应用

4511重叠引导高斯混合模型在点云配准中的悉尼科技澳大利亚悉尼guofeng. student.uts.edu.au健张澳大利亚悉尼科技大学jian. uts.edu.au布鲁诺·凯斯勒基金会意大利特伦托poiesi@fbk.eu特伦托大学FBK&意大利特伦托电子邮件：unitn.itCristiano Saltori特伦托大学意大利cristiano. unitn.it意大利特伦托大学niculae. unitn.it摘要概率3D点云配准方法在克服噪声、异常值和密度变化方面表现出有竞争力的性能。然而，在部分重叠的情况下配准点云对仍然是一个挑战。本文提出了一种新的高斯混合模型（GMM）参数匹配的概率配准方法，计算最佳的transformation。我们将配准问题重新表述为对齐两个高斯混合的问题，使得两个相应混合之间的统计差异度量我们引入了一个基于transformer的检测模块来检测重叠区域，并通过该检测模块计算的重叠分数来指导输入点云的对齐，从而使用Gestro来实验表明，该方法在处理人工数据集和真实数据集上具有部分重叠和不同密度的点云时，具有比现有方法更高的配准精度和效率https://github.com/gfmei/ogmm1. 介绍随着用于室内（例如，室外）和室内（例如，室外）的廉价3D传感器的兴起，Microsoft Kinect）和室外（例如激光雷达（LiDAR）场景中，点云数据高效地呈现了丰富的三维空间信息，已成为一种重要的数据源。为了产生大规模点云，已经广泛研究了3D点云配准点云配准是指找到将一对点云对齐到同一坐标系中的刚性相对姿态变换的问题[18，28]。配准质量可以直接影响机器人[38，55]，增强现实[3]，自动驾驶[30，32]和放射治疗[26，27]。然而，传感器噪声，变化的点密度，离群值，clusions和partial views是仍然影响这些应用程序在现实世界中的性能的挑战[21]。点云配准方法可以广泛地分为无对应和基于对应[28]。无对应配准方法旨在最小化从两个输入点云提取的全局特征之间的差异[28，18，1]。这些全局特征通常基于点云的所有点来计算，使得无对应性方法不足以处理具有部分重叠的场景，例如在现实世界中捕获的场景[51，6]。基于对应关系的配准方法依赖于两个输入点云之间的点级对应关系[10，39，2]。 尽管显示出有希望的结果，但这些方法遭受两个主要挑战：i）由于传感器噪声和密度变化，真实世界的点云不包含精确的点级对应关系[17，49，36]; ii）对应搜索空间的大小随着两个点云的点数二次增加[49]。找到点对点对应的另一种方法是通过概率模型使用分布到分布的匹配[17，49]。这些概率配准技术显示出比其点对点对应物对噪声和密度变化更大的鲁棒性[36]，然而，它们通常要求其输入共享相同的分布参数（例如，高斯混合模型）。因此，它们只能处理完全到完全[49]或部分到完全[36]的点云配准设置。部分到部分设置，这是典型的在现实世界中的应用，可能有不相交的分布参数。因此，当在这些设置中使用最先进的方法时，极有可能表现不佳。在本文中，我们提出了一种基于高斯混合模型的我们重新定义了法律问题-4512·通过最小化两个对应混合物之间的统计差异度量，将点云对作为两个高斯混合物的对齐。我们引入了一个重叠分数来衡量点通过基于Transformer的深度神经网络位于源点云和目标点云之间重叠区域的可能性。输入点云在此重叠分数的指导下，通过GARCH建模。Transformer网络的自关注或交叉关注带来了计算和内存需求，这些需求与点云的大小（N2）成二次方，这阻碍了它们对大规模点云数据集的适用性因此，我们引入了集群注意的概念，这是一个快速近似的自我注意。集群注意力将一组点分组为J个集群，并仅计算这些集群的注意力，使复杂度与集群的数量呈线性关系，即，N J，其中J N。 OGMM受到DeepGMR的启发[49]，但它在两个方面与DeepGMR不同。首先，我们的概率范例可以通过重叠分数约束处理部分到部分点云配准问题。其次，我们的网络在特征和几何空间中学习一致的GMM表示，我们在Model-Net 40 [41]，7Scene [35]和ICL-NUIM [14]上评估了我们的方法，将我们的方法与传统和基于深度学习的点云配准方法进行了比较。 我们使用本文献中使用的点云配准的典型评估协议[10]。OGMM实现了最先进的结果，并在所有基准测试中大大优于DeepGMR。总之，这项工作的主要贡献是：• 我们提出了一个在重叠分数指导下的基于学习的概率配准框架;• 我们提出了一个基于聚类的重叠Transformer模型，嵌入交叉点云信息，使重叠区域的检测;• 我们引入了基于聚类的损失，以确保我们的网络在特征和几何空间上学习一致的GMM表示，而不是在单个特征空间中拟合• 我们在一系列全面的实验中实现了最先进的准确性和效率，包括合成和真实世界的数据集。2. 相关工作我们回顾了无对应和基于对应的点云配准方法，以及与Transformer相关的工作，因为它是我们方法的主要组成部分2.1. 免通信注册PointNetLK [1]和FMR [18]等无对应配准方法的核心思想是首先从源点云和目标点云中提取全局特征，然后通过最小化回归刚性运动参数最小化两个输入点云的全局特征之间的差异。这样的方法不需要点-点对应，并且对密度变化是鲁棒的。这些方法使用提取的全局特征来降低点云的维数，使得算法的时间复杂度不会随着点云数目的增加而增加。然而，它们高度依赖于两个点云之间的相当高的重叠（超过90%），并且在部分重叠的点云的情况下遭受性能降级，这在现实世界的场景中是典型的[51，6]。2.2. 基于通信的注册2.2.1基于点级别的通信注册。最流行的点对点配准算法是ICP [2]，其通过求解L2优化在刚性运动估计和对应搜索[39，19]然而，ICP收敛到虚假的局部最小图像由于非凸性的问题。在此基础上，提出了许多改进算法例如，Levenberg-MarquardtICP[9]使用Levenberg-Marquardt算法通过用梯度下降和高斯-牛顿方法代替奇异值分解来产生变换，从而在确保高精度的同时加速Go-ICP [46]通过使用分支定界（BnB）优化框架全局解决点云对齐问题，而无需事先提供对应或变换信息。RANSAC类算法广泛用于稳健地找到用于配准的正确对应关系[24]。FGR [53]在分级非凸策略中优化了Geman-McClure成本诱导的基于对应性的目标函数，并实现了高性能。TEASER [45]将配准问题重新表述为一个棘手的优化问题，并提供了易于检查的条件来验证最优解。当点云受到噪声、离群值和密度变化的影响时，这些方法仍然面临挑战[51]。最近，提出了几种深度特征[18，51]，准确地估计点级别的对应关系。例如，DCP [39]采用DGCNN [40]进行特征提取，并使用注意力模块生成软匹配对。RPMNet [47]提出了一种通过将Sinkhorn算法集成到网络中以从局部特征中获得软对应来解决点云部分可见性软对应可以增加配准精度的鲁棒性。RGM[10]利用Transformer通过生成用于逐点匹配的软图边缘来聚合信息。IDAM [25]将几何和距离特征结合到迭代匹配过程中。RIENet [34]提出了一种基于邻域之间的图结构差异来识别内点的方法虽然实现了显着的性能，但这些方法中的大多数依赖于点对点的对应关系，因此它们仍然对噪声和密度变化敏感[17]。4513源点云P={pi∈R3. I. =1、2、…N}到..QPQPF PQFQ FFPFFQ{∈ }FF∈Rd. j= 1，2，… M}。这里，d=512。D.2.2.2准考证登记。概率配准方法将点云的分布建模为密度函数，通常通过使用GARCH，并通过采用基于相关性的方法或使用基于EM的优化框架[49，23]来执行对齐。常用的公式（如CPD [29]和FilterReg [12]）使用3D欧几里得空间上的GMM分布表示目标点云的几何形状。然后，在最大似然估计（MLE）框架下将源点云拟合到GMM分布。另一种统计方法，包括GMMReg [20]，JRMPC [8]和DeepGMR [49]，在源和目标点云上构建GMM概率分布这些方法显示出对离群值、噪声和密度变化的鲁棒性[49]。 这些模型通常假设源点云和目标点云共享相同的GMM参数，或者假设其中一个点云是“完美的”，因此只要两个点云都包含噪声和离群值（例如部分到部分配准），就会导致有偏差的解决方案[8]。考虑到上述因素，本文提出了一种基于高斯混合模型（GMM）的三维点云配准算法，该算法可以应用于部分到部分的配准问题。2.3. 3D点云中的变形器由于固有的排列不变性和强大的全局特征学习能力，3D Transformers很好地适用于点云处理和分析。 他们有3. 我们的方法刚性点云配准的目标是恢复一个刚性变换矩阵T∈SE（3），它由旋转R∈SO（3）和平移t∈R3组成，最佳对齐获得点云的目标=qjR3j=1，2，.，M，其中N和M分别表示和中的点数图1展示了我们的框架，它由三个模块组成：特征提取，重叠区域检测，以及用于配准的双导GMM。共享加权编码器首先分别从点云和中提取逐点特征p和q然后，聚类自注意模块更新逐点特征p和q以捕获全局上下文。接下来，重叠区域检测模块将更新的特征和分别投影到重叠分数op、oqp、q、op和oq然后用于估计和的分布（Gestival）。最后，加权奇异值分解被用来估计刚性变换T的基础上估计的分布。3.1. 特征提取特 征 提 取 网 络 由 动 态 图 卷 积 神 经 网 络（DGCNN）、位置编码和聚类自注意网络组成。给定点云对P和Q，DGCNN提取它们的关联特征F. p={fpi ∈R. i=1，2，…N}和Fq=J超越了最先进的非变压器算法性能。特别是，A-SCN[42]是第一个基于Transformer的点云学习方法的例子。后来，PCT [13]，这是一个纯粹的全球Transformer网络，使用点的3D坐标生成位置嵌入PointTransformer[52]通过最近邻搜索为一般3D任务然而，它们遭受的事实是，随着特征图的大小增加，原始Transformer的计算和存储器开销成二次方地增加降低注意的二次复杂 性 的 努 力 主 要 集 中 在 自 我 注 意 上 。 例 如 ，PatchFormer [50]通过首先将原始点云拆分为补丁，然后聚合每个补丁中的局部特征FastPointTrans- former提出了质心感知体素化和去像素化技术，以降低空间复杂度。然而，这些工作不太适合特征匹配，其中我们需要分别对点云内和点云之间的特征执行自关注和交叉关注为此，我们提出了集群注意力，它将一组点分成J个集群，并只计算这些集群的注意力，从而导致固定数量的集群的线性复杂度3.1.1关注模块由于在长序列表示上的自我注意的二次复杂性，以前的作品中的Transformer训练和推理在计算上可能是昂贵的为 了缓解这一限 制，我们的 新的基于集 群的Transformer架构在本地特征提取后运行：p和q通过注意模块以提取上下文相关的逐点特征。直观地，自注意模块将DGCNN特征转换为更信息化的表示以促进匹配。球面位置编码。变换器通常仅提供高级特征，其可能不会显式编码点云的几何结构[39，16]。这使得学习到的特征在几何上不那么区分，导致严重的匹配模糊和大量的离群值匹配，特别是在低重叠的情况下[33]。一个简单的方法是显式地注入3D点坐标的位置编码，通过添加独特的位置信息来增强不明显区域中点特征之间的区别，从而为每个点特征分配内在的几何属性[52]。然而，结果基于坐标的注意力自然是变换变量[33]，而配准需要变换不变。{fq4514F F PQF F PQF F PQn=，fMqγVKKJx∈KiQ我KJQKIJ伊日Mγqfqpi∈特征提取重叠区域检测重叠制导超磁致伸缩编码器群集self-attention群集交叉注意k-means分型GMM加权奇异值k-means分型GMM编码器群集self-attention群集交叉注意迭代图1. OGMM由三个模块组成：特征提取、重叠区域检测和用于配准的重叠引导GMM。的共享加权编码器从点云提取点级特征p和q， 分别表示。 自我注意模块更新逐点特征p和Q. 重叠区域检测模块投影更新后的特征和重叠得分分别为op，oq。p，q，op和oq被用来估计和的GdR。加权SVD用于基于估计的分布来估计刚性变换T。因为输入点云可以处于任意姿态，所以可以使用任意姿态。为此，我们设计了球形位置编码，利用用点计算的距离和角度fp'jNγpfpNγpq'j=ijj.（二）i=1KKJ以编码点的变换不变几何信息。具体地说，给定一个点pi∈P，我们然后，我们使用具有四个平行注意力头的多注意力层[39]通过以下方式并行更新Fp选择pi的k>0个最近邻Ki，并计算我们表示向量pi−pc和px−pc之间的夹角JiangJiang我我IJVJ质心pc=Ni=1质量为P的p i。 对于每个px∈Ki，fp←fp+MLPαpWsfp，（3）作为αix. p i的位置编码f pos∈ Rd一样j=1其中αp是矩阵αp=Softmax（S）的元素，fpos=φ（pi−pc2）+max{（αix）}， （1）S=（Wsfp）. 这里，Ws∈RN×d，Ws∈其中φ和φ是两个MLP，每个MLP由一个线性层和一个ReLU非线性函数[43]。我们pii=14515·Q位置编码对于刚性变换是不变的，因为距离和角度对于变换是不变的。我们然后通过Fp={fpos+fp}更新P的特征Fp。的RJ×d和W sRJ×d是查询、键和值ma。三次的自注意力特征以相同的方式更新。MLP（）表示一个三层全连接网络，在前两层之后具有实例规范化[37]和ReLU [43]激活。4516将点云P（或Q）分成J个不重叠簇，JJQ我KJQK同样的操作也适用于Q。pii3.1.2重叠区域检测4517基于集群的自我关注。 所述局部特征有一个有限的感受野，这可能会阻碍区分，4518区域性。 相反，人类可以找到 对应这些地区之间的差异不仅基于当地的4519邻里结构，而且通过利用上下文。自我-因此，注意力被引入到对全局结构进行建模，4520建立长期依赖关系。我们利用这个想法4521V·∈pi我IJVJ不F F PQ基于集群的交叉注意。交叉注意力是一种典型的点云配准任务模块，执行4522两个输入点云之间的特征交换给定自注意特征矩阵p和q，4523关于ively，我们首先更新聚类质心fp<$j，fq¯j基于Eq.（二）、将变换后的特征表示为4524t t来提高自我注意力的计算复杂度。具体来说，我们首先使用Wasserstein K-Means [11]来clus-通过交叉注意获得的Fp和Fp，f←fp+MLP。βpWcfq4525几何空间中，γp∈ {0，1}N×J，使得γp=1（或qij4526其中βp是矩阵βp=SoftMax（C）的元素，4527γij=1），如果P（或Q）的第i个点属于第j个ij4528群集（表示为p<$或q<$），否则为0。使用此4529C=（Wcfp）。这里，Wc∈RN×d，Wc∈4530分割，我们现在可以计算集群注意力。首先，我们计算了特征空间中的这些J个聚类中的每个聚类中的点如下，RJ×d和W cRJ×d是查询、键和值矩阵。ces。MLP（）表示一个三层全连接网络，在前两层之后具有实例规范化[37]和ReLU [43]同样的交叉注意障碍是