Fan Lu1, Guang Chen1,*, Yinlong Liu2, Lijun Zhang1, Sanqing Qu1, Shu Liu3, Rongqi Gu4lufan,guangchen,tjedu zhanglijun,2011444 @tongji.edu.cnFeatureExtractionFeatureExtractionFeatureExtractionFeatureExtractionFeatureExtractionFeatureExtractionCoarseRegistrationFineRegistrationFineRegistrationP1X 1D 2X 2D 3X 3D 3X 3D 2X 2D 1X 1D P3R3t2R2tSource point cloudTarget point cloudAligned point cloudstR160140HRegNet：一种用于大规模室外激光雷达点云配准的分层网络01 同济大学，2 慕尼黑工业大学，3 苏黎世联邦理工学院，4 Westwell实验室0Yinlong.Liu@tum.de, liush@ethz.ch, rongqi.gu@westwell-lab.com0摘要0点云配准是三维计算机视觉中的一个基本问题。室外激光雷达点云通常具有大规模和复杂分布，这使得配准具有挑战性。在本文中，我们提出了一种高效的分层网络，称为HRegNet，用于大规模室外激光雷达点云配准。HRegNet不使用点云中的所有点，而是在分层提取的关键点和描述符上执行配准。整体框架将深层可靠特征和浅层精确位置信息相结合，实现了稳健和精确的配准。我们提出了一个对应网络来生成正确和准确的关键点对应。此外，引入了双边一致性和邻域一致性来进行关键点匹配，并设计了新的相似性特征将它们融入到对应网络中，从而显著提高了配准性能。此外，整个网络也非常高效，因为只使用少量关键点进行配准。我们在两个大规模室外激光雷达点云数据集上进行了大量实验，以证明所提出的HRegNet的高精度和高效性。项目网站为https://ispc-group.github.io/hregnet。01. 引言0点云配准旨在估计两个点云之间的最优刚性变换，这是三维计算机视觉中的一个基本问题，在机器人学[27]和自动驾驶[24]等许多应用中起着重要作用。迭代最近点（ICP）[3]是解决点云配准问题的最知名方法。然而，ICP高度依赖于迭代的初始变换猜测，并且很容易陷入局部最小值。0*通讯作者：guangchen@tongji.edu.cn0特征提取0特征提取0特征提取0特征提取0特征提取0特征提取0粗配准0精细配准0精细配准0源点云 目标点云 对齐后的点云0图1.提出的HRegNet的网络架构。点云P被分层下采样为小的关键点集X和描述符D。我们在底层执行粗配准，利用可靠的特征进行关键点匹配，然后进行精细配准，通过利用上层的精确位置信息来优化变换。0由于问题的非凸性，ICP的几个变体[31, 23,37]已被提出以实现全局最优估计，然而对于大规模点云来说通常耗时较长。最近，深度学习在许多三维计算机视觉任务中取得了巨大成功，如三维物体检测和语义分割[13]。也出现了许多基于深度学习的点云配准方法。然而，现有的方法大多设计用于物体级点云[35, 1, 36, 39, 19]或室内点云[5,14, 25,11]。与物体级或室内点云相比，室外激光雷达点云通常具有更高的稀疏性、更大的空间范围和更复杂和可变的分布，这使得配准变得更加困难。✓ 160150因此，现有的基于学习的方法要么不可靠，要么耗时，无法应用于户外LiDAR点云配准。在本文中，我们旨在为大规模户外LiDAR点云配准提供准确、可靠和高效的网络。受到学习-基于3D特征在LiDAR点云配准上的成功启发[18, 2, 20,38,7]，我们提出了一种基于层次化关键点的点云配准网络，命名为HRegNet。整体结构如图1所示。我们将点云分层下采样为多个小的关键点和描述符集合进行配准。直观上，随着层次的加深，单个关键点的信息增加，使得描述符在关键点匹配中更可靠，然而，关键点的稀疏性增加也可能导致对应关键点的位置误差更大。基于上述考虑，网络从底层开始进行粗配准，通过在描述符空间中全局匹配关键点来利用可靠的特征。然后，通过在上层中进行局部匹配来细化粗配准，利用浅层中的精确位置信息。此外，由于只使用少量关键点进行配准，网络具有高效性，可以应用于需要实时性能的应用，如自动驾驶。尽管底层的关键点具有可靠的特征，但描述符的可能误差可能导致相当数量的不匹配。为了提高配准的鲁棒性和准确性，我们提出了一个基于学习的对应网络，用于生成对应的关键点并拒绝不可靠的对应关系。在这里，我们介绍了关键点匹配的两个重要概念，即双边一致性和邻域一致性。如图2(a)所示，双边一致性意味着一对对应关键点应该是彼此在描述符空间中的最近邻。如图2(b)所示，邻域一致性表示两个对应关键点的邻域关键点也应具有高相似性。值得注意的是，双边一致性和邻域一致性已成功应用于许多情况（例如，估计图像密集对应关系[30]）。为了有效地将它们纳入基于学习的配准流程中，我们设计了基于双向描述符相似性和基于注意力的邻域编码模块的新型相似性特征，显著提高了配准性能。为了评估所提出的HRegNet，我们在两个大规模户外LiDAR点云数据集上进行了大量实验，分别是KITTI里程计数据集[10]和NuScenes数据集[4]。结果表明，所提出的方法在准确性和效率方面显著优于现有方法。0(a) 双边一致性。 (b) 邻域一致性。0图2. (a)双边一致性：两个对应关键点应该是彼此在描述符空间中的最近邻。 (b) 邻域一致性：两个对应关键点的空间邻域也应该相似。0总结一下，我们的主要贡献如下：0•我们提出了一种名为HRegNet的新型点云配准网络，具有高计算效率，实现了最先进的性能。0•层次化范式将关键点和描述符的优势在浅层和深层中很好地结合起来，实现了精确和稳健的配准。0•我们设计了新型的相似性特征，有效地将双边一致性和邻域一致性纳入配准流程，并显著提高了配准性能。02. 相关工作0我们简要回顾了两个方面的相关工作：经典的和基于学习的点云配准方法。0经典点云配准：迭代最近点（ICP）[3]是点云配准中最知名的算法，它通过迭代地找到最近的点并通过求解最小二乘问题来更新变换。然而，ICP是一种局部配准算法，很容易陷入局部最小值。几个变体[31, 23,37]旨在突破ICP的限制。Go-ICP[37]使用分支和界限（BnB）算法来搜索全局最优解。还有几种方法尝试从点云中提取特征进行配准[9, 32, 33, 34,15]。例如，快速点特征直方图（FPFH）[32]使用成对的几何属性构建定向直方图。关于3D点云中手工制作特征的综述可以在[12]中找到。特征提取后，常用的鲁棒特征匹配方法是随机采样一致性（RANSAC）[8]，它通过随机采样小的对应子集，然后找到最佳对应关系进行配准。0基于学习的点云配准：PointNetLK是基于学习的点云配准的开创性工作[1]。它通过将PointNet[28]和Lucas＆Kanade算法[22]结合到一个可训练的循环深度神经网络中来执行配准。Deep Clos- est Point (DCP)[35]是一个著名的基于学习的点云配准方法。160160云注册网络。它使用变换器网络来预测点云之间的软匹配，并提供可微分的奇异值分解（SVD）层来计算变换。IDAM[19]利用迭代距离感知相似矩阵卷积模块进行成对点匹配。然而，上述方法基本上是为对象级点云设计的，不适用于复杂的大规模LiDAR点云。0最近，出现了几种基于学习的室内点云配准方法。3DRegNet[25]提出使用深度网络直接回归变换。特征度量配准[14]旨在从不同的角度解决配准问题。它通过最小化特征度量投影误差而不是最小化常用的几何误差来执行配准，而无需对应关系。Gojcic等主要关注多视角3D点云的配准[11]。DeepGlobal Registration (DGR) [5]提出使用一种名为FullyConvolutional Geometric Features (FCGF)[7]的学习特征来执行配准。采用了一个6D卷积网络[6]来预测每个对应关系的可能性。DGR在室内点云配准方面取得了最先进的性能。DeepVCP[21]是一种专为LiDAR点云配准设计的方法。它提出使用虚拟点构建对应关系。然而，DeepVCP中的关键点匹配仅在局部3D坐标空间中进行，这使得该方法基本上只适用于局部配准问题。03. 方法论0给定源点云和目标点云 P S ， P T ∈ R N × 3，HRegNet旨在以粗到精的方式预测从源点云到目标点云的最佳旋转矩阵 ˆ R 和平移向量 ˆ t。如图1所示，这里我们采用了一个3层实现。给定一个点云P，我们利用3个级联的特征提取模块将点云逐层下采样为多个小的关键点集 X l ∈ R M l × 3 ，描述符 D l ∈ R M l× C l 和不确定性 Σ l ∈ R M l ，其中 l = { 1 , 2 , 3 }代表层号， M l 是关键点的数量， C l是描述符的通道数。为了利用底层关键点的可靠特征，我们通过在描述符空间中全局匹配关键点来执行粗配准，以估计粗变换 R 3 ， t 3，然后将其应用于上层的关键点变换。之后，我们在 l = 2的层中进行精细配准来改进粗变换。我们假设粗变换基本上可以对齐点云，因此，精细配准中的关键点匹配在空间邻域中进行局部匹配。最后，在顶层应用另一个精细配准来获得最终的估计 ˆ R ， ˆ t 。03.1. 特征提取0每个特征提取模块的输入是关键点（或原始点云）、显著性不确定性、描述符以及前一层关键点的特征。我们首先采用加权最远点采样（WFPS）[42,29]来选择一组候选关键点。然后，执行k最近邻（kNN）搜索，以构建以候选关键点为中心的聚类，并通过共享多层感知机（Shared-MLP）[28]来预测聚类中每个相邻点的注意权重，以优化候选关键点的位置。显著性不确定性也通过将另一个共享多层感知机应用于聚类来进行预测。此外，设计了一个描述符网络来从聚类中提取每个关键点的描述符。由于特征提取模块不是本文的重点，详细的网络结构在我们的补充材料中提供。03.2. 粗配准0在特征提取模块提取关键点和描述符之后，关键问题是如何找到源关键点和目标关键点之间的正确对应关系。最常用的匹配两组关键点的方法是在描述符空间中进行最近邻（NN）搜索。尽管底层的描述符相对更可靠，但它们并不完美。因此，简单的基于最近邻搜索的方法可能会由于描述符可能存在的错误而导致大量不匹配，从而引起较大的配准误差。为了解决上述问题，在本文中，我们采用基于学习的对应网络来匹配底层l=3中的两组关键点，以执行粗配准。03.2.1 对应网络0为了简化表述，在本节中省略了表示层编号的下标l，并将源关键点和目标关键点及其描述符表示为XS，XT∈RM×30其中DS，DT∈RM×C。如图3所示，对于源关键点xS，我们首先在描述符空间中执行k最近邻（kNN）搜索，以找到XT中的K个候选对应关键点。K个相邻候选关键点{xT1, ∙ ∙ ∙ ,xTK}和中心关键点xS形成一个聚类。聚类的特征由三部分组成：几何特征FG、描述符特征FD和相似性特征FS。FG是中心关键点和相邻关键点坐标的连接。此外，还计算了相邻关键点和中心关键点之间的相对坐标和距离作为额外的几何特征。FD由中心关键点和相邻关键点的描述符组成。此外，还包括关键点的显著性不确定性在FD中。FS用于融合双边一致性和邻域一致性。SFGFDFMaxpoolSharedMLPSoftmax�MLP�Attentiveweights��xcxCluster features SigmoidM�i˜ci��RxSi + t − ˜xTi��2(1)NeighborEncodingNeighborEncodingXDXDM MS��M MMNMS��MM �XNDXNDSource KeypointsTarget Keypointssij =⟨dSi , dTj ⟩dSi2 dTj2(2)sfij =(3)160170FSGFDF0最大池化0共享0MLP0Softmax0�0MLP0�0注意力权重0�0� x0c0x0聚类特征0Sigmoid0图3.粗配准中的对应网络架构。输入是源关键点xS的k个最近邻聚类，特征包括几何特征FG、描述符特征FD和相似性特征FS。输出是对应的关键点˜xT和置信度分数c。0并将在下面的第3.2.2节中详细描述。首先，将聚类特征传递到一个3层共享多层感知机（Shared-MLP）中生成特征图˜F={f1, ∙ ∙ ∙ ,fK}。然后，进一步应用最大池化层和Softmax函数来预测每个候选关键点xTk的注意权重wTk。源关键点xS的估计对应关键点0可以表示为候选关键点的加权和。此外，聚类的关注特征 ¯F 是候选特征 ˜ F 的加权和。 ¯ F 进一步输入到具有Sigmoid函数的 MLP 中，以预测此对应关系的置信度分数c 。然后，通过 ˜ c i = c i / � M j =1 c j对置信度分数进行归一化。正如我们之前所述，使用简单的NN搜索可能会导致大量的不匹配，因为描述子存在误差。直观地说，提出的基于注意力的公式旨在隐式地为正确的候选对应关键点分配更高的权重。学习范式将几何特征、描述子以及双边一致性和邻域一致性结合起来，使用预测的置信度分数 ˜ c生成准确的对应关系并拒绝不可靠的对应关系。给定对应的关键点和置信度分数，可以计算最优的变换 R � ， t � 为0R � ， t � = arg min R , t0其中 x S i 和 ˜ x T i 是对应的关键点，˜ c i是置信度分数，∥∙∥ 2 表示 L 2 范数。方程1可以使用加权Kabsch算法 [16] 进行闭式求解，该算法在 [11]中也有详细推导。03.2.2 相似性特征0双边一致性：基于 k 近邻搜索，我们只能确保在 X T 中搜索到的 K 个候选关键点0与关键点 x S最相似。然而，这种单向操作不能保证匹配的反向最佳相似性。直观地说，正确的对应关系应满足双边一致性，即0邻居编码0邻居编码0源关键点 目标关键点0图4.相似度矩阵的示意图。给定源关键点和目标关键点，我们计算描述子的余弦相似度，形成 S ∈ R M × M。采用邻域编码模块来收集邻域信息，并基于邻域感知描述子 D SN ， D T N 计算相似度矩阵 S N 。0如果 x T j 是 x S i 在 X T中（在描述子空间中）的最近邻，则 x S i 应该是 X S 中 x Tj的最近邻。基于上述考虑，我们引入了新的相似性特征来考虑双边一致性。如图4的顶部行所示，对于每个关键点 x S i，我们计算描述子 d S i 与 X T中所有关键点的描述子的余弦相似度。因此，我们可以得到一个 M × M 的相似度矩阵，相似度矩阵 S ∈ R M × M的一个条目 s ij 可以计算为0其中 �∙ , ∙� 和 ∥∙∥ 2 表示内积和 L 2范数。之后，我们在两个方向上对相似度矩阵进行归一化，生成两个不同的相似度矩阵 S f0（正向矩阵）和 S b （反向矩阵）如下0最大值 m s im ， s b ij = s ij0最大值 m s mj0然后，聚类的相似性特征是正向和反向相似度矩阵 S f 和 Sb中与中心关键点对应的候选关键点的相似性分数的串联。以一对候选对应关键点 { x S i , x T j }为例，那么该对应关系的相似性特征可以表示为 [ s f ij , s bij ] 。相似性特征隐含地建模了双边一致性。如果 x T j 是 XT 中 x S i 的所有关键点中最相似的关键点，则 s f ij = 1。然后，如果 x S i 也是 X S 中 x T j 的最相似关键点，则 sb ij 也等于 1 ，否则 s b ij < 1，因为在这种情况下，最佳相似性分数不会落在 s ij中。因此，只有当 x S i 和 x T j之间的对应关系满足双边一致性时，s f ij 和 s b ij 都等于 1。邻域一致性：除了双边一致性外，邻域一致性对于良好的对应关系也很重要，这意味着两个对应关键点的邻域关键点应具有相似的特征。为了利用邻域一致性，我们提出了一个160180基于注意力机制的邻居编码模块用于收集邻近关键点的信息以生成具有邻域感知能力的描述符。以源关键点 x S为例，我们首先在源点云 X S 中进行 k 近邻搜索，找到 K个邻近关键点形成一个聚类。聚类的特征包括邻近关键点的描述符、相对坐标和相对距离。聚类特征被输入到一个共享的多层感知机（Shared-MLP）中生成一个特征图。然后，通过最大池化层和Softmax函数来预测每个邻近关键点的注意力权重。源关键点 x S 的邻域感知描述符 d S N可以通过邻近描述符的加权和来计算。因此，邻域感知描述符的相似性可以编码邻近关键点的相似性。如图4底部所示，使用邻域感知描述符 D S N 和 D T N，我们通过之前描述的类似方法生成一个邻域感知相似性矩阵 S N ∈ R M × M 。最后，相似性特征 F S包括两部分，即原始相似性矩阵 S 的相似性特征 F O S和邻域感知相似性矩阵 S N 的相似性特征 F N S。因此，相似性特征 F S的引入能够隐式地将双边一致性和邻域一致性同时纳入配准流程中。03.3. 细配准0在第 l = 3 层应用粗配准后，我们得到粗配准的变换 R 3 , t 3。在上层应用细配准来减少由于深层关键点稀疏性引起的配准误差。以中间层 l = 2为例，我们首先使用粗配准的变换 R 3 , t 3将源关键点投影到目标点云上。我们假设粗配准可以提供一个正确但不够精确的估计。因此，源关键点 x S 的对应目标关键点 ˜ x T可以通过在目标点云中搜索与源关键点最近的关键点来获得。0在粗配准后，源关键点 x S 应该在空间上与目标关键点 xT 靠近。基于上述假设，对于源关键点 x S，我们在其空间邻域中进行局部 k近邻搜索，而不是在描述符空间中，以找到 K个候选对应关键点来构建一个聚类。与粗配准不同，细配准中聚类的特征只包括几何特征 F G 和描述符特征 F D。由于上层关键点数量较多，计算复杂度较高，因此在细配准中不考虑相似性特征。然后，我们在聚类上应用类似的对应网络来生成关键点对应关系和置信度分数。随后，使用加权Kabsch算法计算变换 ∆ R 2 , ∆ t 2。然后，细配准后的变换 R 2 , t 2可以通过以下计算得到： R 2 = ∆ R 2 R 3 ， t 2 = ∆ R2 t 3 +∆ t 2 。类似地，基于粗配准，还可以在顶层 l = 1应用另一次细配准。0为了总结，分层结构利用底层的稳健特征和上层的精确位置信息来实现可靠和精确的配准。通过将源点云和目标点云分别投影到不同的层次，我们可以获得多个粗配准结果 R l , t l，然后将这些结果级联起来，通过计算 R 2 , t 2来获得最终的配准结果 ˆ R , ˆ t 。03.4. 损失函数0损失函数 L = L trans + α L rot ，其中 L trans 和 L rot分别是平移损失和旋转损失。给定估计的和真实的变换 ˆ R ,ˆ t 和 R , t ，可以计算出 L trans 和 L rot 如下0平移损失函数 L trans = 平移向量 t与(40L rot = 旋转损失函数 R T R − I的二范数 (5)0其中 I 表示单位矩阵。04. 实验04.1. 实验设置0数据集：我们在两个大规模室外LiDAR点云数据集上进行了大量实验，即KITTI里程计数据集[10]和NuScenes数据集[4]。KITTI数据集包括11个序列（00到10），具有地面真实车辆姿态，我们使用序列00到05进行训练，06到07进行验证，08到10进行测试。我们使用当前帧与之后的第10帧形成一对点云。为了减少地面真实车辆姿态的噪声，我们在Open3D库[41]中执行迭代最近点（ICP）算法来优化两个点云之间的噪声相对变换。NuScenes数据集包括1000个场景，其中850个场景用于训练和验证，150个场景用于测试。我们在850个场景中使用前700个场景来训练网络，其他150个场景用于验证。NuScenes数据集只提供给定样本的真实姿态，并且两个连续点云样本之间的时间间隔约为0.5秒。我们使用当前点云样本与之后的第二个样本作为一对点云。实现细节：在预处理中，我们首先对输入点云进行体素化，体素大小设置为0.3m。然后，我们从KITTI数据集中的点云中随机采样16384个点，在NuScenes数据集中采样8192个点。网络使用PyTorch [26]实现，我们使用Adam[17]作为优化器。学习率最初设置为0.001，每10个epoch减少50%。损失函数L中的超参数α对于KITTI数据集设置为1.8，对于NuScenes数据集设置为2.0。在训练网络时，我们首先预训练特征提取模块，然后基于预训练的特征训练整个网络。整个网络在NVIDIA RTX 3090GPU上进行训练。有关预训练和网络架构的详细信息，请参阅补充材料。160190图5.提出的点云配准方法的定性可视化。这里显示了3个点云配准样本。第一行显示了粗配准中源关键点和目标关键点之间的对应关系，置信度得分为˜c > 0.005，第二行显示了置信度得分为˜c >0.0005的对应关系。绿线和红线分别表示内点和外点的对应关系。底部一行显示了对齐的两个点云，并放大了一个区域以便更好地可视化。0基准方法：我们将提出的HRegNet与经典方法和基于学习的方法进行性能比较。所有方法都在Intel i9-10920XCPU和NVIDIA RTX 3090GPU上进行测试。经典方法：我们评估点对点ICP（ICP（P2Point）），点对面ICP（ICP（P2Plane））[3]，RANSAC [8]和Fast GlobalRegistration（FGR）[40]的性能。所有经典方法都使用Open3D库[41]实现。对于RANSAC和FGR，我们从0.3m体素下采样的点云中提取快速点特征直方图（FPFH）[32]。RANSAC的最大迭代次数设置为2e61。基于学习的方法：我们选择了4种代表性的基于学习的方法与提出的HRegNet进行比较2。（1）Deep ClosestPoint（DCP）[35]：DCP是学习点云配准的开创性工作。对于点云的预处理，从0.3m体素下采样的点云中随机采样4096个点用于两个数据集。（2）IDAM[19]：IDAM是最先进的对象级点云配准方法之一。预处理与DCP相同。（3）Feature-metricRegistration（FMR）[14]：FMR已经在对象级和室内点云配准中进行了评估。点云的预处理与我们的方法相同。（4）Deep GlobalRegistration（DGR）[5]：DGR在室内实现了最先进的性能。01我们尝试了更多的迭代次数，然而，精度不会明显提高，而计算时间会显著增加。2我们还尝试将我们的方法与DeepVCP[21]进行比较，然而，作者尚未发布源代码，自己实现的版本也没有提供合理的结果。0点云配准。点云的体素大小为0.3m。为了获得更好的性能，所有基于学习的基准方法都在两个数据集上进行了重新训练。04.2. 评估0定性可视化：我们在图5中展示了几个点云配准的定性样本。粗配准中置信度得分˜c > 0.005和˜c >0.0005的对应关键点分别显示在第一行和第二行。如果两个对应关键点的相对位置误差（应用了真实相对变换后）小于距离阈值ϵd =1m，则认为它们是内点。绿色和红色线分别表示内点和外点对应关系。根据结果，具有较大置信度得分（˜c >0.005）的对应关系基本上都是内点，当将˜c的阈值降低到0.0005时，开始出现一些不匹配。定性结果显示，对应网络可以生成准确和正确的关键点对应关系，并且预测的置信度得分可以有效地拒绝不可靠的对应关系。图5的第三行显示了两个对齐的点云，证明了网络可以精确预测变换。更多的定性结果在我们的补充材料中展示。0定量评估：我们采用相对平移误差（RTE）和相对旋转误差（RRE）来评估配准性能。RTE可以计算为公式4，RRE可以表示为arccos(Tr(ˆRTR−1)/2)，其中ˆR和R分别是估计的和真实的旋转矩阵。HRegNetICP(P2Point)ICP(P2Plane)FGRRANSACDCPIDAMFMRDGR00.20.40.60.8100.20.40.60.8100.20.40.60.8100.20.40.60.81Overall, extensive experiments demonstrate that the pro-posed HRegNet achieves state-of-the-art performance interms of both accuracy and efficiency.160200HRegNet ICP(P2Point) ICP(P2Plane) FGR RANSAC DCP IDAM FMR DGR00 0.5 1 1.5 2 RTE阈值（米）0召回率00 1 2 3 4 5 RRE阈值（度）0召回率00 0.5 1 1.5 2 RTE阈值（米）0召回率00 1 2 3 4 5 RRE阈值（度）0召回率0(b) NuScenes数据集 图6. 在KITTI数据集和NuScenes数据集上使用不同的RRE和RTE阈值进行注册召回。0表1. KITTI数据集和NuScenes数据集上的配准性能。0方法 KITTI数据集 NuScenes数据集0RTE（米） RRE（度） 召回率 时间（毫秒） RTE（米） RRE（度） 召回率 时间（毫秒）0ICP (P2Point) [3] 0.04 ± 0.05 0.11 ± 0.09 14.3% 472.2 0.25 ± 0.51 0.25 ± 0.50 18.8% 82.0 ICP (P2Plane) [3] 0.04 ± 0.04 0.14 ±0.15 33.5% 461.7 0.15 ± 0.30 0.21 ± 0.31 36.8% 44.5 FGR [40] 0.93 ± 0.59 0.96 ± 0.81 39.4% 506.1 0.71 ± 0.62 1.01 ± 0.9232.2% 284.6 RANSAC [8] 0.13 ± 0.07 0.54 ± 0.40 91.9% 549.6 0.21 ± 0.19 0.74 ± 0.70 60.9% 268.20DCP [35] 1.03 ± 0.51 2.07 ± 1.19 47.3% 46.4 1.09 ± 0.49 2.07 ± 1.14 58.6% 45.5 IDAM [19] 0.66 ± 0.48 1.06 ± 0.94 70.9% 33.40.47 ± 0.41 0.79 ± 0.78 88.0% 32.6 FMR [14] 0.66 ± 0.42 1.49 ± 0.85 90.6% 85.5 0.60 ± 0.39 1.61 ± 0.97 92.1% 61.1 DGR [5]0.32 ± 0.32 0.37 ± 0.30 98.7% 1496.6 0.21 ± 0.18 0.48 ± 0.43 98.4% 523.00HRegNet 0.12 ± 0.13 0.29 ± 0.25 99.7% 106.2 0.18 ± 0.14 0.45 ± 0.30 99.9% 87.30配准召回率定义为成功配准的比例。当RTE和RRE在阈值ϵtrans和ϵrot内时，配准被认为是成功的。我们在两个数据集上展示了在不同RTE和RRE阈值下的配准召回率，如图6所示。根据结果，所提出的HRegNet在两个数据集上都明显优于所有基准方法。此外，为了更详细地比较配准性能，我们计算了平均RRE和RTE，并在表1中显示了结果。需要注意的是，部分失败的配准可能导致极大的RRE和RTE，这可能会导致不可靠的误差度量。因此，平均RTE和RRE仅针对成功的配准进行计算，并且阈值设置为ϵtrans = 2m和ϵrot =5度。给定阈值下的配准召回率也在表1中显示。0根据结果，由于两个点云之间缺乏精确的初始变换，ICP算法（包括ICP（P2Point）和ICP（P2Plane））在大多数情况下无法生成合理的相对变换。FGR的表现略好于ICP，然而，配准召回率仍然低于50％，这在应用中是不可接受的。RANSAC在经典方法中表现最佳，得益于强大的异常值拒绝机制，然而，迭代范式也可能导致效率低下。RANSAC的平均RTE与我们的方法相似，然而，这是因为在计算中省略了许多匹配项，并且根据图6，RANSAC的配准召回率明显低于我们提出的方法。此外，我们的方法在KITTI数据集上的运行时间几乎是RANSAC的1/5。0总体而言，广泛的实验证明了所提出的HRegNet在准确性和效率方面达到了最先进的性能。0至于基于学习的方法，DCP在KITTI和NuScenes数据集上的召回率都不到60％，平均RTE和RRE也相当大。IDAM的表现优于DCP，然而，在KITTI数据集上的召回率仍然只有约70％，而RTE和RRE比提出的方法要高得多，这表明了对象级点云配准方法在复杂大规模LiDAR点云中的适用性较差。FMR的速度略快于我们的方法，然而，配准误差比我们的要高得多。例如，FMR在KITTI数据集上的RTE是我们方法的5倍多。DGR在所有基于学习的基准方法中实现了最佳的配准性能。然而，基于6D卷积网络的异常值拒绝方法耗时，并且基于体素的点云表示限制了配准的精度。我们方法在KITTI数据集上的RTE几乎是DGR的1/3。此外，我们的方法在KITTI数据集上的速度几乎是DGR的15倍。Layer 1Layer 2Layer 300.5100.5100.5100.51160210第1层 第2层 第3层00 0.1 0.2 0.3 0.4 0.5 RTE阈值（米）0召回率00 0.2 0.4 0.6 0.8 1 RRE阈值（度）0召回率0图7.KITTI数据集上不同输出层的配准召回率。我们将RTE阈值范围设置为0到0.5m，将RRE阈值范围设置为0到1度，以便更好地可视化。第1层：顶层；第2层：中间层；第3层：底层。04.3. 消融研究0我们在KITTI数据集上进行了大量的消融研究，以证明分层结构和相似性特征引入的有效性。分层结构：为了验证分层结构的有效性，我们分别使用从第3层到第1层的输出变换R，t作为最终估计结果进行评估。使用不同输出层的网络分别使用相同的超参数进行训练。不同输出层的配准召回率显示在图7中。详细的平均RRE和RTE显示在表2中，计算设置与表1相同。根据结果，随着逐层细化，平均RTE和RRE逐渐降低。第2层的结果比第3层的旋转误差要低得多。而第1层（即完整模型）的平移精度也明显提高，与第2层相比，这证明了分层细化策略的有效性。需要注意的是，第1层在不同RRE阈值下的配准召回率几乎与第2层相同，并且我们发现进一步增加层数不会显著改善配准性能，但会降低网络的效率。考虑到准确性和效率之间的权衡，我们选择了3层实现。相似性特征：如前所述，相似性特征FS由两部分组成，即原始相似性特征FOS和邻域感知相似性特征FNS。为了分析这两部分对性能的影响，我们分别去除FOS和FNS并重新训练网络。完整模型和没有FOS、FNS和FS的模型的配准召回率以及平均RRE和RTE显示在图8和表2中。根据结果，没有相似性特征FS的配准召回率明显低于其他情况，这证明了双边一致性的重要性。邻域感知相似性特征FNS将邻近关键点的信息纳入考虑，但也可能导致忽视关键点自身独特的特征。因此，原始的和邻域感知的相似性特征是互补的。00 0.1 0.2 0.3 0.4 0.5 RTE阈值 (m)0召回率00 0.2 0.4 0.6 0.8 1 RRE阈值 (度)0召回率0图8. KITTI数据集上使用相似性特征与不使用相似性特征的配准召回率.FOS: 原始相似性特征. FNS: 邻域感知相似性特征. FS:两种相似性特征都使用.0表2. KITTI数据集上的消融研究.0模型 RTE (m) RRE (deg) 召回率 时间 (ms)0完整模型 0.12 ± 0.13 0.29 ± 0.25 99.7% 106.20Layer 2 0.15 ± 0.18 0.29 ± 0.27 99.2% 101.4 Layer 3 0.16 ±0.18 0.55 ± 0.45 99.7% 96.90无 FOS 0.15 ± 0.19 0.31 ± 0.30 99.1% 98.6 无 FNS 0.14 ±0.17 0.33 ± 0.29 99.4% 96.4 无 FS 0.19 ± 0.22 0.46 ± 0.3698.7% 88.00两者互补并结合的模型(即完整模型)优于其他情况.总体而言, 结果表明相似性特征的引入显著提高了性能.05. 结论0在本文中,我们提供了一种用于大规模室外LiDAR点云配准的高效分层网络.分层范式通过在不同层中引入粗配准和精配准来利用深层和浅层中关键点和描述符的不同特征.为了构建可靠的关键点对应关系,我们提出了一个对应网络来生成对应的关键点. 此外,我们设计了新颖的相似性特征,以有效地将双边一致性和邻域一致性纳入配准流程中.大量的消融研究证明了分层范式和相似性特征的有效性.此外, 该网络也非常高效,因为我们只使用了少量的关键点进行配准.在两个大规模LiDAR点云数据集上进行的大量实验证明了所提出的HRegNet的高精度和高效性.0致谢:本工作得到上海市科技重大专项项目(编号2018SHZDZX01), ZJ Lab, 上海脑科学与脑启发技术研究中心,自动驾驶卡车关键技术开发与应用项目,上海市青年科技启明星计划(编号21QC1400900),以及中国国家重点研发计划(编号2016YFB0100901)的支持.[26] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer,James Bradbury, Gregory Chanan, Trevor Killeen, Zem-ing Lin, Natalia Gimelshein, Luca Antiga, Alban Desmai-son, Andreas Kopf, Edward Yang, Zachary DeVito, Mar-tin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit160220参考文献0[1] Yasuhiro Aoki, Hunter Goforth, Rangaprasad ArunSrivatsan, 和 Simon Lucey. Pointnetlk:使用PointNet的鲁棒高效点云配准. 在《计算机视觉与模式识别》IEEE/CVF会议论文集 中,页码7163–7172, 2019年.0[2] Xuyang Bai, Zixin Luo, Lei Zhou, Hongbo Fu, Long Quan,和 Chiew-Lan Tai. D3feat:3D局部特征的密集检测和描述的联合学习. 在《计算机视觉与模式识别》IEEE/CVF会议论文集 中,页码6359–6367, 2020年.0[3] P. J. Besl 和 N. D. McKay. 一种用于三维形状配准的方法.《IEEE模式分析与机器智能》杂志, 14(2):239–256, 1992年.0[
我的内容管理
收起
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助 
