RPM-Net：使用学习特征的鲁棒点匹配

1RPM-Net：使用学习特征的鲁棒点匹配李健熙新加坡国立大学计算机科学系{zijian.yew，gimhee.lee}@ comp.nus.edu.sg摘要估计的软对应迭代最近点（ICP）通过两个步骤迭代地解决刚性点云配准问题：（1）对空间最近点对应进行硬分配，然后（2）找到最小二乘刚性变换。基于空间距离的最近点对应的硬分配对初始刚性变换和噪声/离群点敏感，这通常导致ICP收敛到错误的局部最小值。在本文中，我们提出了RPM-Net -一种对初始化不太敏感、基于深度学习的刚性点云配准方法。为此，我们的网络使用可区分的Sinkhorn层和退火来从从空间坐标和局部几何学中学习的混合特征中获得点对应的软AS。为了进一步提高配准性能，我们引入了一个二级网络来预测最佳退火参数。与一些现有的方法不同，我们的RPM网络处理丢失的对应关系和点云与部分可见性。实验结果表明，与现有的非深度学习和最近的深度学习方法相比，我们的RPM-Net实现了最先进的性能我们的源代码可以在项目网站1上找到。我们的结果（迭代5）RPM结果1. 介绍刚性点云配准是指寻找刚性变换来对齐具有未知点对应关系的两个给定点云的问题。它在计算机视觉和机器人技术的许多领域都有应用，例如：机器人和物体位姿估计、基于点云的随机化和映射等。刚性点云配准是一个先有鸡还是先有蛋的问题，需要解决未知点对应和刚性变换以对齐点云，因此通常称为同时姿态和对应问题[17]。点对应或刚性变换的知识使问题变得简单。1https://github.com/yewzijian/RPMNet图1.我们的RPM-Net估计来自从点的空间坐标和局部几何学学习的混合特征的软对应，并在5次迭代后收敛到正确的解。相比之下，RPM [12]陷入局部最小值。ICP [3]被广泛认为是解决刚性点云配准问题的事实上的算法。它通过在两个步骤之间交替来求解点对应和刚性变换：（1）将来自参考点云的每个点分配给源点云中其空间上最近的点，以及（2）计算对应关系之间的最小二乘刚性变换。不幸的是，ICP是高度敏感的初始化和经常收敛到错误的局部最小值。它也可能在存在噪声/异常点的这将ICP限制在具有良好初始刚性变换的相对低噪声和无异常值的场景中，并排除了其在诸如11824…迭代4输入迭代111825如噪声扫描的配准和全局配准。最近一种基于深度学习的ICP[35] 从深层特征计算点对应以降低初始化的敏感度，但对离群值仍然不鲁棒，并且在部分可见的点云上效果不佳。提出了许多工作[6，12，33]来缓解ICP的问题，并且一个突出的工作是鲁棒点匹配（RPM）[12]。它从点对应的软分配开始，并通过确定性退火逐渐硬化正如我们在实验中所示，尽管RPM比ICP更鲁棒，但它仍然对初始化和局部最小值敏感，因为点对应仍然仅从空间距离获得。另一方面，基于特征的方法[26，28，32]通过检测独特的关键点并使用特征描述符描述关键点的局部几何形状来避免初始化和局部最小值问题。然后，可以将一个点云中的特征描述符匹配到另一个点云中的特征描述符，并且可以使用RANSAC方案鲁棒地解决刚性变换。然而，这些方法仅适用于具有独特几何结构的点云[30]。在本文中，我们提出了一种基于深度学习的RPM，RPM-Net：- 端到端可微分深度网络，其保持RPM对噪声/离群点的鲁棒性，同时利用来自学习的特征距离而不是空间距离的点对应性使初始化不敏感。为此，我们设计了一个特征提取网络，根据每个点的空间坐标和几何属性计算其混合特征，然后使用Sinkhorn [31]层和退火来从这些混合特征中获得点对应的软分配空间坐标和几何属性的融合以及从数据中学习改善了点的对应性。这降低了初始化的敏感性，并增强了对缺少对应和部分可见性的点云进行配准的能力。与ICP及其大多数变体类似，我们的RPM- Net迭代地细化刚性点云配准。最后，我们引入了一个二级网络来预测最佳的退火参数的基础上的当前状态的比对，即。我们的退火不遵循固定的时间表。结合使用混合特征，我们的算法可以在少量迭代中收敛，如图1所示的示例所示。实验表明，我们的RPM-Net与现有的非深度学习和最近的深度学习方法相比，达到了最先进的性能。我们的主要贡献是：• 使用特征提取网络、Sinkhorn层和退火来降低初始敏感度，增强了刚性点云配准的鲁棒性。• 引入二次网络预测最佳退火参数。• 提出了一种改进的倒角距离度量，以改善对称或部分可见性情况下的配准质量测量。• 显示国家的最先进的性能相比，其他现有的作品在干净的，嘈杂的，部分可见的数据集下的实验评估。2. 相关工作基于特征的方法。 基于特征的方法以两步方法解决配准问题：（1）建立两个点云之间的点对应，以及（2）从这些对应计算最佳变换。第一步是不平凡的，需要精心设计的描述符来描述独特的关键点，以便在点云之间进行匹配。已经提出了各种各样的手工3D特征描述符，并且可以在[13]中找到全面的调查。通常，这些描述符根据其空间坐标[9，14，32]或其几何属性（如曲率[4]或法线[28]）将测量值（通常为点的数量）累积到直方图中。为了确定空间面元的方位，这些方法大多需要一个局部参考框架（LRF），这是很难明确获得的，所以其他的工作，例如。PFH [27]和FPFH [26]设计了旋转不变描述符，以避免对LRF的需要最近的工作应用深度学习来学习这样的描述符。最早的此类作品之一，3DMatch [42]，使用对比损失训练的3DCNN对体素化导致质量损失，因此后来的作品，如PPFNet [7]使用PointNet [23，24]架构直接从原始点云学习特征。除了预测特征描述符之外，3D网络[41]和USIP [18]还学习检测突出的关键点。基于特征的方法的主要问题是它们要求点云具有独特的几何结构。另外，所得到的噪声对应需要随后的鲁棒配准步骤（例如，RANSAC），其不能很好地适应典型的学习框架。手工注册方法。原始ICP算法[3，5]通过在估计点对应性和找到使点到点[3]或点到平面[5]误差最小化的刚性变换之间交替来规避对特征点匹配的需要。随后的工作试图通过例如，选择合适的点[10，25]或加权点对应[11]。ICP变体概述见[25]。然而，大多数ICP变体仍然需要相对良好的初始化，以避免收敛到不良的局部最小值。一个值得注意的例外是，Go-ICP [40]使用分支定界方案来搜索全局最优配准，但需要权衡更长的计算时间118262k=1j=12次或者，可以使用软分配策略[6，12，33]扩大比较方案的收敛范围。特别地，RPM [12]使用具有确定性退火时间表的软分配方案，以在每次迭代时逐渐“硬化”分配。IGSP [21]使用不同的方法，并使用点的空间坐标和手工制作的BSC [8]特征测量混合度量空间上的点相似性然而，作者没有学习这些特征，并且必须手工制作加权方案4. 背景：稳健的点匹配如前所述，我们的工作建立在RPM [12]的框架之上.为了完整性，我们在本节中简要描述了该算法，感兴趣的读者可以参考[12]了解更多细节。我们定义一个匹配矩阵M={0，1}J×K来表示点对应的分配，其中每个元素.空间距离和特征距离之间。我们的工作建立在RPM的迭代框架。但是，我们相信-mjk=1如果点xj对应于yk。（一）0否则在其软分配阶段期间学习的混合特征之间的侧距离。此外，我们不使用预先定义的退火时间表，而是让网络决定在每次迭代时使用的最佳设置。学习注册方法。最近的作品改善让我们首先考虑点之间存在一一对应的情况 在这种情况下，M是方阵。配准问题可以用公式表示为找到刚性变换{R，t}和将X中的点最佳映射到Y上的对应矩阵M，即，现有的深度学习方法。PointNetLK [1]使用PointNet [23]计算以下内容的全局表示：Jarg minΣKmjk（<$Rxj+t-yk<$2-α），（2）每个点云，然后优化变换，以最小化M，R，tj=1k=1以类似于Lucas-Kanade算法的迭代方式计算全局描述符之间的距离[20，2]。根据《公约》mjk =1，j，Jmjk =1，k，且后来，PCRNet [30]通过用深度网络取代Lucas-Kanade步骤来提高对噪声的鲁棒性。深度最近点[35]提出了一种不同的方法。它提取每个点的特征以计算点云之间的软匹配，然后使用可微SVD模块来提取刚性变换。他们还利用Transformer网络[34]在计算特征表示时合并全局虽然显示出比传统方法更鲁棒，但是上述工作不能处理部分对部分点云配准。一个并行的工作，PR-Net [36]结合了关键点检测来处理部分可见性。我们的工作使用了一种更简单的方法，并且更类似于深度最近点，但与[35]不同的是，我们的网络能够通过使用RPM的Sinkhorn归一化[31]来处理离群值和部分可见性，并使用迭代推理管道来实现高精度。3.问题公式化给 定 两 个 点 云 ： X ={xj∈ R3|j = 1 ， … J} 和Y={yk∈R3|k=1，…K}，分别作为源和参考，我们的目标是恢复未知的刚性变换{R，t}. R∈SO（3）是一个旋转矩阵，t∈R3是一个平移向量，用于对齐两个点云。我们假设可以容易地从这些点计算法线。与最近基于深度学习的相关工作[35]不同，我们不假设点之间存在一一对应关系两个点云可以具有不同数量的点，mjk∈{0，1}，njk. 这三个约束迫使M是一个置换矩阵。α是控制被拒绝为异常值的对应数量：任何一对距离为<$Rxj+t-yk<$2<α的点（x j，y k）都被认为是内点，因为设置m jk= 1会降低等式中的成本。二、在RPM中，置换矩阵约束被放松为双随机约束，即，每个mjk∈[0，1]。最小化Eq.然后使用在两个步骤之间迭代的确定性退火来求解2：（1）软任务，以及(2)刚性变换的估计在软分配步骤中估计匹配质量为此，每个元素mjk∈M首先被初始化如下：2mjk<$e−β（<$Rxj+t −yk<$2 −α），（3）其中β是在每个迭代步骤上要增加的退火参数：β的小初始值导致软分配，这有助于避免陷入局部最小值。随着β增大，mjk→ {0，1}，匹配矩阵M变得更接近置换矩阵。交替行和然后执行列归一化以满足双随机约束。这是由于Sinkhorn [31]的一个结果，该结果指出，通过反复应用交替的行和列归一化，可以从具有所有正条目的任何方阵获得请注意，分配是确定性的（因此称为确定性退火）。β控制着确定性模式中对应的“硬度”。这与模拟退火方法[16]形成对比，在模拟退火方法中，即，JK或覆盖不同的范围。温度的随机函数11827我一旦估计对应性，就可以计算刚性变换{R，t} 各种方法可以用于此目的，我们遵循[19，35]使用本文的SVD（第5.3节）计算{R，t}。最后，当J/= K或存在离群非匹配点时，在等式中对M的ity约束2成为不等式约束，但可以通过引入松弛变量转换回等式约束：其中fθ是由θ参数化的深度网络，并且xi∈ N（xc）。表示通过减去中心点[24]：i=xi− xc。（七）PPF（xc，xi）是4D点对特征（PPF）[26，7]，其描述质心点xc和每个质心点之间的表面。ΣKmjk≤1，mj→K+1mjk=1，nj，（4）以旋转不变的方式计算相邻点xiPPF（xc，xi）=（nc，n xc，i），n（ni，nxc，i），k=1k=1n（n，n），n= x（八）），并且对于列约束也是如此。 在实践中，这是通过向Sinkhorn归一化的输入添加一行和一列来实现的，即，MJ+1，K，MJ，K+1.5. 我们的RPM网络图2显示了我们的RPM-Net的图示。我们对RPM做了两个主要更改：（1）空间距离被学习的混合特征距离所取代，（2）我们的网络决定α，β的值（c.f。当量3）在每次迭代时。在每次迭代i，源点云X首先是由刚性变换{Ri−1，ti−1}进行变换将从上一步骤估计的点云X_i转换为变换后的点云X_i。特征提取模块（第5.1节）然后提取两个点云的混合特征。 同意-其次，一个二级参数预测网络（5.2节）预测最佳退火参数α，β。该算法首先利用混合特征和α、β参数计算初始匹配矩阵，然后通过Sinkhorn归一化来实现双随机约束，得到最终匹配矩阵Mi。 最后，更新的转换计算{Ri，ti}并在下一次迭代中使用5.1. 特征提取我们在等式中替换空间距离。3与学习的特征之间的距离，即，cic，i2其中nc和ni是点xc和xi的法线。 上述两个输入描述了局部几何，但不包含关于点的绝对位置的信息在这项工作中，我们还包括质心点xc的绝对位置。这使我们的网络能够像在原始RPM中那样迭代地细化配准我们使用PointNet [23]实现fθ，该PointNet能够将任意数量的无序点汇集到单个描述符中。具体来说，为了获得xc的特征，我们首先连接每个相邻点xi∈的原始特征N（xc）转换为10-D输入向量[xc，n xc ， i，PPF（xc，xi）]。然后我们将它们放入一系列共享的致密层中，max-pooling和其他密集层，然后是max2归一化以获得单个特征向量Fxc。5.2. 参数预测网络在原始RPM算法中，离群值参数α的值和β的退火时间表（等式1）为：5）为每个数据集手动设置。这些参数依赖于数据集，必须针对每个数据集进行调整。在我们的RPM-Net中，这些参数很难手动设置，因为它们依赖于学习的特征。我们认为，一个固定的退火时间表是不必要的，因为参数可以选择基于当前状态的对齐，而不是迭代计数。相应地，我们使用一个二级网络，它将点云作为输入，mjk←e −β（Fxj−F2yk<$2−α），（5）预测当前迭代的参数。特别地，我们将两个点云连接起来以形成（J+K，3）其中，Fxj和Fyk分 别是点xj∈X和yk∈Y的特征。用学习的特征替换空间坐标允许我们的算法考虑额外的信息来源，例如，在分配的计算期间，局部几何特征，以避免陷入错误的局部最小值。在我们的工作中，F（·）是包含信息的混合特征，在点的空间坐标和局部几何上的作用对于任一点云中的点xc，我们首先定义包含分布内的点的局部邻域N（xc）从它的τrad的距离其特征Fxc则由下式给出矩阵，用包含0或1的第四列对其进行扩充，这取决于点 来 自 哪 个 点 云 ， 并 将 其 馈 送 到 输 出 α 和 β 的PointNet。为了确保预测的α和β为正，我们对最终层使用softplus激活。5.3. 刚性变换的估计一旦估计了软分配，最后一步是估计刚性变换。对于X中的每个点xj，我们计算Y中相应的坐标：1ΣK11828Fxc=fθ（xc，{xxc，i}，{PPF（xc，xi）}），（6）yj=KkmjkKm jk·yk.（九）11829KJJK前一次变换{R���−���，���−}���当前变换{R，}������源刚性转换Trans fsource���特征提取混合特征������源代码参数预测，计算匹配矩阵∑对应参考文献点���加权SVD, ,=SVD=参考特征提取匹配矩阵Hybrid特性迭代次数Δ���λ1���PPF（PPF，PPF1）Δ���λ2���PPF（100，102）Δ������,��� PPF（塑料，塑料）附近城市��� ������={1，������特征提取（b）第（1）款（一）参数预测（c）第（1）款，������，计算匹配矩阵（d）其他事项图2. (a)我们的RPM网络概述，（b）特征提取网络，（c）参数预测网络，以及（d）匹配矩阵M的计算。上标表示迭代计数。然后我们遵循[19，35]并使用SVD 来求解刚性变换，这在[22]中已被证明是可重构的由于不是每个点xj都可能有对应关系，因此我们对每个对应关系（xj，yj）进行加权，ΣKW =M当计算刚性变换时。5.4. 损失函数我们的主要损失函数是使用地面实况变换{Rgt，tgt}变换的源点云X与预测变换之间的距离{Rpred，tpred}[19]：1ΣJ5.5. 实现细节整个网络被实现为一个递归神经网络，具有用于Sinkhorn归一化的内环。我们遵循[29]在Sinkhorn正规化的实现中，将其展开固定数量的步骤（设置为5）。尽管梯度可以从一个迭代流到另一个迭代，但实际上，这并不能提高性能，并导致训练不稳定。 我们采用一个简单的解决方案在每次迭代开始时停止{R，t}梯度。这意味着每次迭代都是独立的，我们可以在训练过程中只执行一次迭代尽管如此，我们在训练期间运行Ni= 2Lreg=J|(Rgtxj+tgt)−(Rpre dxj+tpre d)|J（十）因为这允许网络看到具有较小错误的数据，更频繁地对准，并且因此学习如何在后续迭代中改进配准。 在测试期间，根据经验，我们注意到网络有一种倾向，将大多数点标记为离群值，仅具有上述配准损失。为了缓解这个问题，我们在计算的匹配矩阵M上添加二次损失以鼓励内点：我们使用Ni= 5次迭代来实现更精确的配准。对于特征提取和参数预测网络，我们在除最后一层外的所有层上使用具有组归一化的ReLU激活[38]我们的特征提取1ΣJL内点= −JJK1mjk−Kk kjmjk.（十一）网络考虑τ rad= 0的邻域。3，输出尺寸为96的特征。我们使用ADAM优化器[15]训练网络，学习率为0.0001。总损失是两个损失的加权和：Ltotal=Lreg+λLinlier，（12共享MLP共享MLP共享MLPconcat共享MLP共享MLP共享MLP计算初始值（等式第五章）MLPMLPSinkhorn归一化………最大池2归一化最大池软加118302）这里我们使用λ = 0。01在所有的实验中 我们计算每一次迭代i的损失，但将损失加权1（Ni−i），以便为后面的迭代提供更高的权重，其中N i是训练期间的迭代总数。6. 实验6.1. ModelNet40数据集我们在ModelNet40 [39]数据集上评估了我们的算法，该数据集包含来自40个人造物体类别的CAD模型。我们使用来自以下网站11831GT222[23]，其中包含从网格面随机采样的2，048个点，并归一化为单位球体。数据集包含每个类别的官方训练/测 试 拆 分 。 To evaluate the ability of our network togeneralize to differ- ent object categories, we use the trainand test splits for the first 20 categories for training andvalidation respectively, and the test split of the remainingcategories for testing.这导致了5，112个训练模型、1，202个验证模型和1，266个测试模型。在[35]之后，我们通过在范围[0，45°]和trans-angle中采样三个欧拉角旋转来对旋转进行采样。在范围[-0。5，0。5]在训练过程中的每个轴上和试验.我们使用采样刚性变换来变换源点云X，并且任务是将其配准到未扰动的参考点云Y。6.2. 评估指标我们通过计算平均各向同性旋转和平移误差来评估配准：误差（R）=<$（R−1R<$），误差（t）=<$tGT− <$t <$2，（13）其中，{RGT，tGT}和{RG T，tGT}分别表示地面真值和估计变换。（X）=arccos（tr（X）−1）返回旋转矩阵X的角度（以度为单位）。为了与以前的工作保持一致，我们也提供了平均绝对误差的角度和平移向量。然而，注意，这些度量是各向异性的。在ModelNet40模型中常见的对称性情况下，上述度量不公平地惩罚了与替代解决方案的对齐，因此我们还提出了变换后的源点云X和参考点云Y之间的修正倒角距离度量：方法各向异性误差各向同性误差CD（腐烂）（Trans.）（腐烂）（Trans.）ICP3.1140.023286.4070.05060.002975RPM1.1210.006362.4260.01410.000360FGR0.0100.000110.0220.00020.000012PointNetLK0.4180.002410.8470.00540.000138DCP-v22.0740.014313.9920.02920.001777我们0.0280.000160.0560.00030.000003表1.清洁数据的性能。粗体和斜体表示最佳和次佳绩效措施。注意：DCP-v2的结果是基于我们的训练模型，并且比其报告的[ 35 ]各向异性误差为2的性能略差。007（腐）和0.0037（反）。需要预先训练的模型2.6.4. 干净数据我们遵循[35]中的协议，并在干净数据上评估配准性能我们从ModelNet40数据集中的2，048个点中随机抽取源点云和参考点云的1，024个点，然后对源点云应用随机刚性变换并打乱点顺序。在此设置下，源点云X中的每个点在参考点云Y中具有精确的对应关系。包括我们在内的所有表1显示了各种算法在干净数据上的性能我们的方法实现了非常准确的注册，并在所有措施中排名第一或第二除了FGR之外，它的性能优于所有学习和手工制作的方法。然而，正如我们将在随后的章节中看到的，FGR对噪声非常敏感。配准结果的定性比较见图3（a）。CD（X，Y）=1|X|Σx∈Xminy∈Yclean x-y6.5. 高斯噪声在这个实验中，我们评估了1|Y|Σy∈Yminx∈Xcleanx-y（十四）存在噪声和采样差异， 的在现实世界中的点云。我们从模型中随机抽取了1,024个点，但源点云和参考点云是独立的。 当应用程序运行时，我们修改了倒角距离，其他点云的干净完整的6.3.基线算法我们将我们的RPM网络的性能与以下手工注册算法：ICP [3]，FGR [43]和RPM [12]，以及最近基于深度 学 习 的配 准 工作 ： PointNetLK [1]和 深 度最 近 点（DCP-v2）[35]。我们使用Intel Open3D [44]中ICP和FGR 的 实 现 ， 以 及 我 们 自 己 的 RPM 实 现 。 对 于PointNetLK和Deep Closest Point，我们使用作者提供的实现，但重新训练了网络，因为这两个作品都没有提供dom刚性变换的源点云，我们随机抖动的点在两个点云的噪声采样从N（0，0。01）并在每个轴上剪切到[-0.05，0.05]。由于噪声和非一对一对应关系，该实验明显更具挑战性。 我们训练的都是有学问的除了PointNetLK之外，我们在噪声数据上建立模型结果示于表2中。我们的网络优于所有手工制作和学习的方法，因为我们明确处理没有对应关系的点。另一方面，深度最近点需要2Deep Closest Point提供预训练模型，但不用于匹配不可见类别和噪声数据。11832方法各向异性误差各向同性误差CD（腐烂）（Trans.）（腐烂）（Trans.）ICP3.4140.02426.9990.05140.00308RPM1.4410.00942.9940.02020.00083FGR1.7240.01202.9910.02520.00130PointNetLK1.5280.01282.9260.02620.00128DCP-v24.5280.03458.9220.07070.00420我们0.3430.00300.6640.00620.00063方法各向异性误差各向同性误差CD（腐烂）（Trans.）（腐烂）（Trans.）ICP13.7190.13227.2500.2800.0153RPM9.7710.09219.5510.2120.0081FGR19.2660.09030.8390.1920.0119PointNetLK15.9310.14229.7250.2970.0235DCP-v26.3800.08312.6070.1690.0113我们0.8930.00871.7120.0180.00085表2.在具有高斯噪声的数据上的性能。使用地面实况变换的倒角距离为0.00055。每个点都具有对应性，并且当违反该条件时不能很好地执行。图3（b）中给出了噪声数据配准的定性示例。6.6. 部分可见性我们评估的性能部分可见的点云，其中两个点云不完全重叠的程度。根据采集方法的不同，真实世界的点云数据往往是局部的，例如。RGD-D扫描仅包含相机可见的点。因此，处理部分点云是许多应用的重要要求。我们以以下方式模拟部分可见性。对于每个点云，我们采样半个-空间与随机方向∈S2和移动，使约70%的点被保留。类似于在上一节中，点被抖动并独立地采样。对于本实验，我们将采样降为717个点而不是1，024个点，以保持与前几节相似的点密度。我们在部分可见的数据上训练DCP-v2和我们的方法。对于PointNetLK，我们采用作者建议的类似过程来采样其他点云中的可见然而，我们从具有在距离τ = 0内的另一点云中的相应最近点的点中采样可见点。02，因为在我们的设置中，只有部分点云可用于两个点云。这个过程提高了推理性能，但在训练过程中效果不佳。因此，我们在本实验中继续使用Point- NetLK的干净模型表3显示了部分可见数据的性能。我们的方法显著优于所有基线方法。有趣的是，尽管我们尽了最大努力来调优RPM中的参数，但它的性能也很差。由于RPM和我们的方法共享一个类似的方案来拒绝离群值，这突出了我们学习的特征距离的好处。部分可见数据的示例结果示于图1和3（c-e）中。6.7. 消融研究我们进行消融研究，以更好地了解各种选择如何影响算法的性能本节中的所有研究均根据部分可见性表3.在部分可见数据和噪声上的性能。使用地面实况变换的倒角距离为0.00055。X ∆xPPF退火各向同性误差（腐烂）（Trans.）C DCCC3.3020.03500.00153CCC2.7810.02730.00123CCC5.5010.04960.00351CCC2.2200.02380.00103CCCC1.7120.01830.00085表4.每个组件对配准性能的影响。X和X分别表示绝对质心中心坐标和相邻点的局部坐标设置，为了简洁，我们只显示各向同性和倒角距离度量。不同成分的影响。比较表4的第1-3行和第5行，我们观察到需要所有x、∆x和PPF来实现最高性能。排除点的绝对位置（第3行）会导致性能显著下降这表明在执行迭代细化时在每次迭代时考虑点位置的重要性还值得注意的是，即使没有PPF特征（行1），该算法仍然优于DCP-v2。尽管DCP-v2使用了更复杂的动态图CNN [37]架构和注意力[34]网络。我们把这归因于我们的离群值处理和迭代注册计划。为了理解我们的参数预测网络的重要性，我们最后与表4（第4行）中的网络变体进行比较，其中我们用α和β的两个可学习参数替换我们的参数预测网络。这些参数用网络权重进行训练，并且每次迭代使用相同的值 我们可以看到，从参数预测网络学习的退火时间表改善了配准性能。需要多少次迭代？图4显示了每次迭代后的平均倒角距离。大多数性能增益是在前两次迭代中，并且配准在5次迭代后大部分收敛（我们用于所有实验）。11833输入ICPRPMFGR PointNetLK DCP-v2我们的（一）（b）第（1）款（c）第（1）款（d）其他事项（e）图3.关于（a）干净数据、（b）噪声数据和（c、d、e）部分可见数据的定性登记实例1.61.41.210.81 2 3 4 5 6 78迭代表5.注册各种大小的点云对所需的平均时间（毫秒）。7. 结论图4.在配准迭代中倒角距离。初始输入的平均倒角距离为0.1899，为清楚起见，未在图表中显示。6.8. 计算效率我们在表5中比较了各种算法的推理时间，在整个测试集上取平均值。我们在3.0GHz Intel i7-6950X和Nvidia Titan RTX上执行此实验。对于我们的算法，我们提供了5次迭代的时间，如在以前的实验中使用的。请注意，ICP和FGR在CPU上执行，其余算法在GPU上执行。我们的算法是显着快于RPM，需要大量的迭代。然而，它比ICP以及非迭代DCP-v2慢。提出了一种用于刚性点云配准的RPM-Net。我们的方法是一种基于深度学习的RPM，可以降低初始化的敏感性，并通过学习的融合特征提高收敛速度。此外，使用可微Sinkhorn归一化松弛变量，以执行部分双重随机约束，使我们的方法显式处理离群值。我们还提出了一个二级网络来预测最佳退火参数，进一步提高性能。实验结果表明，我们的方法在ModelNet40数据集上的各种评估标准上都具有最先进的性能。谢谢。 这项工作得到了新加坡MoE Tier 1赠款R-252-000-A65-114的部分支持。10- 3倒角距离点数ICPRPMFGRPointNetLKDCP-v2我们51286622161525102418144841769522048284471482092117811834引用[1] 青木康弘，亨特·戈福斯，兰加普拉萨德·阿伦·斯里瓦特山，西蒙·露西. PointNetLK：使用pointnet的强大高效点云配准。在IEEE计算机视觉和模式识别会议（CVPR）中，第7163-7172页三、六[2] 西蒙·贝克和伊恩·马修斯。卢卡斯-卡纳德20年：统一的框 架 。 International Journal of Computer Vision ， 56（3）：221-255，2004. 3[3] Paul J. Besl和Neil D.麦凯一种三维形状配准方法。IEEETransactions on Pattern Analysis and Machine Intelligence（TPAMI），14（2）：239一、二、六[4] Hui Chen和Bir Bhanu使用局部曲面片的深度图像中的3D自由形式对象识别Pattern Recognition Letters，28（10）：1252-1262，2007. 2[5] Y. Chen和G.梅迪奥尼通过多个距离图像的配准的对象建 模 在 IEEE International Conference on Robotics andAutomation（ICRA），第2724-2729页，2[6] Haili Chui和Anand Rangarajan。 一个使用混合模型的特征配准框架。IEEE生物医学图像分析数学方法研讨会。MMBIA-2000（Cat. No. PR 00737），第190-197页。IEEE，2000年。二、三[7] Haowen Deng ， Tolga Birdal ， and Slobodan Ilic.PPFNet：全局上下文感知局部特征，用于鲁棒的3D点匹配。在IEEE计算机视觉和模式识别会议，2018年。二、四[8] Zhen Dong，Bisheng Yang，Yuan Liu，Fuxun Liang，Bijun Li，and Yufu Zang.一种新的用于三维局部表面描述的二元形状上下文。ISPRS Journal of Photogrammetryand Remote Sensing，130：431- 452，2017。3[9] AndreaFrome ，DanielHuber，Ra viKolluri，ThomasBu？low和Jitendra Malik。使用区域点描述符识别距离数据中 的 对 象 。 欧 洲 计 算 机 视 觉 会 议 （ ECCV ） ， 第224Springer，2004.2[10] Natasha Gelfand、Leslie Ikemoto、Szymon Rusinkiewicz和Marc Levoy。icp算法的几何稳定采样。在3-D数字成像和建模国际会议中，第260-267页IEEE，2003年。2[11] Guy Godin，Marc Rioux，and Rejean Baribeau.使用范围和强度信息的三维配准。在Sabry F. El-Hakim，编辑，Videometrics III，第2350卷，第279 - 290页国际光学与光子学学会，SPIE，1994年。2[12] Steven Gold ， Anand Rangarajan ， Chien-Ping Lu ，Suguna Pappu，and Eric Mjolsness.用于2D和3D点匹配的新算法：姿态估计和对应。Pattern Recognition，31（8）：1019- 1031，1998. 一、二、三、六[13] Yulan Guo，Mohammed Bennamoun，Ferdous Sohel，Min Lu，Jianwei Wan，and Ngai Ming Kwok.三维局部特征描述符的一种直观性能评价。国际计算机视觉杂志，116（1）：66- 89，2016。2[14] Andrew E.约翰逊和马夏尔·赫伯特使用自旋图像在杂乱的3D场景中进行有效的对象识别。IEEETransactions on Pattern Analysis and Machine Intelligence（TPAMI），21（5）：433-449，1999. 2[15] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[16] Scott Kirkpatrick，C.Gelatt和M.维奇模拟退火优化 科学（纽约州纽约市），220：6713[17] 李宏东和理查德·哈特利。3D-3D配准问题重新讨论。在国际计算机视觉会议上，第1-8页IEEE，2007年。1[18] Jiaxin Li and Gim Hee Lee. USIP：从三维点云中进行无监督的稳定感兴趣点检测。在2019年计算机视觉国际会议（ICCV）。2[19] Weixin Lu ，Guowei Wan ，Yao Zhou ， Xiangyu Fu ，Pengfei Yuan，and Shiyu Song. DeepICP：用于3D点云配准的端到端深度神经网络。在2019年计算机视觉国际会议（ICCV）。四、五[20] 布鲁斯·D卢卡斯和金田健夫。一种迭代图像配准技术及其在立体视觉中的应用。第七届人工智能国际联合会议论文集，IJCAI'81，第674-679页，1981年。3[21] Y. 潘湾Yang，F.Liang和Z.动 迭代全局相似点：一种鲁棒的两两三维点云配准粗到精集成方法。在3D视觉国际会议（3DV），第180-189页，Sep. 2018. 3[22] The'odorePapadopoulo和ManolisIALourakis。奇异值分解的雅可比矩阵估计：理论与应用。在欧洲计算机可视化会议（ECCV）中，第554-570页。Springer，2000年。5[23] Charles R.Qi ， Hao Su ， Kaichun Mo ， and Leonidas JGuibas.Pointnet：对点集进行深度学习，用于3D分类和分割。在IEEE计算机视觉和模式识别会议（CVPR），第77-85页，2017年。二三四六[24] Charles R. Qi，Li Yi，Hao Su，and Leonidas J Guibas.Point- net++：度量空间中点集上的深度层次特征学习。神经信息处理系统进展，第5099-5108页，2017年二、四[25] Szymon Rusinkiewicz和Marc Levoy。icp算法的有效变体在3-D数字成像和建模国际会议（3DIM）中，第145-152页。IEEE，2001年。2[26] Radu Bogdan Rusu，Nico Blodow和Michael Beetz。用于3D配准的快速点特征直方图（FPFH）。在IEEE机器人与自动化国际会议，第3212-3217页，2009中。二、四[27] Radu Bogdan Rusu ， Nico Blodow ， Zoltan CsabaMarton，and Michael Beetz.使用持久特征直方图对齐点云 视 图 。 在 IEEE/RSJ International C