基于学习的点云匹配算法Lepard：在刚性和变形场景中学习部分点云匹配

5554Lepard：在刚性和变形场景中学习部分点云匹配杨莉1原田达也1，21东京大学、2理研{liyang，harada} @ mi.t.u-tokyo.ac.jp图1.我们提出了一种刚性（左）和可变形（右）点云的特征匹配方法，所捕获的距离传感器。显示的结果是初始比对、预测匹配（蓝/红线表示内点/离群点）和配准结果。由RANSAC对刚性和非刚性ICP进行配准，用于可变形。摘要本文提出了一种基于学习算法的点云匹配算法Lepard。其主要特点是利用三维位置知识进行点云匹配的技术：1）将点云表示分解为特征空间和三维位置空间的体系结构。2)一种位置编码方法，通过矢量的点积显式显示3D相对距离信息。3)修改交叉点云相对位置的重新定位技术。消融研究证实了上述技术的有效性。在刚性病例中，Lepard结合RANSAC和ICP证明了 3DMatch / 3DLoMatch 上 最 先 进 的 配 准 召 回 率 为93.9%/71.3%在可变形的情况下，Lepard在我们新构建的4DMatch / 4DLoMatch基准上实现了比现有技术高+27.1%/+34.8%的非刚性特征匹配召回率代码和数据可在https://github.com/rabbityl/lepard上获得。1. 介绍匹配距离传感器的部分点云是许多三维计算机视觉应用的核心，包括SLAM和动态跟踪与重建。前者假设刚性场景，例如[28，47]，而后者关注非刚性变形的场景，例如[46]。这项工作的目的是开发一个强大的点云匹配-该方法适用于刚性和可变形场景。点云匹配方法通常包括两个阶段：点云特征提取和特征空间中的最近邻搜索。最近的基于学习的工作已经取得了实质性的进展表示学习的3D数据。最先进的点云匹配方法[6，14，26]采用了3D卷积网络（例如基于KPConv的[62]或Minkowski Engine [13]）所展示的几何特征这些3D特征提取器是严格平移不变的，并且在一定程度上，对于旋转变换也是不变的，因为在网络中通常采用最大池化层，并且在训练期间基于随机旋转的数据增强。变换不变性非常适合于局部几何特征表示。然而，它可能导致具有重复几何图案的场景中的模糊。例如，散布在地板的不同位置的相同种类的椅子，或者人的左手和右手可以产生相似的几何特征。我们认为，这种模糊性可以通过增强几何特征的三维位置知识来解决。直观地说，人类不仅通过参考事物的外观，还通过参考它们的相对位置来将事物联系起来出于上述观察，我们设计的Lepard，一种新的部分点云匹配方法，利用三维位置知识。我们首先使用全卷积特征提取器KPFCN [62]，具有自和交叉注意的Transformer [64]的概念以及可微匹配的思想[55，61]来构建我们的基线。然后，为了利用3D位置信息，我们引入以下内容-5555S不W›→SK∈∈|O | | |||W−||||·||··∈ KWWW以下技术：1）将点云表示完全分解为特征空间的框架，位置空间。2)一种位置编码方法，通过矢量的点积来展示三维相对距离信息3)重新定位模块调整交叉点云的相对位置，有利于交叉注意和可区分匹配。消融研究证明了上述技术的有效性。此外，我们还提出了一个称为4DMatch的部分点云匹 配 基 准 ， 以 及 它 的 低 重 叠 版 本 4DLoMatch 。4DMatch包含跨时间轴非刚性变形的点云。与刚性情况相比，4DMatch中的时变几何结构对匹配和配准两者提出了更多的挑战。我们应用Lepard刚性和可变形点云匹配。在严格的情 况 下 ， Lepard 结 合 RANSAC 和 ICP 在3DMatch/3DLoMatch上显示了93.9%/71.3%的最新配准召回率在新提出的4DMatch和4DLoMatch基准上，Lepard实现了比现有技术高+27.1%和+34.8%2. 相关工作2.1. 刚性点云匹配与配准本地描述符预测，然后是基于RANSAC的鲁棒优化[24，57]是一种长期研究的方法。 早期作品采用手工设计的描述器[29，53，54，63]。最近基于学习的方法在点特征表示方面取得了重大进展[1，6，143DMatch [75]首次尝试使用siamese网络提取描述符。FCGF [14]利用全卷积网络[41]结构进行密集特征提取。D3feat [6]与点显著性检测联合学习特征描述。Predator [26]采用注意力机制来预测重叠区域进行特征采样。CoFiNet [73]以粗略到精细的方式学习特征描述符。另一个研究方向是直接注册。ICP [8]和FGR [76]使用二阶梯度优化姿势。Go-ICP [71]使用SE（3）空间搜索模式实现全局配准。最近的工作是将学习的模型整合到端到端的姿势优化中[2，12，34，44，49，69，72]。PointNetLK [2，34]将点云配准公式化为基于Lucas Kanade [7]的优化任务; Wang等人。[66，67]通过图形神经网络学习配准DGR [12]和3DRegNet [49]学习对应加权网络以拒绝离群值。本文是关于增强点云特征描述符与三维位置知识。2.2. 非刚性对应从真实世界的传感器数据中估计非刚性对应关系是在线非刚性重建的关键任务[10，20，27，37，46]。DynamicFusion [46]采用简单的投影对应来提高实时效率。VolumeDeform [27]结合了SIFT [42]基于矢量的对应关系，以实现稳健的非刚性跟踪。Schmidt等人。[56]使用DynamicFusion来监督用于密集对应学习的连体网络。DeepDeform [10]学习非刚性变形RGB-D序列中补丁的稀疏全局对应。Li等人。[35]通过可微分的非刚性对齐优化来学习非刚性特征。NNRT [9]专注于具有离群值拒绝网络的端到端鲁棒对应估计。场景流估计，例如[33，40，50，68]，是一种密切相关的技术，通常提供帧间级别的对应关系。非刚性对应也是几何处理中的一个主要课题，其中输入数据通常是多重曲面。Huang等人[25]使用等距变形假设过滤离群值3DCODED [22]通过潜在代码优化实现在[4，17，43，52]中提出了函数图[48提出了一种通用的局部点云扫描非刚性特征匹配方法。3. 问题定义给定一个源点云SRn×3和一个目标点云TRm×3，其中n，m是点的数量，我们的目标是找到一组匹配，可以用来恢复扭曲函数：R3R3，将S对齐到T。在本文中，我们专注于刚性和可变形的点云。在刚性情况下，扭曲函数由SE（3）变换参数化。在可变形的情况下，被推广到密集的每点翘曲场。 给定地面真值偏差函数gt，内点匹配（SiR3，TjR3）应满足gt（Si）Tj2<σ，其中2是欧几里德范数，σ是匹配的公差半径。部分重叠。在现实世界的距离传感器数据中，由于对象运动或视点改变，S中的点不一定具有T中的对应点。这被称为非重叠点。我们通过以下方式定义源点云的重叠点集合OT：OS={Si|Si∈S|| Wgt（Si）−NN （W（Si），T）||2<σ}其中NN（，）是最近邻搜索算子。然后通过T/S计算重叠率。 图4示出了具有不同重叠比的非刚性点云对的示例。5556·X·6（k−1）/d10000图2. 所提出方法的概述。（符号是：位置编码函数Θ（）;：刚性3D变换;：矩阵向量乘法;：源和目标）。给定输入点云S和T，KPFCN主干网格将它们二次采样为S和T，并提取几何特征xS和xT（第二节）。 4.1）。使用3D编码将位置信息编码为Θ（Sθ）和Θ（Tθ）。相对位置编码功能（Sec.4.2）。然后，位置代码和几何特征由第一TMP层处理，第一TMP层包括具有自关注和交叉关注的T4.3），可微匹配层（Sec.4.4），和一个软Procurestes层估计刚性拟合R，t（节。4.6）。基于刚性拟合估计，重新定位层调整源的位置代码Θ（S θ）（第12节）。 4.7）。 根据更新的位置和变换的特征，第二TMP层预测最终匹配。4. 方法图2显示了所提出的方法的概述4.1. 局部几何特征提取给定输入源点云S和目标点云T，我们使用函数Φ来提取多级几何特征。Φ进行以下两个映射：4.2. 相对3D位置编码KPFCN主干学习严格的翻译不变特征。平移不变量可能会导致具有对称结构或全局重复几何体补丁的场景中的歧义为了解决这种模糊性，我们增强了与变换敏感的三维位置信息的功能。我们使用[60]中提出的旋转位置编码，并将其扩展到3D情况。给定3D点Si=ˆSˆT（x，y，z）∈R3，其特征xS ∈ Rd. 的位置（S，x） ）=Φ（S），（T，x）= Φ（T）编码函数PE：R3×Rd我›→Rd 限定其中S∈Rn<$×3和T<$∈Rm<$×3是输出点100万美元M2S∈Rn<$×d和xT∈Rm<$×d是等价的，PE（S，x S）=Θ（S）x S= θ。公司 简介云，x尺寸d=528的图。我我我. -是的我Md/6我们基于KPFCN主干构建Φ[62]。KPFCN具有平移等价性和局部性的归纳偏差，非常适合于局部几何特征提取。默认的KPFCN具有类似UNet的其中Θ（Si）是块对角矩阵。每个大小为6 × 6的对角块定义为cosxθk−sinxθk0 0 0sinxθkcosxθk0 00在编码器/解码器中具有相同数量的池化/非池化层的结构。我们从KPFCN中删除第二层到最后一层骨干因此，输出S和T是down-sampledMk=cosyθk−sinyθk0 0sinyθkcosyθ k0 0 0 0 coszθk− sinzθk0 0 0 0 sinzθkcoszθk点 云 。 详 见 补 充 资 料 。 这 种 下 采 样 对 于 以 下Transformer中的高效计算至关重要（第二节）。4.3）和匹配（（Sec. 算法的时间复杂度都是O（n2）其中θ k=1，k ∈ [1，2，.，d/6]对特征通道中的索引进行编码。与正弦编码[11，64]相比，它有两个优点：1）Θ（）是正交函数，编码只改变特征的方向，而不改变特征的5557C我JJ我·我ΣS·→S不J→图3.自我/交叉注意热图的可视化和基于刚性拟合的重新定位。在第二TMP层，自我注意扩展到更大的上下文，交叉注意收敛到相应的区域。ture的长度，这可能会稳定学习过程。2)两个编码要素PE（Si，xS），PE（Sj，xS）可以导出为：4.4. 位置感知特征匹配在Transformer层之后，我们计算两个点云之间的评分矩阵为ijS[Θ（Si）xS]TΘ（Sj）xS=（xS）TΘ（Sj-Si）xS（1）i j i j1秒秒速时时彩这意味着相对3D距离信息可以被S（i，j）=dθ（Si）WSxi，Θ（Tj）WTxj（4）由点积显示出来我们采用这种方式--Transformer中的位置编码（第4.3）和其中W∈Rd×d是可学习的投影矩阵。匹配（Sec.4.4）层。与正弦编码的比较6.1.4.3. Transformer在局部几何提取之后，xS和xT通过具有自注意层的Transformer块来聚合全局上下文，然后通过交叉注意层来在两个点云之间交换信息。在[64]之后，注意力操作通过测量查询向量q和关键向量k之间的相似性来选择相关信息。输出向量是由相似性分数加权的值向量V自我注意层。在自注意层中，q和（k，v）从相同的点云（来自源或目标）获得 下面显示了源S的自我注意的例子。向量q、k、v首先通过下式计算：qi=Θ（Si ）WqxSkj=Θ（Sj）WkxSvj=WvxS（2）其中Wq，Wk，Wv∈ Rd×d是可学习的投影矩阵。功能xS终于更新了，这些特征是位置编码的，使得匹配的al-租m可以考 虑空间距 离。我们 在两个维 度上应用softmax（称为双softmax运算[51，61]）将scroing矩阵转换为置信矩阵C。C（i，j）=Softmax（S（i，·））· Softmax（S（·，j））匹配的另一种选择是sinkhorn最优传输算法，如[55]所示。比较可以在Sec中看到。6.1.匹配预测。 基于置信矩阵、我们选择置信度高于阈值θc的匹配，并进一步执行相互最近邻（MNN）准则。θc的影响可在补充消融研究中发现。4.5. 位置与特征的分离如图2.将位置码和几何特征分离，分别保存在不同的数据流中。仅当需要计算相似性矩阵时才将它们组合。在Transformer层中（参见等式2和3），位置代码Θ（）仅与查询q和键k相乘，而不与值xS←ˆXi+ MLP（ cat[qi，aijJ（3）v，即Θ（）可以影响注意力权重，但不能是特征的一部分。这种技术导致了Disen-其中a ij=softmax（qikT/d）是注意力权重，MLP（·）表示3层全连接网络，cat [·，·]是级联运算符。交叉注意层。在交叉注意层中，输入向量q和（k，v）根据交叉注意的方向（S）从不同的点云获得T或TS）。在替换q、k和v的内容之后，形成与自我注意相同。位置和特征之间的纠缠。与此相对的是被认为是纠缠的，其不为位置和特征保持单独比较见第二节。6.1.4.6. 带软刺的给定置信矩阵C，我们选择匹配K所以ft与前n个匹配分数，然后将它们与设置5558∈∈SOWCCWSΣ∈O我 JMMWWIjL LL刚性转动RSO3和翻译R3. 这里n是源云S中的点的数量。根据[3]，旋转是从矩阵H=UVT的SVD分解计算的。H∈R3×3由下式得到：哪里T是S中重叠点的集合，并且gt（）是groundtruth warp函数。直观地，在刚性情况下，Lw通过抑制K soft中的假阳性来正则化优化，并且还鼓励子点精度H=<$C<$（i，j）S<$T<$ T（i，j）∈K软对于软对应;在可变形的情况下，Lw试图近似“根”的姿态，对齐重叠区域的主要部分，例如图中的鹿。3 .第三章。其中，f（i，j）是归一化置信度分数。 然后，旋转和计算如下：R=Udiag（1，1， det（UVT））V然后，通过t=1（S−RT）全损。 如图2、TMP阻断重复2次。 总损耗结合了来自第一和第二TMP块的匹配损耗和翘曲损耗：=（1+2）+λ w（1+2）其中λ w是翘曲损耗的加权因子。我们补充显示了λw和TMP阻滞数量（2、3和4）的消融研究。|K个软|（i，·）∈K软（·，j）∈K软4.7. 重新定位Eqn. 1可以揭示一对点之间的3D相对距离信息。然而，这种距离知识对于来自两个未对齐的点云的点对通常是不正确的。换句话说，这种位置编码有益于自我注意，但对于交叉注意和匹配来说可能成为不相关的或有噪声的信号。到为此，我们调整S的位置码Θ（Si），刚性拟合R，t从软Procrustes层，Θ（Si）←Θ（RSi+t）我们称之为重新定位。图3中示出了示例。直观地，重新定位将位置空间中的对应点推得更近，使得其更好地通知交叉注意并且还促进位置感知匹配。4.8. 监督匹配损失 我们通过匹配层返回的置信矩阵使焦点损失最小化。其定义为：5. 4DMatch我们提出了4DMatch，一个基准匹配和配准的部分点 云 与 时 变 几 何 。 4DMatch 是 使 用 来 自DeformingThings4D [36]的序列构建的，其中包含1，972个具有地面真实密集对应的动画序列。我们随机选择1761个动画，并通过合成深度图像生成部分点云扫描。选取的1761个序列分为1232/176/353个训练集/有效集/测试集。基于45%的重叠率阈值，353个测试序列中的点云对最终分为4DMatch或4DLo-Match图41ΣγLm= −α（1 − C（i，j））log C（i，j）|K gt|（i，j）∈Kgt其中α=0。25和γ=2是根据经验确定的焦点损失参数，如[38]所示，Kgt是地面实况匹配的集合。在训练期间，我们使用地面实况包裹函数gt将S_t包裹到T_t，然后收集低于距离阈值的两点云的相互最近邻居的集合作为K_gt。翘曲损失。我们最大限度地减少L1损失的点云，是从Procrustes层的R，t它被定义为图4. 4DMatch/4DLoMatch中具有不同重叠率的示例。相对于源（蓝色）计算重叠比。部分重叠是场景变形和摄像机视点变化的共同作用1Lw=|OT||WgtiTS（Si）−RSi -t|图5. 4DMatch和4DLoMatch基准测试的直方图重叠率阈值设置为45%。5559··KF AK|| ·||·A{|∈ K}KKF{− |∈ K}∈ ∈∈∈ ∈ K∈Ai∈knn（u， A）我2Σ1GT2ΣΣ|| W− ||Σ2ΣΣ||A F − ||Σ图6.在3DLoMatch基准测试中定性刚性点云配准结果。 我们使用T-SNE来降低特征维数到3，然后将其归一化为[0，255]作为RGB值。 我们将我们的输出特征Θ（S）W×S和Θ（T）W×T推广为等式11。4iSijTj通过插值到原始点云，如等式六、特征可视化表明，我们的方法学习的位置感知的特征表示，也准确地反映了片段间的相对位置。图7.4DMatch基准测试中的定性变形点云匹配结果。蓝/红线表示内值/离群值。在这个例子中，T-SNE特征可视化显示，Predator [26]为龙的两个翅膀学习了类似的特征，而我们的方法可以区分左右翅膀。显示了具有不同重叠率的点云对的示例。图5是重叠率的直方图。以下显示了4DMatch的评估指标。内围比（IR）。IR测量预测对应集pred中正确匹配的分数。如果匹配位于阈值σ = 0内，则匹配是正确的。04m后，使用地面实况扭曲函数Wgt.它被定义为IR=1（p）q<σ（5）|（p，q）∈Kpred|(p,q) ∈Kpred其中2是欧几里得范数，[ ]是Iverson括号。非刚性特征匹配召回（NFMR）。NFMR测量分数 的地面实况 匹配 （uR3，vR3）gt，可以通过预测的对应关系（pR3，qR3）成功恢复pred。基于pred，稀疏3D场景流场=Qp（p，q）锚点pred=p（p，q）pred。 然后用反距离插值法将流场从Gt传播到源点u其中knn（，）表示k个最近邻搜索，k= 3。最后，我们将NFMR定义为NFMR=1Γ（u，，）v<σ|K gt|（u，v）∈Kgt注意，NFMR直接测量“被召回”的地面实况对应的分数。它是与刚性情况下的特征匹配召回（FMR）不同的概念[75]。6. 实验结果3DMatch和3DLoMatch。3DMatch [75]和3DLo-Match[26]是室内刚性扫描匹配和配准的基准。3DMatch包含重叠率大于30%的扫描对，而3DLoMatch包含重叠率介于10%和30%之间的扫描对。根据以前的工作[26，73]，我们报告了以下指标：内点比（IR），特征匹配召回（FMR），刚性配准召回（RR），相对旋转误差（RTE）和相对平移误差（RTE）。RR被广泛认为是最终指标，因为它衡量的是Γ（u，A，F）=πFi||p−Ai||−21||− ||−（六）已成功注册扫描对。实施细节。我们的方法使用Pytorch实现，并在NvidiaA100（80G）Ai∈knn（u， A）5560GGPU。我们使用批量大小为8，并应用填充和遮罩来处理不同大小的点云。在3DMatch上，我们遵循训练/验证分割作为Predator [26]。在3DMatch和4DMatch上的训练都在第15个时期附近收敛。我们保存具有最佳验证损失的模型更多实施细节见补充资料。6.1. 消融研究- 将位置和特征分开是否有帮助？对于非刚性情况，解开位置和特征在4DMatch上实现了与缠绕版本相似的结果，并且在4DLoMatch上实现了明显更好的结果（ 参 见 选 项 卡 . 1 ） 。 Fea. &POS. 解 缠 也 获 得 +1 。1%/+2。3DMatch / 3DLoMatch上的RR为5%（参见选项卡. （3）第三章。- 位置编码：绝对vs相对。我们的相对3D位置编码产生 +3 。 4DLoMatch 和 +1 上 的 NFMR 高 8% 。 5%/+2 。3DMatch / 3DLoMatch上的RR比绝对正弦编码高3%[64]（参见选项卡. 1、3）。重新定位有意义吗？ 重新定位收益+2。9%/+3。4DMatch / 4DLoMatch上的NFMR为3%，+0。9%/+1。3DMatch / 3DLoMatch上的RR为0%（参见选项卡. 1、3）。请注意，性能下降显着与随机旋转为基础的定位. 的OracleTab中的变形1和Oracle刚性管接头。3达到近乎完美的效果。这些结果证明了位置知识对于点云配准的重要性。在选项卡中。1、甲骨文刚性拟合是指对地面真实变形进行最佳刚性拟合。我们认为这是上界的刚性拟合为基础的重新定位方法。- 匹配算法：Sinkhorn vs dual softmax。双softmax算子在所有基准点上的得分都高于Sinkhorn方法。消融目标4DMatchNFMR↑IR↑4DLoMatchNFMR↑IR↑Fea. &POS.纠缠解纠缠*84.183.783.582.763.366.951.455.7PE型绝对相对值 *83.783.782.282.763.166.951.855.7随机旋转79.278.258.446.7无重新定位80.880.563.653.7定位重新定位*83.782.766.955.7Oracle刚性配件91.589.780.267.2甲骨文变形100.099.8100.097.6匹配Sinkhorn81.777.459.646.1双Softmax*83.782.766.955.7表1. 4DMatch上的消融研究。*表示我们方法的默认配置。类别方法S†4DMatchNFMR ↑IR ↑4DLoMatchNFMR ↑IR↑概率模型CPD [45]BCPD [23]6.011.45.510.10.41.20.20.5功能地图[43]第四十三话[17]第十七话C4.225.03.820.51.311.70.54.5场景流PWC [68][50]第50话NSFP [33]CC21.627.118.520.024.916.310.015.21.27.210.70.5特征匹配D3Feat [6][26]第二十六话CcC55.556.483.754.760.482.727.432.166.921.527.555.7表 2. 4DMatch 上 的 定 量 结 果 。 S† 表 示 监 督 方 法 。 点 云Laplacian通过[58]获得6.2. 与最新技术水平的4DMatch 4DLoMatch。 如Tab.所示。 2、我们的方法达到+27。1%/+34。NFMR提高8%，+22。3%+28。IR比Predator高2%图7显示质量-4DMatch上的点云匹配结果我们也报告来自概率配准[23，45]、基于功能图[17，43]和场景流方法[33，50，68]。总体而言，特征匹配方法[6，26]显示出优于其他类别的性能。现有的场景流方法，不能处理大的全局运动。函数映射方法失败，因为它们需要连接的形状来获得可靠的拉普拉斯矩阵，而4DMatch中的形状通常由于遮挡而断开（参见图10）。图4中的示例）。相干点漂移（CPD）模型[23，45]不能很好地处理部分扫描数据。3DMatch 3DLoMatch。与Predator [26]相比，我们的方法实现了+1。7%/+6。3DMatch的RR高出6%/3DLoMatch（参见选项卡. （3）第三章。图6显示定性结果是低重叠情况。如Tab.所示。4、与Predator算法相比，本文算法的RRE和RTE性能更好，基于ICP的点对点后处理可以进一步提高配准精度。6.3. 集成到非刚性配准。我们进一步集成的预测匹配非刚性点云配准。对于配准，我们采用非刚性迭代最近点（N-ICP）[31，77]方法，该方法迭代地最小化典型的能量函数：Etotal（G）=λcEcorr（G）+λrEreg（G）其中Ecorr是对应项，Ereg是如[59]中的正则化项，并且是潜在变形图模型。对应项Ecorr由对应点之间的L2距离正式定义见图8显示了龙和象示例的非刚性配准的定性结果。N-ICP5561图8. 定性非刚性配准结果。如左端所示，通过变形图来近似场景变形显示的结果是最终的对齐和转换后的源。3DSN [21]94.736.081.561.911.436.6[14]第十四话95.256.988.260.921.445.8D3Feat [6]95.839.085.869.313.240.2[26]第二十六话96.758.091.878.626.762.4我们的纠缠97.846.892.583.823.366.5我们的-绝对97.462.092.184.129.367.7我们的-随机旋转97.560.690.879.225.660.3我们的-无重新定位98.057.692.884.227.868.0乌尔辛克峰97.646.592.281.717.764.9我们的（默认）98.355.593.584.526.069.0Oracle刚性管件100.099.3100.0100.095.099.8表3. 3DMatch上的特征匹配和RANSAC配准结果。参见Tab。1为我们的孩子（默认）。请注意，在本文中，RR是所有扫描对的平均值，以反映成功配准的真实百分比。3DMatch3DLoMatchRRE ↓RTE ↓RR↑RRE ↓RTE ↓RR↑表4. 3DMatch上的RRE（°）、RTE（cm）和RR（%）。点对点ICP可以进一步细化转换。基线采用基于简单欧氏空间最近邻搜索的对应关系。Predator + N-ICP和Ours + N-ICP在开始的20次迭代期间用预测的匹配替换对应项，然后运行45次N-ICP迭代以进行细化。我们的方法更好地通知非刚性登记比捕食者。7. 结论通过利用位置知识，Lepard演示了刚性和可变形点云的最新特征匹配结果。一个有前途的方向是将其扩展到端到端注册。一些限制-Lepard是一种粗匹配方法。细粒度的对应关系可以通过基于学习的细化来获得，例如[61，73]。2)在可变形的情况下，Lepard不显式地处理拓扑变化。一种潜在的解决方案是联合学习与运动分割的匹配。3)最后，由于数据不完整性，在低重叠情况下的匹配和配准特别具有挑战性。图9示出了这样的故障情况。低重叠场景的一个潜在解决方案是通过数据补充来扩展互信息[36，74]。学习离群值拒绝[5，49]也可以使配准受益。图9. 刚性（顶部）和非刚性（底部）匹配的失效案例。低重叠情况仍然具有挑战性，特别是如果点云在非重叠区域中具有相似的图案。给定相似的桌子和椅子（顶部），以及相似的半身（底部），我们的方法无法将它们视为不同的特征。8. 确认这 项 工 作 得 到 了 JST AIP 研 究 JPMJCR20U3 、Moonshot R D Grant Ber JPMJPS2011 、 CREST GrantNumber JPMJCR2015的部分支持以及东京大学人工智能及其他研究所的基础研究补助金（超级人工智能）3D匹配[75][26]第二十六话FMR↑ IR↑RR↑ FMR↑ IR↑ RR捕食者我们RANSAC2.722.487.87.291.893.54.444.1011.610.862.469.0捕食者RANSAC+ICP2.066.292.33.469.865.2我们1.966.093.93.178.971.35562引用[1] S. Ao、Q.胡湾，加-地Yang，杨树A. Markham和Y.小郭。自旋网络：学习一个通用的表面描述符，用于三维点云配准。在IEEE/CVF计算机视觉和模式识别集，第117532[2] Y.青木H.戈福斯河A. Srivatsan和S.露西点网：使用点网的鲁棒高效点云配准在IEEE/CVF计算机视觉和模式识别会议论文集，第7163-7172页，2019年。2[3] K. S. Arun，T. S. Huang和S. D.布洛斯坦两个三维点集的最小二乘拟合。IEEE Transactions on Pattern Analysisand Machine Intelligence，第698-700页，1987年。5[4] S.阿塔伊基湾Pai和M.奥夫斯亚尼科夫Dpfm：深度部分功能映射。arXiv预印本arXiv：2110.09994，2021。2[5] X.白氏Z.卢湖，加-地Zhou， H.陈湖，澳-地Li，Z. Hu，H. Fu和C.- L.泰Pointdsc：使用深度空间一致性的鲁棒点云配准。在IEEE/CVF计算机视觉和模式识别会议论文集，第15859-15869页，2021年。8[6] X.白氏Z.卢湖，加-地Zhou， H.富湖，澳-地Quan和C.-L.泰D3feat：3d局部特征的密集检测和描述的联合学习。在IEEE/CVF计算机视觉和模式识别会议论文集，第6359-6367页一、二、七、八[7] S. 贝克和我马修斯卢卡斯-卡纳德20年：统一框架。国际计算机视觉杂志，56（3）：221-255，2004。2[8] Besl和N. D.麦凯三维形状配准方法。在Sensor fusionIV：control paradigms and data structures，第1611卷，第586国际光学与光子学会，1992年。2[9] A. Bo zi c，P. Palafox、M. Zoll hofer，A. Dai，J. Thies，和M. 尼 斯 纳 神 经 非 刚 性 跟 踪 。 arXiv 预 印 本 arXiv ：2006.13240，2020。2[10] A. Bo zic，M. Zollh oüfer，C. Theobalt和M. 尼斯讷河Deep-deform：学习半监督数据的非刚性rgb-d重建。在IEEE计算机视觉和模式识别会议（CVPR）集，第7002-7012页2[11] N. Carion，F.马萨湾Synnaeve，N.乌苏尼耶A. Kirillov和S.扎戈鲁伊科使用变压器的端到端对象检测。在欧洲计算机视觉会议上，第213-229页Springer，2020年。3[12] C. Choy，W. Dong，and V. Koltun.深度全局配准。在IEEE/CVF计算机视觉和模式识别会议论文集，第2514-2523页2[13] C. Choy ， J. Gwak ， and S. Savarese 4D 时 空 卷 积 ：Minkowski卷积神经网络。在IEEE计算机视觉和模式识别会议（CVPR）的Proceedings中，第3075-3084页，2019年。1[14] C. Choy，J.Park和V.科尔顿。完全卷积几何特征。在IEEE/CVF计算机视觉集，第8958一、二、八[15] H.邓氏T. Birdal和S.伊利克Ppf-foldnet：旋转不变3d局部描 述 符 的 无 监 督 学 习 。 在 欧 洲 计 算 机 视 觉 会 议（ECCV）的Proceedings中，第602-618页，2018年。2[16] H. 邓氏T.Birdal和S.伊利克Ppfnet：全局上下文感知局部特征，用于鲁棒的3d点匹配。在IEEE计算机视觉和模式识别会议论文集，第195-205页2[17] N. Donati，A.夏尔马和M。奥夫斯亚尼科夫深度几何功能图：形状对应的鲁棒特征学习。在IEEE/CVF计算机视觉和模式识别会议论文集，第8592- 8601页，2020年。二、七[18] M.埃尔巴纳尼湖Gao和J. Johnson。UnsupervisedR R：UnsupervisedPointcloudRegistrationviaDifferentiableRendering.在CVPR，2021年。2[19] M.艾尔·巴纳尼和J·约翰逊引导你自己的对应。ICCV，2021。2[20] W. Gao和R.泰德瑞克Surfelwarp：高效的非体积单视图动态重建。arXiv预印本arXiv：1904.13073，2019。2[21] Z. 戈伊契奇角Zhou，J.D. Wegner和A.维泽完美匹配：平滑密度的三维点云匹配。 在IEEE/CVF计算机视觉和模式识别会议论文集，第5545-5554页，2019年。二、八[22] T. Groueix，M. 费希尔 金湾，澳-地 C. 罗素和M.奥布莉3D编码：通过深度变形的3D对应。在欧洲计算机视觉会议（ECCV）的会议记录中，第230-246页，2018年。2[23] O.广濑相干点漂移的一个基本公式。IEEE transactionson pattern analysis and machine intelligence，43（7）：2269-2286，2020。7[24] D. Holz，A.E. Ichim，F.通巴里河B. Rusu和S.本克与点云库配准：一个模块化的框架，用于在3-d中对齐IEEERobotics Automation Magazine ， 22 （ 4 ） ： 110-124 ，2015。2[25] 问：X.黄湾，澳-地亚当斯，M。Wicke和L.吉巴斯等轴测变形下的非刚性配准在计算机图形论坛，第27卷，第1449-1457页威利在线图书馆，2008年. 2[26] S. 黄先生，Z. 戈伊契奇，M. 乌斯维亚佐夫，A.维泽， 和K.辛德勒Predator：3D点云低重叠的配准。在IEEE/CVF计算机视觉和模式识别会议论文集，第4267- 4276页，2021年。一二六七八[27] M. 因曼，M. Zol l hofer，M. 尼斯讷河角Theobalt和M. Stamminger Volumedemode：实时体积非刚性重建。在欧洲计算机视觉会议（ECCV）的会议记录中，第362-379页，2016年。25563[28] S. 伊萨迪D.Kim，O.希利格斯，D。莫利诺河纽科姆P. Kohli ， J. Shotton ， S. Hodges ， D. Freeman ， A.Davison等人，Kinectfusion：Real-time 3d reconstructionand interaction using a moving depth camera 。 在Proceedings of the 24th annual ACM symposium on Userinterface software and technology，pages 559-568，2011中。1[29] A. E. Johnson和M.赫伯特在杂乱的3d场景中使用自旋图像 进行 有 效的 物 体 识别 IEEE Transactions on patternanalysis and machine intelligence，21（5）：433- 449，1999。2[30] M. Khoury，Q.- Y. Zhou，and V. Koltun.学习紧凑的几何特征。在IEEE计算机视觉国际会议论文集，第153-161页2[31] H.利河，巴西-地W. Sumner和M. Pauly.深度扫描非刚性配准的全局对应优化。计算机图形论坛，第27卷，第1421Wiley Online Library，2008. 7[32] L. Li，S.Zhu，H.Fu，P.Tan和C.-L. 泰3d点云的端到端在IEEE计算机视觉和模式识别会议，2020年。2[33] X. Li，J. Kaesemodel Pontes，and S.露西神经场景流先验。神经信息处理系统，34，2021。二、七[34] X.李嘉诚<英>香港实业家。Pontes和S.露西重新访问Pointnetlk。在IEEE/CVF计算机视觉和模式识别会议论文集，第12763-12772页，2021年。2[35] Y. Li，长穗条锈菌A.Bozic，T.Zhang，Y.吉氏T.Harada和M.尼斯纳学习优化非刚性跟踪。 法律程序中IEEE计算机视觉和模式识别会议（CVPR），第4910-4918页，2020年。2[36] Y.