USIP：无监督稳定兴趣点检测器

1USIP：从3D点云中检测无监督稳定兴趣点李嘉欣*李金熙新加坡国立大学计算机科学系摘要在本文中，我们提出了USIP检测器：一个无监督的稳定兴趣点检测器，可以在任意变换下从3D点云中检测高度可重复和准确定位的关键点，而不需要任何地面实况训练数据。我们的USIP检测器由一个特征建议网络组成，该网络从输入的3D点云中学习稳定的关键点，并从随机生成的变换中学习它们各自的变换对。我们提供简并分析，并提出解决方案，以防止它。我们鼓励关键点的高可重复性和准确定位，具有概率倒角损失，最大限度地减少从训练点云对检测到的关键点之间的距离。对来自激光雷达、RGB-D和CAD模型的多个模拟和真实3D点云数据集进行的可重复性测试的广泛实验结果表明，我们的USIP检测器显著优于现有的手工制作和基于深度学习的3D关键点检测器。我们的代码可以在项目网站上找到。11. 介绍3D兴趣点或关键点检测是指在任意SE（3）变换下在3D点云上找到具有良好定义的这些检测到的关键点在许多计算机视觉和机器人任务中起着重要作用，其中3D点云被广泛采用作为表示3D空间中的对象和场景的数据结构。示例包括用于3D对象建模的几何配准[1] 或基于点云的SLAM [20]，以及3D对象[12，16]或地点识别[30]。在这些任务中，检测到的关键点分别被用作计算刚性变换的对应关系和用于提取代表性签名以用于有效检索的位置。尽管针对2D图像提出了大量成功的手工制作的检测器[22，17，11]，但成功有限的手工制作的检测器[28]明显较少。李嘉欣现在在nuTonomy工作，这是一家APTIV公司。1https://github.com/lijx10/USIP(a)(b)（ c） 第 （ 1）款图1.我们的USIP检测器在四个数据集上检测到的关键点示例：（a）ModelNet40 [31]，对象模型。(b)牛津RobotCar[18]，户外SICK LiDAR.（c）KITTI [9]（在牛津受训），室外Velodyne激光雷达。用于3D点云上手工制作的探测器。这种差异在很大程度上归因于在手工制作强大的算法，以提取有意义的信息，仅从欧几里德坐标的点云相比，图像包含更丰富的信息，从额外的RGB通道。由于难以手工制作3D检测器来处理任意变换中的3D点云，即，不同的参考坐标系。很少有基于深度学习的3D关键点检测器ist（迄今为止只有一种基于深度学习的方法[32]），而其在学习3D关键点描述符方面的成功率越来越高[6，5，34，13]。 这是由于缺乏地面实况训练数据集来监督3D点云上基于深度学习的检测器。与由容易获得的地面实况配准的重叠3D点云[6，5，13，34，32，10]监督的3D描述符不同，任何人都不可能识别和标记3D点云上的我们提出USIP检测器：一种基于深度学习的无监督S表兴趣点检测器，可以在任意变换下从3D点云中检测高度可重复且准确定位的关键点，而无需任何地面实况训练 数 据 。 为 此 ， 我 们 设 计 了 一 个 特 征 建 议 网 络（FPN），该网络从输入的3D点云输出一组关键点及其各自的显著性不确定性。我们的FPN通过估计关键点的位置来改进关键点的局部化，这与现有的3D检测器[26，32，35]相反，现有的3D检测器选择点云中的现有点作为关键点，这会导致量化误差。在训练期间，我们应用随机生成的SE（3）反式-361362在每一个点云上形成一组对应的变换点云对，以得到一组对应的变换点云对作为FPN的输入。此外，我们识别和防止我们的USIP检测器的简并性。我们鼓励关键点的高重复性和准确定位，并采用概率性腔室损失，最大限度地减少从训练点云对中检测到的关键点之间的距离。此外，我们引入了点到点的损失，以强制约束，得到关键点，位于接近点云。我们通过对来自激光雷达、RGB-D和CAD模型的几个模拟和真实3D点云数据集进行广泛的实验来验证我们的USIP检测器。一些定性结果如图1所示。我们的主要贡献：• 我们的USIP检测器是完全无监督的，从而避免了对不可能获得的地面真相的需要。• 我们提供我们的USIP检测器的简并分析，并提出解决方案，以防止它。• 我们的FPN通过估计关键点位置而不是从点云中的现有点中选择关键点位置来改进关键点定位。• 我们引入了概率倒角损失和点对点损失，以鼓励高重复性和准确的关键点定位。• 在训练过程中，在点云上使用随机生成的变换，本质上允许我们的网络在旋转下实现良好的性能。2. 相关工作与最近基于深度学习的3D关键点描述符[6，5，13，34，32，10]的成功不同，大多数现有的3D关键点检测器仍然是手工制作的。对现有手工制作的3D关键点检测器的全面审查和评估可以在[28]中找到。 局部曲面片（LSP）[3]和形状指数（SI）[7]基于点的最大和最小主曲率，如果它是预定邻域中的全局极值，则将该点视为关键点。内在形状特征（ISS）[35]和关键点质量（KPG）[19]选择具有沿着每个主轴具有大变化的局部邻域的显著点。MeshDoG [33]和显著点（SP）[2]使用类似于SIFT [17]的高斯差分（DoG）算子构建曲率的尺度空间。在一个环形邻域上具有局部极值的点被选择为关键点。拉普拉斯-贝尔特拉米尺度空间[29]通过对每个点的增加支持应用Laplace-Beltrami算子来计算显着性。最近，LORAX [8]提出了将点集投影到深度图中的方法，并使用主成分分析（PCA）来选择具有常见几何特征的关键点。全手工制作方法共享的共同特点依赖于低-计算点的几何属性以选择关键点。因此，这些检测器的性能在诸如噪声、密度变化和/或任意变换的干扰下恶化。 据我们所知，唯一现有的基于深度学习的3D关键点检测器是弱监督3DSNET [32]，它是用GPS/INS标记的点云训练的。然而，3Dfeat-Net的训练主要集中在使用具有注意力得分图的Siamese架构来学习区分性描述符，该注意力得分图估计每个点的显着性作为其副产品。它不能确保关键点检测的良好性能。相比之下，我们的USIP旨在增强关键点的高重复性和准确定位。此外，我们的方法是完全无监督的，不依赖于任何形式的地面实况数据集。3. 我们的USIP探测器图图2（a）示出了训练我们的USIP检测器的流水线的图示我们将来自训练数据集的点云表示为X=[X0，· · ·，XN]∈R3×N。 一变换矩阵的集合{T1，· · ·，TL}，其中Tl∈随机生成SE（3）并将其应用于点云X以形成L对训练输入，表示为{{X ， X< $1} ， ··· ， {X ， X<$ L}} ， 其 中X< $1=T1<$X∈R3×N.在这里，我们使用运算符◦表示齐次坐标下的矩阵乘法，稍微滥用了记法为了简洁起见，我们去掉了索引l，并引用了点云训练对的三元组及其对应的-将变换矩阵设为{X，X，T}。在训练期间X和X′分别被馈送到FPN中，其输出-将 M 个 建 议 关 键 点 及 其 显 著 性 不 确 定 性 表 示 为{Q=[Q1，...，QM]，Σ=[σ1，...， σM]T}和{Q=[Q1，···，QM]，Q=[σ1，···，σM]T}分别为这是点云。 Qm∈R3，Qm∈R3，σm∈R+，σm∈R+. 我们强制执行σm∈R+和σm∈R+，以便它在我们的概率倒角损失中是一个有效的速率参数(see后段）。为了改进关键点定位，不需要所有的Qm∈Q都是中的任何点。X. 类似的条件适用于所有的Q<$m∈Q<$ 。我 们 使 用 符 号 ab 来 撤 销 Q~ 上 的 变 换 ， 得 到QJ=T−1◦Q~∈R3×M，因此QJ可以是与Q相比。这里，我们假设显著性不确定性在变换后保持不受影响，即， J= 目标是检测可重复性高且精确定位的关键点从任意变换下的3D点云可以现在可以通过公式化损失函数来实现，该损失函数最小化Q和QJ之间的差。 为此，我们提出损失函数：L=Lc+ λ Lp，其中Lc是使概率倒角损失最小化的概率倒角损失。中所有关键点对应对之间的距离Q和QJ。Lp是最小化363JJJ1（一）(b)图2.（a）USIP探测器的培训管道（b）我们的功能建议网络（FPN）的架构更多详情请参见正文估计的关键点到点云中它们各自的最近邻居的距离λ是调整Lc和Lp对总损失的相对贡献p（dij|σ i（j）是一个有效的概率分布，因为它积分为1。建议key之间的较短距离dij点Qi和QJ给出了Qi和QJJ J概率倒角损失最小化Q和QJ之间的距离的简单方法是使用倒角损失：是点云X和X中高度可重复且精确定位的关键点。假设对于所有dij∈Dij，i.i.d，Q和QJ之间的联合分布ΣMΣMminQi−QJ2+minQi−QJ2，（1）�Mp（Dij|Σi j）= p（dij|σi j）。（三）i=1�P于我��J2j=1 Qi∈Qji=1其最小化一个点云中的每个点与另一个点云中的其最近邻居的距离。然而，M提案并不同样突出。点Q的接收场可以是无特征表面，因为接收场可以重要的是要注意，当交换点云的顺序时，概率分布是不对称的即，由于最近邻的不同即， dij∈=dji和σijσji。因此，联合分布我场被限制为小体积。在这种情况下，强制FPN最小化Qi和QJ，其中QJ是Qi在QJ中的最近邻居。J和Q之间的关系由下式给出�Mp（Dji|Σji）=p（dji|σji）， 其中J J为了缓解上述问题，我们设计了FPN来学习提案的显著性不确定性Jσji= σJ+σij=1>0，dji=min<$Qi−QJ<$2≥0。（四）关键点Q和Q具有概率性倒角损失Lc。2Qi∈Qj特别地，我们建议用指数公式化Lc分布，其测量具有显著性不确定性Σ和ΣJ的Q和QJ之间的概率距离。更正式地说，Qi和最后，QJ和Q之间的概率倒角损失Lc由等式中定义的联合分布的负对数似然给出。3和4：对于i=1，···，M，QJ�p（d| σ )=exp— 国际新闻报 Σ得双曲余切值.Lc= ΣMΣM-lnp（dij|σ i j）+i=1j=1— lnp（dji|σ ji）ijijσi+σJσijσij（二）�系我��=lnσij+ 国际新闻报ΣΣM+�lnσji+2364JdjiΣ.（五）σij=j>0，dij=minQi−QJ2≥0。σijσji2Q�∈Q�ji=1j=1365MJKJJ通过计算方程的极值，分析了σij或σji的物理意义2从其对σij的第一阶导数[S1，···，SM] ∈ R3× M，从给定的输入点云X∈R3× N进行Faradian点采样（FPS）.一声嘶鸣-（dij）| σ ij) =dij exp（−dij/σij）exp（−dij−/σij） 、为每个节点Sm建立点的邻域∈我们-将点到节点分组[15，14]，表示为联系我们σ2{{X1|S，... XK1|S}，···，{X1|S、...、XKM|S}}。ijij1111MMMM求出驻点：（di j）|σ ij）（六）K1，· · ·，KM表示与S中的每个节点相关联的点的数量。点到节点关联优于节点到点kNN搜索或半径-σij=0⇒σij=di j。（七）基于球搜索是双重的：（1）X中的每个点都与一个节点相关联，而某些点可能被遗漏此外，第二阶iv at iv epJ J（dij|σi j）|σ0表示给定固定d=dij <在节点到点k近邻搜索和球搜索中。(2)点到节点分组自动适应各种规模和ij�= 0，最大概率p（dij|σij）在σij=di j处实现。考虑一个ny三元组的建议k个点{Qi，QJ，QJ}，其中dij和dki是点密度，而kNN搜索和球搜索易受密度变化和不同尺度的影响。jkJ有效地。为了使FPN翻译等变，我们正常化-最近邻居之间的距离{Qi，Qj}和J将每个邻域点{X1|S，···，XKm|S}进入{Qk，Qi}（Qi可以是1的两个阶中的最近邻M嗯嗯K因为倒角距离不是双射的）。 σJ必须{Xm|Sm，···，Xmm|从其相应的K当dij→0且dkj较大时，我们将取值较大，因为我们主动节点Sm，即，k mm=Xkm -Sm.每根球杆-结果表明，在最佳情况下，σij=dij，σki=dki。如果dij→0且dkj较大，则意味着{Qi，QJ}是可重复的且精确定位的关键点，而QJ并不自由 因此，对于一个坏的亲，一个大的显着性不确定性σJ然后馈送一[21]如图所示的PointNet网络。2（b）至得到与Sm相关联的局部特征向量Gm。 将k个NN分组层应用于局部fea的集合上。Jk真实向量{G1|S1，···，GM|SM}以实现分层结构。关键点Qk 在最佳的情况下，我们的概率倒角损失引导FPN正确学习。cal信息聚合。具体地说，每对（Gm）的k个最近邻|Sm）检索为{（G1|（S1）|Sm，···，（GK|SK）|Sm}。这些kNN局部fea-点到点损耗为了避免mmm中的量化误差M由于关键点的位置，我们设计FPN，使得建议关键点Q不必是以下中的任一个：然后，通过用其re-vector减去来归一化真实向量以得到位置独立的邻域方向记为{G1|（SK）|Sm，···，（GK|（SK）|Sm}，其中SK=X中的点。然而，这可能会导致FPN给出Kmm mm m远离点云X的错误建议关键点Q。 我们通过增加一个损失函数Lp来避免这个问题，该损失函数惩罚Qm∈ Q远离X。 我们也对Q和X施加类似的惩罚。这种损失可以用公式表示为点对点损失[1]：SM -Sm，然后馈入另一个网络以获得特征向量的集合{H1，· · ·，Hm}。一个简单的多-然后，使用层感知器（MLP）来估计M 个预测点{Q1}。|S1，···，QM|SM}，其中Qm∈R3，以及显著性不确定性{σ 1，···，σ M}，其中σ m∈ R+from{H1，···，HM}。最后，我们对每个QΣML点=ΣMminQi−Xj2+min<$Q<$i−X<$j<$2，（8）对于Sm，即， Qm=Qm+Sm得到最终提案关键点{Q1，· · ·，QM}。 需要注意的是X∈X2˜ ˜2i=1Ji=1Xj∈X接受域的大小由k个NN层中的建议M和K的数量控制，并且它确定了其中Xj∈X是Qi的最近邻或点-平面损耗[23，4]：每个特征的详细程度。大的感受野导致在大尺度上突出的特征，反之亦然。L平面= ΣMi=1NT（Qi−Xj）+˜ΣMi=1N~ T（Q~i-X~j），（9）5.简并分析让我们将FPN表示为f（Y）：Y→R3×M，其中其中，Nj和Nj是X到Qi和X到Qi的最近表面法线。我们通过default设置Lp=L点，因为我们通过实验发现，两个损失函数都给出类似的表演。XIJ3664. 功能提案网络我们的FPN的网络架构如图所示。第2段（b）分段。我们首先对M个节点进行采样，表示为Y=[Y1，···，YN] ∈ R3× N是网络的输入. 我们进一步表示 一 个 变 换 矩 阵 T ∈ SE （ 3 ） ， 其 中 R ∈ SO（3），t ∈ R3是T中的旋转矩阵和平移向量. 我们得到YJ=RY t，其中是表示t对每3 × 1项的加法的算子。另一个术语。当网络输出平凡解时，我们说网络是退化的，其中f（YJ）<$Rf（Y）<$t对所有R和t都是满意的。367Nn我我我我MnΣΣNnn因此，（Y，我我我我引理1. 当f（. ）输出输入点云的质心，即， f（Y）= 1Yn斧头因此，可以通过限制FPN的接收场来容易地防止简并我们通过以下方式实现这一目标且f（YJ）=1YJ.Nn设置最接近的聚类M和K证据设YJ=RYn+tintof（YJ）=1ΣYJ，在FPN中的集群的bors（参见第二节）。4、对于def-M和K的初始值）到合理的值。 小的值我们得到f（YJ）=1（Ryn+t）=R（1Yn）+t=Rf（Y）t.NfnJ）≡Rf（Y）tN n完成了我们的证明，即当输出输入点云的质心时，网络退化。引理2. 当f（. ）是平移等变的，即， f（·）t = f（·t），并输出输入点云中位于任意主轴的线性子空间中的点，表示为U =[U1，U2，U3] ∈ R3×3，即 f（Y）=[c1UT，···，c1UT]T，并且f（YJ）=f（RYt）或高K值增加了感受野，并导致FPN退化。图3示出了在M=64处具有不同K值的简并性的一些示例。值得注意的是，主轴简并发生在K设置为中间值时，质心简并发生在K设置为高值时。这意味着较大的感受野，即，网络需要更高的全局语义信息来学习中心。我们还注意到实验退化（质心和主轴）发生在具有更规则形状的点云中，例如ModelNet40中的对象，=f（RY）t（平移等方差）（十）质心和主轴被更好地限定。=[c1UJT，···，c UJT]Tt，其中Ui可以是U中的任何主轴，并且c1，· · ·，cM是R中的标量系数。证据 设V=1（Y-Y<$）（Y-Y<$）T和VJ=1ΣJJNJnnn（Yn−Y<$）（Yn−Y<$J）T表示协方差矩阵，(a)（b）（c）NnJ¯1ΣY和Y的三分之一，尊重我。Y=N，Y¯J=1YJ是Y和YJ的质心。图3.增加FPN中的K值会导致简并（M= 64）。(a)无简并性，K= 9（低值）。(b)主要NJNN¯J J将Yn=RYn+t代入Y1ΣV，我们得到：轴简并，K= 24（中间范围值）。 (c)质心简并性，K= 64（高值）。VJ=RN（Yn−Y<$）（Yn−Y<$）TRT=RVRT。（十一）n6. 实验对V和VJ进行奇异值分解（SVD），得到V=UDUT和VJ=UJDJUJT，其中D和DJ是3 × 3对角奇异值矩阵，U和UJ是3 × 3特征向量，也是Y和YJ的主轴. 将V和VJ的SVD放入等式11，我们得到：VJ=RVRT=RUDUTRT=（RU）D（RU）T在[28]之后，我们评估了重复性（第6.1），独特性（第二节）。6.2）和计算效率（Sec. 6.4）的USIP检测器在4个数据集在Tab. 1.一、三个USIP探测器经过重新训练，可用于室外激光雷达、RGB-D扫描和物体模型。特别是，我们使用牛津[18]作为外-≡UJDJUJT⇒ UJ=RU。（十二）门激光雷达，D和ModelNet40 [31]用于对象模型。PCL [26]从Eq. 12转化为f（YJ）=[c1U JT，···，cMU JT]T t，我们得到：经典检测器的实现，即， ISS [35]，Harris-3D [11]和SIFT-3D [17]用于比较。我们采用3DFfeat-Net的预训练模型[32]f（Y，J）=R[c，U，…，c，M]UT]TtRf（Y）t，（13）为KITTI [9]和Oxford设计了一个模型，并使用其开源代码为Redwood和ModelNet40训练单独的模型。这完成了我们的证明，即当网络输出任意主轴上的一组点时，网络退化。讨论我们注意到网络需要输入点云的足够的全局语义信息，例如，输入是整个点云或包含大接收场的局部邻近点的簇，以学习主体上的质心或点集的平凡解n368定 性 可 视 化 图 7 显 示 了 我 们 的 USIP 检 测 器 在ModelNet40上的一些结果。我们的USIP学习关键点的角落，边缘，中心的小表面等。关键点在图的第一行.使用非最大值抑制（NMS）和对显著性不确定性σ进行阈值化来选择7个。在第二行中，仅使用NMS选择关键点。具有小σ的关键点以亮红色显示，并且随着σ的增大而变暗。3696050403020100481632641282565126050403020100481632641282565125040302010048163264128256512100806040200USIP3DFeatNetISS哈里斯三维SIFT-3D随机48163264128256512#KITTI上的关键点牛津RobotCar上的关键点#Redwood上的关键点#ModelNet40上的关键点图4.检测到不同数量的关键点时的相对重复性从左到右：KITTI、Oxford、Redwood、ModelNet40。605040302010000.10.20.30.40.50.6KITTI上的噪声标准值（m）5040302010000.10.20.30.40.50.6OxfordRobotCar上的噪声标准（m）30252015105000.020.040.060.080.1 零点一二Redwood上的噪声标准值（m）100806040200USIP3DFeatNetISSHarris-3DSIFT-3D随机00.020.04 0.060.080.1 零点一二ModelNet40上的噪声标准图5.将高斯噪声N（0，σ噪声）添加到输入点云时的相对重复性关键点编号固定为128。60504030201001 2 4 816504030201001 2 4 81630252015101 2 4 816100806040200USIP3DFeatNetISS哈里斯三维SIFT-3D随机1 2 4 8 16KITTI上的下采样因子Oxford上的下采样因子Redwood上的下采样因子ModelNet40上的下采样因子图6.输入点云按某些因子随机下采样时的相对重复性关键点编号固定为128。图7.来自ModelNet40的USIP关键点示例KITTI牛津红木ModelNet40类型Velodyne激光雷达SICK激光雷达RGB-DCAD模型刻度（直径）200米60米10米2#点16,384 16,384 10,240 5000Eq. 140.5米0.5米0.1米0.03旋转二维二维三维三维噪声传感器传感器高斯高斯闭塞是是是否密度变化是否缺失部分是是是否表1.用于评估关键点可重复性的数据集6.1. 重复性可重复性是指检测器在诸如视点变化、噪声、缺失部分等各种干扰下检测相同位置中的关键点的能力。它通常被作为关键点的最重要的度量检测器，因为它是一个独立的测量，只依赖于检测器（没有描述符）。 给定两个点从不同视点捕获的场景的云{X，X~}，使得{X，X~}通过旋转矩阵相关R∈SO（3），平移向量t∈R3. 关键点检测器从{ X，X}检测关键点集合Q =[Q1，···，QM]和Q2=[Q1，···，QM]。 如果RQi+ t和它的最近邻点Q∈j∈Q∈之间的距离小于一个阈值k，则k点Q i ∈ Q是可重复的，即，<$RQi+t−Q<$j<$2<<$。（十四）我们在KITTI、Ox- ford、Redwood和ModelNet 40上评估可重复性。请注意，我们的USIP没有受过KITTI或红木的培训。KITTI和牛津测试数据集由3DFfeat-Net准备[32]。每对点云{X，X}都是从10米以内的附近位置捕获的，并通过随机2D旋转手动增强。红色窗口中的{X，X~}来自具有3D旋转/平移和高斯噪声的 模拟 RGB-D{X ，X~}之间的重叠为30%。在模型中-Net40，X通过用随机3D增强X获得旋转 数据集的详细信息见选项卡。1.一、相对可重复性我们使用相对可重复性，它对检测到的关键点总数进行归一化|Q|为了公平比较，即，重复性= |Q代表|/|Q|得双曲余切值.USIP3DFeatNetISS哈里斯三维SIFT-3D随机USIP3DFeatNetISS哈里斯三维SIFT-3D随机USIP3DFeatNetISS哈里斯三维SIFT-3D随机USIP3DFeatNetISS哈里斯三维SIFT-3D随机USIP3DFeatNetISSHarris-3DSIFT-3D随机USIP3DFeatNetISS哈里斯三维SIFT-3D随机USIP3DFeatNetISS哈里斯三维SIFT-3D随机USIP3DFeatNetISS哈里斯三维SIFT-3D随机USIP3DFeatNetISS哈里斯三维SIFT-3D随机重复性（%）重复性%重复性%重复性%重复性%重复性（%）重复性（%）重复性%重复性%重复性（%）重复性（%）重复性（%）370αQrep是通过等式中重复性测试的关键点数量十四岁当无法设置检测器（SIFT-3D、Harris-3D和ISS）来生成精确数量的关键点时，我们设置每个数据集中每个关键点检测器的参数，以生成4、8、16、32、64、128、256和512个关键点或接近这些数量的请注意，一般而言在Q=X的极端情况下，即，每一个点作为一个关键点，重复性与{X，X~}之间的重叠百分比。如图所示4、我们的USIP在8个不同的关键点上的4个数据集上的性能优于其他检测器。噪声鲁棒性KITTI和Oxford中的原始点已经被传感器噪声破坏 我们进一步用高斯噪声N（0，σ噪声）来增强4个数据集中的点云，其中σ噪声最大为0。6米KITTI和牛津，0。12米红木和0. 12（无单位），适用于ModelNet40。关键点的数量固定为128。我们的USIP比其他检测器更强大，如图五.在KITTI和Oxford中，当σ noise ≥ 0时，其它检测器的性能下降到随机抽样的水平。2 m，而我们的USIP即使在σ噪声≥ 0的情况下也没有显示出显著的每平方米下降。6米。在Redwood中，除USIP和ISS外，其它方法都退化为σ噪声≥0的随机抽样. 02米在ModelNet40中，我们的方法保持了91%的高重复性，σ噪声=0。02，而所有其他方法下降到8%以下。下采样的鲁棒性我们使用随机选择来评估检测器在由一些因素下采样的输入点云上的可重复性。结果示于图 其中，表示为α的下采样因子表示点数减少到Tab中所示的原始数量的1。1.一、我们可以看到，即使在KITTI，Oxford和ModelNet40上进行16×下采样，唯一的例外是Redwood数据集，其中几乎所有检测器在高下采样因子上表现不佳。6.2. 特色：点云配准独特性是用于在点云配准中找到对应的关键点检测器和描述符的性能的度量。因此，作为关键点检测器的评估标准，独特性不如可重复性好，因为它与描述符的性能混淆。我们通过评估几个现有的关键点描述符的点云注册来减轻这种限制。我们还使用的结果表明，我们的USIP检测器与不同的现有的关键点描述符。实验设置我们在其KITTI测试数据集上遵循来自3DINF-Net [32]的点云配准管道。使用四个描述符来执行关键点描述，即，三个现成的描述符：[25]第二十五话SHOT[27]，以及我们自己的描述符，其灵感来自3D网络，具有微小的修改，其被表示为“我们的描述”。（详情见我们的补充材料）。一对点云的配准涉及4个步骤：（a）从每个点云中提取关键点及其对应的描述符向量。(b)通过描述符向量的最近邻搜索来建立关键点到关键点的对应关系。(c)对两个匹配的关键点集执行RANSAC，以找到具有最多内点的旋转和平移。(d)将得到的旋转和平移与地面实况进行比较。一对点云被认为是成功的如 果 相 对 平 移 误 差 （ RTE ） 2m ， 相 对 旋 转 误 差（RRE）5m，则注册。<<配准结果我们对6个关键点检测器和4个描述符的组合进行配准评估。配准失败率和关键点入组比如表1所示。二、与其他检测器相比，我们的USIP实现了最低的注册失败率和最高的内点比，在所有4个描述符上具有相当大的余量。表中结果的意义。2是两个折叠。首先，我们的USIP与各种手工制作和基于深度学习的描述符配合良好。其次，我们的USIP产生更独特的关键点，因为它consis- tently优于其他关键点检测器在不同的描述符。实验配置见表1。2不是我们的USIP检测器和描述器的最佳设置，也不是3DFatNet的最佳设置，因为我们必须确定该数字关键点进行公平比较。在选项卡中。3，我们在KITTI上展示了我们的USIP和3DSPINNet的最佳配准结果，而不限制关键点的数量。此外，我们在图中显示了来自KITTI和Oxford的两个示例的关键点匹配结果的可视化。8.图8.关键点和匹配从我们的USIP检测器和最佳的视图与颜色和放大。6.3. 消融研究点到节点分组与kNN/球分组点到节点分组确保使用点云中的每个点而无需繁琐地调整任何超参数，因为它将每个点与其最近的节点相关联，即，从最远点采样（FPS）采样的M个点之一。因此，没有信息丢失。相比之下，kNN和球搜索分组由于超参数设置的敏感性（分别用于k NN和球搜索的#NNk和半径r）而不能保证这一点。选项卡. 4显示了在KITTI数据集上使用kNN和球搜索分组的性能下降。我们进一步注意到，371注册失败率（%）内值比（%）我们的描述[32]第三十二话 FFPH [24][27]第二十七话我们的描述3DFeatNetFPFH枪随机18.8342.1449.9568.397.474.485.454.46SIFT-3D[26，17]15.4442.6379.7284.497.365.474.244.11ISS[26，35]5.9725.9637.0969.838.524.714.443.45哈里斯-3D [26，11]3.8113.5649.4951.2910.576.584.785.00[32]第三十二话2.612.2612.1511.7615.6610.769.558.46USIP1.411.558.375.4032.2022.4818.7718.21表2.KITTI上的点云配准结果关键点的数量固定为256。和TensorFlow。用2，391个KITTI点云计算了计算效率关键点数量的可扩展性。选项卡. 5显示需要的时间表3.KITTI上的点云配准，具有最佳设置。因为分组集中在来自FPS的M个采样点的每一个上，即，现在不可能丢弃任何点。M=512，#关键点=128点到节点kNN，k=64球R=2m重复性（%）53.646.943.8表4.不同分组方法的关键点重复性概率倒角损失与法线倒角图9显示了分别在KITTI和ModelNet40数据集上具有我们的概率倒角损失与正常倒角损失的网络的结果。我们的概率Chamfer损失在两个数据集上都明显优于正常Chamfer注意，非最大值抑制（NMS）不用于正常倒角损失，因为它不给出阈值化所需的关键点不确定性〇从16，384个输入点的KITTI帧中计算M={128，256，512，1024}个关键点的显著性。我们看到计算时间没有实质性增加。输入点数量的可伸缩性。所有其他3D检测器的计算时间随着输入点的增加而增加，因为对输入点云中的每个点计算显著性。相比之下，USIP通过直接计算M个关键点的显著性而需要较低的计算时间。选项卡.图6示出了使用不同方法从大小增加的输入点云计算256个关键点所花费的时间。其他方法的计算时间大幅增加，而USIP仍然很低。关键点数量1282565121024平均时间（秒）0.0040.0070.0110.028表5.USIP提取关键点的平均时间604020048163264 128256512#KITTI上的关键点100500倒角Prob.Chamfer48163264 128256512#ModelNet40上的关键点图9.相对重复性。左：KITTI。右：ModelNet40。点对点损耗的影响如图1中的示例所示。在图10中，需要点对点损失来约束接近输入点云的关键点，因为FPN不需要任何关键点在输入点云中。图10.启用点对点丢失的USIP关键点的可视化，即λ= 1（左）和禁用，即，λ= 0（右）。关键点更接近点云，但存在点到点丢失。6.4. 计算效率手工制作的检测器使用单线程C++代码部署在Intel i76950X CPU上。我们的USIP和3DVPN Net部署在Nvidia1080Ti上，使用PyTorch表6.使用不同方法从大小不断增加的输入点云计算256个关键点所需的平均时间（秒）7. 结论在本文中，我们提出了USIP检测器，这是一种用于3D点云的基于深度学习的非监督关键点检测器。提出了一种概率倒角损失来引导网络学习高度可重复的关键点。给出了网络退化的数学分析和解决方法，并得到了实验结果的支持.使用激光雷达扫描、RGB-D图像和CAD模型进行广泛的评估。我们的USIP检测器在可重复性、独特性和计算效率方面明显优于现有检测器。谢谢。这项工作得到了新加坡MoE一级拨款R-252-000-A65-114的部分支持。倒角Prob.Chamfer重复性%重复性（%）检测器描述符未通过（%）内值（%）RTE（m）RRE（m）三维特征网三维特征网0.5712.90的情况。26 ± 0。26 0的情况。56 ±0。46输入点编号4096819216,38432,76865,536随机0.00010.00030.00050.00130.0025SIFT-3D0.070.110.160.1750.18ISS0.040.110.391.456.15哈里斯三维0.030.060.150.381.123DFeatNet0.050.140.441.455.34USIP0.0050.0070.0110.0230.052372引用[1] Paul J Besl和Neil D McKay。三维形状配准方法。在Sensor Fusion IV 中 ： Control Paradigms and DataStructures，第1611卷，第586-607页。国际光学与光子学学会，1992年。1、4[2] Umberto Castellani、Marco Cristani、Simone Fantoni和Vittorio Murino。 结合3d网格显著性与统计描述子的稀疏点匹配。在Computer Graphics Forum，第27卷，第643Wiley Online Library，2008.2[3] Hui Chen和Bir Bhanu基于局部曲面片的深度图像三维自 由 形 状 目 标 识 别 Pattern Recognition Letters ， 28（10）：1252-1262，2007. 2[4] 杨晨和杰拉德·梅迪奥尼。 用多幅深度图像的遥感进行目标建模。图像与视觉计算，10（3）：145-155，1992. 4[5] Haowen Deng，Tolga Birdal，and Slobodan Ilic.Ppf折叠网：旋转不变三维局部描述子的无监督学习。arXiv预印本arXiv：1808.10322，2018。一、二[6] Haowen Deng ， Tolga Birdal ， and Slobodan Ilic.Ppfnet：全局上下文感知局部特征，用于鲁棒的3d点匹配。计算机视觉与模式识别（CVPR）IEEE，1，2018年。一、二[7] Chitra Dorai和Anil K.贾恩。三维自由形状物体的表示方法IEEE模式分析和机器智能学报， 19 （ 10 ）：11152[8] Gil Elbaz，Tamar Avraham，and Anath Fischer.使用深度神经网络自动编码器进行定位的3D点云配准。在Computer Vision and Pattern Recognition（ CVPR） ，2017 IEEE Conference on，第2472IEEE，2017年。2[9] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们准备好自动驾驶了吗？Kitti Vision基准套件。在计算机视觉和模式识别会议中，2012年。一、五[10] Zan Gojcic 、 Caifa Zhou 、 Jan D Wegner 和 AndreasWieser。完美匹配：平滑密度的三维点云匹配arXiv预印本arXiv：1811.06879，2018。一、二[11] Christopher G Harris，Mike Stephens，等.一种组合的角点和边缘检测器。Alvey视觉会议，第15卷，第10-5244页Citeseer，1988年。一、五、八[12] R.C. 韦尔特坎普坦格尔德基于内容的三维形状检索方法综述2008. 1[13] Marc Khoury，Qian-Yi Zhou，以及Vladlen Koltun。学习紧凑的几何特征。 在proc 计算机视觉和模式识别，第153-61页，2017年。一、二[14] Teuvo Kohonen.自组织地图。神经计算，21（1）：1-6，1998.