直接成对配准的点云扫描方法及其对局部姿态信息的增强

1TTTTT{T，T，T，T，T}验证假设T变换用于直接成对配准的Haowen Deng，*，HaowenTolgaBirdal，* Slobodan Ilic，*西门子技术有限公司，德国，*SiemensAG，德国，德国中国国防科技大学摘要我们提出了一种新的，数据驱动的方法来解决两个点云扫描的配准问题。我们的方法是直接的，在这个意义上，一对相应的本地补丁已经提供了必要的转换线索的全球注册。为了实现这一点，我们首先赋予最先进的PPF-FoldNet [18]自动编码器（AE）一个姿态变量兄弟，其中两者之间的差异导致姿态特定的描述符。在此基础上，我们引入了RelativeNet，一个相对姿态估计网络，为关键点分配对应的特定方向，消除了任何局部参考帧计算。最后，我们设计了一个简单而有效的假设和验证算法来快速使用预测和对齐两个点集。我们广泛的定量和定性实验表明，我们的方法在挑战成对配准的真实数据集方面优于现有技术，并且用局部姿态信息增强关键点会导致更好的泛化和显著的加速。1. 介绍多年来，学习和匹配本地特征一直是计算机视觉的动力。学者们首先手工制作了他们的描述符[36]，并随着深度学习的进步，设计了更可靠，更强大和更实用的数据驱动方法[34，52]。图像领域的这些发展已经迅速升级到3D，其中已经开发了3D描述符[44，53，19]。拥有3D局部特征通常被视为解决更具挑战性的3D视觉问题的中间步骤。这些问题中最突出的一个这个问题也被称为成对3D注册。虽然中介描述符的质量无疑是良好登记的一个重要方面，图1.我们的方法不仅提供了强大的功能，建立对应，但也直接预测一个刚性变换附加到每个对应。片段对之间的刚性姿态的最终估计然后可以通过对姿态预测池进行操作来有效地进行对于性能问题[25]，直接解决手头的最终问题肯定更为关键。不幸的是，与2D描述符相反，目前深入学习的3D描述符[53，19，18]仍然不是针对我们考虑的任务而定制的，即。它们缺少任何种类的局部方向分配，因此，任何随后的姿态估计器被强制设置用于最近邻查询和穷举RANSAC迭代，以鲁棒地计算对准变换。这既不可靠，也不具有计算效率。在本文中，我们认为，描述符是良好的成对配准还应该提供线索，直接计算局部旋转，并提出了一种新的，强大的和端到端的算法，基于局部特征的3D配准的两个点云（见图。①的人。我们首先通过深入学习方向来增强最先进的无监督6DoF不变局部描述符PPF-FoldNet [18]通过我们的姿势变化方向学习，我们可以将3D结构与6DoF运动解耦。这可能导致特征仅解释姿势可变性，32443245一个合理的近似。我们的网络架构如图所示。2.然后，我们观察到，局部良好的配准导致良好的全局对齐，反之亦然。在此基础上，我们提出了一个简单而有效的假设和验证计划，以找到最佳的对齐条件下的初始对应池，简单地从潜在空间中的（相互）最接近的neighh-bors检索。为了使上述想法能够很好地工作，分配给我们的关键点的局部方向（以空间均匀性采样）应该非常可靠。不幸的是，找到这种局部贴片的可重复方向立即需要局部参考系（LRF），这本身就是模糊性和误差的主要来源[41]。因此，我们选择学习估计相对变换，而不是旨在找到一个规范框架。我们发现相对运动比LRF更鲁棒且更容易训练。为此，我们引入了RelativeNet，一个专门的架构相对姿态估计。我们通过结合三个损失函数来训练所有的网络：1）无监督PPF-FoldNet的倒角重建损失[18]，2）变换变体局部特征的弱监督相对姿势线索，3）强制附近点在嵌入空间中产生附近特征的特征一致性损失。我们针对3DMatch的多个广泛接受的基准数据集-基准[53]和Redwood [13]，对特征匹配和几何配准的重要任务进行了广泛评估。在我们的评估中，我们将最先进的技术提高了6。百分之八十三在成对配准中，同时将运行时间减少20褶皱这两个方面的显著改进源于弱监督，使得局部特征能够溢出旋转估计，从而减轻了最终变换估计器的工作。三个多任务损失的相互作用反过来增强了所有的预测。总体而言，我们的贡献是：1. 用于局部特征学习的不变+姿态变化网络，旨在生成对几何变化不敏感的姿态相关描述符。2. 一个多任务训练方案，可以分配方向匹配对，同时加强学习的描述符，以找到更好的对应关系。3. 利用直接网络预测，在速度和精度两个方面提高了给定对应集上的几何配准性能。2. 相关工作本地描述符手工制作的特征有很长的历史，通过研究几何局部结构的性质。FPFH [43]，SHOT [44]，USC [46]和Spin Images [29]都使用不同的想法来捕获这些属性。不幸的是，真实数据的挑战，例如噪声的存在、缺失的结构、遮挡或杂波严重损害了这些描述符[25]。数据驱动方法的最新趋势鼓励研究人员利用深度学习来克服这些麻烦。代表性的作品包括3DMatch[53]，PPFNet [19]，CGF [32]，3D-RightNet [28]，PPF-FoldNet [18]和3D点胶囊网络[54]，都大大优于手工制作的替代品。虽然2D中的描述符通常由从局部图像外观导出的局部方向的有用信息补充[36]，但3D数据的性质使得找到唯一且一致的因此，上述工作中没有一个能够将局部取向信息附加到3D贴片。这促使我们共同考虑sider描述符提取和直接3D对齐。成对配准的方法分为两个主要的研究方向。第一个学派试图在全局上找到两个点集的对齐。迭代最近点（ICP）[2]及其trans-scendents [45，50，2，35]交替假设对应集并最小化刚性姿势优化的3D配准误差。尽管取得了成功，但即使在今天，使国际比较方案异常稳健仍被认为是一个公开的问题[30，21，48，11]。ICP的实际应用还包括几何、光度或时间一致性提示[39]或里程限制[55]（只要可用）。ICP易于初始化，并且已知可耐受只有高达15−30的失准[5，3]。另一个家庭分支从随机抽样锥-Sensus（RANSAC）[22].这些工作假设了一组推定的关键点匹配，并试图通过随后的拒绝来禁用错误的关键然后可以在类似Kabsch [31]的算法中使用发现的内点来估计最佳变换。RANSAC的一个显著缺点这促使研究人员提出对原始框架的加速，此时，文献中充满了大量的RANSAC衍生方法[15，16，33，14]，统一在USAC框架下[42]。尽管RANSAC现在是一个发展良好的工具，但与之相关的几何学有助于学者们寻找更直接的检测和姿态估计方法，希望减轻特征提取和随机内点最大化的缺陷。最近，点对特征的几何散列（PPF）[4，20，6，26，47]被发现是最可靠的解决方案[27]。另一种选择包括4-点全等集（4-PCS）[1，9]，进一步使之有效。3246PPF-FoldNet-PC-FoldNetPPF-FoldNet-PC-FoldNetRelativeNet图2.拟议管道概述。给定两个点云，我们首先将所有补丁馈送到PPF-FoldNet和PC-FoldNet自动编码器中，以分别提取不变和姿态变化的局部描述符。补丁对，然后匹配他们的中间不变的功能。被发现匹配的对被进一步处理以计算基于不变PPF的特征和基于PC的特征之间的差异。这些属于匹配关键点对的比率特征被连接并发送到RelativeNet中，生成相对姿势预测。在训练阶段，多个信号被施加在重建、姿态预测和特征一致性上[37]由Super4PCS [38]推广。正如我们将在接下来的章节中详细说明的那样，我们的方法位于局部特征学习和直接成对配准的交叉点，继承了两者的优点。3. 方法一般情况下，局部几何面片携带两条信息：（1）3D结构，由样本点本身概括，P ={pi|pi∈R N×3}，其中p =[x，y，z]n，以及（2）运动，其在我们的上下文中对应于3D变换或姿态Ti∈SE（3）整体定向和空间定位点集相反，我们想法基于这样的前提，即良好的局部（分片）姿态估计导致两个片段的良好的全局刚性首先，通过将姿态分量与结构信息解耦，我们设计了一个数据驱动的预测器网络，该网络能够对任意块的姿态进行回归，并具有良好的泛化性能。图2描述了我们的架构设计。在接下来的部分中，我们解决了相对姿态标记的问题，而不需要规范的帧计算。广义姿态预测实现对3D结构的容忍的一种简单方法是训练网络进行姿态预测，P：4×4Σ ΣΣR t根据输入补丁和休假的数据库确定的措辞网络的不变性[53，19]。 不幸的是，SE（3）=T∈R：T=0⊤1.（一）以这种方式训练的网络要么需要非常大的独特局部补丁的集合，要么简单地缺乏通用的-其中R∈SO（3），t∈R3.一个点集Pi，代表一个局部面片，通常被看作是一个变换的其规范版本Pc的副本：Pi= Ti<$Pc。 关于-化为了减轻这个缺点，我们选择通过训练一个不变的等变的，网络对和利用中介潜在空间arith-我我十次，从单个局部块中找到这样的规范绝对姿态Ti涉及计算局部参考系[44]，其已知是不可靠的[41]。我们在-Metic。我们将一个等变函数刻画为[49]：（P）=+不3247其中g（·）是仅取决于姿态的函数。 当g（T）=I时，我们称之为T-不变的，并且对于我们的应用范围，对于任何输入P，都导致正则输入的结果<$（P）<$（Pc）。 请注意，eq.（2）比科恩的定义更一般群元素T不限于线性作用在本文的主体内，术语等变将松散地指这种准等方差或协方差。当g（T）/=I时，我们进一步假设T的作用可以是通过一些加法线性运算近似：g（T）<$（Pc）<$h（T）+<$（Pc）。（三）h（T）可能是T的高度非线性函数。通过堵塞eq. (3)进入eq. (2)，我们到达：（P）−也就是说，潜在空间中的差异可以将姿态近似到非线性h。我们用一个四层MLP 网h−1 （ ·），ρ（ ·）来近似h的倒数，并提出回归运动（旋转）项：ρ（f）R|t（5）其中f=f（P）−f（Pc）。请注意，f仅解释了运动，因此可以推广到任何局部补丁结构，从而在我们的温和条件下产生强大的姿态预测器。假设。由深网络形成的流形被发现足够接近于欧几里德平坦性。这种相当平坦的性质已经激励了诸如GAN[24]的杰出作品使用简单的潜在空间算法来修改面部，物体等。我们在EQ中的假设(3)遵循类似的前提。从语义上讲，通过从点云特征中减去特定于结构的信息，我们最终得到了以姿势/运动为重点的描述符。相对姿态估计注意，ρ（·）可以直接用于将绝对姿势回归到规范帧。然而由于上述定义唯一局部参考系的困难，不建议[41]。由于我们的sce- nario考虑了一对场景，我们可以安全地估计相对姿态而不是绝对姿态，从而排除了精确估计LRF的先决条件。这也有助于我们轻松地形成培训所需的标签。因此，我们通过相对姿态预测器RelativeNet对ρ（·）进行建模，如图所示。二、我们进一步观察到，在刚性变换T ij下良好配准的两个场景（i，j）的对应局部结构也与T ij良好对准。因此，通过计算局部面片之间的相对姿态，可以容易地获得局部面片之间的相对姿态。碎片，反之亦然。我们将在下面的第3.1节中使用这些想法来设计我们的网络，并在第3.2节中解释如何训练它们。跳过链接图3. PC/PPF-FoldNet的体系结构。根据输入源的不同，展开模块的最后层数分别为点云3层和点对特征4层。3.1. 网络设计为了实现我们的广义相对姿态预测，我们需要实现三个关键组件：不变的网络f（Pc），其中g（T）=I，变化的网络f（P），作为输入和MLPρ（·）的函数。最近的PPF-FoldNet [18]自动编码器非常适合建模由于它是无监督的，它工作在点片上，并由于点对特征（PPF）完全边缘化运动项而实现真正的不变性。有趣的是，保持网络架构与PPF-折叠网络相同，如果我们用3D点本身（P）代替PPF部分，中间特征将取决于 结 构 和 姿 态 信 息 。 我 们 将 这 个 版 本 称 为 PC-FoldNet，并将其用作我们的等变网络<$（P）=g（T）<$（Pc）。我们依赖于使用PPF-FoldNet和PC-FoldNet分别学习旋转不变和可变特征。它们共享相同的架构，但采用不同的本地补丁编码，如图所示。3.第三章。取两个网络的编码器输出的差，即，PPF-和PC-FoldNet恢复的潜在特征导致几乎专门针对姿态（运动）信息的新特征。这些特征随后被馈送到广义姿态预测器RelativeNet中以恢复刚性相对变换。我们完整的相对姿态预测的整体架构如图所示。二、3.2. 多任务训练计划我们用多个线索来训练我们的网络，有监督的和无监督的。特别地，我们的损失函数L由三部分组成：L=Lrec+λ1Lpose+λ 2Lfeat（6）Lrec、Lpose和Lfeat分别是重建、姿态预测和特征一致性损失。为了清楚起见，我们省略了函数参数。MLP(64，128，256）最大池最大值(512、512）池concatenateMx2网格MLP(256、128、64、32、4（3））MLP（256，128，64，32，4（3））concatenate码字（512）点云/PPF倒角损失516704514512复制3248重建损失Lrec反映了PC/PPF-FoldNet的重建保真度。为了使PPF/PC-FoldNet的编码器能够生成用于姿态回归的良好特征，以及用于找到鲁棒的局部对应关系，类似于PPF-FoldNet [18]中的步骤，使用倒角距离作为度量，以无监督的方式训练两个1 .一、ˆˆΣLrec=2d cham（P，P）+d cham（F ppf，F ppf）（七）dcham（X，X）=（8）.1MaxΣminx−x2，Σ1Σmin|X|x∈Xx<$∈x<$|X|x∈Xx<$∈X<$图4.我们的直接预测和RANSAC管道生成的假设之间的比较。第一行显示R2算子表示重构（估计）集，并且Fppf点的PPF计算方法与[18]相同两 个 局 部 补 丁 的 对 应 关 系 在 被 发 送 到 PC/PPF-FoldNet之前被集中和归一化这就取消了平移部分t∈R3。我们的姿势预测损失的主要任务是，让我们的RelativeNet能够预测R12∈SO（3）在给定的补片（1，2）之间.因此，自然-旋转分量作为3D Rodrigues矢量，第二行显示平移分量。由我们的相对网络生成的假设更集中在地面真相周围。这是非常有益的，因为我们通过在特征空间中搜索它们的最近邻来建立局部对应该功能considerablelossLfeat内容如下：L姿态的最终选择描述了预测旋转和地面真实旋转之间的差异：Lpose=q−q2（9）LfeatΣ=0.0000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000（pi，qi）∈Γ-fqi2RelativeNetRANSAC地面实况旋转翻译3249M（十一）请注意，我们选择通过四元数q∈H1来参数化空间旋转，由于：1）减少了回归参数的数量; 2）轻量级投影算子-向量归一化。翻译t，以假设对为（p1，p2），并且预测旋转q1可以通过下式计算t=p1−Rp2（10）其中R对应于q的矩阵表示。这样的L2误差更容易训练，与测地线度量的损失可忽略不计。与[18]不同，我们的RelativeNet需要成对的局部补丁进行训练。因此，我们可以灵活地利用配对信息作为额外的弱监督信号，以进一步促进我们的PPF-FoldNet的训练。我们假设这种指导将提高先前以完全无监督的方式训练的中间潜在特征的质量在特定情况下，受噪声、缺失数据或杂波影响的对应特征将产生高的重建损失，导致即使对于相同的局部块，局部特征也不同这一新信息有助于我们保证从相同的补丁中提取的特征尽可能接近Γ表示对应的局部块的集合，并且fp是PPF-FoldNet在p处提取的特征，fp∈Fppf。3.3. 假设选择我们算法的最后阶段涉及从每个样本点产生的许多假设中选择最佳假设。完整的6DoF姿态由预测的3DoF取向参数化(9))和翻译（eq. (10))以匹配点（3DoF）为条件。对于我们的方法，具有一组对应关系相当于具有一组预先生成的变换假设，因为每个关键点都与LRF相关联。注意，这与标准RANSAC方法相反，其中m=三-对应参数化。第三个姿势，并建立N通信可以导致N 需要验证的假设。我们的少量假设，在对应的数量上已经是线性的我们通过使用所有幸存的内点重新计算变换来进一步改进估计。得分最高的假设将作为最终决定。图4示出了与标准RANSAC假设相反，我们的假设集的平移和旋转分量都更紧密，并且具有与真实姿态的更小偏差。3250表1.片段匹配召回的3DMatch基准结果[53，18]。厨房主场1主场2Hotel 1酒店2酒店3研究MIT实验室平均3D匹配[53]0.57510.73720.70670.57080.44230.62960.56160.54550.5961CGF [32]0.46050.61540.56250.44690.38460.59260.40750.35060.4776PPFNet [19]0.89720.55770.59130.57960.57690.61110.53420.63640.6231FoldingNet [51]0.59490.71790.60580.65490.42310.61110.71230.58440.613[18]第十八话0.73520.75640.6250.65930.60580.88890.57530.59740.6804我们0.79640.80770.69710.72570.67310.94440.69860.62340.74584. 实验我们使用事实上的3DMatch基准数据集[53]的训练分割来训练我们的方法，该基准数据集包含由Kinect相机捕获的具有不同结构和姿势的许多真实局部补丁对然后，我们对自己的测试集和具有挑战性的合成红木基准进行评估[13]。我们评估我们的性能对国家的最先进的数据驱动的算法，以及proprosous手工制作的方法的RANSAC家族的任务特征匹配和几何配准。实现细节我们通过在30cm附近的参考点周围随机收集2K点来表示局部补丁。为了提供相对姿态监督，我们将每个补丁与从地面真实相对变换中获取的姿态相关联。通过在特征空间中找到相互最近的邻居来建立局部对应。我们的实现基于Py- Torch [40]，这是一种广泛使用的深度学习框架。4.1. 3D Match Benchmark的评价[53]我们的本地描述符有多好？ 首先，我们把我们的本地功能在测试片段匹配任务，这反映了有多少好的对应集可以找到的特定功能。 如果达到5%及以上的真实对应率，则认为片段对匹配。详情见[18，19]。在选项卡中。1我们报告了各种数据驱动描述符的召回 ， 3DMatch [53] ， CGF [32] ， PPFNet [19] ，FoldingNet [51]，PPF-FoldNet [18]以及我们的。值得注意的是，我们的网络比有监督的PPFNet [19]和无监督的PPF-FoldNet [18]的性能高出12%。百分之十六。 请注意，我们在架构上与PPF相同-FoldNet，因此，主要是使改进通过多任务训练信号，朝着更好的最小值交互，由于我们的网络的双连体结构，我们可以提供像[18]这样的旋转不变特征，或者像[19]那样的直立特征。我们的特征在几何配准中有多有用？为了进一步展示我们当地博学的优势，的功能，我们评估他们的任务，局部几何配准（L-GM）。在典型的L-GM流水线中，首先提取局部特征，然后通过在潜在空间中的某种形式的搜索建立一组局部对应。在这些推定的匹配中，随后的RANSAC迭代地选择最少3个对应的子集，以便估计刚性姿态。片段对之间的最佳相对刚性变换则是为了在所有方法中保持公平，并具有结果仅取决于描述符差异的受控设置，我们在所有方法中使用简单的RANSAC框架[42]来找到最佳匹配。Tab的第一部分图2显示了不同的局部特征如何帮助RANSAC在3DMatch Benchmark上注册片段。查全率和查准率的计算方式与3DMatch [53]相同。对于该评估，召回率是一个更重要的指标，因为可以通过采用更好的假设修剪方案来提高精度，过滤掉不好的匹配，而不会损害重新调用[33，32]。配准结果表明，我们的方法在平均召回率方面与表现最好的PPFNet[19]相当或更好有趣的是，与片段匹配相比，我们在这个任务上的回忆下降了。这意味着对于某些片段对，即使内围值比率高于5%，RANSAC也无法完成这项工作。因此，人们有动力寻求更好的方法来恢复刚性变换从3D对应。我 们 的 直 接 6D 预 测 有 多 准 确 ？我 们 现 在 评 估RelativeNet在修复上述RANSAC中断情况方面的贡献由于我们的体系结构，我们能够赋予每个对应的姿势信息。通常情况下，这些对应关系中的每一个都是好的。然而，实际上并非如此。因此，我们设计了一个线性搜索，以找到最好的，如第3.3节所述。在选项卡中。2（底部），我们报告L-GM结果作为本次验证的结果，在相同的3DMatch基准上。正如我们所看到的，使用相同的对应关系，我们的方法可以产生更高的 召回率，高达77。68%，8%左右3251表2.几何配准性能比较。第一部分列出了一些最先进的深入学习的局部特征与RANSAC相结合的性能第二部分展示了我们的特征与RANSAC及其变体相结合的性能第三部分展示了我们的特征直接与我们的姿势预测模块相结合的结果。不仅我们学习的功能更强大，而且我们的姿势预测模块也表现出优于RANSAC家族。厨房家1家2酒店1酒店2酒店3研究MIT实验室平均3DMatchRec.0.85300.78300.61010.78570.58970.57690.63250.51110.6678不同的特征+[五十三]CGF[32]预处理Rec.预处理0.72130.71710.54300.35170.68870.18300.28610.45910.12410.71860.54950.37590.41440.48720.15380.24590.65380.15740.26910.47860.16050.20000.42220.10330.40090.55700.2251RANSACPPFNetRec.0.90200.58490.57230.74730.67950.88460.67520.62220.7085[19个]预处理0.65530.15460.15720.41590.21810.20180.16270.12670.2615USACRec.0.88200.76420.61010.75270.65380.80770.67090.57780.7149[第四十二届]预处理0.50830.13970.13620.29720.15360.13290.15300.10530.2033我们的功能+RANSAC变体SPRT[15][33]第三十三话跑Rec.预 处理Rec.预处理Rec.0.87970.51700.87530.50190.85300.74530.13410.79250.13480.76420.61010.13740.60380.12940.60380.72530.31580.71980.28540.70330.65380.15990.70510.15490.66670.84620.13840.76920.11900.76920.66240.15930.66670.14650.64960.44440.08810.55560.10120.51110.69590.20620.71100.19670.6901SAC预处理0.55270.16140.14790.36470.18250.15870.16580.11390.2309我们的特点+姿势预测Rec.预处理0.89980.54370.83020.17780.63520.18070.82420.40110.69230.20610.92310.20870.76500.18430.64440.14650.77680.2561高于RANSAC所能达到的。这比PPFNet高7%此外，这个数字比片段匹配的召回率高出约3%，这意味着不仅具有良好对应性的对被注册，而且一些具有挑战性的对甚至小于5%的内点比率也被成功注册，从而将匹配对应性的潜力推向极限。值得注意的是，RANSAC的迭代方案需要找到至少3个正确的对应来估计T，而我们依赖于单个正确的匹配就足够了。此外，由于下采样[7]，直接从3点计算的姿态是粗略的，而我们的网络的分块姿态预测不太容易达到精确关键点位置的准确性。为了进一步证明RelativeNet的强大功能，我们将其与RANSAC的一些最先进的变体进行了比较，即USAC[42]，SPRT [15]和Latent RANSAC（LR）[33]。这些方法被证明比vanilla版本更快，更强大[42，33]。所有的方法都给出了相同的一组假定的匹配点，发现我们的旋转不变的功能。结果如表10所示 2表明，即使是一个简单的假设修剪与我们的数据驱动的RelativeNet相结合，也可以超越一整套手工制作的方法，实现approximity 6。比USAC的最佳结果高19%，比USAC的最佳结果高2。比标准RANSAC获得的最高精度高61%在这方面，我们的方法在3D成对几何配准上具有主导优势运行时间速度是关于任何成对配准算法的另一个重要因素，并且有兴趣看看我们的工作如何与这方面的最新技术进行比较我们实现我们的假设验证部分的基础上USAC，使比较公平与其他USAC为基础的实现。注册片段对所需的平均时间记录在Tab中。3、特征提取时间排除。所有计时都是在英特尔（R）酷睿（TM）i7- 4820 K CPU@3.70GHz上用单线程完成的。请注意，我们的方法比最快的RANSAC变体Latent-RANSAC[33]快得多。RelativeNet生成一个片段对的所有假设的平均时间约为0.013 s，后续验证的时间约为0.016 s，总共约为0.03 s我们可以如此快速地终止的一个重要原因是，与RANSAC方法相比，生成和验证的假设的数量虽然LR能够显著减少这一数量，但有待验证的幸存假设的数量仍然比我们的多得多。表3.注册一个片段对的平均运行时间以及生成和验证的假设数量。美国空军[42]SPRT [15][33]第三十三话我们时间（s）0.8862.6610.5910.013 + 0.016Hypos数量302206722232568（46198）3353252对应性估计对配准的影响我们提出了5种不同的方法来构建消融研究下的假定匹配对集战略包括：(1)保持不同数量的相互最近邻3253FGRCZK3DMatchFGR+CGFCZK+CGFLR我们1.00.90.80.70.60.5厨房家1家2酒店1酒店2酒店3研究MIT实验室平均图5.使用不同方法查找对应关系的影响。随着保持的相互对应的数量K的增加，更多的假设被验证，导致召回和计算时间之间的权衡。0.20.10.00.50.60.7召回0.73670.8直接使用用来自3DMatch数据集的真实数据训练的权重。我们遵循Choi等人的评估设置。一个简单和公平的比较，并报告配准结果图。6.这个精确度和召回率图还描述了最近的一些方法所取得的结果，包括FGR[55]，CZK [13]，3DMatch [53]，CGF+FGR [32]，CGF+CZK [32]和Latent-Ransac [33]。其中，3DMatch和CGF是数据驱动的。 3DMatch经过培训图6.各种方法Redwood Benchmark [13]。补丁k=1。. . 4，每个称为K=k和（2）保持来自两个片段 的 所 有 局 部 块 的 最 近 邻 居 作 为 匹 配 对 ， 称 为Closest。这些策略应用于同一组局部特征，以估计初始对应关系，用于进一步配准。每种方法在不同场景下的结果及其平均值如图所示。5.随着k的增加和接受邻居成为一对的标准放宽，我们观察到不同序列上的配准召回率增加的总体趋势。毫不奇怪，这种趋势在平均值列中最为明显。当然，这并不足以得出结论说，再宽松有助于通信.第二个重要的观测结果是，当这个条件放松时，建立的对应关系的数量也会增加Closest发现的推定匹配的平均数量约为3664，比K=1的334大得多，大约多10倍，这意味着随后的验证将需要更多的因此，我们得出的结论是，如果召回率/准确率是主要关注点，更多的假定匹配应该被保留。相反，如果速度是一个问题，那么Mutual-1可以更快地获得令人满意的结果。为了表明我们的算法可以很好地推广到其他数据集，我们在Choi等人提供的众所周知的具有挑战性的全球注册基准上评估了它的性能，红木基准[13]。该数据集包含具有片段序列的四个不同的合成场景。我们的网络没有用任何合成数据进行微调，相反，使用与我们相同的数据源上的真实数据，而CGF使用合成数据进行训练。注意，我们的方法显示2008年。比3DMatch高5%的召回率。虽然我们没有使用任何合成数据进行微调，但我们仍然可以实现更好的回忆2 4%w.r.t. CGF及其与CZK的组合。总的来说，我们的方法在Redwood Benchmark [13]上的性能优于所有其他最先进的方法，这同时验证了我们的方法的通用性和良好的请注意，虽然一般来说，所有方法的最大精确度都很低，但当召回率很高时，提高它并不难。为了证明召回率是主要的衡量标准，我们对我们的初始结果进行了全局优化[13]，使准确率达到91%，而没有大的召回率损失-仍然是73%。5. 结论我们提出了一个统一的端到端的局部特征提取和姿态预测框架。在3DMatch基准上的综合实验表明，多任务训练方案可以为学习到的特征注入更多的能量，从而提高了进一步配准的对应集的质量。几何配准使用我们的相对网络的姿态预测给定的假定匹配对也被证 明 是 更 鲁 棒 和 更 快 的 比 各 种 国 家 的 最 先 进 的RANSAC方法。我们还研究了不同的方法建立本地对应 将 如 何 影 响 配 准 性 能 。 在 chal-challening 合 成Redwood基准测试中的出色表现有力地验证了我们的方法不仅是鲁棒的，而且可以很好地推广在未来，我们还计划引入数据驱动的假设验证方法。K=1K=2K=3K=4最接近精度3254引用[1] D. Aiger，N. J. Mitra和D.科恩-奥4-点全等集合，用于稳健的成对表面配准。在ACM图形转换（TOG），第27卷，第85页中。ACM，2008年。[2] Besl和N. D.麦凯三维形状配准方法。在机器人学-DL试验，第586-606页。国际光学与光子学会，1992年。[3] T. Birdal，E. Bala，T. Eren和S.伊利克通过局部重叠摄像机网络在线检测3d零件。2016年IEEE计算机视觉应用冬季会议（WACV），第1-10页。IEEE，2016.[4] T. Birdal和S.伊利克基于点对特征的目标检测和姿态估计。在3D Vision中，第527-535页。IEEE，2015年。[5] T. Birdal和S.伊利克精确灵活的实例重建Cad先验。在2017年IEEE国际计算机视觉会议（ICCV）上，第133[6] T. Birdal和S.伊利克一种用于不规则几何体三维匹配的点采样算法。2017年IEEE/RSJ智能机器人和系统国际会议（IROS），第6871-6878页IEEE，2017年。[7] T. Birdal和S.伊利克一种用于不规则几何体三维匹配的点采样算法。在智能机器人和系统国际会议（IROS2017）。IEEE，2017年。[8] T. Birdal，U. Simsekli，M. O. Eken和S.伊利克基于宾汉分布和缓和测地线MCMC的贝叶斯姿态图优化。在神经信息处理系统的进展，第306-317页[9] M. Bueno，F. 博斯，H。J.Gon za'lez-Jo r ge，J. Mar t'ınez- Sa'nchez和P. 咏叹调4平面全等集，用于自动配准三维点云与三维bim模型。建筑自动化，89：120[10] B. Busam，T. Birdal和N.纳瓦布对偶四元数黎曼流形上局部回归测地线的摄像机姿态滤波。在IEEE国际计算机视觉会议论文集，第2436-2445页，2017年。[11] A'. P. Bubaly和T.- J. 下巴保证点云配准的离群点去除 。 IEEE transactions on pattern analysis and machineintelligence，40（12）：2868[12] S.崔，T. Kim和W. Yu. ransac家族的性能评价。计算机视觉杂志，24（3）：271-300，1997。[13] S. Choi，Q.- Y. Zhou和V.科尔顿。室内场景的鲁棒重建。在IEEE计算机视觉和模式识别会议（CVPR），2015年。[14] O. Chum和J. Matas。与prosac-progressive样本共识匹配。 计算机视觉与模式识别，2005年。CVPR 2005。IEEE计算机学会会议，第1卷，第220-226页。IEEE，2005年。[15] O. Chum 和 J. Matas 。 最 佳 随 机 化 搜 索 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，30（8）：1472[16] O. Chum、J. Matas和J.基特勒局部优化的ransac。在Joint Pattern Recognition Symposium，第236-243页中。施普林格，2003年。[17] T.科恩和M。威林分组等变卷积网络。在机器学习国际会议上，第2990-2999页[18] H.邓氏T. Birdal和S.伊利克Ppf折叠网：旋转不变三维局部描 述符 的无 监督 学习 。在欧洲 计算 机视 觉会 议（ECCV）上，2018年9月。[19] H. 邓氏T.Birdal和S.伊利克Ppfnet：全局上下文感知局部特征，用于鲁棒的3d点匹配。 计算机视觉与模式识别（CVPR）IEEE，1，2018年。[20] B. Drost，M. Ulrich，N. Navab和S.伊利克全局建模，局部匹配：高效和鲁棒的三维物体识别。在计算机视觉和模式识别（CVPR），2010年IEEE会议上，第998-1005页。IEEE，2010年。[21] B. Eckart，K. Kim和J. Kautz。Hgmr：用于自适应3d配准 的 分 层 高 斯 混 合 。 在 欧 洲 计 算 机 视 觉 会 议（ECCV），2018年9月。[22] M. A. Fischler和R. C.波尔斯随机样本一致性：模型拟合的 范 例 ， 应 用 于 图 像 分 析 和 自 动 制 图 。 Commun.ACM，1981年。[23] Z.戈伊契奇角Zhou，J.D. Wegner和W. J. D.完美匹配：具有平滑密度的三维点云匹配。 在IEEE计算机视觉和模式识别（CVPR）上，2019年6月。[24] I. 古德费罗 J. 波吉特-阿巴迪 M. 米尔扎 B. 许、D. 沃德-法利，S。奥扎尔A.Courville和Y.本吉奥。生成对抗网络。在神经信息处理系统的进展，第2672-2680页[25] Y. Guo，M. 贝纳蒙F. Sohel，M. Lu，J. Wan，和张杰。三维局部特征描述器的性能评价。亚洲计算机视觉会议，第178-194页。Sp