深度全局3D扫描配准方法

1深度全球注册Christopher Choy毕业于斯坦福大学卡内基梅隆大学VladlenKoltun IntelLabs摘要我们提出了深度全局配准，一个可区分的框架，成对配准现实世界的3D扫描。深度全局配准基于三个模块：用于对应置信度预测的6维卷积网络，用于闭合形式姿态估计的可微加权Procrustes算法，以及用于姿态细化的鲁棒的基于梯度的SE（3）优化器。实验表明，我们的方法优于最先进的方法，无论是基于学习的和经典的，对现实世界的数据。1. 介绍各种应用，包括3D重建、跟踪、姿态估计和对象检测，调用3D配准作为其操作的一部分[34，5，32]。为了最大化3D配准的准确性和速度，研究人员开发了几何特征描述符[21，11，40，9]姿态优化算法[37，44，23，49]，以及端到端特征学习和配准流水线[40，2]。特别是，最近的端到端注册网络已被证明是有效的经典管道。然而，这些端到端的方法有一些缺点，限制了它们的准确性和适用性。例如，PointNetLK [2]使用全局合并特征对点云的整个几何结构进行编码，这会降低空间敏锐度和配准精度。深度最近点[40]对点的分布和对应关系做出了强有力的假设，这不适用于部分重叠的3D扫描。在这项工作中，我们提出了三个模块的强大和准确的注册，解决了这些缺点：用于对应置信度估计的6维卷积网络，用于可扩展配准的可微加权Procrustes方法，以及鲁棒的SE（3）opti用于微调最终对准的混合器第一个组件是一个6维卷积网络，它分析3D对应的几何结构并估计其准确性。我们的方法受到启发*表示等额缴款(a) [34]第三十四话(b) FGR [49](c) DCP [40](d) 我们图1：3DMatch数据集上的成对配准结果[46]。我们的方法成功地对齐了一个三维对（左），而RANSAC[34]，FGR [49]和DCP [40]失败了。在一个更简单的对（右）上，我们的方法实现了更精细的对齐。通过一些基于学习的方法来估计2D [45，33]和3D [30]中对应关系的有效性。这些方法将对应对的坐标叠加起来，形成一个向量[x; y]∈R2×D25142515∈×x，yRD.现有方法将这些二维向量视为一个集合，并应用全局集合处理模型进行分析。这种模型在很大程度上忽略了局部几何结构。然而，对应嵌入在度量空间（R2×D）中，该度量空间包含距离和邻域关系。特别地，3D对应关系在6维空间中形成几何结构[8]，并且我们使用高维卷积网络来分析由对应关系形成的6D结构并估计给定对应关系正确的相似性（即，内点）。我们开发的第二个组件是一个可微加权Procrustes求解器。Procrustes方法[14]为SE（3）中的刚性配准提供了 一 个 封 闭 形 式 的 解 决 方 案 。 一 个 可 微 版 本 的Procrustes方法由王等。[40]已用于端到端寄存器，第但是，可微的Procrustes方法通过坐标传递梯度，对于N个关键点需要O（N2）的时间和内存，限制了网络可以处理的关键点的数量。我们使用第一个模块（6D卷积网络）预测的内点概率来指导Procrustes方法，从而形成可微加权Procrustes方法。该方法通过与对应关系而不是对应关系坐标相关联的权重来传递梯度。Weighted Pro- crustes方法的计算复杂度在对应的数量上是线性的，允许配准流水线使用密集的对应集而不是稀疏的关键点。这大大提高了配准精度。我们的第三个组件是一个强大的优化模块，它可以微调加权Procrustes求解器产生的对齐。 该优化模块通过连续体上的梯度下降来最小化可微损失我们的SE（3）表示空间[51]。优化是快速的，因为它不需要在内部循环中进行邻居搜索[47]。在实验中，我们在真实世界的成对配准基准[46]和大规模场景重建数据集[17，6，31]上验证了所提出的模块。 我们表明，与经典的全局配准算法[49，34，44]和最近的端到端配准算法结束方法[30，40，2]。所有培训和实验脚本都可以在https://github.com/chrischoy/DeepGlobalRegistration上找到。2. 相关工作我们根据处理真实世界3D扫描的标准配准流程的阶段将相关工作分为三类：基于特征的对应匹配、离群值过滤和姿态优化。基于特征的对应匹配。 的第一许多3D配准流水线中步骤是特征提取。低-通过分析三维空间中的局部和全局几何结构，产生高维特征描述符，并利用高维特征描述符建立对应关系。传统手工制作的特征通常在直方图中总结成对或高阶关系[19，36，39，35，34]。最近的工作已经转向通过深度网络学习特征[46，21]。许多最近的方法基于全局池模型[12，11，48]，而其他方法则使用卷积网络[13，9]。我们的工作是不可知的特征提取机制。我们的模块主要处理配准管道的后续阶段，并与各种特征描述符兼容离群值过滤。由匹配特征产生的对应通常被异常值严重污染。这些离群值需要被过滤掉以进行鲁棒对准。鲁棒模型拟合的一个广泛使用的技术家族是基于随机抽样一致性（RANSAC）[37，1，34，28，18]，它迭代地对小的对应集合进行采样，希望对没有离群值的子集进行采样。其他算法基于分支定界[44]，半定规划[27，24]和最大团选择[43]。这些方法是准确的，但通常需要更长的迭代采样或更昂贵的计算，因为信噪比降低。一个例外是TEASER [43]，即使在高离群值率的情况下仍然有效。其他方法在优化过程中使用稳健的损失函数来拒绝离群值[49，4]。我们的工作使用卷积网络来识别内点和离群点。该网络在测试时只需要一次前馈，不需要迭代优化。姿势优化。位姿优化是最后一个阶段，最大限度地减少过滤对应的对齐目标迭代最近点（ICP）[3]和快速全局配准（FGR）[49]使用二阶优化来优化姿势。Makadia等人[25]提出一种迭代过程来最小化相关性得分。Maken等人[26]建议通过随机梯度下降来加速这一过程最近的端到端框架结合了特征学习和姿势优化。Aoki等人[2]将点网全局特征与迭代姿态优化方法相结合[23]。Wang等人[40，41]通过姿势优化反向传播来训练图神经网络特征。我们进一步推进这一工作。特别是，我们的加权Procrustes方法降低了从二次优化到线性优化的复杂性，并能够使用密集的对应关系进行高精度的真实世界扫描配准。2516PN PM}--P∈--{|}我-|M|yJ我J∈C↔3. 深度全球注册3D重建系统通常将一系列部分3D扫描作为输入，并恢复场景的完整3D模型。这些部分扫描是场景片段，如图2所示。1.一、为了重建场景，重建系统通常通过对齐碎片对开始[6]。这个阶段被称为成对配准。成对配准的准确性和鲁棒性是至关重要的，并且通常决定最终重建的准确性我们的成对配准管道开始提取逐点特征。这些被匹配以形成一组假定的对应。然后，我们使用高维卷积网络（ConvNet）来估计每个对应关系的准确性最后，我们使用加权的Procrustes方法来对齐3D扫描，给出与相关似然权重的对应关系，并通过优化来优化结果。一个强大的目标。以下符号将在整个文件中使用。 我们考虑两个点 云 ， X =[x1 ， ... ， xNx] ∈R3×Nx 且 Y=[y1 ， . ，yN]∈R3×Ny，其中Nx和Ny图2：用于内点似然预测的6维卷积网络3.2）。该网络具有U-网结构，在跨越的卷积之间具有剩余块。最好在屏幕上观看。线（前5对），而不正确的对应（异常值）将在线（后2对）之外形成随机噪声。如果我们将其扩展到3D扫描和点云，我们也可以将3D对应关系xiyj表示为6维空间[xT，yT]TR6中的点。内点对应将分布在该6D空间中的低维表面上，由3D输入的几何形状确定。我们表示P={（i，j）|<$T<$（x）−y <$<τ，（i，j）∈M}其中xi，yj∈R3. xi和yj之间的对应关系表示为xiParticipy j或（i，j）。3.1. 特征提取为了准备注册，我们提取逐点特征，这些特征以度量特征空间中的向量的形式总结几何上下文。我们的管道是兼容的许多功能描述符。我们使用全卷积几何特征（FCGF）[9]，最近已经证明，作为一组内点或一组对应关系（i，j），其在地面真实变换下精确地对齐到阈值τ。与此同时，离群值= C会分散到地表之外 识别在内部，我们使用卷积网络。这种网络已被证明在相关的密集预测任务中是有效的，例如3D点云分割[15，7]。我们设置中的卷积网络是在6维空间中[8]。该网络预测每个对应关系的可能性，该对应关系是6D空间[xT，yT]T中的点。既要有鉴别力，又要快。 FCGF也是紧凑的，ij其维数低至16到32，支持特征空间中的快速邻域搜索。3.2. 对应置信度预测给定特征Fx={fx1，.，fxNx}和Fy=fy1，...，两个3D扫描的f y N x，我们使用特征空间中的最近邻来生成一组假定的对应或匹配M={（i，argminj<$fxi−fyj<$）|i∈[1，…，N X]。这个过程是确定性的，可以手工制作，以过滤掉噪声对应的比率或互惠测试[49]。然而，我们建议通过卷积网络预测被解释为，通信是真的：圈内人请注意，卷积运算符是平移不变的，因此我们的6D ConvNet将生成相同的输出，而不考虑3D输入的绝对位置我们使用一个类似的网络架构，蔡等人。[9]创建一个6D卷积网络，在整个网络的空间分辨率内跳过连接。6D ConvNet的架构如图所示二、在训练过程中，我们使用二进制交叉熵损失之间的可能性预测，对应关系（i，j）是一个inlie r，p（i，j）[0，1]，以及用于优化网络参数的地面实况对应：它学会了分析对应集。我们首先提供一个一维类比来解释Lbce（M，T）=1|M|∫Σ（i，j）∈PlogP （i，j）Σ+（i，j）∈N、（i，j） 、对应的几何学设A是一组1-维点A={0，1，2，3，4}，B是一个-其他此类集合B={10，11，12，13，14}。这里B是A的翻译：B=ai+10ai A。 如果算法返回一组可能的对应关系（0，10），（1，11），（2，12），（3，13），（4，14），（0，14），（4，10），则正确对应的集合（内点）将形成（一）其中pC=1p，是假定对应集合的基数。3.3. SE的加权Procrustes（3）由6D ConvNet估计的内点似然为每个对应关系提供权重。原始logP2517N−2||1|| 1−−121 23∈·×·12312Procrustes方法[14]最小化均方误差-闭合形式求解器，并更新下游对应点之间的误差1（i，j）∈M<$xi−yj<$2模块：从而对所有对应给予相等的权重。在∂L（RL（Rc与之相反，我们最小化加权均方误差L（R，t）=+、（五）（i，j）∈Mw（i，j）<$xi−yj<$2. 这条路让我们通过了R∂t∂wˆ通过权重的梯度，而不是通过PO-位置[40]，并使优化能够扩展到密集的对应集。形式上，加权Procrustes分析最小化：其中，L（R，t）可以被定义为预测R，t与地面实况R，t之 间的不同旋转误差（RE）和平移误差（TE）的组合：e2=e2（R，t;w，X，Y）（2）ΣLrot（R）=arccosTr（RTR）1、（6）2=（i，j）∈Mw<$（i，j）（yj−（Rxi+t））2（3）L反式（t）=||第二条第七款||2,(7)=Tr.Σ（Y−RX−t1T）W（Y−RX−t1T）T、（四）或在[2，40]中定义的相对变换矩阵的Forbenius范数。最终损失是Lrot、Ltranss和Lbce的加权和。其中1=（1，...，1）T、X =[x1，.，X| M|]，且Y =[y]1，.，yJ| M|]中。 J是定义对应性xi参与者Ji的索引列表。w=[w1 ， ··· ， w|M|] 是 权 重 向 量 ， 并 且 w=[w1 ， ··· ，w|M|]，φ（w）表示在应用启发式预过滤的非线性变换φ之后的归一化权重。 W=dia g（w）形成对角权重矩阵。定理1：使平方最小的R和t-4. 稳健配准在本节中，我们提出了一个配准微调模块，该模块可以最小化选择的鲁棒损失函数，以提高配准精度。我们使用基于梯度的方法，但与Maken等人不同。[26]，它为每个梯度步长的每个点找到最近的邻居，我们依靠6D ConvNet的对应似然来定义损失，并且不找到最近的邻居，误差e2（R，t）=RX）W1和R（i，j）w（i，j）（yj−Rxi−t）2aret=（Y−=USVT其中UVT=SVD（xxy），步我们使用连续表示[51]进行旋转，以消除不连续性，使优化空间=Y KWKX T，K =I−T平滑。最后，我们用最终的预测来初始化姿势-XYdiag（1，···，1， det（U） det（V））。Ww，且S =加权Procrustes方法。证明的草图。首先，我们对e2w.r.t. 并且使在i v e处的偏导数iv等于0。这个g iv esus=（YRX）W1。接下来，我们代入X =KX +XwwT上的Eq. 4，对Y做同样的事情。然后我们苏湾将t=t代入平方s。 这就产生了E2=4.1. SE（3）表示和转换我们使用6D表示的3D旋转周等人提出的。[51]，而不是欧拉角或四元数。新的表示使用6个参数 a1，a2∈R3和可以转换为3 ×3正交矩阵，Tr （Y -RX）KWKT（Y-RX）T，并扩展项的结果为两个平方加2Tr（Y KWKT XT RT）。 我们最大化最后一个负项，其最大值是所有奇异值的和，这导致R。完整的推导过程在附录中。Qfa|一|=||其中b，b，b∈R3是b布|B|B||||=N（a），b、（8）=N（a−我们可以很容易地扩展上述定理，将缩放因子CR+，或各向异性缩放的任务，如扫描到CAD配准，但在本文中，我们假设部分扫描相同的场景具有相同的规模。加权Procrustes方法生成旋转R和平移向量t作为依赖于权重向量的输出122518W. 在我们当前的实现中，R和Rt直接发送第4节中的鲁棒配准模块作为初始pose.然而，我们简要地证明，他们也可以嵌入到一个端到端的注册管道，因为加权Procrustes是可区分的。从顶级的损失函数L，我们可以通过（b1）a2）b1），并且b3=b1b2，并且N（）表示L2正常化 因此，我们使用的最终表示是a1，a2，t，它们等价于R，t，使用等式8.为了初始化a1，a2，我们简单地使用旋转矩阵R的前两列，即，b1，b2.为了方便起见，我们定义f−1为f−1（f（R））=R，尽管这个反函数不是唯一的，因为有无穷多个选择a1，a2映射到同一个R。4.2. 能量最小化我们使用一个强大的损失函数来微调预测的内点对应之间的配准。总2519亚普雷特·算法1：深度全局配准输入：X∈Rn×3，Y∈Rm×3输出：R∈R3×3，t∈R3×11 Fx←特征（X）// §3.12Fy←特征（Y）3 Jx→y←NearestNeighbor（Fx，Fy）// §3.24M ← {（i，J x→y，i）|i ∈ [1，…， n]}5w ←InlierProbability（M）6R，t←argminR，te2（R，t;w，X，Y）//§3.37a<$f−1（R），t<$t//§48.当你没有意识到9<$←（i，j）∈Mφ（w（i，j））L（Yj，f（a）Xi+t）轨迹结果以及室内LiDAR RGB-D数据集[31]和斯坦福RGB-D数据集[6]用于定性配准可视化。请注意，在本实验中，我们使用在3DMatch训练集上训练的网络，而不对其他数据集进行微调这说明了我们的模型的泛化能力。对于所有实验，我们使用5cm体素降采样[34，50]，其在每个5cm体素内随机子采样单个点以生成具有均匀密度的点云。我们在3DMatch基准测试的训练分割上训练基于学习的最先进模型和我们的网络。 在训练过程中，我们通过应用从-180度到180度的随机旋转10a←Update（a，更新（a，t））11t←Update（t，更新（a，t））12返回f（a），t能量函数的形式是Σn一个随机轴。在3D空间中使用最近邻搜索找到地面实况逐点对应我们在单个Titan XP上训练 6维ConvNet，批量大小为4。SGD的初始学习率为10−1，指数学习率衰减因子为0.99。5.1. 成对配准在本节中，我们将报告E（R，t）=i=1φ（w（i，Ji））L（yJi，Rxi+t），（9）3DMatch基准测试集[46]，其中包含8个不同的场景，如图所示。3.第三章。我们测量transla-其中，Wi和Ji如等式中所定义。 φ（）是预滤波函数。在实验中，我们使用φ（w）=I[w > τ]w，这将在神经网络输出有界logit分数时按元素裁剪权重低于τ。 L（x，y）是x和y之间的逐点损失函数;我们在实现中使用Hu- ber损失。 能量函数由R和t参数化，R和t又表示为α1，α2，α t。 我们可以应用一阶优化算法，如SGD，Adam等。以最小化能量函数，但是由于参数的数量很小，所以高阶优化器也是适用的。完整的算法在Alg.1.一、5. 实验我们在两个配准sce- narios中分析所提出的模型：成对配准，其中我们估计两个3D扫描或片段之间的SE（3）变换，以及多路配准，其生成全局一致的所有片段的最终反射和相机姿态。这里，成对配准充当多路配准中的关键模块。对于成对配准，我们使用3DMatch基准点[46]，该基准点由来自各种真实世界场景的3D点云对组成，具有从RGB-D重建管道[16，10]估计的地面真实变换我们遵循训练/测试分割和标准程序，以生成至少30%重叠的训练和测试对[12，11，9]。对于多路配准，我们使用模拟增强ICL-NUIM数据集[6，17]进行定量误差（TE）定义在方程中。6，旋转误差（RE）定义在方程67、回忆召回率是成功的成对配准的比率，并且如果其旋转误差和平移误差小于预定义的阈值，则我们将配准定义为成功平均TE和RE仅在这些成功配准的对上计算，因为失败的配准返回可能与地面实况显著不同的姿态，使得误差度量不可靠。我们将我们的方法与各种经典方法[49，34，44]和最先进的基于学习的方法进行比较，ods [40，41，2，30]。所有实验都在Intel i7-7700 CPU和GTX 1080Ti显卡上进行评估，除了在Intel i7- 5820 KCPU上测试的Go-ICP [44]。在表1中，我们用TE阈值30cm测量召回率，这对于室内场景重新定位是典型的[29]，并且RE阈值15度对于我们实验中的部分重叠扫描是实用的图4.我们通过改变一个阈值并将另一个阈值设置为无穷大来绘制回忆对两个阈值的敏感性图5包括单独测试场景的详细统计数据。我们的系统在召回率上远远优于所有基线，并在大多数场景中始终实现经典方法。 为了与经典方法进行比较，我们评估了点对点ICP、点对面ICP、RANSAC [34]和FGR [49]，所有这些都在Open3D中实现[50]。此外，我们还测试了Go-ICP [44]和Super 4PCS [28]的开源Python绑定。对于RANSAC 和 FGR ， 我 们 从 体 素 下 采 样 点 云 中 提 取FPFH。结果显示在Ta中。2520图3：我们的方法在3DMatch中所有8个不同测试场景上的全局配准结果[46]。最好用彩色观看0.80.60.40.20.80.60.40.20.00 5 10 15 20 2530旋转（度）0.00.0 0.1 0.2 0.3 0.4 0.5翻译（m）图4：3DMatch基准上的总体成对配准召回（y轴），旋转（左图）和平移（右图）误差阈值（x轴）不同。 我们的方法优于基线方法的所有阈值，而6。比最精确的基线快5倍表1：行1-5：我们的方法和经典的全局配准方法在用5cm体素尺寸体素化的点云上的配准结果。我们的方法优于RANSAC和FGR，同时与FGR一样快。第6-9行：ICP变体的结果。第10和11行：基于学习的方法的结果。基于学习的方法通常在现实世界的扫描中失败。时间包括特征提取。召回TE（cm）RE（度）时间（s）我们百分之八十五点二7.732.580.70FGR [49]百分之四十二点七10.64.080.31[34]第三十四话百分之六十六点一8.853.001.39RANSAC-4M70.7%9.162.952.32RANSAC-8M74.9%8.962.924.55Go-ICP [44]百分之二十二点九14.75.38771.0超级4PCS [28]百分之二十一点六14.15.254.55ICP（P2 Point）[50]6.04%18.18.250.25ICP（P2平面）[50]6.59%15.26.610.27DCP [40]3.22%21.48.420.07PointNetLK [2]1.61%21.38.040.12召回RANSACFGRGo-ICPSuper4PCSICP（点对平面）ICP（点到点）PointNetLKDCP2521表1.ICP变体大多数失败，因为数据集包含具有小重叠和大相机视角变化的三维扫描序列。Super 4PCS是一种基于采样的算法，其性能与Go-ICP类似，Go-ICP是一种具有分支定界搜索的ICP变体。FGR和RANSAC方法的性能更好。当对齐5cm体素下采样点云时，RANSAC的召回率高达70%，而FGR达到40%。表1还示出了将RANSAC迭代的次数增加2倍仅略微改善性能。请注意，我们的方法大约是RANSAC的两倍，迭代次数为2M，同时实现了更高的召回率和配准精度。学习方法。我们使用3DRegNet [30]，深度最近点（ DCP ）[40]，PRNet [41]和 PointNetLK [2]作 为基线。我们在3DMatch上训练所有基线，使用与我们所有实验相同的设置和数据增强。对于3DRegNet，我们遵循[30]中概述的设置，例如，25220.80.60.40.20.0厨房首页1首页2酒店1酒店2酒店3学习实验室0.250.200.150.100.050.00厨房首页1首页2酒店1酒店2酒店3学习实验室121086420厨房首页1首页2酒店1酒店2酒店3学习实验室图5：每个场景的3DMatch配准结果分析。第1行：召回率（越高越好）。第2-3行：在成功配准的对上测量的TE和RE（越低越好）。我们的方法在所有场景上都更好，这在训练中是看不到的。注意：缺少的条对应于场景中零次成功对齐。表2：具有模拟深度噪声的增强ICL-NUIM数据集的ATE（cm）误差对于InfiniTAM，循环闭合模块被禁用，因为它在所有场景中都失败对于BAD-SLAM，循环闭合模块仅在“起居室2”中成功ElasticFusion [42][20]第二十话[38]第三十八话多路+ FGR [49]多路+ RANSAC [50]多路+我们的客厅166.6146.07失败78.97110.921.06客厅224.3373.6440.4124.9119.3321.88办公室113.04113.818.5314.9614.4215.76办公室235.02105.226.3421.0517.3111.56Avg. 秩3553.52.52除了我们不手动过滤离群值与地面真相，并训练和测试与标准的现实设置。我们发现3DRegNet的配准丢失在训练过程中并不收敛，并且在测试过程中旋转和平移误差始终在30度和1m以上。我们用1024个随机采样点为每个点云训练深度最近点（DCP），持续150个epoch [40]。我们用作者提供的预训练权重初始化网络。虽然训练损失收敛，DCP未能实现合理的性能与部分重叠的点云。 DCP使用一个单随机矩阵来寻找对应关系，但该公式假定点云X中的所有点在点云Y的凸包中至少有一个对应点。当X中的某些点在Y中没有对应的点时，这种假设失败，如部分重叠片段的情况我们还尝试在我们的设置上训练PRNet [41]，但由于随机崩溃和高方差训练损失而未能获得合理的结果。最后，我们在3DMatch上微调PointNetLK [2] 400个epoch，从作者提供的预训练权重开始PointNetLK使用单个特征，该特征针对每个点云进行全局池化，并回归对象之间的相对姿态，我们怀疑全局池化特征无法捕获复杂场景（如3DMatch）。总之，虽然在以对象为中心的合成数据集上工作良好与合成数据不同，真实三维点RANSACFGRGo-ICPSuper4PCSICP（点对平面）ICP（点到点）PointNetLKDCPRANSACFGRGo-ICPSuper4PCSICP（点对平面）ICP（点到点）PointNetLKDCPRANSACFGRGo-ICPSuper4PCSICP（点对平面）ICP（点到点）PointNetLKDCPRE（度）召回TE（cm）2523(a) 现实世界：公寓(b) 真实世界：董事会会议室(c) 合成：办公室(d) 真实世界：复制室(e) 现实世界：阁楼(f) 合成：客厅图6： 片段注册[6，31]。 从左 [49]第49话：我的，我的，我的。第1-3行：我们的方法在具有小重叠或模糊几何结构的场景上成功，而其他方法失败。第4-6：通过结合加权Procrustes和基于梯度的细化，我们的方法在一次通过中输出更准确的配准，从而获得更好的对齐细节。云对包含多个对象、部分扫描、自遮挡、大量噪声，并且在扫描之间可能仅具有小程度的重叠。5.2. 多路配准RGB-D扫描的多路配准通过多个阶段进行。首先，管道估计摄像头通过现成的测距法来调整姿态，并集成多个3D扫描，以减少噪声并生成场景的精确3D片段。接下来，成对配准算法大致对齐所有片段，然后进行多路配准[6]，其通过鲁棒的姿态图优化[22]来优化片段姿态我们使用该注册管道的流行开源实现[50]，并使用我们提出的模块替换管道中的成对注册阶段。请注意，我们使用在3DMatch训练集上训练的网络，并在多路配准数据集上进行测试[17，31，6];这证明了跨数据集的泛化。我们在增强ICL-NUIM数据集[6，17]上测试了修改后的管道，以获得定量轨迹结果，并在室内LiDARRGB-D数据集[31]和斯坦福RGB-D数据集[6]上测试了修改后的管道，以获得定性配准可视化。我们测量绝对轨迹误差（ATE）与模拟的深度噪声的八分之一ICL-NUIM数 据集 。 如 表 2 所 示， 与 最 先进 的 在 线SLAM [42，20，38]和离线重建方法[49]相比，我们的方法在场景中产生一致的低误差。对于定性结果，我们将这些场景上的成对片段配准与FGR和RANSAC进行了比较。六、补充资料中显示了全场景重建结果。6. 结论我们提出了深度全局配准，这是一个基于学习的框架，可以稳健而准确地对齐真实世界的3D扫描。为了实现这一点，我们使用了6D卷积网络进行内点检测，使用可微加权Procrustes算法进行可扩展配准，使用基于梯度的优化器进行姿态优化。实验结果表明，该方法优于经典的和基于学习的配准方法，可以作为现成的插件替代现有场景重建管道中的其他配准引用[1] Dror Aiger，Niloy J Mitra，and Daniel Cohen-Or. 4-点全等集合，用于稳健的成对表面配准。ACM Transactionson Graphics，2008。2[2] 青木康弘，亨特·戈福斯，兰加普拉萨德·阿伦·斯里瓦特山，西蒙·露西.PointNetLK：使用PointNet进行稳健高效的在CVPR，2019年。一、二、四、五、六、七[3] Paul J Bes，Neil D McKay，et al.一种三维形状配准方法。IEEE Transactions on Pattern Analysis and MachineIntelligence，1992。2[4] 苏菲恩·布阿齐兹 Andrea Tagliasacchi 和马克·保利稀疏迭代最近点。在Eurographics，2013年。2[5] Qin Cai ， David Gallup ， Cha Zhang ， and ZhengyouZhang. 3D变形人脸跟踪与商品深度相机。ECCV，2010年。12524[6] Sungjoon Choi，Qian-Yi Zhou，and Vladlen Koltun.室内场景的鲁棒重建。CVPR，2015。二、三、五、八[7] Christopher Choy，JunYoung Gwak，Silvio Savarese.4D时空ConvNets：Minkowski卷积神经网络。在CVPR，2019年。3[8] Christopher Choy、Junha Lee、Rene 'Ranftl、Jaesik Park和Vladlen Koltun。用于几何模式识别的高维卷积网络。在CVPR，2020年。二、三[9] Christopher Choy，Jaesik Park和Vladlen Koltun。完全卷积几何特征。在ICCV，2019年。一、二、三、五[10] AngelaDai ， Matt hiasNießner ， MichaelZollo？fer ，ShahramIzadi和Christian Theobalt。BundleFusion：实时全局一致的三维重建使用的飞行表面重新整合。ACMTransactions on Graphics，2017。5[11] Haowen Deng ， Tolga Birdal ， and Slobodan Ilic. PPF-FoldNet：旋转不变3D局部描述符的无监督学习。在ECCV，2018。一、二、五[12] Haowen Deng ， Tolga Birdal ， and Slobodan Ilic.PPFNet：全局上下文感知局部特征，用于鲁棒的3D点匹配。在CVPR，2018年。二、五[13] Zan Gojcic，Caifa Zhou，Jan Dirk Wegner，and AndreasWieser.完美匹配：具有平滑密度的3D点云匹配。在CVPR，2019年。2[14] 约翰·C·高尔广义procrustes分析。心理治疗，1975年。二、四[15] 本杰明·格雷厄姆、马丁·恩格尔克和劳伦斯·范德马滕。使用子流形稀疏卷积网络进行3D语义分割。在CVPR，2018年。3[16] Maciej Halber和Thomas Funkhouser。RGB-D扫描的精细到粗略全局配准。在CVPR，2017年。5[17] 作者简介：陈文彬，陈文彬.戴维森RGB-D视觉里程计、3D重建和SLAM的基准。InICRA，2014. 二、五、八[18] Dirk Holz，Alexandru E Ichim，Federico Tombari，RaduB Rusu，and Sven Behnke.使用点云库注册：一个模块化的框架，用于在3-D中对齐。RA-L，2015年。2[19] Andrew E.约翰逊和马夏尔·赫伯特使用自旋图像在杂乱的3D场景中进行有效的对象识别。Pattern Analysis andMachine Intelligence，1999. 2[20] 奥拉夫·卡勒A. Prisacariu，andD a vidW. Murra y 实时大规模密集三维重建与循环关闭。在ECCV，2016年。七、八[21] Marc Khoury，Qian-Yi Zhou，以及Vladlen Koltun。学习紧凑的几何特征。InICCV，2017. 一、二[22] RainerKümmerle ， Gior gioGrisetti ， Hauk eStrasdat ，KurtKonolige，and Wolfram Burgard.g2o：一个图优化的通用框架。InICRA，2011. 8[23] 布鲁斯·D·卢卡斯和金田武夫一种迭代图像配准技术及其在立体视觉中的应用。DARPA图像理解研讨会，1981年。一、二[24] 乔·马西尔和若昂·保罗·科斯特拉。稀疏对应问题的一个整体解模式分析与机器智能，2003. 2[25] 阿梅什·马卡迪亚，亚历山大·帕特森，科斯塔斯·达尼伊莱克斯.全自动3D点云配准。CVPR，2006。22525[26] 法希拉·阿夫扎尔·马肯，法比奥·拉莫斯，莱昂内尔·奥特。利用随机梯度下降法加速最近点迭代在ICRA，2019年。二、四[27] Haggai Maron ， Nadav Dym ， Itay Kezurer ， ShaharKovalsky，and Yaron Lipman.通过有效的凸松弛进行点配准。ACM Transactions on Graphics，2016。2[28] Nicolas Mellado，Dror Aiger，and Niloy J Mitra.通过智能索引实现超计算机图形论坛，2014年。二、五、六[29] 蒙蒂和J。M. M. Mur-Ar tal，R au'l和JuanD. 太晚了 。ORB-SLAM：一个多功能和精确的单目SLAM系统.IEEE Transactions on Robotics，2015。5[30] G. Dias Pais，Pedro Miraldo，Srikumar Ramalingam，Jac- into C.纳希门托，韦努·马达夫·戈文杜，拉玛·哲拉帕 .3DRegNet ： 用 于 3D 点 注 册 的 深 度 神 经 网 络 。arXiv，2019年。一、二、五、六[31] Jaesik Park，Qian-Yi Zhou，and Vladlen Koltun.重新审视彩色点云配准。InICCV，2017. 二、五、八[32] 陈倩，孙晓，魏奕辰，唐晓鸥，孙健。从深度进行实时和鲁棒的手部跟踪。CVPR，2014。1[33] Rene 'Ranftl和Vladlen Koltun。深度基本矩阵估计。在ECCV，2018。1[34] R. B. Rusu，N. Blodow和M.比兹用于3D配准的快速点特征直方图（FPFH）。InICRA，2009. 一、二、五、六、八[35] R. B. Rusu，N. Blodow，Z. C. Marton和M.比兹使用持久特征直方图对齐点云视图。InIROS，2008. 2[36] S. Salti，F. Tombari和L.迪斯蒂法诺。SHOT：独特的表面和纹理描述直方图的标志。CVIU，2014年。2[37] Ruwen Schnabel，Roland Wahl，Reinhard Klein.用于点云形状检测的高效RANSAC。计算机图形学论坛，2007年。一、二[38] Thomas Schops、Torsten Sattler和Marc Pollefeys。BADSLAM：捆绑调整的直接RGB-D SLAM。在CVPR，2019年。七、八[39] F. Tombari，S.Salti和L.迪斯蒂法诺用于3D数据描述的唯 一 形 状 ACMWorkshop on 3D Object Retrieval ，2010。2[40] Yue Wang和Justin M.所罗门深度最近点：点云配准的学习表示。在ICCV，2019年。一、二、四、五、六、七[41] Yue Wang和Justin M.所罗门PRNet：用于部分到部分配准的自监督学习。NeurIPS，2019。二五六七[42] 放大图片作者：Thomas Whelan，Stefan Leutenegger，Renato F. Salas- Moreno，Ben Glocker和Andrew J.戴维森ElasticFusion- sion：没有姿态图的密集SLAM。机器人：科学与系统，2015年。七、八[43] 杨恒和卢卡·卡隆。一个多项式时间的解决方案，鲁棒配准与极端离群率。机器人：科学与系统，2019年。2[44] Jiaolong Yang ， Hongdong Li ， Dylan Campbell， andYunde Jia. Go-ICP：3D ICP点集配准的全局最佳解决方案。