学习转换同步及其在重建物理对象的3D模型中的应用

1学习转换同步黄相如UT奥斯汀梁振晓UT奥斯汀周晓伟浙江大学佐治亚理工学院列奥尼达斯·吉巴斯Facebook AI Research，斯坦福大学黄启星UT奥斯汀摘要重建物理对象的3D模型通常需要我们将从不同相机姿态获得的深度扫描对准到相同的坐标系中。这个全局对齐问题的解决通常分两步进行。第一步使用现成的技术估计扫描对之间的由于成对扫描之间呈现的信息有限，因此所得到的相对变换通常是有噪声的。然后，第二步骤联合优化所有输入深度扫描之间在这一步中使用的自然约束是循环一致性约束，它允许我们通过检测不一致的循环来修剪不正确的相对转换。然而，这种方法的性能在很大程度上依赖于输入相对变换的质量。而不是仅仅使用相对transformations作为输入来执行transformationsynchron- nization，我们建议使用神经网络来学习与每个相对变换相关联的权重。我们的方法交替变换同步，使用加权相对变换和预测新的权重的输入相对变换使用神经网络。我们证明了这种方法在广泛的数据集上的有用性。1. 介绍转换同步，即，在各种计算机视觉应用中，包括根据运动的多视图结构[11，37，48，45]、根据深度扫描的几何重构[27，15]、通过求解拼图的图像编辑[14]，同时定位和映射[10]，[22]《易经》云：“君子之道，焉可诬也？有始有卒者，其惟圣人乎。转换同步过程的一种常见方法分为两个阶段。第一阶段建立关系，周晓伟博士隶属于CAD CG国家重点实验室和浙大-商汤三维视觉联合实验室。†huangqx@cs.utexas.edu(a)（b）第（1）款(c)（d）其他事项图1：使用不同的转换同步方法从室内环境的30个RGBD图像重建结果. (a)我们的方法。(b)旋转平均[12]。(c)地理位置登记[15]。(d)地面真理。在隔离中对象对之间的有效刚性变换。由于孤立对中信息的不完全性，估计的相对变换通常具有很强的噪声。第二阶段通过在所有输入对象上联合优化相对转换来改进它们. 这通常是通过利用 所谓的循环一致性约 束 （ cycle-consistencyconstraint ） 是 低 秩 的（c.f.[23]）。这种循环一致性约束允许我们通过检测不一致的循环[14，36]或执行低秩矩阵恢复[23，47，39，7，9]来联合改进相对变换。然而，现有的变换同步[47，11，3，26]和更一般的地图同步的成功，同步[23，39，38，13，42，26]技术严重依赖于输入数据的损失函数和噪声模式例如，基于稳健规范的方法（例如，L1 [23，13]）可以容忍恒定比例的对抗性噪声（参见[23、26]）80828083IJIJIJIJIJ或者当噪声是独立的时的次线性离群值比率（c.f.[13、42]）。不幸的是，这样的假设偏离了许多实际设置，其中大多数输入的相对变换可能是不正确的（例如，当输入扫描有噪声时），和/或相对变换中的噪声模式高度相关（存在来自线性数量的源的二次数量的测量这促使我们考虑学习变换同步的问题，该问题寻求学习与特定数据集的噪声模式兼容的合适的损失函数。在本文中，我们介绍了一种方法，formulates转换同步作为一个端到端的神经网络。我们的方法的动机是重 新加 权最 小 二乘 及其 在 变换 同步 中 的应 用（ c.f.[11，3，15，26]），其中损失函数指示我们如何在同步过程期间更新与每个输入相对变换相关联的权重。具体来说，我们设计了一个递归神经网络，反映了这种重新加权的方案。通过直接从数据中学习权重，我们的方法隐式地捕获了一个合适的损失函数来执行转换同步。我们已经在两个真实数据集上评估了所提出的技术：[16]第17章：你是谁？实验结果表明，我们的方法导致相当大的改进相比，国家的最先进的转换同步技术。例如，在Redwood和Scannet上，现有成对匹配和变换同步技术的最佳组合导致平均角旋转误差22。4分，64。四是分别。相比之下，我们的方法的相应统计数据为6。9分42秒9、分别。我们还进行了消融研究，以评估我们的方法的有效性。代码在https：//github上公开。com/xiangruhuang/Learning2Sync.2. 相关作品关于转换同步的现有技术分为两类。第一类方法[27，22，49，36，52]使用组合优化来选择仅包含一致圈的子图。第二类方法[47，31，25，23，24，13，53，42，33，26，7，39，38，2，9，4，5，41，19，46，6，21]可以从以下角度来看待：在循环一致的变换之间存在等价性，并且在块中存储相对变换的映射收集矩阵是与第一类方法相似，第二类方法在计算上更有效。此外，还建立了许多方法的严格精确的回收条件来自这些精确恢复条件的消息是，现有方法仅在输入相对变换中的噪声分数低于阈值时才起作用。该阈值的幅度取决于噪声模式。现有的结果假设对抗性噪声[23，26]或独立随机噪声[47，13，42，8]。然而，由于相对变换是在成对的对象之间计算的，因此这些相对变换是相关的（即，在相同的源对象到不同的目标对象之间）。这意味着在相对变换的噪声模式中有很多结构。我们的方法通过优化转换同步技术来适应特定数据集的数据分布来据我们所知，这项工作是第一次将监督学习应用于变换同步问题。我们的方法也与利用递归神经网络解决配对匹配问题有关最近的例子包括学习图像对之间的对应关系[35]，预测相同底层环境的两个不同图像之间的基本矩阵[40]，以及计算图像对之间的密集图像流[30]。与此相反，我们研究了一个不同的问题的转换同步在本文中。特别地，我们的加权模块利用特定于问题的特征（例如，特征间隙），用于确定与相对变换相关联的权重。学习转换同步也对网络的端到端可训练性提出了巨大挑战。3. 问题陈述和方法概述在本节中，我们将描述转换同步的问题陈述（3.1节），并概述我们的方法（3.2节）。3.1. 问题陈述考虑n个输入扫描S={Si，1≤i≤n}，从不同的相机姿态捕获相同的底层对象/场景。 设Sri表示与Si 相关联的局部坐标系。转换同步的输入可以描述为模型图G =（S，E）[28]。模型图的每条边（i，j）∈E与一个相对变换Tin=（Rin，tin）∈R3×4相关联，其中半定和/或低秩（c.f. [23]）。这些方法-在∈R3×3中，t在∈R3是旋转的和transla-作为低秩矩阵的T的函数分量，分别。一般来说，预-ij ij恢复，其中输入相对变换是连续的，这个低秩矩阵的有边噪声测量。在文献中，人们提出了凸优化[47，23，24，13]，非凸优化[11，53，33，26]，和谱技术[31，25，39，38，42，44，7，2，9]用于求解各种低秩矩阵恢复公式。Com-使用现成的算法计算（例如，[34、50]）。为了简单起见，我们假设（i，j）∈ E当且仅当（i）（j，i）∈E，并且（ii）它们的相关变换是相容的，即，R in =R in T，t in = −R in T t in。吉伊吉伊吉R8084我IJIJIJIJIJIJ输入扫描相对姿势重量同步姿势加权模块同步模块图2：网络设计示意图。预计许多这些相对的转变同步姿态T（k）：i→对于输入对象不正确，因为提供的信息有限成对的扫描和所使用的现成方法的局限性变换同步的目标是恢复的绝对姿态Ti=（Ri，ti）∈R3×4每个扫描S1在世界坐标系θ中。 没有失去一般性，我们假设世界坐标系是given，其中：请注意，与传统的转换同步方法不同，(e.g.、[11，47，3]），我们的方法还结合了从输入扫描Si，1≤i≤n中提取的附加信息。3.2. 方法概述我们的方法是从迭代重加权最小二乘（或IRLS）[18]，已被应用于变换同步（例如，[11、3、15、26]）。IRLS的keyidea是保持边权重wij，（i，j）∈对于每个输入变换T，函数在变量中变为二次函数，并且transfor-同步承认一个封闭的形式的解决方案。然后可以使用闭合形式的解决方案来更新边权重。理解重新加权方案的一种方法是，当权重收敛时，重新加权的平方损失成为实际的鲁棒损失函数，用于解决相应的变换同步问题。与使用通用加权方案相比，我们建议通过设计一个复制重新加权变换同步过程的重流网络来从数据中学习加权方案。通过这样做，我们隐式地学习了一个合适的损失函数用于变换同步。如图2所示，所提出的递归模块结合了同步层和加权模块。在第k次迭代时，同步层将Si，1≤i≤n。 初始y，设w（1）=1，n（i，j）∈E. 同步层的技术细节在第4.1节中描述。加权模块孤立地对每个对象对进行操作。对于每个边缘（i，j）∈ E，到所提出的加权模块的输入包括（1）输入相对变换T_in，（2）从两个输入扫描的初始对准提取的特征，以及（3）在第k次迭代时从同步层收集全局信号的状态向量v（k）（例如，光谱间隙）。输出是第k + 1次迭代时的相关权重w（k+1）。该网络通过惩罚不同的人来进行端到端的训练，地面实况姿态和最后一个同步层的输出之间的推断。第4.3节描述了该端到端培训程序的技术细节。4. 方法在本节中，我们将介绍学习转换同步方法的技术细节。在Section- tion4.1中，我们将介绍同步层的详细信息。在第4.2节中，我们描述了加权模块。最后，我们将在4.3节中展示如何训练所提出的端到端网络。请注意，本节中介绍的命题的证明将推迟到补充材料中。4.1. 同步层为了简单起见，我们在引入同步层r时忽略上标k和in。 设Tij=（Rij，tij），wij为输入相关变换及其与边（i，j）∈ E相关的权值.我们假设这个加权图是连通的。 同步的目标nization层的任务是计算同步姿态初始相对变换T在∈ R3×4中，吉吉IJE及其相关权重w（k）∈（0，1）和输出（Ri，ti）与每个扫描Si相关联。 注意，正确的相关变换Tij=（Rij，tij）引起两个分离。8085IJIJIJIJIJ我我ij3我我我我ij1ij2算法1翻译同步层。函数SYNC（（wij，Tij），n（i，j）∈E）形成拉普拉斯算子L和向量b的连接;计算L的前3个特征向量U;在U的块上执行SVD以获得{R∈，1≤i≤然后，由下式给出1的最优解t∈（3）：t=L+b。（四）与旋转同步的情况类似，我们可以（2）.求解（4）得到{t∈ N，1≤i≤n};returnT=（R，t），1≤i≤n;end function证明了当观测图是连通的，且Rij ，tij ，（i，j）∈E是精确的时，t∈rec覆盖了其下的真实旋转.第C.4节-存储材料呈现出对于翻译的稳健的恢复结果。对旋转R和平移t的速率约束，4.2. 加权模块：我我我们将权重模块定义为以下函数：RR=R，Rt+t=t。问题：（k+1）（k）i jij伊伊伊wij←Weightθ（Si，Sj，Tij，sij）（5）因此，我们分别执行旋转同步和平移同步。旋转同步。我们旋转同步方法采用文献[1，2，9，4]中提出的拉普拉斯旋转同步公式。更准确地说，我们引入了一个连接拉普拉斯算子L∈R3n×3n[43]，其块由下式给出：ΣwijI3i=j其中输入包括（i）一对扫描Si和Sj，(ii) 它们之间的输入相对变换T，以及(iii) 状态向量s（k）∈R4。此加权的输出在第k+1次迭代时，由新的权重w（k+1）给出模块我们用θ表示加权模块的可训练权重。在下文中，我们首先介绍状态向量s（k）的定义。Lij：=n∈N（i）−w RT（i，j）∈E（一）状态矢量。 状态向量s（k）的目的是ijIj0否则收集用于确定加权模块的输出。定义其中N（i）收集G中i的所有相邻顶点。s（k）：=<$Rin−R（k）R（k）T<$、（6）设U=（UT，···，UT）T∈R3n×3，其特征值为ij1ijj iF1N三个最小的特征向量对应的向量s（k）：=<$Rint（k）+tin−t（k）<$。（七）vvalues. 我们选择每个特征向量的符号，ij2（k）伊日 （k）国际新闻报（k）ni=1 det（Ui）>0。为了计算绝对旋转，我们sij3：=λ4（L）−λ3（L），（8）首先对每个子帧执行奇异值分解（SVD），（k） ΣS：=w（k）<$t（k）<$2−b（k）TL（k）+b（k），（9）U= V W T。ij4ij ij我我我我（i，j）∈E然后，我们输出相应的绝对旋转估计所有y、s（k）和s（k）表征差异为：作为ij1ij2Ri=ViWT（二）当前同步转换与输入之间的相对变换。 使用它们当观察图是连通的且Rij，（i，j）∈E是严格的时，则Rij，1≤i≤n是来自于这样的事实：对于用于变换同步的标准重加权方案（c.f. [26]一个简单的覆盖基本的地面实况解决方案（参见[1、2、9、4]）。集合w（k+1）在补充材料的第C.3节中，我们介绍了ij=ρ（s（k），s（k））对于加权函数ρ鲁棒的恢复结果，即即使当R ij不精确时，Rij也近似地恢复潜在的地面实况。平移同步解决以下最小二乘问题以获得ti：Σ（参见[18]同上。这个方案已经可以恢复基本的-在对抗性不正确相对变换的常数部分存在的情况下使用地面真值（关于形式分析，请参见补充材料的第C.7节）。相比之下，我们的方法寻求超越这一点尽量减少ti，1≤i≤n（i，j）∈Ewij<$Rijti+tij−tj<$2（3）通过利用额外信息进行限制的定义s（k）捕获连接拉普拉斯算子的谱间隙。s（k）等于（3）的残差。直观地说，当s（k）为设t=（tT，···，t T）T ∈ R 3 n，则T =（t T，· · ·，tT）T∈R38086IJn，T =（t T，···，t T）T ∈ R 3n.ij4ij31nlarge和s（k）是小的，加权相关变换，列向量中的同步姿态的分量。在-给出一个列向量b=（bT，···，bT）T∈R3n，其中ij4t（k）是一致的，由此我们可以重新定义。1nij ijΣbi：=−j∈N（i）wijRTtij.1当L是半正定的时，则解是唯一的，（4）给出了一个最优解。8087IJ不W我IJIJIJIJIJ我J输入扫描距离图得分θ0（Si，Sj，Tin）在IJ相对姿态L（k）连接拉普拉斯算子s（k）IJ状态向量（k+1）IJ输出权图3：加权模块的网络设计示意图。我们首先计算一对深度图像之间的最近邻距离，这对深度图像形成了中间的在本文中，我们使用k= 1。然后，我们应用经典的卷积神经网络来输出（0，1）之间的分数，然后将其与状态向量组合以根据（10）产生该相对姿势的权重。覆盖精确的同步变换T（k）。我们现在模块重量θ：描述网络设计。网络设计。 如图3所示，min ΣΣRkmaxRkmax-RgtRgtT2我们的网络设计是一个子网络分数eθ0（Si，Sj，Tn）它需要两次扫描Si和Sj，θjiS∈D1 ≤i< j≤| S|+λtkmax−tgt<$2j iFΣ（十一）T在它们之间，并在[0，1]中输出一个分数，指示i i这是否是良好的扫描对准，即，1表示a良好对准，0表示不正确对准。我们将得分θ0设计为前馈网络。它的输入由两个颜色图组成，这两个颜色图表征了两个输入扫描之间的对齐模式。每个像素的值表示相应3D点到Tin下另一次扫描上最近点的距离（参见图3中的第二列图像）。然后我们连接在所有实验中我们都设定λ=10。请注意，我们比较了（11）中的相对旋转，以分解出姿势之间的翻译中的全局转移已经由（4）处理了。我们执行反向传播来优化（11）。技术挑战是计算通过同步层的导数，包括1）RRT相对于L的元素的导数，2）这两个彩色图像，并将它们输入神经网络j我的(we使用修改后的AlexNet架构[32]），输出最终分数。通过这种设置，我们将输出权重w（k+1）定义为：ti相对于L和b的元素的导数，以及3）每个状态向量相对于L和b的元素的导数。在下文中，我们提供了前-计算这些导数的显式表达式我们首先给出了ro的输出之间的导数，w（k+1）：=eθ1θ2eθ1θ2+（scoreθ（Si，Sj，Tin）s（k）θ3）θ2（十）站同步及其输入。为了使符号清晰，我们通过将L视为a来计算导数0ij ij注意，（10）在概念上类似于在L0最小化中广泛使用的重加权方案ρσ （x）=x2/（σ2+x2 ）（参见[18]）。然而，我们使因子和因子的元素参数化，以便合并状态向量并捕获数据集特定的分布。此外，我们在（10）中使用指数函数，因为它们导致更容易优化的损失函数。当θ=（θ0，θ1，θ2，θ3）时，我们收集公式（10）的所有可训练参数4.3. 端到端培训矩阵函数关于w i j的der iv at iv e可以通过链式法则容易地获得。1.提案设ui和λi分别为L的第i个特征向量和特征值.将Ui=ViiWT的SVD展开如下：Vi=（Vi，1，Vi，2，Vi，3），Vi=dia g（σi，1，σi，2，σi，3），Wi =（wi，1，wi，2，wi，3）.设et∈ Rt是Rt的第j个标准基. 然后我们有d（RRT）= dRj·RT +R· dRiT，令D表示具有注释的地面实况姿态的扫描集合的数据集。设kmax是递归步骤的数量（我们在实验中使用了四个递归步骤）。我们哪里dRi：=J I波夫岛TdUiw i，t我-vi，tJTdUiw i，svi，swi，tT，CNNKNN当量（十不不8088定义以下损失函数，用于训练权重1≤s，t≤3σi，s+σi，t8089我√其中，dUi由下式定义：有关采样序列的更多细节，请参见补充材料。dUie（3）=（e（n）第一章（3）n=uluTL dLuj.成对方法。我们考虑两种最先进的成对方法来生成我们方法的输入：J IL=4 λj−λl• Super4PCS [34]应用采样来找到四个点对的一致匹配。下面的命题指定了t关于L和b的元素：第二个提案。t的导数由下式给出：d t=L+ d LL++L+ db。记 录 状 态 向 量 ， sij ， 1 相 对 于 L 的 元 素 的 阶 由Prop.1;sij ， 2和sij ， 4关于L的元素的derivativ由Prop.二、剩下的是计算sij的导数。3关于L的元素，这可以通过L的特征值的导数容易地获得[29]，即，dλi= uTdLui。5. 实验结果本节给出了对所提出的学习转换同步方法的实验评估。我们首先在5.1节中描述实验装置。在第5.2节中，我们分析了我们的方法的结果，并将其与基线方法进行了比较。最后，我们在第5.3节中介绍了消融研究。5.1. 实验装置数据集。我们在本文中考虑两个数据集，Red-wood[16]和ScanNet [17]：• 红杉含有单个细胞的RGBD序列。我们统一采样60个序列。对于每个序列，我们采样30个RGBD图像，帧远离下一个，其覆盖原始序列的600帧。对于实验评估，我们使用与重建相关联的姿势作为地面实况。我们使用35个序列进行训练，25个序列进行测试。请注意，在我们的实验中，每个序列中的帧之间的时间顺序被丢弃。• ScanNet包含RGBD序列，以及重建，相机姿势，为706室内场景。每个场景包含2-3个不同轨迹的序列。我们从ScanNet随机抽取100个序列。我们使用70个序列进行训练，30个序列进行测试。同样，• 快速全局配准（FastGR）[50]利用特征对应，并应用重新加权的非线性最小二乘法来提取一组一致的特征。真实的对应关系和适合一个刚性的姿势。我们使用Open3D实现[51]。基线方法。我们考虑在文献中引入的用于变换同步的以下基线方法：• 鲁棒相对旋转平均（RotAvg）[12]是一种可扩展的算法，可对相对旋转进行稳健的旋转平均要恢复翻译，我们还应用了最先进的翻译同步方法[26]。我们使用其公开访问代码的默认设置。[26]基于我们自己的Python实现。• 几何配准（GeoReg）[15]通过姿势图优化解决多路配准我们修改Open3D实现，以从Super4PCS或FastGR。• 转换同步（TranSyncV2）[9]是一种谱方法，旨在找到低秩AP-Laplacian矩阵的零空间的近似。我们使用了作者• SE（3）中的频谱同步（EIGSE 3）[7]是另一种通过在SE（3）中工作来同时考虑平移和旋转的频谱方法。我们使用作者请注意，我们的方法利用加权模块来对输入相对变换进行评分。为了进行公平的比较，我们使用重叠区域之间的中值最近邻距离（定义为距离0. 2m）过滤所有输入变换，并选择中值距离小于0的变换。1米请注意，阈值越小，姿势图将断开连接。然后，我们将这些过滤后的输入转换提供给每个基线方法进行实验评估。评估方案。我们采用[11]和[26]的评估协议分别评估旋转同步和平移同步。具体来说，对于旋转，我们首先解决最佳匹配的全局旋转在地面实况和预测之间，然后我们报告统计数据和累积分布函数不GT在我们的实验中丢弃每个序列。角偏差arccos（RRR RF）的平均值（CDF），2不8090IJIJ方法红木ScanNet旋转误差转换误差（m）旋转误差转换误差（m）3◦5分10秒30秒45秒平均值0.05 0.1 0.25 0.5 0.75平均值3◦5分10秒30秒45秒平均值0.05 0.1 0.25 0.5 0.75平均值FastGR（全部）29.440.2 52.0 63.8 70.4 37. 4◦22.0 39.6 53.0 60.3 0.689.9 16.8 23.5 31.9 38.476. 3◦5.5 13.3 22.0 29.0 36.3 1.67FastGR（良好）33.945.2 57.2 67.4 73.2 34. 1◦ 26.7 45.7 58.8 65.9 71.4 0.5912.421.4 29.5 38.6 45.1 68. 8◦7.7 17.6 28.2 36.2 43.4 1.43Super4PCS（全部）6.9 10.1 16.7 39.6 52.355. 8◦4.2 8.9 18.2 31.0 43.50.51.34.0 17.4 25.298. 5◦0.3 1.2 5.3 13.3 21.6 2.11Super4PCS（好）10.314.9 23.9 48.0 60.0 49. 2◦6.4 13.3 26.2 41.2 53.2 0.930.82.36.4 23.0 31.790. 8◦0.6 2.2 8.9 19.5 29.5 1.80旋转平均值（FastGR）30.442.6 59.4 74.4 82.1 22. 4◦23.3 43.2 61.8 72.4 0.426.0 10.4 17.3 36.146.14◦3.7 9.2 19.5 34.0 45.6GeoReg（FastGR）17.828.7 47.5 74.2 83.2 27. 7◦4.9 18.4 50.2 72.6 81.4 0.930.20.62.8 16.4 27.187. 2◦0.1 0.7 4.8 16.4 28.4 1.80RotAvg（Super4PCS） 5.48.7 17.4 45.1 59.249. 6◦3.2 7.4 17.0 32.3 46.3 0.950.30.83.0第96章. 8◦0.2 1.0 5.8 16.5 27.6 1.70GeoReg（Super4PCS） 2.14.1 10.2 33.1 48.360. 6◦1.1 3.1 10.3 21.5 31.8 1.251.95.1 13.9 36.6 47.172. 9◦0.4 2.1 9.8 23.2 34.5 1.82TransSyncV2（FastGR）9.5 17.9 35.8 69.7 80.127. 5◦1.5 6.2 24.0 48.8 67.5 0.620.41.56.1 29.0 42.268. 1◦0.2 1.5 11.3 32.0 46.3EIGSE 3（FastGR）36.647.2 60.4 74.8 83.3 21. 3◦21.5 36.7 57.2 0.431.54.3 12.1 34.5 47.768. 1◦1.2 4.1 14.7 32.6 46.0我们的方法（FastGR）我们的方法（Super4PCS）67.5 77.5 85.6 91.7 94.4 6.9磅2.35.1 13.2 42.5 60.946. 7◦ 20.7 40.0 70.9 88.6 94.0 0.261.1 4.0 13.8 29.0 42.334.4 41.1 49.0 58.9 62.3 42.90.41.76.8 29.6 43.566. 9◦2.0 7.3 22.3 36.9 48.10.1 0.8 5.6 16.6 27.0传输同步（FastGR）27.137.7 56.9 74.4 82.4 22. 1◦ 17.4 34.4 55.9 70.4 81.3 0.433.26.5 14.6 35.8 47.463. 5◦1.6 5.6 15.5 30.9 43.4仅输入（FastGR）36.751.4 68.1 87.7 91.7 13. 7◦25.149.373.2 86.4 91.6 0.2611.719.4 30.5 50.7 57.7 51. 7◦5.9 15.4 30.543.7 52.2无复发（FastGR）37.852.8 71.1 87.7 91.7 12. 9◦26.351.177.3 87.1 92.00.248.6 15.3 26.9 51.4 58.249. 8◦3.9 11.1 27.343.7 53.9图4：Redwood [16]和ScanNet [17]上的基准评估绝对姿态的质量通过计算成对地面真实姿态的误差来评估。旋转矩阵之间的角距离通过angular（Rij，Ri j）=tr（RT R）−1arccos（ijij2）的情况。平移距离的计算公式为：tij−t。我们收集关于轮换以及低于变化阈值的翻译错误I）第4至第7行包含上游算法的评估(all)其中（good）是指在具有良好质量重叠区域的相对姿态之间计算的统计II）对于第二部分，我们报告了从这个良好的相对姿势集合计算的所有基线的结果，其始终优于所有相对姿势的结果由于有两种输入方法，我们报告了两种输入上的每个转换同步方法的结果III）第三部分包含仅在FastGR[50]输入上进行的消融研究的结果。第一行报告了最先进的旋转和平移同步结果，然后是我们方法的变体。预测R及其对应的地面实况Rgt.对于翻译，我们报告了每对预测t及其对应的地面实况t gt之间的统计和CDF。翻译误差的单位是米（m）.统计数据见图4，CDF图见补充材料B5.2. 结果分析图4和图5分别给出了定量和定性结果。总的来说，我们的方法产生了相当准确的结果。在Redwood上，FastGR的旋转/平移的平均误差和我们从FastGR得到的结果是34。1/0。58米，6。9分。26米，分别。在Scan-Net上，FastGR和我们的结果在旋转/平移方面的平均误差为68。八分之一。43米和42米。九分之一。16米，分别。请注意，在这两种情况下，我们的方法都能从输入中获得显著的改进我们在ScanNet上的方法的最终结果除了ScanNet上初始相对变换的质量低于Redwood上的质量尽管如此，我们在ScanNet上的方法的改进是显着的。我们的方法仍然需要合理的初始转换开始。这可以从我们的方法试图通过选择输入相对转换的子集来执行同步的事实中理解。虽然我们的方法利用学习，当初始相对变换的质量下降时，其性能将下降。一个证据是，我们的方法只会导致适度的性能增益时，以输出的苏per4PCS作为输入。与最先进方法的比较。虽然这两种基线方法都从输入相对变换中得到了改进，但我们的方法比所有基线方法都有显著的在Red-wood上，FastGR的最佳执行方法RotAvg的平均旋转和平移误差为22。4分，0。418米。我们的方法的平均误差减少了69。2%，39。0%的旋转和平移，分别是显着的。我们在ScanNet上的方法的平均误差的减少也是值得注意的，即，三十三岁。3%和7。旋转和平移分别为4%。我们的方法也取得了相对的性能增益基线方法时，以输出的Su-per 4PCS作为输入。特别是，平均旋转误差，我们的方法导致减少5%和9%的红木和ScanNet，分别。在旋转和平移的比较中，平均旋转误差的改善大于平均平移误差的改善一种解释是Redwood和ScanNet中有很多平面结构。当对准这样的平面结构时，旋转误差容易导致最近邻距离的大的变化，并且因此可以被校正。8091图5：每列表示一个场景的结果。从下到上，我们展示了我们的方法的结果，旋转平均[12]+平移同步。[26]（第II行）、几何配准[15]（第III行）和地面实况（第IV行）（顶部）。左四个场景来自Redwood [16]，右两个场景来自ScanNet [17]。被我们的加权模块检测到相比之下，平移误差受到平面结构上的滑动效应的影响（参见图11）。[20]）。例如，存在由一对垂直平面组成的丰富的平面结构，并且对齐这样的平面结构可以沿着这些平面对的公共线滑动。因此，我们的加权模块对于改善翻译错误变得5.3. 消融研究在本节中，我们提出了我们的学习转换同步方法的两个变体，以证明我们系统的每个组件的可用性。由于空间限制，我们仅使用FastGR进行消融研究。仅输入。 在第一个实验中，我们简单地学习对输入的地图进行分类，然后应用变换syn.对滤波后的输入变换的同步技术。在这种情况下，最先进的变换同步技术实现了22的平均旋转/平移误差。1/0。43米和63米。五分之一。Redwood和ScanNet上分别为25米。通过将我们的学习方法应用于固定的初始地图权重，例如， 我们固定（10）中加权模块的θ 0，我们的方法将平均误差减少到13。7分。255米和51。七分之一。031米，分别在红木和扫描网。虽然这些改进是显而易见的，但这种简化方法与我们的完整方法之间仍然存在差距这证明了一起学习加权模块的重要性。没有经常性模块。另一种简化的方法是直接组合加权模块和一个同步层。尽管这种方法可以从输入转换中得到改进这种方法和我们的完整方法之间仍然有很大的差距（参见图4中的最后一行）。这显示了使用加权模块来逐渐减小误差同时使整个过程都是端到端可训练的。6. 结论本文介绍了一种有监督的变换同步方法。它改进了一种加权非线性最小二乘方法，并应用神经网络自动确定输入的成对变换和相应的权值。我们已经展示了如何端到端地训练产生的递归神经网络。实验结果表明，我们的方法是优于国家的最先进的转换同步技术的ScanNet和Redwood的两个国家的最先进的成对扫描匹配方法。未来的研究有很多机会。到目前为止，我们只考虑了分类成对变换，研究如何分类高阶匹配将是有趣的。另一个有趣的方向是将ICP对齐纳入我们的循环程序，即，我们从当前的同步姿态开始，并在成对扫描之间执行ICP，以获得更多的用于变换同步的信号。此外，代替每次扫描保持一个同步姿态，我们可以保持多个同步姿态，这提供了成对扫描之间的更多成对最后，我们想应用我们的方法来同步多个图像/形状之间的密集对应。鸣谢：作者希望感谢NSF资助DMS-1546206、DMS-1700234、CHS-2010的支持。1528025，国防部Vannevar Bush教师奖学金，谷歌重点研究奖，Adobe重新搜索的礼物，Snap研究的礼物，NVIDIA的硬件捐赠，亚马逊AWS人工智能研究礼物 ， 国 家 自 然 科 学 基 金 会 （ 第 1528025 号 ） 。61806176）和中央大学基础研究基金。8092引用[1] 放 大 图 片 作 者 ： Mica Arie-Nachimson ， Shahar Z.Kovalsky，Ira Kemelmacher-Shlizerman，Amit Singer，and Ronen Basri.基于点匹配的全局运动估计。在2012年第二届3D成像、建模、处理、可视化传输国际会议论文集，3DIMPVTD.C.，USA，2012. IEEE计算机协会。4[2] Federica Arrigoni，Andrea Fusiello，and Beatrice Rossi.来自组同步的摄像机运动。在3D视觉（3DV），2016年第四届国际会议上，第546IEEE，2016. 二、四[3] Federica Arrigoni，Andrea Fusiello，Beatrice Rossi，andPasqualina Fragneto. 基于低秩稀疏矩阵分解的鲁棒旋转同步。CoRR，abs/1505.06079，2015年。一、二、三[4] Federica Arrigoni ， Luca Magri ， Beatrice Rossi ，Pasqualina Fragneto，and Andrea Fusiello.通过低秩和稀疏矩阵分解的鲁棒绝对旋转估计在3D Vision（3DV），2014年第2届国际会议，第1卷，第491-498页中IEEE，2014。二、四[5] Federica Arrigoni、Beatrice Rossi、Pasqualina Fragneto和Andrea Fusiello。通过低秩和稀疏矩阵分解实现SO（3）和SE（3）中的鲁棒同步计算机视觉和图像理解，174：95-113，2018。2[6] Federica Arrigoni、Beatrice Rossi和Andrea Fusiello。基于lrs分解的三维点集全局配准。欧洲计算机视觉会议，第489施普林格，2016年。2[7] Federica Arrigoni、Beatrice Rossi和Andrea Fusiello。se中多视图的谱同步（3）。SIAM Journal on ImagingSciences，9（4）：1963-1990，2016。一、二、六[8] Chandrajit Bajaj 、 Tingran Gao 、 Zihang He 、 QixingHuang和Zhenxiao Liang。SMAC：使用谱分解的同时映射 和 聚 类 。 InProceedings of the 35th InternationalConference on Machine Learning ， ICML2018 ， Stockholmsmaüssan ， Stoc kholm ， Sweden ， July10-15 ，2018，pages 334-343，2018. 2、14[9] Florian Bernard，Johan Thunberg，Peter Gemmar，FrankHer- tel，Andreas Husch，and Jorge Goncalves.通过变换同步的多对准的解决方案。在IEEE计算机视觉和模式识别会议的Proceedings，第2161-2169页，2015年。一、二、四、六[10] Luca Carlone、Roberto Tron、Kostas Daniilidis和FrankDellaert。3D SLAM的建模技术：旋转估计及其在姿态图优化中的应用综述。见ICRA，第4597-4604页。IEEE，2015年。1[11] Avishek Chatterjee和Venu Madhav Govindu。高效、稳健的大规模旋转平均。在ICCV中，第521- 529528. IEEE计算机学会，2013年。一、二、三、六[12] Avishek Chatterjee和Venu Madhav Govindu。鲁棒相对旋 转 平 均 。 IEEE transactions on pattern analysis andmachine intelligence，40（4）：958-972，2018。一、六、八、十二[13] 作者：陈宇昕，Leonidas J.Guibas和黄其兴基于凸松弛的近最优联合目标匹配。在ICML，第100-108页，2014年。一、二[14] Taeg Sang Cho，Shai Avidan和William T.弗里曼。面片变换。IEEE传输模式分析马赫内特尔，32（8）：1489-1501，