MultiBodySync：基于3D扫描同步的多体分割和配准

7108MultiBodySync：基于3D扫描同步的黄家辉1王和2托尔加·伯德尔2宋敏赫3费德里卡·阿里戈尼4胡世敏1列奥尼达斯·吉巴斯21清华大学2斯坦福大学3KAIST4特伦托大学摘要我们提出了MultiBodySync，这是一种新颖的端到端可训练的多体运动分割和刚性配准框架，用于多输入3D点云。我们研究的这种多扫描多身体设置所带来的两个重要挑战是：（i）保证捕获身体或身体部位的不同空间布置的多个输入点云的对应性和分割一致性;以及（ii）获得适用于新对象类别的鲁棒的基于运动的刚体分割。我们提出了一种方法来解决这些问题，结合光谱同步-输入点云（多扫描）多体分割运动估计彩色扫描可视化转换为迭代的深度声明性网络，以便模拟恢复一致的对应关系以及运动分割。同时，通过明确地解开对应和运动分割估计模块，我们实现了跨不同对象类别的强泛化能力。我们广泛的评估表明，我们的方法是有效的各种数据集，从刚性零件在铰接对象单独移动的物体在3D场景中，无论是单视图或全点云。代码在https://github.com/huangjh-pub/multibody-sync。1. 介绍动态点云中的运动分析是一个新兴的领域，需要各种应用，如监视，自动驾驶和机器人操作。我们的人造环境由刚体运动主导，从铰接的物体到家具或车辆等固体。这些设置要求我们解决对象或对象部分的刚性运动-尽管其重要性，以前的工作主要集中在具有已知类别语义的特定场景上，如类别级别的铰接对象分割[41]，室内场景实例重新定位[65]或汽车运动检测[72]，使通用运动分割的文献相对未被探索。图1.MultiBodySync。给定一组无序的点云，我们同时分割各个移动的刚性部件/对象，并将它们注册。根据第一次扫描转换的点云被聚合并显示在中间列中。请注意，该算法不使用颜色信息，右列仅用于可视化。与传统的单扫描分析算法（如语义分割[39]）不同在那里，我们自然需要联合处理和关联多个输入，以有效地找到一致的基于运动的部件/对象分割以及点对应，以实现多路配准。当捕获在时间上不密集时，即，不跟随诸如视频之类的流的间歇性采集，并且可能包含大的姿态变化，从而阻碍了单纯的时间跟踪。在本文中，我们介绍了一个多扫描多体分割和运动估计问题，其目标是同时发现和注册刚体从多个扫描，表示为完整或部分点云，其中对象来自看不见的类 别 。作 为 一种 有 效 的 解决 方 案 ， 我们 提 出 了MultiBodySync，这是一种完全端到端可训练的深度声明式架构[23]，能够处理任意数量的无序点集。如图1，给定一组扫描，MultiBodySync开始通过3D场景流[78，64]关联扫描对，并7109ΣΣS1iN置信度估计然后，以下两个可区分的（排列和分割）同步模块，这是我们的方法的核心，分别强制执行不同扫描的成对点对应和运动分割标记的一致性。我们的 设 计 明 确 地 将 几 何 和 运 动 结 合 起 来 ， 使 Multi-BodySync可推广到看不见的类别，而不会牺牲鲁棒性。我们评估MultiBodySync的各种数据集组成的全合成点云和部分真实扫描与关节和固体物体。我们还贡献了一个新的数据集DynLab与8个场景和64个扫描片段的distinctly移动对象。我们广泛的评估表明，我们的算法优于国家的最先进的多体运动分割和运动估计的大利润率简而言之，我们的贡献是：1. 我们介绍了一种新的端到端的可训练架构，用于解决多扫描多体运动估计和分割问题。2. 我们从理论上分析了所提出的加权置换同步的频谱特性。3. 据我们所知，我们展示了第一个跨类别的概括手头上的任务合成和真实的数据集，为阐明部分级和对象级制度。2. 相关作品动态场景理解。深度学习文献中的3D动态场景建模通常被公式化为4D数据分析，如[43，19]等开创性作品中所做的那样推断时空几何特性的能力已经重新-知识，没有以前的工作可以处理多个扫描，同时执行多路一致性像我们这样做。同步。从比率集合中一致地恢复绝对量的技术现在是经典多视图/形状分析管道的基本组成部分[56，14，15]。这个问题的各个方面已经得到了广泛的研究：不同的群结构[25，24，12，2，1，33，27，1，66，18，59，62，4，6]，封闭式溶液，[4，2，1]、鲁棒性[17]、可证明性[55]、全局最优性[13]，学习同步[34，50，22]和不确定性量化[61，10，9，12]。 在这项工作中，我们关注的是同步对应集，也称为置换同步（PS）[48]和运动分割[3]。PS有丰富的算法：低秩公式[80，67]，凸规划[30]，分布式优化[30]，多图匹配[57]或黎曼优化[12]。在所有这些中，我们对[2，46]的谱方法感兴趣，因为它们提供了有效的，封闭形式的解决方案，可在像我们这样的深度声明性网络[23据我们所知，在深度学习的背景下还没有探索对应的同步[46]或运动分割[3]。这就是我们在本文中所做的，以解决一致的多体运动估计和分割。3. 方法问题设置和符号。假设我们观察一组K个点云X={Xk∈R3×N ， k∈[1 ， K]} ， 其 中 每 个 点 云Xk=xk，.，xk，.， xkcon-3在R中获取N个点，并从同一对象中采样三维场景流作为一种低成本的水平动态场景表示[42，60，69，51，47，54，44]。特定领域的知识可以用来提供更好的预测，就像在自动驾驶中所做的那样[29，5，72]其中S独立地移动由s索引的刚性部分。假设每个点属于S个刚性部分中的一个，并且我们将二元点-部分关联矩阵表示为G={Gk∈[0，1]N×S}其中Gk =1，如果xk属于或铰接对象分析[77，68]。最近的一天-th是我K1namic SLAM作品[31，7，81，75]也严重依赖于语义线索。虽然有些作品[47，54]主张反对-刚性部分，G为 =0否则。 刚性每个点云k中每个部分s的运动定义为T={Tk∈SE（3），k∈[1，K]，s∈[1，S]}，其中ro-连续时间动力学建模，我们假设Sk离散非顺序输入，并使用同步来强制一致性。类似地，[26，65]提出在改变的场景中执行实例级重新定位尽管如此，我们不假设场景的预分割，而是执行联合运动分割。多体运动。提供两个点云/图像之间的点对应关系，刚体运动分割成为多模型拟合问题，适用于因子分解技术[20，40，76]，聚类[32]，图形优化[45，35，11]或深度学习[38]。在其他人中，[78]使用递归神经网络（RNN）处理原始扫描并分割刚性移动部分。[28]将非参数零件模型拟合到连续的3D数据，而不需要明确的对应关系。然而，我们尽最大努力运动部分为Rs∈SO（3），平移部分为tk∈R3.我们的最终目标是在给定X的情况下推出G和T。摘要我们方法的核心是一个完全可重构的深度网络，融合了来自多个3D扫描的刚性动态信息，如图2所示。我们首先明确预测所有点云对之间的成对软对应，同时通过加权置换同步来实现一致性（§3.1）。接下来，点云使用新的基于运动的分割网络进行分割，并通过后续的运动分割同步模块进一步同步（§3.2）。最后，对应和分割是1在本文中，我们使用上标k，l来索引点云，下标i，j来索引点，下标s来索引刚性部分。7110w=我FIJIjl=1，l1我我N2KL214点云Ⓒ Ⓒ Ⓒ Ⓐ图2.我们的管道。①给定多个输入点云，我们首先估计成对场景流。②从流计算的点对应（置换）然后以加权方式同步以强制同步。③从流中估计出两两相对分割，并进一步同步得到绝对运动分割。每个部分的姿态可以恢复由加权Kabsch算法。我们的管道是完全可微的，可以迭代（迭代）以获得更好的结果。用于恢复每个单独刚性部件的6-DoF变换整个过程可以迭代以细化结果。管道可以很容易地训练结束-虚假的流量预测。等式（3）中的最终wkl反映了对应的Pkl的总体质量。这里我们选择Wkl作为所有点的平均置信度，即我们在§3.3中描述了我们的培训程序。klNi=1 c kl/N。3.1. 流量估计和同步我们的方法。所有点之间的点对应K点云对。我们或紧紧围绕通过预测3D场景流F来解决此问题=fkl，.，fkl，.，fkl∈R3×N，即对每个由（k，l）表示的点云对，使用深度神经网络工作流（·），一致的通信。我们现在使用预测{Pkl，w kl}（k，l）来实现多视图一致性。为此，我们部署了一个可区分的同步-受[46]启发的计时算法。本文首先引入绝对置换矩阵Pk，它将Xk中的每一点映射到论域空间，并将它们堆叠为p=[. . . ，（Pk）n，. . . [10. 我们求解最佳p最小化：Fkl=1000流 （Xk，Xl），使得Xk+Fkl=PXl保持到一种排列受Point PWC-Net[73]启发的P2P流架构在补充材料中有详细说明KE（p）=Kw kl<$Pk-P klPl<$2.（二）流量信号，在成对的方式估计，不通知我们的dispensing的多视图配置。为了确保多路一致流，我们采用了受[22，34]启发的置换同步[46我们首先观察到，任何流Fkl将导致软分配矩阵基于最近邻距离的Pkl∈MN×Nk=1l=1定理1（加权同步）。方程（2）p中加权同步问题的谱解由L的N个特征向量给出，所述N个特征向量对应于最小的N个特征值，其中L∈RKN×KN是加权图连接拉普拉斯算子（GCL），所述加权图连接拉普拉斯算子（GCL）通过平铺所有Pkl矩阵并由相关的wkl加权而构造：w1I-w12P12. . .−w1KP1KPkl=1000exp（δkl/τ），δkl=xk+fkl−xl<$2（1）−wN21P21w2IN. . . −w2K P2K线ijNj=1 exp（δkl/τ）iji i jL=0- 是的.. ..（3）.其中τ是softmax的温度。多项式−w K1PK1−w K2PK2 。. . W KIN，行随机矩阵流形M是（部分）置换群P的连续关系。其中wk=kkwkl和IN∈R N×N是恒等式。离群值过滤。为了考虑网络中的噪声、缺失点或错误，我们进一步关联了一个控制器，对每一点xk的置信度ckl∈R及其对应的证据 请参阅补充材料。这光谱溶液需要只一个特征，我流动矢量fkl我通过另一个网络工作站，Nf（·）：分解贷款本身容易区分[34，22]。R7×N›→RN灵感来自OANet [82]。 的输入这个网络是元组{（xk，xk+fkl，argminjδkl）∈关于我们2关于我们2113conf23������23非线性流44你好，你好������拉斯莫迭代优化加权置换同步运动分割同步7111然后，同步的软对应关系P_ k_l被表示为作为pp的第（k，l）个N×N块。 因此i i i ijR7}Ni=1 我们提供了建筑细节，我们不能保证每个子矩阵互补的该元组的最后一个维度通过变换点与其最近邻居之间的距离来测量流向量的质量，从而检测是有效的置换。为了保持可微性，我们避免了匈牙利式投影算子[46]，并建议直接计算诱导流7112净净净我.2P（x−x）国际新闻报净你好，你好���运动分割一致性。在给定所有两两运动信息的情况下，我们采用Arrigoni和Pajdla [3]的方法，将绝对运动分割g∈RKN×S计算为G中矩阵的一个栈。再次，这是同步问题的一个实例，堆叠的相对和绝对运动分割矩阵为：0ζ12. . . ζ1千日元100万美元图3.我们的运动分割网络Alummot的插图。210. . . 200万美元2016年2月Z=0，g=Fkl=ΣΣ...，我的天啊。使用softmax标准化K1K2. . ..K我同步软对应：好吧 . .0g的弗罗克勒ΣN¯kl l kj=1ij j i厄克尔克什克尔类似于§ 3.1中的谱方法对g进行优化，使得Z=gg得到最佳满足。那么g就是i=Nj=1 厄克尔IJ， Pij= exp（Pij/t）。（ 四）Z的S个前导特征向量，按以下的平方根缩放：其S最大特征值。 在这里，点部件关联直观地说，这相当于使用标准化的同步结果作为软分配矩阵，减少了非对应匹配（误报）的影响。3.2. 运动分割基于多个一致流输出Fkl，我们现在预测点-部分关联G。 既然我们未提供一致的部件标签。在…矩阵Gk通过允许其条目取实值而被放松为模糊作为类似于§3.1的后续步骤，我们将投影步骤替换为g上的逐行softmax以保持可微性。请注意，Zummot的输出是未归一化的，这意味着Z中的任何子矩阵都可以写成Zumkl= σ klkl，其中σ充当归一化子。 这类似于对矩阵Rankl的范数中的置信度进行编码，并且需要而不是直接预测Gk，我们估计所有K我们来解决一个加权同步。 但正如我们在下面的定理中证明，这样的解决方案将在-点云对相对运动分割矩阵<$kl∈[0，1]N×N，其中当xk和xl属于同一刚体时<$kl为1，否则为0。我们的运动分割网络工作量（·）：R12×N›→RN×N如图所示3取点云对Xk，Xl吉隆坡将特征向量中的各向异性缩放作为属于每个部分的点数的函数 由于这条信息在运行时不可用，因此我们 采 用 替 代 方 法 并 将 缩 放 因 子 近似为 q kl=mean（mean），同时，，F 从最后一步估计作为输入kl=净KL净并输出矩阵Rank1。它以PointNet++开始[53]净/q. 通过这种方式，我们可以确保特征向量预测xk∈Xk2中每个点的变换Tkl。产生同步的运动分割。我我预测将Xk中包含xk的部分映射到Xl。然后，我们计算残差矩阵βkl在Tkl上，其元素为：我∈R3×N×N基定理 2. 下 轻度 假设， 的 解决分段同步问题，使用非均匀加权矩阵将导致成比例βkl=（Tkl）−1xl−（xl+flk），（5）通过特征向量伊日j j j的矩阵Z。其中，T表示T 的作用。可以容易地证明，βkl的第（i，j）项的范数越小，很可能xk和xl在同一刚性部分中因此证据 请参阅补充材料。正如我们在附录中所显示的，decom中的条目kI j包含用于推断运动分段的有价值的信息-米申湖我们将N去噪mini-PointNet [52]mlp（·）应用于βkl的每个水平3×N切片，与Xl连接以获得每对点（xk∈Xk，xl ∈Xl）。 网络输出矩阵 是subse-设定的本征值与属于运动k的点的数目有关。为了计算刚体S的数量，即，确定在g中使用多少个特征向量，在测试期间分析Z的频谱：我们估计S为大于α-百分比i jnet通过在输出上应用sigmoid来计算：前10个特征值的总和在训练中，我们只需要（kl）i，：= S形 . （ [βkl，Xl]）.PointNet++{T}������MLP净你好，������……P..7113我MLPI，：（六）S= 6作为过度参数化。姿态计算和迭代细化。 我们终于2在实践中，不是直接预测Tvk，而是估计残差运动w.r.t. 与[78]中的方法类似的已经获得的流矢量我们的补充材料详细介绍了这一程序使用加权Kab来估计每个部分的运动SCH算法[37，22]，然后是联合姿态估计。在测试期间，我们还对管道进行了多次检查，7114FIJk=1：，s42L=伊季通过根据估计的T变换输入点云并将剩余流加回到在先前迭代中预测的流上来有关详情载于我们的补充质询。3.3. 网络训练我们建议以成对的方式分别训练我们的管道的每个可学习组件，然后使用完整的管道微调它们的参数。具体来说，我们首先训练流估计网络，表1.SAPIEN上的刚性流量估计表格报告了平均值和标准值。dev.（+/-）的EPE 3D在所有成对流上，具有（S）或w/o（NS）S化以及具有（W）或w/o（NW）加权。深NPP [28]我们[78]第二部分南北、西北南、西北南、西是说5.9521.226.206.085.03+/-3.576.294.063.472.00不同的类别。然后，我们对模型进行K次虚拟3D扫描，每次扫描都用不同的相机（因此也是对象）姿势和对象位置捕获相同的对象。¨ ¨2kl kl kl，gt地面实况流：L流 =<$F − F <$。 鉴于抽搐状态。 随后，应用最远点采样，在训练的训练流中，置信度估计网络RISCONF基于其输出使用二进制交叉熵(BCE)通过比较预测流量的误差是否在某个阈值以下来监督损失：中国将点的数量下采样到N。DynLab（动态实验室）包含8个不同的场景，存储器，每个存储器具有来自不同类别的2-3个刚性移动 的 固 体 对 象 。 每 个 场 景 被 捕 获 8 次 ， 使 用ElasticFusion [71]重新构建，并且在每个捕获之间，对象位置随机改变。数据集Lkl=BCE（ckl，gt，ckl），（8）kl，gtconfi=1我我klkl，gt2还包含对象分割的手动注释掩码和刚性绝对变换。对于基准-在每个场景中，我们选择不同的F E。的所有组合其中ci=1，如果我们有<$fi − fi <$2

下载后可阅读完整内容，剩余1页未读，立即下载