动态场景中的对象相交对形状完成的影响

1它在哪里结束？Michael Streck e和J？gStu？ ckler德国图宾根马克斯·普朗克智能系统研究所{mstrecke，jstueckler}@ tue.mpg.de摘要动态场景理解是机器人和VR/AR中的一项基本能力。本文提出了一种基于最优化的三维动态场景重建方法--相交法，它从相交约束中推断出隐藏的形状信息。对象级动态SLAM前端检测、分割、跟踪和映射场景中的动态对象。我们的优化后端使用对象之间的外壳和相交约束来完成形状。在实验中，我们展示了我们的方法在真实和合成的动态场景数据集。我们还评估了我们的方法量化的形状完成性能据我们所知，我们的方法是第一种方法，将这种物理可扩展性约束的对象相交的形状完成动态对象的能量最小化框架。1. 介绍人类具有非凡的能力，可以通过对场景的物理相似性的假设来推断缺失的信息。例如，如果我们看到物体躺在桌子上，我们立即得出结论，物体的形状受到桌子表面的约束。如果一个对象在表中继续存在，我们会感到惊讶。在本文中，我们提出了合作部分，一种新的方法，将这种约束到一个自底向上的三维场景重建方法。我们的方法跟踪和映射场景中的动态对象。然而，在动态场景中，我们可以使用不仅仅是图像测量来推断物体形状：当各个物体相对于彼此移动并且最终接触时，它们不能彼此穿透。与各种基于学习的形状完成方法[6，18，5，24]相比，我们将这种物理可扩展性作为能量最小化框架中的交叉约束。我们的配方优化隐式表面的对象作为一个有符号的距离函数从定向点。输入颜色EM-Fusion Ours图1：我们提出了一种新的能量最小化方法，在动态场景中进行3D重建。我们的方法使用动态对象级SLAM方法作为前端（例如EM融合[19]）。与前端的TSDF对象图相比，我们的方法可以利用对象之间的相交约束和可见性约束，以物理上合理的方式完成对象形状。上面的两行显示了场景car4中从不同视点观察到的相同时间步长底部的行显示了来自位置项场景的不同时间步长。另请参阅补充视频以了解进一步的可视化。定向点测量由动态对象级SLAM前端提供。它检测、分割、跟踪和三维重建局部体积SDF表示中的对象。我们的能量最小化后端优化对象映射，并结合交叉和船体约束，以完成对象的形状。我们证明了我们的方法在真实和合成的动态场景数据集。我们还评估我们的形状完成95929593在合成场景上定量地使用地面实况3D模型总而言之，我们的贡献是• 我们包括物理上合理的形状完成在动态场景中的交叉约束。这允许推断对象的隐藏表面，这对于机器人或VR/AR应用是有用的。据我们所知，我们是第一个包括这样的约束，在动态场景中的对象级3D重建。• 我们展示了有效的优化初始化新的对象卷粗到细和优化增量卷时，新的测量。• 我们在动态SLAM数据集上定性和定量地评估我们的方法。我们的评估可以作为这一领域未来研究的基线。2. 相关工作2.1. 稠密曲面重构有几种方法从点云[2，11，16，21]，深度图像[4]或来自多个视点的RGB图像[3]密集地重建3D表面。这些方法通常将数据视为属于单个表面，而不考虑单个对象的表面。从点密集重建云移动最小二乘曲面重建[1]拟合一个点集，表示面向点样本的曲面。局部参数化，如平面曲面片假设并且使用移动最小二乘法拟合这些点。光滑符号距离表面重建[2]使用变分能量最小化公式从定向点恢复体积隐式表面表示。能量包括有利于位于优化隐函数的零水平集上的点的数据项，并将其梯度与表面法线对齐。正则化项保持Hessian，即.二阶导数，隐函数小。虽然我们也使用了这个正则化项，但我们使用了一个数据项来测量体素与法线上一个点的距离。在Poisson曲面重构中，估计了一个平滑的指示函数，其梯度遵循用定向点近似的曲面法向场。隐式函数使用泊松方程的最小二乘近似恢复。隐式移动最小二乘公式在一组点或体素中心处恢复隐式表面函数，其使用对沿其法线的局部点样本的偏差的二次罚分Shen等人[17]估计线性函数系数与点样本的拟合。我们的公式扩展了[16]的Hessian-IMLS公式，该公式结合了二次数据惩罚项与L2-Hessian正则化估计的有符号的距离函数的网格。Um-menhofer等人的方法。[21]在SSD的数据项上使用L1范数我们倾向于隐函数的L2-Hessian正则化而不是其向量场的全变分正则化，因为我们感兴趣的是恢复没有不连续性的光滑隐曲面函数，以便使对象形状完整。从深度和RGB图像进行密集重建。几种方法融合深度图像，其可以使用多视图立体或主动感测原理来恢复。用于将深度图增量融合到体积有符号距离函数中的 流 行 方 法 是 Curless 和 Levoy 的 开 创 性 方 法 [4] 。Cremers和Kolev [3]使用多视图立体和轮廓约束直接从强度图像优化符号距离函数。这些密集重建方法仅限于静态场景，并且不像我们的方法那样包含对象之间的相交约束。2.2. 动态环境已经提出了几种使用RGB-D相机跟踪和映射移动对象的方法[14，15，23，7，19]。然而，没有一种方法考虑对象之间的相互约束以推断它们的交叉处的隐藏表面最近的一些工作也考虑了物体之间的相互作用，例如，人体和静态环境之间的相互作用[8]，或者手和物体之间的相互作用[9]。然而，这些方法需要学习身体和手的参数化变形模型此外，它们还依赖于深度学习来从图像中进行姿势和形状回归。2.3. 形状完成已经提出了各种方法来学习完成用深度相机获得的体积重建[6，18，5，24]。Firman等人[6]训练随机森林以将深度图像块映射到局部3D体素表示。Song等人[18]单个深度图像的完整体素表示。他们在合成的3D场景数据集上训练3D卷积神经网络。Scan- Complete[5]以分层方式应用3D CNN来完成和语义标记融合多个视图的点云的体素网格Yang等[24]提出了一种GAN风格的方法来从深度图像中预测完成的形状。最近提出的X截面[13]预测了物体沿射线的终点，该射线可与体积SDF融合[4]一起使用以获得完整的形状。我们的能量最小化方法包括物理上合理的约束，不需要从数据中学习。因此，它提供了一种正交方法，9594FF在未来的研究中与这些基于学习的方法进行有希望的组合。3. 方法我们的目标是使用与对象级3D地图相关联的深度测量，以便为每个对象生成全局一致的我们的方法的原因，被遮挡的三维表面，通过整合的对象之间的相交约束这背后的关键思想是，如果动态对象经过另一个已知表面的前面，则动态对象在观察方向上显示关于其最大延伸的一些信息。我们使用这些信息来推断物体在未被直接观察到的方向上的终点。我们的方法使用了一个前端，它执行动态对象级RGB-D SLAM。前端将场景分割为动态对象。它估计对象的轨迹和3D地图，这是从对象上的深度测量在这项工作中，我们的主要新颖之处是能量最小化后端，它将移动对象的密集3D重建与对象之间的物理可扩展性约束结合起来。为此，它考虑了对象之间的相交约束我们还包括船体约束，限制对象表面与观察到的自由空间。3.1. 前端动态SLAM前端将深度测量与对象级地图相关联。RGB-D SLAM方法可以是如果面位于截断距离内，则可以用来自对象另一侧的后续测量覆盖面。为了缓解这些问题，我们将深度帧存储为等距时间步长中的关键帧，并从它们计算定向点云（由点pi及其相应的法线ni组成），给定EM融合估计的姿势。然后，我们执行一个全局优化的有符号的距离场从这个点云生成一个全局一致的模型。EM融合的结构概述以及我们在优化中使用的数据见图。二、我们现在将解释我们所采用的优化框架的细节3.2. 全局SDF优化能量公式。已经提出了几种方法用于从定向点云全局优化有符号距离场（SDF），[2，11]。 Schroers等人[16]提出了这些方法的分类和概括在我们的工作中，我们采用Schroers等人的Hessian-IMLS能量公式。[16 ]第10段。我们优化的总能量是四个部分的总和，我们将在下面解释：E（u）=Edata（u）+Ereg（u）+Ehull（u）+Einter（u）。（ 一）给定测 量点pi 和它们 对应的法线ni ， Hessian-IMLS将可能的SDFu：n→R上的能量E定义为：EHessian−IMLS（u）=Edata（u）+Ereg（u）用于此目的，跟踪和重建移动对象，例如[14，15，23，7，19]。我们选择建立在我们的动态SLAM方法EM-Fusion [19]的基础上，并将其扩展为生成全局一致的对象模型，包括E数据（u）=联系我们i=1∫wi（u（x）−fi（x））2dx（二）关于对象相交的先验。在EM-Fusion中，我们将单个对象表示为截断的有符号距离场Ereg（u）=αHu（x）Ω（TSDF）。我们发现，符号距离场（SDF）表示的目标，包括相交的约束，因为它包含距离信息的最近的表面特别有用。此外，它还分别通过负值或正值提供3D点位于对象内部或外部的在EM-Fusion中，通过Mask R-CNN检测对象[10]并初始化为每个对象的TSDF卷。对于深度像素与对象模型的正确关联，在每一帧中，估计几何关联似然性a0并将其用作用于使用输入深度图跟踪和映射不同模型EM-Fusion中的新深度测量通过加权平均融合[4]进行集成，最大权重上限如[12]所示。 这种方法已被证明可以产生最大的在第三个月。这里，fi（x）= x−pi，ni表示点pi沿表面 法 线 ni 的 有 符 号 距 离 测 量 。 权 重 wi （ x ） =wσ（<$x−pi<$） ·ao（pi）是c。将d计算为高斯权重wσ（s）= exp（s/σ）2的乘积如[16]中所述，减少点对离表面更远的体素的影响，以及从EM融合减少点pi到对象o的关联可能性ao（pi）在我们的实验中，我们将σ设置为等于体素大小，并且当到测量的距离大于3σ时，限制权重。u的Hessian上的L2正则化子，Hu2遵循到最近表面的距离变化近似的直觉。线性地随位置变化。外壳线约束。Schroers等人还提出了一种可以包括在Hessian-IMLS中的船体约束，∫表面的似然估计[4]。但这种方法如果从不同侧面观察，则不能很好地映射对象的薄结构和边缘 此前观察到，Ehull（u）=βhull\Hmax{0，dhull（H，x）−u（x）}2dx，（三）9595除其他除其他EM-Fusion共同部分（我们的方法）Assoc. 可能性SDF优化深度e步骤输入点和法线船体约束路口约束e步骤m步（更构成Mask R-CNN初始化RGBTSDF模型和姿势优化的SDF模型图2：我们的方法在全局优化框架中使用输入深度图和估计的对象和相机姿势以及EM-Fusion [19]中的像素对象关联似然性来检索考虑物理可扩展性约束的优化SDF模型EM-Fusion使用Mask R-CNN [10]分割来初始化对象，然后通过从现有模型和输入深度图中估计几何关联可能性，在类似EM的框架中跟踪和映射它们。表面与观察到的自由空间。关于船体约束的图示，参见图3相交约束。我们建议为多个对象实现具有类似形式的相交约束，如等式（3）中的外壳约束。对于对象集合O中的每个对象O，我们根据多个（移动）在几个时间步长t中的对象：.do（x）= maxMaxΣ{−up（xt）}，0.（四）除其他t∈T，p∈O这里，xt=T（p）−1T（o）x表示点xtrans-t。t t图3：船体约束有效地限制了侦察。由物体O到物体P的坐标系形成在时间步t使用o和p的姿势在该时间步，在所观察的自由空间内的结构化表面。pt其中dhull（H，x）表示点x到外壳的距离H R3中的重建在于。 从本质上讲，这，分别为。直观地说，这个距离测量物体o的点x在物体p中的最大穿透力在所有的时间步长上。利用这个距离，我们定义能量项∫将重建的隐式曲面约束到合理的区域，并在他们的实验中证明是有益的[16]。以来Einter（uo）=βintermax{0，doIo-u0}2dx，（5）我们收集的数据不仅仅是原始的定向点云，其中，Io={x∈N|Do（x）>0}。 这一术语有利于但随着时间的推移，深度测量，我们实现船体H由场景中所有看不见的部分组成（隐藏在可见表面之后或视野之外）。此外，为了避免可能昂贵的精确计算d壳（H，x），我们使用体素大小作为所有点x∈/H的下界。这有效地限制了重建的不互相渗透的SDF图4illus-在几种情况下禁用相交约束。优化. 由于能量的所有部分都是凸的，并且在u中是可微的，我们遵循Schroers等人。[16]并使用Weickert等人提出的快速Jacobi算法实现优化。[22 ]第20段。9596N图4：我们的相交约束是基于相互渗透距离dinter的度量。它惩罚相互渗透的符号距离函数。左：两个互不相交的对象的相互穿透距离。中间：两个相交对象的情况。右：解决互穿后的距离。由于在我们的情况下，数据测量是稀疏的COM-与整体体积的大小，优化的背景体积上的最好的分辨率为2563只收敛缓慢的第一次运行。因此，我们提出通过首先在32 ×3的分辨率上仅优化来自等式（2）的E数据，并且随后通过将每个体素分成8个并将其用作下一级的初始化来即使没有插值，这种策略也产生了合理的快速和准确的结果。对于最精细的级别，我们优化等式（1）并且包括外壳和相交约束。由粗到细的方案仅适用于每个体积的第一次优化。在我们的实验中，先前的优化结果可以合理快速地适应后续优化运行中的新测量。此外，我们发现在稍后的时间步骤中应用粗到细方案实际上在某些情况下减慢了优化。这是由于在先前的优化运行中已经恢复的较低分辨率下删除了精细细节。错误的数据和不准确的检测。[19]中动态对象的检测依赖于Mask R-CNN [10]。在低帧率下进行检测。这可能会导致动态对象在移动到自第一个视图以来的主要静态。在我们的优化过程中，在对象和背景模型中包括这些点将产生相交约束的冲突数据项为了避免这种情况，我们使用由EM融合估计的体积前景概率，并从所有其他模型中移除对象模型的前景区域中的所有点测量虽然此策略有助于处理静态对象，但当模型相互接触时可能会导致凹痕，因为它也可能会从其他模型中删除正确的点测量值。在EM融合未检测到静态对象的场景中可能不需要订购不同卷的优化。如等式（4）中公式化的相交约束引入了鸡和蛋问题。对象o的优化依赖于所有其他模型的优化结果，而这些结果依赖于o的优化结果。为了解决这个问题，我们观察到，平面表面（因为它们是常见的，例如，人造环境中的墙壁和地板）可以使用等式（2）中的Hessian范数先验合理地完成。因此，为了计算等式中的相交约束，（4）利用背景模型的优化SDF，在背景模型中近似up使用点测量的对象模型的情况，即，风景因此，结合了与背景或其它对象模型的点关联，这是困难的up（x）1Ni=1 wi（x）fi（x）.稍后删除。由于EM-Fusion主要用于跟踪刚性物体，因此可以公平地假设模型中以前未被占用的空间将来不会被同一物体占用。因此，我们不允许将该空间中的点与相应的模型相关联，并设置fi（x）=wi（x）= 0，其中x∈H。注意，这样，船体H只会随着时间而变小。此外，EM融合产生平衡的关联可能性的背景模型和对象，重新4. 实验我们在Co-Fusion提供的数据集上进行定性和定量实验来评估我们的方法[14]。我们使用2个真实场景和1个合成场景，其中最多3个对象独立移动。除了定性的结果，我们还提供了定量的结果，我们在合成场景中使用地面真实网格的对象的形状完成。在一项消融研究中，我们分析了其效果-9597我们的能源最小化方法的各个组成部分的有效性。我们根据经验选择参数来加权能量的不同部分，α=0。005，βhull=βinter= 0. 001，并为快速雅可比优化器选择20的周期长度[22]。我们在整个实验中只使用了一组参数4.1. 定性结果我们在图中提供了我们的方法的定性结果。五、前三个示例显示了同一时间步长的不同视点，而最后一个示例（泰迪熊的放置）说明了形状如何随时间变化。由EM融合估计的TSDF重建只能考虑对象的可见部分。当使用我们的全局优化方法，没有外壳和相交的约束，对象表面继续尽可能平滑的对象地图的边界。外壳约束包裹曲面，使其受到观察到的自由空间的限制。然而，该表面可以自由地与物体下方的背景表面相交。当包括相交约束时，避免了然而，如果没有外壳约束，交叉约束引入的梯度可能会在实际对象之外的区域继续，导致不必要的零交叉（见图4中的第4（五）。结合外壳约束，这些不需要的零交叉被删除，通过惩罚观察到的自由空间中的负SDF值因此，物体形状是封闭的，并且很好地近似于实际物体形状。更多定性的例子，包括随着时间的推移优化表面的发展，可以在补充视频中找到。4.2. 定量结果评价指标。我们使用[20]1中建议的措施和工具评估形状重建。该方法在从SDF和地面实况网格重建的网格上均匀地采样10，000个点。然后计算重建网格中每个样本点到地面实况网格的平均距离（点到三角形距离）作为精度，并计算每个样本从地面实况网格到重建网格的平均距离作为完整性。不幸的是，对于该评估，数据集未提供地面实况网格的对齐。因此，我们通过选择网格上的点对应来手动将地面实况网格的比例和姿态与我们的输出网格请注意，我们只需要为每个优化的地图对齐每个对象一次（使用完整的方法），因为所有重建都基于EM融合结果并共享相同的姿态估计。1https://github.com/davidstutz/mesh-evaluation结果 表1列出了Co-Fusion数据集的合成car 4序列上对象我们的全优化方法大大提高了TSDF地图形状的完整性。对于三个对象中的两个，精度朝向TSDF贴图降低然而，这是预期的，因为我们的方法inpaints新的对象部分，没有建模的TSDF。尽管如此，我们的完整方法的准确性优于任何优化方法的变体。我们观察到，虽然船体约束往往提高精度，相交约束往往提高完整性。我们的结论是，船体和交叉约束是重要的，以实现完整的模型的性能。在图6中，我们显示了每个网格顶点的准确性和完整性（点到三角形的距离）。我们的方法依赖于准确的姿态估计的underlying动态SLAM方法。在姿态估计不准确的情况下，外壳和相交体积也可能变得不准确，从而导致表面重建不准确虽然我们在实验中没有观察到这个问题，但数据项E数据（2）可以在一定程度上缓解这一问题。计算时间。相交约束可以在GPU上并行计算多个体素。在我们的实验中，这种计算平均每卷需要不到10毫秒。类似地，数据测量和外壳约束可以在并行硬件上快速输入。优化本身更耗时。对于我们实验中的对象卷，我们对Hessian-IMLS [16]变体的实现了几秒的运行时间0.98s，峰值19.8s）。峰值运行时间通常发生在初始化后需要从稀疏测量填充大部分为空的卷时。我们认为进一步的并行化和提高我们的方法的运行时效率作为未来的工作。Schroers等人[16]对于分辨率高达4003的卷，报告运行时间在1 s和4 s之间（我们的分辨率分别为对象/背景的643/25635. 结论在本文中，我们提出了一种新的能量最小化方法，在动态场景中的对象形状完成。我们将船体和物体之间的相交约束到一个配方，优化隐式表面的体积表示。我们的方法的数据项获得的动态对象级SLAM前端检测，分割，跟踪和映射的对象，在本地TSDF卷。我们在我们的实验中证明，我们的配方可以实现物体形状完成这是物理上合理的。我们分析了约束条件对物体形状重建的我们的方法提高了TSDF重建的完整性，并且可以实现9598输入颜色TSDF基线基线+外壳基线+相交截面（我们的）图5：Co-Fusion序列上的定性对象形状重建结果。从上到下：卡车（car4），时钟（滑动时钟），瓶子和垃圾箱（地点物品），以及泰迪熊（地点物品）。TSDF形状仅包括对象的观察部分。外壳线约束在观察到的自由空间中限制曲面，而相交约束在与其他形状相交处关闭对象形状。我们的完整方法恢复接近实际对象形状的闭合曲面。请注意，我们没有显示即使物体的部分未被观察到，也具有高精度在未来的工作中，我们希望研究进一步正则化约束的incor- poration，以实现改进的场景重建。目前，我们的方法还不具备实时能力。卷的优化需要从下- der一秒到几秒。这仍然可以是有趣的-在与前端并行的线程中执行后端优化。设计提高运行时效率的方法是未来研究的一个有趣方向。鸣谢。我们感谢网络谷、马克斯·普朗克学会和德国联邦储备委员会的支持，9599卡车汽车飞机方法累积补偿TSDF0.009495440.03755190.002045280.02771460.03648240.0281357基线0.03338110.03277220.01544610.01960670.1568720.0229247基线+船体0.02344130.0239310.01177280.01229790.1509250.0174758基线+交点0.03258380.01164230.01633220.01090240.1731950.0202907合作部门（我们的）0.008786590.01096510.005219350.01021690.08718820.016172表1：我们方法的不同变体的Co-Fusion car 4序列的准确性和完整性（越低越好）。最好用粗体。我们的完整方法显然是优越的完整性，也表现良好的准确性，尽管事实上，它TSDF基线基线+船体基线+相交剖面（我方）图6：Co-Fusion car 4序列上对象形状重建结果的准确性（每个对象的顶行）和完整性（每个对象的底行）。颜色指示网格顶点到其他网格的距离。从上到下：卡车，汽车。我们的完整方法在准确性和完整性方面明显优于所有其他变体。教 育 和 研 究 部 （ BMBF ） 通 过 Tuebingen AI 中 心（FKZ：01IS18039B）。作者感谢国际马普研究学校智能系统（IMPRS-IS）支持迈克尔Strecke。9600引用[1] M. Alexa ， J. Behr ， D. Cohen-Or ， S. Fleishman ， D.Levin 和 C.T. 席 尔 瓦 计 算 和 绘 制 点 集 曲 面 。 IEEETransactions on Visualization and Computer Graphics，9（1）：3-15，2003年1月。2[2] 卡拉克里和加百列·陶宾。SSD：平滑符号距离表面重建。Computer Graphics Forum，30（7）：1993-2002，sep 2011. 二、三[3] 丹尼尔·克雷默斯和卡林·科列夫通过凸域上的凸泛函实现多视点立体和sil-houette一致性. IEEE Transactions onPattern Analysis and Machine Intelligence，33（6 ）：1161-1174，2011年6月。2[4] Brian Curless和Marc Levoy。从距离图像建立复杂模型在1996年美国纽约州纽约市SIGGRAPH'96的第23届计算机图形和交互技术年会的会议记录中ACM出版社二、三[5] Angela Dai ， Daniel Ritchie ， Martin Bokeloh ， ScottReed，JürgenSturm，andMatthiasNießner.ScanComplete：用于3D扫描的大2018年IEEE/CVF计算机视觉和模式识别会议。IEEE，2018年6月。一、二[6] Michael Firman，Oisin Mac Aodha，Simon Julier，andGabriel J.布罗斯托从单个深度图像结构化预测未观察到的2016年IEEE，2016年6月。一、二[7] RyoHachiuma，ChristianPirchheim，DieterSchmalstieg ， and Hideo Saito. DetectFusion ： 在 实 时SLAM中检测和分割已知和未知的动态对象。英国机器视觉会议（BMVC），2019年。二、三[8] MohamedHassan ， VasileiosChoutas ， DimitriosTzionas，and Michael Black.用3D场景约束解决3D人体姿势模糊性。2019年IEEE/CVF计算机视觉国际会议（ICCV）。IEEE，2019年10月。2[9] 杨娜·哈森，古尔·瓦罗尔，迪米·特里奥斯·齐奥纳斯，伊戈尔·K·勒瓦蒂赫，迈克尔·J.Black，Ivan Laptev，andCordelia Schmid.学习手和操作对象的关节重建。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR）。IEEE，2019年6月。2[10] KaimingHe ， GeorgiaGkioxari ， PiotrDolla'r ，andRossGir-shick.面罩R-CNN。在2017年IEEE国际计算机视觉会议（ICCV）上，第2980-2988页。IEEE，2017年10月。三、四、五[11] Michael Kazhdan，Matthew Bolitho，and Hugues Hoppe.泊松曲面重建第四届欧洲图形学几何处理研讨会论文集，SGP’06，第61-70页，瑞士，瑞士，欧洲制图协会。二、三[12] Richard A. 作 者 ： Newcombe ， Shahram Izadi ， OtmarHilliges，David Molyneaux，David Kim，Andrew J.戴维森，这是科希，杰米·肖顿，史蒂夫·霍奇斯，安德鲁·菲茨吉. KinectFusion：实时密集表面映射和跟踪。2011年 ， 第 10 届 IEEE 混 合 与 增 强 现 实 国 际 研 讨 会（ISMAR），第127-136页。IEEE，2011年10月。3[13] Andrea Nicastro，Ronald Clark，and Stefan Leutenegger.X- 截 面 ： 增 强 的 RGB-D 融 合 的 截 面 预 测 。 2019 年IEEE，2019年10月。2[14] 在鲁恩茨和卢尔德，我很高兴。Co-Fusion：实时分割，跟踪和融合多个对象。在2017年IEEE机器人和自动化国际会议（ICRA）上，第4471-4478页。IEEE，2017年5月。二三五[15] 马 丁 · 鲁恩茨、 莫 德 · 布 菲 耶 和 卢 尔 德 · 阿 加 皮 托 。MaskFusion：实时识别、跟踪和重建多个移动物体。在2018年IEEE国际混合和增强现实研讨会（ISMAR）上，第10-20页。IEEE，2018年10月。二、三[16] Christopher Schroers，Simon Setzer，Joachim Weickert.有向点曲面重构的变分分类法。Computer GraphicsForum，33（5）：195-204，aug 2014. 二三四六[17] 放大图片作者：Chen Shen，James F. O'Brien和JonathanR. Shewchuk.隐式曲面的插值与逼近ACM Transactionson Graphics，23（3）：896，2004年8月。2[18] 宋舒然，余菲雪，曾志祥，天使X Chang，ManolisSavva，and Thomas Funkhouser.从单个深度图像的语义场 景 完 成2017 年 IEEE计 算 机 视 觉 与 模 式 识 别 会 议（CVPR）。IEEE，2017年7月。一、二[19] 迈克尔·斯特雷克和约翰·斯特雷克。EM-Fusion：具有概率数据关联的动态2019年IEEE/CVF计算机视觉国际会议（ICCV）。IEEE，2019年10月。一、二、三、四、五[20] David Stutz和Andreas Geiger。从弱监督的激光扫描数据中学习3D形状完成。2018年IEEE/CVF计算机视觉和模式识别会议。IEEE，2018年6月。6[21] Benjamin Ummenhofer和Thomas Brox。十亿个点的全球密集多尺度重建。2015年IEEE计算机视觉国际会议（ICCV）。IEEE，dec 2015. 2[22] 约阿希姆·韦克特，斯文·格吕维尼，克里斯托弗·施罗德和r的布鲁恩。用于基于PDE的图像分析的循环方案International Journal of Computer Vision，118（3）：275-299，dec 2015. 四、六[23] Binbin Xu，Wenbin Li，Dimos Tzoumanikas，MichaelBloesch ， Andrew Davison ， and Stefan Leutenegger.MID-融合：基于八叉树的对象级多实例动态SLAM。2019年IEEE，2019年5月。二、三[24] Bo Yang ， Stefano Rosa ， Andrew Markham ， NikiTrigoni，and Hongkai Wen.从单个深度视图重建密集的3D 对 象 。 IEEE Transactions on Pattern Analysis andMachine Intelligence ， 41 （ 12 ） ： 2820-2834 ， dec2019。一、二