动态场景实时重建的单深度相机融合方法

ArticulatedFusion：使用单个深度相机实时重建李超1[0000 - 0002 - 8046 - 9110]、赵哲恒1、郭小虎1德克萨斯大学达拉斯分校{Chao.Li2，Zheheng.Zhao，xguo}@ utdallas.edu抽象。 本文提出了一种实时动态场景再现方法，能够再现运动，几何形状，并同时从一个单一的RGB-D相机给定的现场深度流分割。我们的方法融合几何帧的帧，并使用分割增强的节点图结构，以驱动注册步骤中的几何形状的变形。提出了一种两级节点运动优化算法节点运动的优化空间和物理上合理的变形范围大大减少，利用关节运动的优势，这是解决了一个有效的节点图分割方法。实验结果表明，与以往的基于融合的动态场景重建方法相比，该方法对切向运动和遮挡运动的重建结果具有较好的鲁棒性。关键词：融合，关节，运动，分割1介绍动态场景重建是数字世界建设中的一个重要课题。它包括捕获和再现几何形状、外观、运动和骨架，这使得能够为VR/AR场景（如Holo-portation [5]）进行更逼真的渲染一个示例是重建的几何结构可以直接用于虚拟场景，并且关节运动可以被重定向到新模型以生成新动画，从而使场景制作更高效。虽然许多努力已经致力于这一研究领域，该问题仍然具有挑战性，由于非常大的解决方案空间，但实时渲染要求的VR/AR应用程序。近年来，动态场景重建的体深度融合方法，如DynamicFusion[17]，VolumeDeform [10]，Fusion4D [5]和基于反照率的融合[8]，为人们在该领域打开了一扇新的这种类型的方法使得能够在表面几何形状的准确性和完整性方面优于时间重建模型的质量改进。在所有这些工作中，通过单个深度相机的融合方法[17，10]更有希望推广，因为它们的成本低然而，这组方法仍然面临着一些挑战性的问题，如单视图的高遮挡，有限的计算资源以2C. Li，Z.赵和X。郭实现实时性能，并且没有几何/骨架先验知识，并且因此被限制于有限的运动。DoubleFusion [30]可以通过添加身体模板作为先验知识来重建内部身体和外表面，以实现更快的运动。后来，KillingFusion [21]和SobolevFusion [22]被提出来重建具有拓扑变化和快速帧间运动的动态场景DynamicFusion是从单个深度相机实时实现然而，如BodyFusion[29]的工作所示，通过利用骨架先验可以显着提高其鲁棒性在本文中，我们提出将关节运动先验加入深度融合系统。我们的方法有助于这一领域的限制，从骨架先验为基础的方法，以骨架。在我们的世界中，许多物体的运动，包括人体运动，都遵循关节结构。因此，关节运动可以由基于骨架/集群的运动表示，并且可以从非刚性运动中提取作为先验。我们的自适应分割继承了传统骨架结构的刚性特征，而不需要任何预定义的骨架。分段将所有标记为具有尽可能接近的变换的相同段的节点约束，并且可以减小优化问题的解空间因此自适应分割可以导致更好的重建结果。我们的方法迭代地优化节点图的运动场及其分割，这有助于彼此获得更好的重建性能。将先前的关节运动整合到重建框架中有助于非刚性表面配准和几何融合，而表面配准结果提高了分割及其重建运动的质量。虽然这种统一的优点是显而易见的，在实践中，设计一个实时算法，以利用这两个方面的优点仍然是一个未研究的问题，特别是如何分割的节点图的运动轨迹的基础上，我们精心设计了我们的关节融合系统，以实现运动，几何形状和分割的实时同步重建本文的贡献如下：1. 我们提出了ArticulatedFusion，一个系统，涉及注册，分割和融合，并使实时重建的运动，几何形状和分割的动态场景的人类和非人类的主题。2. 一种两级配准方法，可以缩小优化解决方案的空间，并导致更好的重建运动在许多具有挑战性的情况下，与节点图分割的帮助。3. 提出了一种新的实时分割方法，通过合并和交换操作，解决了基于运动轨迹的一组变形节点2相关工作最流行的动态3D场景重建方法是使用预定义的模型或骨架作为先验知识。这些方法中的大多数侧重于关节融合3人体部分的重建，如面部[14，3]，手[24，25]和身体[20，27]。提出了其他技术来通过使用预扫描的几何结构[13，32]作为模板而不是预定义的模型来重建一般对象。为了进一步消除对几何先验的依赖，提出了一些无模板方法，以利用更高级的结构来合并和存储跨运动序列的几何信息Wand等人[28]提出了一种算法，以分层方式对齐和合并相邻帧对，以逐渐构建模板形状。最近，通过逐渐融合来自单视图深度相机的多帧深度图像，已经在没有任何形状先验的情况下重建了精细的3D模型[18，17，10，5]。Innmann等人[10]提出将SIFT特征添加到ICP配准框架中，从而提高运动重建的准确性。我们的方法由Peckelyn和Gotsman的方法[ 19]来描述，然而他们的方法需要用户预先手动分割范围扫描，而我们实时自动解决分割。ChangandZwicker的方法[ 4]也是对人类记忆的一种保留，并为一个框架采取了更简单的恢复结构。 Tzion和G al l的R e c e n t w或k [ 26]介绍了一种从单个相机的深度数据构建铰接对象的操纵模型的算法。但它需要预先扫描的目标对象作为几何先验知识。Guo等人[6]提出了一种L0正则化器，用于仅在关节运动的关节上约束局部非刚性变形，这减少了解空间并产生物理上合理且鲁棒的变形。然而，我们的方法被设计为实现实时性能，而他们的方法需要大约60秒用于每个帧的L0我们的直接解决了分割的人体在建议的能量函数，而他们的隐含涉及的关节运动属性在L0正则化。他们的方法还需要一个预扫描的形状作为模板。Yu等人的方法[29]是与我们的工作最相关的方法，但它需要第一帧的骨架信息作为初始化，而我们的方法不需要任何先验信息。我们的方法可以在重建过程中估计动态场景的分割。因此，它也适用于预定义的骨架不可用的非人类对象，如图2所示。图6和图8。还有一个丰富的身体工作提出了关节分解的动画网格序列[11，12]。这两种方法只能工作在固定的网格连接的动画序列，并不能满足我们的实时重建的要求。3概述图1示出了给定从较早帧重建的几何形状、运动和分割的情况下处理一个帧的流水线。[17，10，8]，我们的系统以逐帧的方式运行。在我们的系统中使用了两种主要的数据结构。几何形状用截断符号距离函数（TSDF）表示在体积中，而分割和运动在图1中定义。类似于DynamicFusion [17]的控制节点的嵌入式图4C. Li，Z.赵和X。郭图1.一、我们的管道概述橙色框表示我们的两级节点运动优化，蓝色框表示深度和节点图分割的融合第一个帧被选为规范帧。我们的系统的第一步是两级节点运动优化（Sec.4.2）。在该步骤中，估计控制节点从规范帧到当前帧的运动这是通过首先使用重建的运动和早期帧的分割来扭曲网格，然后解决两级优化问题以使该网格与当前深度图像相匹配来实现的。通过行进立方体算法[15]从TSDF体积我们的节点运动优化的第一级运行在每个分段的集群，从而可以减少解决方案的空间，使优化收敛速度更快。第二级优化在每个单独的节点上运行，因此它可以跟踪目标对象的高频 细 节 。 深 度 被 融 合 到 TSDF 体 积 中 以 获 得 新 的 集 成 几 何 形 状（Sec.4.3）。最后一步是节点图分割，其中节点通过我们的新聚类方法分割，以最小化节点的铰接簇变形与其非刚性变形之间的误差（Sec.4.4）。这种分割使得下一帧的节点运动估计比仅采用非刚性估计执行得更好。4方法4.1准备和初始化在我们的系统中，仅使用单个深度相机来捕获深度信息。我们的流水线的输入是深度图像序列{Dt}。我们的流水线的输出包括目标对象的融合几何V、嵌入式图分割C和两级扭曲场{Wt}，其中Wt表示从规范帧到每个活动帧t的非刚性节点运动。我们系统中的TSDF体积和二级扭曲场与DynamicFusion [17]中描述的相同对于第一帧，我们直接将深度信息集成到规范TSDF体中，使用Marching Cube算法从规范TSDF体中提取三角网格M，均匀采样变形节点关节融合52u并构造节点图来描述非刚性变形。为了搜索最近的相邻节点，我们还在规范体积中创建了一个密集的k-NN场。因为我们的分割方法是基于从标准帧到活动帧的运动轨迹，所以我们不能得到第一帧的因此，我们采用DynamicFusion [17]的非刚性配准方法将网格与第二帧对齐。4.2登记如上所述，我们的系统的第一步是将规范网格M拟合到实时帧t的深度图像Dt。我们有当前网格M（通过融合来自先前帧的深度获得），分割C和运动场Wt-1。使用帧t中新捕获的深度，本节中呈现的算法估计Wt以使M与Dt拟合。为此，我们提出了一个两级优化框架的基础上线性混合皮肤（LBS）模型和节点图运动表示。通过首先在LBS模型中并且然后在节点图模型中最小化以下能量函数来解决优化Etotal（W t）=ωfEfit+ωrEreg，（1）其中Efit是用于最小化变形顶点与其在深度图像上的对应点之间的拟合误差的数据项，并且Ereg将运动正则化为几乎与p〇sible一样严格。ωf和ωrareco ntr o n g e to lig h t o l e n f e r e n t o l e n f e n t o l g ht o l e n fe n t o l ght o l e nf o l e n t o l e n f e n t o l g e n t o l e n f o lge n t o l e n fo r e rm s o l e n f o l e n f o l g e n er e n e rms o l e n f o l g e ne 在所有我们的示例中，我们设ωf=1。0和dωr= 10。0在求解能量函数之前，我们通过为网格M上的每个顶点vi定义以下蒙皮权重，基于节点图及其分割来构建两级变形模型：w（l）=. 1ΣkΛΣj=1 λi，jgjl=1，（二）i1kΛj=1λi，jhjl=2，其中，所述值不等于所述值，并且λi，j是所述新的值。ingh einfu eoftheΣej=exp−vi−xj2/（2σj）2。Λ是归一化系数，即相同i的所有空间权重λi，j的总和。这里，σj是给定的控制节点xj的影响半径。当lev_el=l时，g_j=（g_j，l，g_j，2，… gj，m）是连续滚动节点到多个计算单元的基础。因为我们在一个地方。g到ecluster，onΣlygjiselement1，所有其他元素为0。w（1） =w（1），w（1），…，中文（简体）包括剥皮i i，1我2i，m顶点vi的权重w.r.t.m个簇。 当级别1 = 2时，h j=（hj，1，hj，2，...，h（j，k）是V（j，k）的新边界的边界。ingodexjtooitsΣelf. 我们在这里，在这里，在这里其他元素为0。w（2） =w（2），w（2），.，中文（简体）包括蒙皮重量i i，1我2i，k关于顶点vi w.r.t.其k-NN控制节点。拟合项E拟合表示点到平面能量，如下所示：E拟合（Wt）= Σ。。nti我tΣΣ2vi−ui、（3）6C. Li，Z.赵和X。郭我我如果是由以下模块定义的形式：Σ（l）。tt Σvi=wi，jJRj vi +tj.（四）这里vi是M上的顶点，{Rt，tt}是未知的旋转和平移J J第j个集群（级别l =1）或第j个节点（级别l= 2）的第j个节点的第j个集群（级别l = 1）或第j个节点（级别l = 2）的第j个节点的第j个集群（级别l= 1）或第j个节点（级别l = 2）的第j个节点的第j个集群（级别l = 1在优化过程中解决。ut是深度帧Dt上针对vi的对应3D点，并且nut表示其法线。为了获得这样的对应对，我们用当前扭曲场渲染变形网格M以排除被遮挡的顶点并将可见顶点投影到Dt的屏幕空间上。然后我们查找具有相同坐标的对应像素。对于位于投影的2D图像的轮廓上的顶点，我们采用Tagliasacchi等人。方法[ 24] -使用2D D同步变换形式（DT）来定位所述重建像素并将其反向投影到3D相机空间。这个对应搜索当在两个相邻框架之间的垂直于屏幕空间的方向上遇到大的变形（切向运动）时，该机构可以保证更好的会聚。图2示出了具有和不具有dis-carding的结果的比较。(a) 第2帧的DT（b）无DT（c）有DT图二、跟踪结果从一个帧到其下一帧的比较，没有和具有距离变换（DT）对应。变换对应。图2（a）是来自两个相邻帧的点云。右侧的子图示出了基于深度图像轮廓的计算的距离变换。图2（b）表示在不使用针对轮廓点的距离变换对应的情况下的跟踪重建结果，而图2（b）表示在不使用针对轮廓点的距离变换对应的情况下的跟踪重建结果。图2（c）表示距离变换对应搜索的结果，其比图2（c）中的结果收敛得更好。第2段 （b）分段。正则项Ereg是尽可能刚性的约束：ΣEreg（Wt）=Σα（l）（gj，gj）·Rtxj+ tt-Rt xj-tt2，（5）j1j2∈N（j1）12j12j1J22j2其中N（j-1）表示第j-1个节点的相邻节点的集合a（l）（gj1， gj2）是聚类感知权重。在级别l= 1中，当第j1个节点和第j2个节点属于同一簇时，α（1）（gj1， gj2）= 1，否则α（1）（gj1， gj2）= 0。在水平l= 2中，α（2）（gj1，gj2）总是等于1。这种正规化关节融合7如果由于我们的单相机捕获环境而导致一些对象区域被遮挡，则该术语对于确保所有顶点将尽可能刚性地随可见区域移动是重要的最小化Eq. (1)是一个非线性问题。在级别l=1中，我们求解每个簇的变换，而在级别l=2中，我们求解每个节点的变换。这两个层次都是通过高斯-牛顿迭代求解的。在每次迭代中，该问题围绕来自以下的变换进行线性化：JJx=Jf，其中J是来自以下的函数f（x）的J对象：Etal（x）=f（x）f（x）。线性系统被求解以获得x的更新的扭曲函数，或者利用扭曲表示[16]来表示每个簇或节点的6D运动参数的结果。为了满足实时性要求，我们使用与Fusion4D [5]相同的方法：在GPU上构造J J和J f，然后采用预条件共轭梯度法（PCG）求解变换。4.3深度融合在求解每个节点的变形后，我们将深度信息集成到规范框架的TSDF体积中，并对新添加的表面进行均匀采样以更新节点[17]。然而，该积分方法可能由于体素碰撞而导致问题：如果若干体素被扭曲到活动帧中的相同位置，则所有这些体素的TSDF将被更新。为了解决这种模糊性，我们将Fusion4D [5]中提出的方法修改为更严格的策略。如果规范帧中的两个或更多体素被扭曲到相同的位置，则我们拒绝它们的TSDF积分。该方法避免了由于体素碰撞而生成错误的表面。4.4分割节点图C={Cn}的最优铰接聚类可以基于从规范帧到活动帧t的运动轨迹来求解。我们假设每个簇与刚性变换{Rt，tt}相关联。以下是n n降低能量函数测量活动框架t中刚性变换的节点位置与其非刚性翘曲位置之间的误差：ΣmE段=Σ Rtx + tt− y tn nn=1x∈Cn其中t是活动帧的索引，n是聚类的索引，m是聚类的总数，x是节点在规范帧中的位置，并且yt是其在被扭曲到帧t之后的对应节点位置。x和yt具有一对一的对应关系，因为yt都从规范框架变形最小化Eq.(6)隐式地包括运动轨迹的信息通过使用我们下面的方法，未知聚类{Cn}和每聚类跨构造{Rt，tt}可以同时且有效地求解虽然他们n n8C. Li，Z.赵和X。郭nNQnn的相关性，我们发现{Rt，tt}有一个封闭形式的解决方案，固定集群-n n在Eq. (6)[9、23]。在本文中，我们采用合并和交换的思想如Cai等人提出的[1，2]同时求解{Cn}和{Rt，t}。n n现在，我们制定的最佳聚类的能量最小化方程(6)同时保持它们的刚性变换{Rt，tt}固定：n nΣmΣ{Cn}m=minRtx + t t− y t（七）n=1n nCnn=1x∈Cn对于每个聚类Cn，我们将其在规范框架中的质心定义为Cn：Σx∈Cnxcn =Σ，（8）x∈Cn1其对应的顶点质心Ct也是如此在活帧测试中。那么方程(7)可以通过应用{Rt，tt}的封闭形式解来重写：n nΣm其中：{Cn mn=1=minCnE*（C），（9）n=1E（C）=Σ [（x−c）（x −cΣ3）+（yt− ct）（yt− ct）]− 2σt，（10）n nnx∈Cnn n n qq=1和σt是互协方差矩阵At（Cn）的奇异值：Σ⊤At（Cn）=（x − cn）（yt − ct）。（十一）x∈Cn当量可以在两个阶段中解决：通过合并操作进行初始聚类，以及通过交换操作进行聚类优化。通过合并操作进行初始聚类：受Cai等人的曲面简化思想的启发。[2]中，我们定义合并操作以将规范框架的节点划分为m个簇作为初始化。这将为基于交换的优化的下一阶段产生良好的初始聚类。在合并操作的第一步中，每个节点被视为一个单独的集群，形成潜在的合并对与其相邻的集群。当一对集群被合并为新集群时，计算合并成本并将其与该合并操作相关联。对于合并操作（Ci，Cj）→Ck，合并成本定义为：E（Ck）-E（Ci）-E（Cj）。 Fig. 3示出了这种操作的概念。堆被维护以存储当前集群中所有可能的合并操作，与作为键值的对应成本配对接下来，执行最小成本合并。每次从堆中选择最小成本对后，只需要进行本地更新来维护合并堆的有效性：堆中两个合并集群的剩余对被删除，并且新集群与其直接邻居之间的潜在合并是}关节融合9(a)（b）（c）（d）图三.一对群集的合并和交换操作。Ci和Cj合并为Ck。(a)在合并之前。（b）在合并之后，新的集群ck的质心不同于ci和cj两者。（c）中心节点xl从Ci交换到Cj。在交换之前聚类：区域蓝色是Ci，并且区域绿色是Ci。 圆圈表示群组中的节点。（d）以如下方式计算：区域B是Ci′，区域G是Cj′。在完成此操作后，将从Ci ′toCj′中删除任意一个索引。插入。迭代地执行该步骤，直到集群的数量达到M. 如补充资料所示，合并成本可以用复杂度为O（1），与每个簇中的节点数无关通过交换操作进行聚类优化：仅贪婪地合并作为初始化的集群的最小成本对不能保证方程的最优解。（九）、交换操作的第二阶段可以基于上述初始化继续对其进行在贪婪合并过程中，每次合并一对集群时，来自两个集群的节点都被绑定到驻留在同一个新集群中。这些节点不能自由地决定去哪里，所以交换操作是必要的，以放松节点和集群之间的绑定从上述初始化。交换操作被定义为将边界节点从其所属的簇Ci交换到可交换簇。边界节点Xl是驻留在Ci中并且具有不属于Ci的至少一个相邻节点Xj∈N（Xl）的节点。我们将N（X1）驻留的集群的集合表示为交换可用集群NCX1。从Ci到Cj的交换xl是否∈NCxl由交换操作之后的能量变化的符号确定我们称这种能量变化为交换成本。如果交换成本小于0，这意味着这种交换可以降低我们的目标函数Eq的能量。（六）、否则，当前聚类最适合于被测试节点，并且不需要进一步的操作。如果在NCxl中存在多于一个可以优化聚类的聚类，则我们选择导致能量的最大降低的更准确地说，如补充材料中所示，交换成本可以以O（1）的复杂度有效地计算图图3（c）和图3（d）示出了通过交换来自C1到Cj的中心节点的典型交换操作，其中，新的C1’和Cj’中的中心节点被替换。为了实现实时重建，我们需要加速分割步骤。我们只使用合并操作后，注册的网格规范框架与第二帧。对于后续帧的分割步骤，我们用先前的结果初始化聚类，然后每个10C. Li，Z.赵和X。郭基于这种初始化的表单交换。对于深度融合后新加入的节点，其簇归属由其最近的现有邻居节点确定由于这样的初始化，堆结构的维护不再需要。我们可以使用GPU根据等式2并行计算互协方差矩阵At（Cn）和能量E*（Cn(10)和（11）。图4.第一章分割改善了重建结果，用于在平行于屏幕的方向上的快速帧间运动在每组中从左到右：输入深度图像，我们的方法的重建结果，以及仅使用DT的DynamicFusion的结果。图图4示出了我们的方法与在配准步骤中使用DT的DynamicFusion之间的比较示例虽然这两种情况下使用基于DT的对应计算，我们的方法是更好的重建结果，因为分割的引入。簇的数量可以被给定为常数，或者可以通过在合并步骤中添加能量阈值来动态地估计。当在一次合并操作之后增加的能量大于阈值时，合并步骤停止。该机制可以自动确定簇的数量考虑到实时性能，我们可以将误差高于给定阈值的任何簇分成两个新簇，并在交换步骤中调整新簇的边界簇分裂可以通过将所有原始节点合并到两个新簇中来实现由于该集群中只有少量节点需要重新合并，因此仍然可以保持实时性能由于本文的空间限制，有关动态聚类的详细信息，例如聚类数量如何影响结果，以及重建结果的比较，可以在我们的补充材料中找到。5个结果在本节中，我们描述了我们的系统的性能及其实现的细节，然后与最先进的方法和评估进行定性比较。我们拍到了10多个人表演的镜头-自然的身体动作，如关节融合11(a) 身体转动（b）拳击（c）滚臂图五、通过我们的系统选择人体运动重建结果对于每个运动，从左到右：输入深度、重建几何、分割。(a) 然后关闭（b）“图六、我们的系统选择的非人类重建结果（a）示出了在1/4位置处弯曲布管的重建结果;（b）示出了我们的在“DONKEY”h和pup p et t上进行规划的结果。武器”和“交叉武器”等。我们还在现有数据集上实验了我们的算法，用于关节模型重建[26]。图5示出了我们针对运动“身体转动”、“拳击”和“滚动手臂”的一些重建结果我们的ArticulatedFusion系统能够同时进行几何、运动和分割重建。如图5(c)通过变形聚类对人体进行分割，根据手、手臂和头部的关节运动特性，将手、手臂和头部分割出来图6示出了我们的系统还可以在没有任何先前骨架信息或模板的情况下重建非人类运动序列的它自动学习控制节点聚类的分割如图2的第2列和第4列所示。如图6（a）和（b）所示，可以在具有运动和精细几何形状的重建过程期间自动生成忠实分割。5.1性能我们的系统是完全实现在一个单一的NVIDIA GeForce GTX 1080图形- ics处理单元使用OpenGL API和NVIDIA CUDA API。 流水线平均每帧运行34-40 ms。主要步骤的时间中断如下（表1）：深度信息的预处理（包括双边滤波和深度法线的计算）需要1 ms;结果的呈现需要1 ms。对于两级节点运动优化，我们分别运行5次和2次迭代。在每次迭代中，为了求解线性方程，我们运行10次PCG迭代。体素分辨率为5mm。对于每个顶点，使用8个最近节点作为其控制节点。段数的范围为12C. Li，Z.赵和X。郭Table1. 对于每个内存（ms），将一个级别的组件放入同一个内存框架。列“Init”是指将数据存储并上传到数据表的时间。 列“DT”是用于计算的表格。列“水平1”和“水平2”代表解决水平的时间限制1和1级-2区域。 列“T S DF”表示对T S DF块中的数据进行操作的时间。 列“Se g”是数据段的定义。数量Segs数量节点Init（毫秒）DT（毫秒）1级（毫秒）2级（毫秒）TSDF（毫秒）Seg（毫秒）总（毫秒）拳击2014422.74.98.313.94.72.537.0滚臂2019143.44.68.515.04.92.739.1交叉臂1211302.54.67.113.45.11.934.6跳舞3015693.04.79.014.45.23.039.3躯干翻转2020023.54.78.614.54.82.838.9(a) 输入深度（b）我们的方法(c)DynamicFusion（d）体积变形见图7。以下结果的目视比较：（b）我们的方法，（c）DynamicFusion[17]，和（d）VolumeDeform [10]，其中输入深度图像在（a）中示出。6到40在所有示例中，我们使用具有512× 424深度图像分辨率的Kinectv2捕获深度流。5.2比较和评价我们将我们的ArticulatedFusion与两种最先进的方法Dynamic- Fusion [17]和VolumeDeform [10]进行比较。图图7示出了关于运动“跳舞”的视觉比较我们可以看到DynamicFusion和VolumeDeform在左臂和右臂区域中均失败我们的方法产生更忠实的结果，在切向方向上的运动或运动具有较大的闭塞。为了进一步定量评估我们重建的分割和运动，我们通过使用来自BodyFusion的Vicon捕获的地面实况数据[29]将我们的结果与其他最先进的方法进行图9、注意到关节融合13了图 8. Non-humanobct e re ctret ructinc t i n ct见图9。定量比较：我们的方法、BodyFusion、DynamicFusion和VolumeDeform对于运动序列的最大标记误差。我们的重建误差与BodyFusion相当（虽然略高），但我们的方法更通用，并且可以应用于基于Kinect的骨架不可用的动态场景，例如非人体运动（图2）。图6、图8和图10示出了一个实施例。10（b））和人体运动没有初始骨架信息（图。10（a））。在图10（a）中，由于身体中的高遮挡，Kinect不能提供背部上的人的骨架。值得注意的是，突出显示的头部和腿部部分在我们的分割的帮助下得到了很好的重建，而DynamicFusion没有正确地跟踪它们。我们比较我们的方法与其他两个重建方法，可以重建非人类对象。图8示出了与在T区中使用的作为边缘检测器结构的近距离检测器的放大器和缓冲器的详细比较，以及Galil的工作[ 26]。 Fig.的第一列图8示出两个输入深度图像。根据误差图和误差直方图，我们可以发现我们的方法比他们的方法有更好的误差分布。为了在误差直方图中进行公平的比较，我们在两种情况下都只计算可见顶点由于在配准步骤中引入了分割，因此，我们的14C. Li，Z.赵和X。郭(a)（b）第（1）款图10个。（a）我们的方法和DynamicFusion [17]的重建结果比较(b) VolumeDeform [10]中失效案例的重建结果（如图所示）9）用于5倍速输入（跳过5帧）。方法对于快速运动更鲁棒。图10（b）示出了非人类对象重建的另一示例。在VolumeDeform [10]中，当在下一帧之前跳过4个或更多帧时，它们的重建失败。但我们的方法仍然可以得到很好的结果，而向日葵的每一个花瓣被聚类为一个片段。6结论和未来工作在本文中，我们已经看到，我们的两级节点优化配备了高效的节点图分割，能够更好地重建切向和遮挡运动，非刚性的人类和非人类运动捕捉到一个单一的深度相机。我们相信，我们的系统代表了在实时应用中更广泛地采用深度相机的一个进步，并为在重建中利用高级语义信息打开了大门例如区分动态和静态场景，如MixedFusion [31]所示我们的系统在重建非常快的运动方面仍然有局限性，这是由于模糊的深度和我们对基于ICP的局部对应匹配的依赖。曲面的拓扑变化也很难处理。在未来，我们希望考虑整合颜色信息[10，8]以进一步改进运动优化，并从我们的分割中提取一致的基于树的骨架结构。致谢我们要感谢审稿人的宝贵意见。我们感谢Matthias Innmann在VolumeDeform的比较结果方面提供的帮助，Tao Yu在BodyFusion中提供了基于Vicon的这项工作得到了美国国家科学基金会的部分支持，资助号为IIS-1149737。Chao感谢Hua Guo在本文准备期间提供的支持。关节融合15引用1. Cai ， Y. ， Guo ， X. ： 基 于 马 氏 距 离 的 各 向 异 性 超 像 元 生 成 。ComputerGraphicsForum35（7），1992. Cai，Y.，郭，X.，Liu，Y.，王伟，Mao，W.，Zhong，Z.：基于渐近最优 几 何 划 分 的 曲 面 IEEE Transactions on Visualization andCom puterGraphics23（12），26133. Cao，C.，Weng，Y.，林，S.，Zhou，K.：用于实时面部动画的3D形状回归。ACM Transactions on Graphics 32（4），41（2013）4. Chang，W.，Zwicker，M.：用于关节模型重建的动态范围扫描的全局配准ACM Transactions on Graphics（TOG）30（3），26（2011）5. Dou，M.，Khamis，S.，Degtyarev，Y.，Davidson，P.，Fanello，S.R.，Kowdle，A.，埃斯科拉诺，S.O.，Rhemann，C.，Kim，D.，Taylor，J.等：Fusion4D：实时性能捕获具有挑战性的场景。ACM Transactions onGraphics 35（4），114（2016）6. 郭，K.，徐，F.，王玉，Liu，Y.，Dai，Q.：鲁棒的非刚性运动跟踪和表面重建使用L0正则化。In：Proceedings of the IEEEInternatalCo n fere nceo n Com u terViso n. pp. 30837. 郭，K.，徐，F.，王玉，Liu，Y.，Dai，Q.：鲁棒的非刚性运动跟踪和表面重建使用L0正则化。 IEEE Transactions on Visualization and ComputerGraphics（2017）8. 郭，K.，徐，F.，余，T.，Liu，X.，中国科学院院士，Dai，Q.，Liu，Y.：使用单个RGB-D相机进行实时几何、反照率和运动重建。ACMTransactions on Graphics 36（3），32（2017）9. Horn ， B.K.P. ： 用 单 位 四 元 数 求 绝 对 方 位 的 闭 式 解 。 J 〇urnalofthehepticalS〇cietyofAmericaA4⑷，62910. Innmann ， M.Zol lhüofer ， M. ， 我 是 MC. ， Stamminger ， M. ： Vol-umeDeform ： 实 时 体 积 非 刚 性 重 建 。 In ： European Confer-enceonComputerVision. pp. 362- 379. 第二章（20 16）11. James ， D.L. ， Twigg ， C.D. ： 蒙 皮 网 格 动 画 。 ACM TransactionsonGraphics24（3），39912. Le，B.H.，邓，Z.：使用刚性骨骼平滑蒙皮分解。ACM Trans- actions onGraphics 31（6），199（2012）13. Li ， H. ， Adams ， B.Guibas ， L.J. ， Pauly ， M. ： Robust single-viewgeometry and motion reconstruction 28（5），175（2009）14. Li，H.，余，J.，是啊Y Bregler，C.：实时面部动画与飞行中的corr-r-tives。ACMTransacti onsonGrhi cs32（4），4215. Lorensen，W.E.，Cline，H.E.：移动立方体：高分辨率的3D表面包括一个图 像 。 在 ： ACMsiggraphcommuterraphi cs.vol. 第 21 页 163-169 Acme（1987）16. Murray，R.M.Li，Z.，Sastry，S.S.：机器人操作的数学介绍CRC出版社（1994年）17. Newcombe，R.A.，Fox，D. Seitz，S.M.：DynamicFusion：非刚性场景的实时重建和跟踪。在：IEEE计算机视觉和图形学会议上。pp. 34318. Newcombe，R.A.，Izadi，S.，Hilliges，O.，Molyneaux，D.，Kim，D.，Davison，A.J.，Kohi，P.，Shotton，J.，Hodges，S.，Fitzgibbon， A.：KinectFusion：实时密集表面映射和跟踪。在：第10届IEEE国际混合与人工智能研讨会。pp. 12716C. Li，Z.赵和X。郭19. Pekelny，Y.，Gotsman，C.：关节式物体重建和无标记运动计算。C〇mputerGraphicsForum27（2），39920. Pons-Moll ， G. ， Baak ， A. ， 他 是 TMüller ， M. ， Seidel ， H. P.Rosenhahn，B. 多传感器融合三维人体运动捕捉。在：IEEE会议上，ComputerVisionandPatternRecognition。pp. 第66321. Slavcheva，M.，Baust，M.，Cremers，D. Ilic，S.：KillingFusion：无对应的非刚性3D重建。IEEE计算机视觉与模式识别会议（CVPR）（2017）22. Slavcheva，M.，Baust，M.，Ilic，S.：SobolevFusion：自由非刚体运动场景的三维重建。IEEE/CVF计算机视觉和模式识别会议（CVPR）（2018）23. Sorkine，O.：使用SVD的最小二乘刚体运动技术说明（2017）24. Tagliasachi，A.， S cr¨oder，M.， Tkach，A.， BouazizS. Botsch，M.， 帕尤利，M。：用于实时手部跟踪的稳健的铰接式ICP。Computer GraphicsForum34（5），101- 114（2015）25. Tkach，A. Pauly，M. Tagliasacchi，A.：用于实时手部建模和跟踪的球形网格。ACM Transaction on Graphics（2016）26. Tzionas，D.， Gall，J.： 重建铰接式索具RGB- D视频中的模型。In：European Conference on Computer Vision Workshops 2016（ECCVW' 16）- Wo rk s h o p o n R e c o v e ring g 6 D O b j e c t P o s e（R 6 D' 16）（2016），http://files.is.tue.mpg.de/dtzionas/Skeleton-Reconstruction27. V lasic，D. ，Baran，I.， MATUSIK，W.， J. ：一种从多视图轮廓中提取图像的方法。ACM Transactions on Graphics 27（3），97（2008）28. Wand，M.，Adams，B.Ovsjanikov，M.，Berner，A.，Bokeloh，M.，Jenke，P.吉巴斯湖Seidel，H.P.，Schilling，A.：从实时3D扫描仪数据有效 重 建 非 刚 性 形 状 和 ACM Transactions on Graphics 28 （ 2 ） ， 15（2009）29. 余，T.，郭，K.，徐，F.，Dong，Y.，苏、Z.赵，J，李杰，Dai，Q.，Liu，Y.：Bodyfusion：使用单个深度相机实时捕获人体运动和表面几何形状。IEEE International Conference on Computer Vision（ICCV）IEEE（2017年10月）30. 余，T.，Zheng，Z.，郭，K.，赵，J，Dai，Q.，Li，H.，Pons-Moll，G.，Liu，Y.：Doublefusion：从单个深度传感器实时捕获具有内部身体形状的人类表演IEEE计算机视觉与模式识别国际会议（CVPR）IEEE（2018年6月）31. 张洪，徐