混合Fusion：单个深度相机和稀疏IMU的实时性能捕获

HybridFusion：使用单个深度传感器和稀疏IMU的实时性能捕获郑泽荣1，陶宇1， 2，李浩3，郭凯文4，戴琼海1，陆芳5，刘业斌11清华大学，北京，中国2北京航空航天大学，中国3南加州大学洛杉矶分校美国4Google Inc，Mountain View，CA，USA。5清华大学抽象。我们提出了一种基于单个深度相机和稀疏惯性测量单元（IMU）的用于实时人类行为捕获的轻量级但高度鲁棒的方法我们的方法结合了非刚性表面跟踪和体积融合，同时重建，结构具有挑战性的运动，详细的几何形状和人体内部的穿着主题。所提出的混合运动跟踪算法和高效的每帧传感器校准技术使得能够进行非刚性表面重建，以用于快速运动和具有严重遮挡的挑战性姿势 使用新的置信度测量我们的自适应TSDF为基础的融合显着的融合文物减少。上述贡献在我们的重建系统中是互惠互利的，这使得能够实现实时、鲁棒、低成本且易于部署的实际人类表现捕获。实验表明，极具挑战性的性能和闭环问题，可以成功地处理关键词：性能捕获;实时;单视图; IMU。1介绍由于动态表面的形状和变形的复杂性，人体表演的3D采集几十年来一直是一个具有挑战性的话题，特别是对于穿着衣服的对象。为了确保高保真数字化，专业制作首选复杂的多相机阵列系统[8，4，5，44，17，24，7，14，30]TotalCapture [13]是最先进的人类行为捕捉系统，使用500多个摄像头来最大限度地减少人机交互过程中的遮挡。这些系统不仅难以部署且成本高昂，而且还需要大量的同步、校准和数据处理工作。在频谱的另一端，使用单个深度相机进行动态场景重建的最近趋势[25，12，10，32]提供了用于与在线非刚性体积深度融合相结合的性能捕获的非常方便和实时的方法然而，这样的单目系统限于2Z. Zheng等人缓慢而有控制的动作。虽然最近在BodyFusion [45]，DoubleFusion [46]和SobolevFusion [33]等系统中已经证明了改进，但仍然不可能重建闭塞的肢体运动（图1（b））并确保在线重建期间的环路闭合对于实际部署，例如游戏，其中预期快速运动并且可能在多个用户之间交互，有必要确保连续可靠的性能捕获。Fig. 1.在严重闭塞的情况下，最先进的方法容易失败。（a，d）：从Kinect（上）和第三人称视图（下）捕获的颜色参考。（b、e）和（c、f）：DoubleFusion和我们的方法在第三人称视图中呈现的结果。我们提出了HybridFusion，这是一种实时动态表面重建系统，它使用混合传感器实现了极具挑战性性能的高质量重建，即，单个深度相机和稀疏地位于身体上的若干惯性测量单元（IMU）直观地，对于不能由光学传感器单独处理的极快或高度遮挡或自旋转肢体运动的情况，IMU可以提供帮助推断更好的人类运动估计的高帧速率取向信息。而且，它们成本低，易于佩戴。对于其他情况，单个深度相机拥有足够的能力来实现鲁棒重建，以便与多相机相比保持整个系统的轻量和方便的性质。将IMU与深度传感器组合在非刚性深度融合框架内是重要的。首先，我们需要最大限度地减少安装和校准每个IMU所需的工作量和经验因此，我们提出了一种每帧传感器校准算法集成到跟踪过程中，以获得准确的IMU校准，而无需任何额外的额外步骤。通过加入惯性测量单元的约束条件，将非刚体跟踪优化问题扩展为混合跟踪优化问题此外，先前的跟踪融合方法[25，46]可能由于错误融合的几何结构而产生严重恶化的重建结果，这将进一步影响跟踪性能，反之亦然。因此，我们提出了一种简单而有效的方案，该方案在一个度量中联合建模体相机距离、快速运动和遮挡的影响，该度量指导TSDF（截断符号距离场）融合以即使在具有挑战性的运动下也实现鲁棒和精确的结果 （ 参 见 图 1 ） 。 使 用 这 样 一 个 轻 量 级 的 混 合 设 置 ， 我 们 相 信HybridFusion为实际的性能捕获系统提供了正确的甜蜜点，因为它是实时的，强大的，易于部署。商品用户可以在家中捕获高质量的身体HybridFusion3请注意，先前已采用IMU或甚至混合传感器来改进基于MEMS的运动跟踪[11，29，20，22]。 与这些最先进的混合运动捕捉系统（如[11]）相比，Hy-bridFusion的优势是双重的：首先，我们的系统可以重建对象的详细外表面并同时估计内部身体形状，而[11] 需要预定义的模型作为输入;另一方面，我们的系统可以跟踪外表面的非刚性运动，而[11]仅输出骨架姿势。通过进一步检查骨骼跟踪的差异，我们的系统仍然表现出更高的准确性。在[11]中，IMU读数仅用于查询数据库中的相似姿态，但我们将惯性测量集成到混合跟踪能量中。详细模型和非刚性配准进一步提高了姿态估计的准确性，因为具有嵌入变形节点图的详细几何模型比由运动链驱动的身体模型更好地描述了用户的运动HybridFusion的主要贡献可以总结如下。– 混合运动跟踪。我们提出了一种混合的非刚性跟踪算法，用于精确的骨骼运动和非刚性表面运动的实时跟踪。我们引入了一个IMU术语，即使在严重的遮挡下也能显着提高– 传感器校准。介绍了一种基于帧的传感器标定方法以在捕获过程中优化每个IMU与其所附接的身体部分之间的关系。与其他基于IMU的方法[29，20，2]不同，该方法消除了显式校准的要求，并沿序列提供准确的校准结果。– 自适应几何融合。为了解决先前的TSDF融合方法在一些具有挑战性的情况下（远的身体-相机距离、快速运动、遮挡等）是脆弱的问题，本文提出了一种自适应TSDF融合方法，该方法在一次跟踪置信度测量中综合考虑了上述因素，得到了更鲁棒、更详细的TSDF融合结果。2相关工作相关工作可分为两类：基于IMU的人体行为捕获和体积动态重建。我们请读者参考现有工作的概述，包括基于预扫描模板的动态重建[15，35，41，47，9，43]，基于形状模板的动态重建[1，18，3，31，30]和[46]中的自由形式动态重建[16，23，27，36，38]基于IMU的人类表现捕获一系列关于结合视觉和IMU [11，29，20，22，28，21]或甚至单独使用IMU[42]的研究旨在实现高质量的人类表现捕获。在所有这些作品中，Malleson etal. [20]在实时全身骨骼运动捕捉系统中组合多视图颜色输入，稀疏IMU和SMPL模型[18]。Pons-moll等人[29]使用多视图颜色输入、稀疏IMU和预扫描用户模板来离线执行全身动作捕捉。采用6个惯性测量单元对系统进行了改进4Z. Zheng等人单独[42]使用全局优化方法重建自然人体骨骼运动，但仍然离线。Vlasic等人。 [40]使用惯性传感器的输出进行扩展卡尔曼滤波，以执行人体骨骼运动捕获。Tautges等人。 [37]和Ronit等人。 [34]都利用稀疏加速度计数据和数据驱动方法来检索数据库中的正确姿势。Helten等人[11]使用与我们的方法最相似的设置（单视图深度信息，稀疏IMU和参数化人体模型）。他们结合了生成式跟踪器和判别式跟踪器，在数据集中检索最接近的姿势，并执行实时人体运动跟踪。然而，参数化人体模型不能描述服装的详细表面。非刚性表面集成从DynamicFusion [25]开始，非刚性表面集成方法由于单视图、实时和无模板属性而变得越来越流行[10，32，12]。它还启发了多视图体积动态重建方法[7，6]的一个分支，其实现了高质量的重建结果。非刚性表面集成的基本思想是迭代地执行非刚性表面跟踪和TSDF表面融合，使得当不可见表面部分被观察和跟踪时，表面信息沿着场景运动变得越来越完整。为了提高DynamicFusion对人体运动的重建性能，BodyFusion [45]集成了关节式人体运动先验（骨架运 动 链 结 构 ） ， 并 将 非 刚 性 变 形 和 骨 架 运 动 约 束 为 相 似 。DoubleFusion [46]在非刚性表面集成中利用参数化身体模型（SMPL[18]）来改善跟踪、环路闭合和融合性能，并实现了最先进的单视图人类性能捕获结果。然而，所有这些方法仍然不足以处理快速和具有挑战性的运动，特别是对于遮挡运动。3概述图二. HybridFusion管道的图示。初始化我们采用8个IMU，稀疏地位于表演者的上下肢，如图所示。2.值得一提的是，与要求IMU特定于模型顶点的[42，20]不同，我们的系统中的IMU被附接到骨骼，因为我们仅仅信任并使用定向矩阵作为模型。因此，您可以将每年使用的轴资源减少到两个或更多个HybridFusion5因为他们只需要确保IMU连接到正确的骨骼并且与它们的长度方向大致对齐。这里，IMU的数量由性能和便利性之间的平衡决定，如第7.3节中进一步阐述的。表演者需要从一个粗略的A型姿势开始。在获得第一深度帧之后，我们使用它通过将深度像素投影到体积中来初始化TSDF体积，并且然后使用在[ 46]处的体积选择来估计初始形状参数β〇和θ〇。我们的目标是“双节点数据集”，即预查找的非绑定数据集和快速执行的远程绑定数据集。 我们使用θ0和初始化MU来实现初始化传感器校准。使用Marching Cube算法[19]从TSDF体积中提取三角形网格。主流水线IMU与其附接的骨骼之间缺乏地面实况转换导致在我们的混合运动跟踪步骤中的不稳定跟踪性能。因此，我们不断优化传感器的校准帧的帧，校准变得越来越准确，由于成功跟踪的帧的数量增加，具有不同的骨架姿势。在[46]之后，我们还优化了内部身体形状和规范姿势。总之，我们的流水线顺序地执行混合运动跟踪、自适应几何融合、体积度量形状-姿态优化和传感器校准，如图2所示。下面是我们管道主要组成部分的简要介绍。– 混合运动跟踪给定当前深度图和IMU测量，我们提出通过一种新的混合运动跟踪算法来联合跟踪骨骼运动和我们构造了一个新的能量项，以约束的方向的骨骼的骨骼，使用其相应的IMU的方向测量。– 自适应几何融合为了提高融合步骤的鲁棒性，我们提出了一种自适应融合方法，利用跟踪置信度自适应调整TSDF融合的权重。在现有的混合运动跟踪过程中，跟踪置信度可以根据正规方程来估计。– 体积形状-姿态优化我们在自适应几何融合之后执行体积形状-姿态优化。基于更新的TSDF体积，我们优化内部身体形状和规范姿势，以获得更好的规范身体拟合和骨架嵌入。– 传感器校准给定运动跟踪结果和IMU读数在当前帧，我们优化了传感器校准，以获得更准确的IMU与其对应的骨骼之间的变换的估计，以及更准确的惯性坐标与相机坐标之间的变换估计。4混合运动跟踪由于我们的流水线专注于人体的表演捕捉，我们采用了双层表面表示的运动跟踪，这已被证明是6Z. Zheng等人我¨我我在[46]中的有效性和鲁棒性。类似于[9，45，46]，我们的运动跟踪是在人体运动主要遵循关节结构的假设下进行的。因此，我们使用两种运动参数化，骨架运动和非刚性节点变形。结合惯性测量单元的方向信息，我们构造了一个混合运动跟踪的能量函数，以解决两个运动分量的联合优化方案。给定当前帧t的深度图Dt和惯性测量Mt，能量函数为：Emot=λ IMUE IMU+λ depthE depth+λ bindE bind+λ regE reg+λ priE pri，（1）其中EIMU 、Edeptth、Ebin d、Ee ge 和EpriorepresentIMU、Edepth、E bi nd、Eeg e-urere snt h、E b i n d、E egerer E顶U和E先验被限制在将结果约束为与IMU和深度输入一致的时间处，E绑定利用关节骨架运动来正则化表面非刚性变形，Ereg约束节点图的局部尽可能刚性的属性，并且E先验被用于惩罚不自然的人类姿势。为了简化符号，我们声明本节中的所有变量都在当前帧t处取值，并删除帧索引的下标。为了将序列或序列作为原始序列和缓冲器加载流水线，我们在SMPL模型上选择N = 8个绑定骨骼（图2）。2初始化），并且这些骨骼由b个IMU（i=l，. . . ，N）。IMU项惩罚IMU读数与其附接的结合骨的估计取向之间的取向差异Σ¨E=？RR~R−1-我是说...IMUΣ¨2（二）IMU¨i∈SI2C我S2B，ii¨F其中S是IMU的整数;R是惯性坐标系中的i个传感器的整数。R12 C是惯性坐标与相机坐标系之间的旋转偏移，而R12B，i是第i个IMU与其对应的骨骼之间的偏移;更多细节在图11中详细说明。第5节。R（bIMU）是骨架蒙皮矩阵G（bIMU）的旋转部分我其定义为：G（bIMU）=Gj =Yk∈Kjexp.Σθkξk我、（3）其中j是骨架结构中的b个IMU的索引; G j是级联的第j个骨骼的刚性变换; Kj表示第j个骨骼在骨骼壁kimaichan上的父骨骼指数;exp（θkξ（k））是与第k个骨骼相关联的扭曲的实体映射的e xp。请注意，RI2C和RB2S是决定IMU项的有效性的关键参数，因此，即使我们可以通过初始计算获得足够准确的估计，我们在第5节中提供了关于计算和优化RI2C和RS2B的公式1中的其他能量项在[45，46]中详细说明，以及用于运动跟踪的高效GPU求解器详情请参阅这两份文件R bHybridFusion7i，t0i，t05传感器校准一方面，惯性传感器给出惯性坐标系中的取向测量，惯性坐标系通常由重力场和地磁场定义另一方面，我们的表演捕捉系统运行在相机坐标系中，这是独立的惯性坐标。这两个坐标之间的关系可以被描述为由RI2C表示的常数映射。基于该映射，我们可以将所有IMU输出从惯性坐标变换到相机坐标系，如公式2所示。作为图三.不同坐标及其关系的图示。如图3所示，为了估计映射，涉及几个坐标系：（1）第i个IMU传感器坐标系CSi，其与第i个传感器本身对准，并且在传感器移动时改变，（2）惯性坐标系C1，其始终保持静止，（3）第i个骨骼坐标系CBi，其与和第i个IMU传感器相关联的骨骼对准，并且在受试者动作或移动时改变，（4）相机坐标系Cc，其也与第i个IMU传感器相关联。保持静止。因此，RS2B是从CS到CB的变换，RI2C是从CI到CS的变换，并且它们的逆变换被表示为RB2S和RC2I。5.1初始传感器校准我们在管道初始化期间计算R12C的近似值在将SMPL模型拟合到深度之后。图像Σ，映射R B2 C，i：CBi →CC根据RB2C，i = Rt0可得IMU我，其中下标t0是第一帧的索引此外，我们还可以得到从CI到CSi的映射通过在第一帧处表示序列的读取的i个输入值x：R~ -1。通过在hCI→CS处的p，将CI i转换为→CBi →CC，我们需要知道IMU与其对应的骨骼坐标系RS2B ， i之间的旋转偏移：CSi→CBi。我们假设它们是恒定的，因为传感器紧紧地附着在肢体上，然后我们根据传感器的位置来计算它们因此，我们可以通过下式计算R12C：R12C= SLERP{（R12C，i，wi）}= SLERP{（R12C，i，wi）}i=1，…N= SLERPi=1，…N，..Rt0IMUΣ我i=1，…NΣRS2B，iR~ −1，wi，（四）BB我8Z. Zheng等人¨其中SLERP{·}是球面线性插值的算子，并且wi是插值权重，其在我们的实验中被设置为1/N5.2逐帧校准优化尽管通过对RI2C，i求平均值（第5.1节）可以减少测量噪声的影响，但由于稀疏IMU设置和RS2B，i的粗略分配，初始传感器校准的解决方案仍然容易出错。因此，我们提出了一种有效的方法来不断优化传感器校准。如在第4节中公式化的，定向测量和运动估计通过RI2C和RB2S，i相关：R~。 IMU Σ −1I2CRi= R biRB2S，i，（5）因此，我们可以将从t0到t的累积旋转计算为：RRR~ −1R−1。IMUΣR−1。IMUΣI2Ci，ti，t0I2C= Rtbi的t0b我.（六）给定运动跟踪结果，我们根据下式估计帧t的最佳旋转偏移：Σ¨R=argmin¨RR~ R~ −1R−1-R. bIMUR−1.bIMUΣ¨2 、 （7）I2CRI2C¨i∈SI2Ci，ti，t0I2Ctit0i¨F然后通过将解与原始值混合来更新RI2CRI2C← SLERP 、（R12C，w）;.ΣRI2C，ω（八）其中w、ω均为插值权重。我们设w= 1−1，ω =1使t t确保最终解的覆盖率达到稳定的全局最优。我们优化RS2B，即以相似的方式。6自适应几何融合类似于先前的作品[26，12，7，10，46]，我们将深度图集成到参考体积中为了处理由体素碰撞引起的模糊性，我们遵循[10，46，7]通过投票实时帧处的TSDF值来检测碰撞体素，并且避免将深度信息集成到这些体素中。除了体素碰撞，表面融合仍然遭受不准确的运动跟踪，这是一个因素，以前的融合方法没有考虑。受先前解决参数估计[48，39]的不确定性的工作的启发具体地，我们将xt表示为被求解的运动参数，并且假设它近似地遵循正态分布：p（xt|Dt，Mt）N（µt，Σ t），（9）HybridFusion9不不不其中μt是运动跟踪的解，协方差μ t测量tra ckinguncrtty。 Byassumingp（xt|Dt，Mt）=xp（−Emot），我们可以应用x- imtec ovarianas。Σ−1Σt =σ2 JTJ（10）其中J是E_m_t的J_ac_ian。见图4。在3种场景中估计的每节点跟踪置信度的可视化：大的身体-相机距离（a）、快速运动（b）和遮挡（c）。我们将 Σ−1的边形作为计算结果µt的置信度向量，其中包含由我们的混合运动跟踪算法计算的骨架跟踪和非刚性跟踪参数的置信度。由于TSDF融合步骤仅需要节点图来执行非刚性变形[25]，因此我们将两种类型的运动跟踪置信度合并在一起，以获得每个节点的混合跟踪置信度的更准确估计。因此，对应于节点Xk的跟踪置信度C_track（Xk）可以被计算为.¯−1ΣΣ.diag（Σ¯−1）ΣC轨（xk）=（1−λ）mindiag（Σt）xk，1ηxk+λj∈Bwj，xkmintbj，1ηbj其中B是bones的第i个x集;diag（Σ¯−1）xandddiag（<$−1）b（十一）是平均值第k个节点和第j个节点对应的所有ICP迭代的协方差值。 wj，xk是与hxk相同的k。为了更好地说明跟踪置信度，我们将对跟踪性能产生不利影响的性能捕获场景分类为3类（远身体相机距离、快速运动和遮挡），并在图11中将这些场景中每个节点的估计跟踪置信度4.第一章由于深度输入的质量与身体-摄像机距离成反比，并且低质量深度将显著恶化跟踪和融合性能，因此当身体远离摄像机时，所有节点的跟踪置信度下降（图2）。此外，快速运动下的节点也具有低跟踪置信度（图4（a））。4（b）），因为由于模糊的深度输入和缺乏对应性，快速运动的跟踪性能通常比慢速运动差;最后，对于单视点捕获系统，遮挡将导致观测不足和相应身体部位的跟踪性能变差。因此，被遮挡节点的跟踪置信度降低，如图1B所示。第4（c）段。在计算跟踪置信度之后，我们如下执行自适应几何融合对于体素v，D（v）表示体素的TSDF值，W（v）表示其累积融合权重，d（v）是体素的投影带符号距离KJ10Z. Zheng等人函数（PSDF）值，并且ω（v）是v在当前帧处的融合权重：.ω′（v）= Σxk∈N（v）C轨道（xk），ω（v）=0ω′（v）<τ，ω′（v），否则。（十二）最后，体素被更新为D（v）←D（v）W（v）+ d（v）ω（v），W（v）←W（v）+ω（v）（13）W（v）+ω（v）其中N（v）是体素v的KNN变形节点的集合，并且τ是控制最小积分权重的阈值。7实验我们在本节中评估我们提出的方法的性能在第7.1节中，我们介绍了系统设置的详细信息，并报告了管道的主要参数然后，我们将我们的系统与第7.2节中的最新方法进行定性和定量我们还在第7.3节中对我们的主要贡献进行了评估图5展示了重建的动态几何形状和内部身体形状的几个运动序列，包括运动，舞蹈等。从结果中，我们可以看到，我们的系统是能够重建各种具有挑战性的运动和内部的身体形状使用单视图设置。图五.由我们的系统重建的示例结果。在每个网格中，左边的图像是颜色参考;中间的是融合的表面几何形状;右边的是由我们的系统估计的内部身体形状。HybridFusion117.1系统设置对于硬件设置，我们分别使用Kinect One和Noitom Legacy套件作为深度传感器和惯性传感器。我们的系统在NVIDIA TITAN X GPU和IntelCore i7- 6700 K CPU上实时运行（每帧33 ms）大部分运行时间花费在关节运动跟踪（23ms）和自适应几何融合（6ms）上。传感器校准优化花费1 ms，而形状-姿态优化花费3 ms。能量项的权重用于平衡不同跟踪线索的影响，其中IMU项的权重被设置为5。0，而其他能量权重与[16]相同更具体地，分配λIMU的策略是确保（1）当缺乏对应性（快速运动和/或遮挡）时，IMU项可以产生粗略的姿态估计，以及（2）当足够的对应性可用时，IMU项不会不利地影响跟踪注意，λ深度= 1。0且λbind= 1。0，并且结合项将逐渐松弛，以便捕获表面的详细非刚性运动正则化项和先验项的权重分别固定为5.0和0.01，避免了不期望的结果。7.2比较我们在4个序列上与最先进的方法DoubleFusion[46]进行比较，如图6所示。我们的系统的跟踪性能明显优于DoubleFusion，特别是在严重遮挡的情况下。为了进行定量比较，我们同时使用Vicon和我们的系统捕获多个序列两个系统通过闪烁红外LED进行同步。我们校准这两个系统的空间手动选择相应的点对，并计算其转换。之后，我们将标记位置从Vicon坐标转换为第一帧的相机坐标，然后使用运动场跟踪它们的运动，并将每帧位置与Vicon检测到的地面实况进行比较。我们在DoubleFusion上进行相同的测试。图7显示了DoubleFusion和我们的方法在一个序列上的每帧最大误差曲线。我们还在表1中列出了整个序列的从数值结果可以看出，本文的系统比DoubleFusion系统具有更高的跟踪精度。表1.整个序列的平均数值误差。方法DoubleFusion HybridFusion最大误差平均值（m）0.08540.0655我们还使用其发布的数据集将我们的骨架跟踪性能与最先进的混合跟踪器[11]进行了如表2所示，我们的系统保持了更准确和稳定的骨架跟踪性能，比[11]引起的跟踪误差小得多。12Z. Zheng等人表2.平均关节跟踪误差和标准差（单位：毫米）（与[11]相比）。序列D1D2D3D4D5D6Helten等人[第十一届]我们35.7（24.9）20.9（15.2）47.4（31.4）27.6（19.6）44.4（33.8）27.0（17.6）34.7（25.4）15.5（15.6）59.1（45.3）43.5（33.6）56.2（41.6）40.9（27.5）7.3评价传感器校准。在图8中，我们在简单序列上评估所提出的每帧传感器校准。图8（c）是仅使用第5.1节所述初始校准结果的表面重建结果，没有每帧校准优化步骤（第5.2节）。我们可以看到，关节运动跟踪性能受到初始校准结果的不准确性的影响。此外，错误的运动跟踪性能将导致错误的表面融合结果（重影的手和腿）。与每帧校准优化算法，我们的系统可以产生准确的运动跟踪和表面融合的结果，如图所示。8（d）。图六、与DoubleFusion的定性比较第1行：颜色和深度图像作为参考。第2和第3行：分别用DoubleFusion和我们的系统重建的结果。见图7。跟踪精度与DoubleFusion的定量比较。(a)最大位置误差曲线。(b)：我们的系统在两个时间实例上的结果。自适应几何融合。我们还评估了自适应几何融合方法的有效性。我们在三个挑战中捕捉到了几个序列HybridFusion13图8. 每帧传感器校准优化的评估（a）（b）：作为参考的颜色和(c)：没有校准优化的重建结果。(d)：具有校准优化的重建结果。使用场景进行详细的表面融合，其中包括远身体相机距离，身体部位遮挡和快速运动。然后，我们将我们的自适应几何融合方法与[26，10，45，46]中使用的先前融合方法进行在图9中，在每个子图的左侧呈现了先前融合方法的结果，而在右侧示出了自适应融合的重建结果。如图4、我们系统中的融合权重可以在所有情况下自动调整（设置为非常小的值或跳过融合步骤），从而产生更合理和详细的表面融合结果。见图9。在远体相机距离下的自适应融合的评估（a），遮挡(b)和快速运动（C）。在每个子图中，左边的网格是由以前的融合方法融合，并使用我们的自适应融合方法融合的权利挑战闭环。为了评估我们的系统在具有挑战性的闭环上的性能，我们捕获了几个具有挑战性的转身运动。结果如图10所示。正如我们所看到的，DoubleFusion未能在身体发生碰撞时检查部分形状的臂和腿，最终生成不令人满意的闭环结果。相比之下，我们的系统能够跟踪严重遮挡下的运动，生成完整和合理的模型，具有这样的挑战性转身运动。IMU的数量。为了更好地评估我们的贡献，我们还进行实验的混合运动跟踪中使用的IMU的数量。在图11中，表演者佩戴全套NoitomLegacy套件，该套件包含附接在不同身体部位上的17个IMU，并执行几个具有挑战性的动作，例如蛙跳、拳击等。以17个IMU的跟踪结果在图11中，我们给出了使用不同数量的IMU的关节的平均位置误差。该实验证明，使用8个IMU（小于100个IMU），可以实现更高的测量精度。14Z. Zheng等人见图10。评价我们的系统在环路闭合上的性能。我们在不同的帧中显示结果。（a，d）：颜色参考。（b，e）：通过DoubleFusion重建的结果。（c，f）：我们的系统生成的结果。全套的一半）可以在保持使用方便性的同时实现精确的跟踪。见图11。IMU数量的评估。(a)平均位置误差曲线不同配置下的接头（b）：4个IMU配置的图示8讨论结论在本文中，我们提出了一种实用且高度鲁棒的实时人体行为捕获系统，该系统可以使用单个深度相机和稀疏IMU同时重建具有挑战性的运动、详细的表面几何形状和合理的内部身体形状我们相信，我们的系统的实用性，使重量轻，鲁棒性和实时的人的表现捕捉，这使得用户可以捕捉高品质的4D性能，即使在家里。实时重建的结果可用于AR/VR、游戏和虚拟试穿应用。局限性我们的系统不能重建非常准确的表面网格时，人们穿着非常宽的衣服，因为布变形太复杂，我们的稀疏节点图变形模型。此外，人与物体的交互是非常具有挑战性的，使用分治方案可以提供合理的结果。虽然我们使用的IMU相对较小且易于佩戴，但它仍然可能限制身体运动。然而，随着IMU变得越来越小和准确，我们相信系统设置在未来会变得更加容易鸣谢本工作由国家重点基金会支持中国探索科学 仪 器 2013 YQ 140517; 国 家 自 然 科 学 基 金 会批 准 号 ： 61522111 、61531014、61233005、61722209No.61331015.李昊获得了ONR YIP基金N 00014 -17-S-FO 14的支持，CONIX研究中心是由美国国防部高级研究计划局（DARPA）赞助的SRC项目。ARL，合同号W 911 NF-14-D-0005，Adobe和索尼。HybridFusion15引用1. Anguelov，D.，Srinivasan，P.科勒D. Thrun，S.，Rodgers，J.，Davis，J.：Scape：Shapecmpletonandanimatonofpeople。 ACMTrans. Graph. 24（3），4082. Baak ， A. ， 他 是TMüller ， M.， Pons-Moll ，G.， Rosenhahn ，B.，Seidel，H. P. 使用惯性传感器分析和评估无标记运动跟踪。在：欧洲计算机视觉会议（ECCV研讨会）（2010年9月）3. Bogo，F.，Kanazawa，A.，Lassner，C. Gehler，P. Romero，J.布莱克，M.J.：保持它SMPL：从单个图像自动估计3D人体姿势和形状。In：Computer Vision计算机科学讲义，Springer International Publishing（2016年10月）4. Bradley，D.Popa，T.，Sheffer，A.，Heidrich，W.，Boubekeur，T.：无标记服装捕获。在：ACM TOG.第27卷，第99页。03 - 03 - 05 - 9.5分5. Brox，T.，Rosenhahn，B.，Gall，J.，Cremers，D.：基于区域和运动的组合式三维物体跟踪。IEEETPAMI32（3），4026. Dou ， M. ， Davidson ， P. ， Fanello ， S.R. ， Khamis ， S. ， Kowdle ， A. ，Rhemann，C.，Tankovich，V. Izadi，S.：Motion2fusion：实时容积性能上限。 ACMTrans. Graph. 36（6），24 6：17. Dou，M.，Khamis，S.，Degtyarev，Y.，Davidson，P.，Fanello，S.R.，Kowdle，A.，埃斯科拉诺，S.O.，Rhemann，C.，Kim，D.，Taylor，J.等 ： Fusion4d ： 实 时 性 能 捕 获 具 有 挑 战 性 的 场 景 。 ACM TOG 35（4），114（2016）8. Gall ， J. ， 斯 托 尔 角 De Aguiar ， E. ， Theobalt ， C.Rosenhahn ， B. ，Seidel，H.P.：运动控制使用的是关节，它使关节在训练和维护时变得更加灵活。In：CVP R.pp. 1746IEEE（2009）9. 郭，K.，徐，F.，王玉，Liu，Y.，Dai，Q.：鲁棒的非刚性运动跟踪和安全性跟踪，可使用正则化算法。In：ICCV.pp. 308310. 郭，K.，徐，F.，余，T.，Liu，X.，中国科学院院士，Dai，Q.，Liu，Y. ： 使 用 单 一 rgbd 相 机 进 行 实 时 几 何 、 反 照 率 和 运 动 重 建 ACMTransactions on Graphics（TOG）（2017）11. Helten，T.，穆勒，M.，Seidel，H.P.，Theobalt，C.：使用一个深度摄像头和惯性传感器进行实时身体跟踪。IEEE计算机视觉国际会议（ICCV）（2013年12月）12. Innmann，M. Zollhofer，M.， 我是M C.， Stamminger，M. ：Vol-umedemode：实时体积非刚性重建。In：ECCV（2016）13. Joo，H.，Simon，T.Sheikh，Y.：Total Capture：用于跟踪面部、手部和身体的3D变形模型在：CVPR中。IEEE（2018）14. Leroy，V.Franco，J.S.，Boyer，E.：使用局部时间积分的多视图动态形状细化In：ICCV. IEEE（2017）15. Li，H.，Adams，B.Guibas，L.J.，Pauly，M.：强大的单视图几何和运动重建。在：ACM TOG.第28卷，第175页。ACM（2009）16. Liao，M.，张，Q，王，H.，扬河，巴西-地龚，M.：从单个深度相机对可变形对象进行建模。In：ICCV（2009）17. Liu，Y.，Gall，J.，斯托尔角Dai，Q.，Seidel，H.，Theobalt，C.：使用多视点图像分割的多个角色的无标记运动捕获IEEE Trans.PatternAnal.Mach。我告诉你。35（11），272018. Loper ， M. ， Mahmood ， N. ， Romero ， J. Pons-Moll ， G. ， 布 莱 克 ，M.J. ： SMPL ： 一 个 多 人 皮 肤 线 性 模 型 。 ACM Trans. 图 形 （ 程 序SIGGRAPH Asia）34（6），248： 116Z. Zheng等人19. Lorensen，W.E.，Cline，H.E.：移动立方体：一种高分辨率三维表面构造算法。在：Proceedingsofthe14thAnnualConferenceonComputerGraphicsandInteractiveTechniques. pp. 163-169 SIGGRAPH20. Malleson，C.Volino，M.，Gilbert，A.，Trumble，M.，Collomosse，J.，Hilton，A.：真的-从视频和imus的时间全身动作捕捉。2017第五届3D视觉国际会议（3DV）21. von Marcard，T.，亨舍尔河布莱克，M.，Rosenhahn，B.，Pons-Moll，G.：Recov-在野外使用imus和移动摄像机形成精确的3d人体姿势。在：欧洲计算机视觉会议（sep 2018）22. von Marcard，T.，Pons-Moll，G.，Rosenhahn，B.：人体姿态估计视频和视频。Transactions on Pattern Analysis and Machine IntelligencePAMI（2016年1月）23. Mitra，N. J. Fl o¨y，S.， Ovsjanikov，M.， Gelfnd，N.， 古伊巴湖J. Pottmann，H. ：Dy namicgeometryregistration. In：SGP. pp. 17324. Mustafa，A.，Kim，H. Guillemaut，J.，Hilton，A.：从多视点视频的一般动态场景重建。In：2015 IEEE International Conference on ComputerVision，ICCV2015，Santiago，Chile，December7-13，2015. pp. 90025. Newcombe，R.A.，Fox，D.Seitz，S.M.：Dynamicfusion：重建和跟踪非刚性场景的实时性。在：CVPR（2015年6月）26. Newcombe，R.A.，Fox，D.Seitz，S.M.：Dynamicfusion：实时重建和跟踪非刚性场景IEEE计算机视觉与模式识别会议（CVPR）（2015年6月）27. Pekelny，Y.，Gotsman，C.：关节式物体重建和无标记运动从DEPTVIDEO中取出。 In：CGF. vol. 27，pp. 399-408 03TheDog（2008）28. Pons-Moll，G.，Baak，A.，Gall，J.，Leal-Taixe湖Mueller，M. Seidel，H.P.，罗森hahn，B.：使用逆运动学和vonmises- fisher采样的户外人体运动捕获。IEEE International Conference on Computer Vision（ICCV）pp. 124329. Pons-Moll，G.， Baak，A.， 他是T Müller，M.， Seidel，H. P. Rosenhahn，B. ：多传感器融合三维人体运动捕捉。IEEE计算机视觉与模式识别会议（CVPR）（2010年6月）30. Pons-Moll，G.，Pujades，S.，Hu，S.，布莱克先生：ClothCap：无缝4D服装帽-真实和重定向。美国计算机学会图形学报，（Proc. SIGGRAPH）36（4）（2017），两位第一作者贡献相等31. Pons-Moll，G.，Romero，J. Mahmood，N.，布莱克，M.J.：Dyna：动态运动中的人形美国计算机学会图形学报，（Proc.SIGGRAPH）34（4），120：132. Slavcheva，M.，Baust，M.，Cremers，D. Ilic，S.：KillingFusion：无对应的非刚性3D重建。IEEE计算机视觉与模式识别会议（CVPR）（2017）33. S