稀疏惯性传感器跟踪身体运动的物理优化方法

13167物理惯性姿态（PIP）：基于稀疏惯性传感器新宇一1周宇晓1马克·哈伯曼2岛田宗志2弗拉季斯拉夫·戈利亚尼克2克里斯蒂安·特奥博尔特2冯旭11清华大学软件学院2马克斯·普朗克信息学院萨尔信息学院摘要与基于图像的方法相比，来自稀疏惯性传感器的运动捕获已经显示出巨大的潜力，因为遮挡不会导致跟踪质量降低，并且记录空间不限于相机的视锥体内。然而，仅从一组稀疏的惯性传感器捕获运动和全局位置本质上是模糊的和具有挑战性的。因此，目前最先进的方法几乎不能处理非常长的周期运动，并且由于没有意识到物理约束，不切实际的伪影是常见的。为此，我们提出了第一种方法，该方法结合了神经运动学估计器和物理感知运动优化器，仅用6个惯性传感器来跟踪身体运动。运动学模块首先将运动状态作为参考进行回归，然后物理模块对运动进行细化以满足物理约束。实验表明，在捕获精度，时间稳定性和物理正确性方面的最先进的一个明显的改善。1. 介绍捕捉真实人类的运动是计算机视觉和图形、电影制作、游戏、AR和VR中的许多应用的长期且具有挑战性的问题。然而，由于其铰接结构，捕获人体的高度复杂和潜在的快速运动是具有挑战性的，并且在过去已经提出了许多工作[4，65，68，69，73，88]。一类方法是基于图像的，其中通过分析图像数据来恢复演员运动本课题得到了北京市自然科学基金（JQ19015）、国家自然科学基金（No.61727808，62021002）、国家重点研发计划（2015）中国计划2018YFA0704000.这项工作得到了清华大学国际商学院和北京市教育委员会的支持。这项工作得到了ERC整合者资助4DReply（770784）的部分支持。我们感谢Notiom [31]对惯性传感器的广泛支持，以及Liuqing Yang，Liangdi Ma，Siyuan Teng，Wenbin Lin对现场演示的帮助。冯旭为通讯作者。图1. PIP仅从一组稀疏的六个IMU中捕获物理上正确的人体运动、关节扭矩和地面反作用力。重要的是，PIP以每秒60帧的速度运行，只有16ms的延迟，这使得实时应用成为可能。它可以是多视图图像[4，6，58，82]，深度图像[71从设置中，很明显，遮挡（对象-演员或自遮挡）可能导致跟踪质量显着降低。此外，这些方法对照明和演员的外观敏感，因为需要从图像中提取明显的特征。此外，许多方法假设静态相机，导致可以捕获对象的有限空间。这些缺点限制了光学运动捕捉的可用性。最近，研究人员开始探索替代传感设备，如惯性测量单元（IMU）。生产就绪的解决方案[31，67]可以仅通过惯性传感器准确跟踪身体运动。然而，它们依赖于带有密集放置的传感器（通常为17个IMU）的特殊套装此外，大量的IMUs会阻碍演员在身体上具有更稀疏的IMU集合显然是有利的并且更灵活。然而，最近的稀疏方法[18，62，69]与物理正确性作斗争，并且不能用类似的传感器测量（例如坐着和站着）消除姿势的歧义;它们是非因果的，即。，需要未来的信息，13168这引入了大的延迟;它们的精度仍然有限，而诸如抖动的时间伪像变得可见。为此，我们提出了物理惯性姿态（PIP），这是一种新的实时运动捕获方法，以及仅使用六个IMU进行关节扭矩和地面反作用力估计（见图1）。与需要未来信息的以前的工作[18，69我们的算法分为两个阶段：1）基于学习的运动估计，2) 基于物理的运动优化，在运动捕捉中利用人体运动学和动力学。在估计阶段，我们使用递归神经网络（RNN）从惯性输入回归人体姿势、关节速度和脚-地面接触概率我们将叶关节到全关节位置估计为中间任务，以提高TransPose [69]提出的跟踪精度为了解决稀疏IMU放置引起的姿态模糊问题，我们进一步提出了一种基于学习的RNN状态初始化策略，这有助于网络更好地从输入惯性测量中学习身体姿态的变化。这导致了显著的准确性提高，尤其是对于诸如静坐的模糊运动。在优化阶段，我们利用扭矩控制的浮基模拟角色模型，从运动学估计中恢复物理上正确的运动、关节扭矩和地面反作用力。不同于以前的作品，独立控制的每个自由度的字符使用比例微分（PD）规则[19，51，52，76]的旋转，我们提出了一种新的双PD控制器，将全局整体控制的字符这是通过在关节位置和旋转上应用PD规则来实现的。该方法显著提高了运动的平移精度和物理可接受性.综上所述，我们的主要贡献包括：• 第一种物理感知的实时方法，仅用六个IMU就可以估计人体运动、关节扭矩和地面反作用力，我们称之为PIP。• 一种基于学习的RNN状态初始化方案，有助于更好地消除稀疏IMU测量中的人体运动回归（第二节）。第3.1节）。• 双PD控制器，实现了局部和全局位姿的联合控制 ， 提 高 了 运 动 跟 踪 精 度 和 物 理 可 扩 展 性（Sec.3.2）。我们的实验表明，PIP显着优于以前的稀疏IMU为基础的方法在跟踪精度，物理可扩展性，并消除歧义的挑战性的姿态。2. 相关工作人体运动捕捉的研究历史悠久。许多著作都致力于这一主题，可以主要分为光学、惯性和混合方法。由于我们的方法仅需要IMU测量作为输入，因此我们不讨论纯粹基于图像的方法[14，15，22，24，37，45，55]。在这里，我们专注于混合动力和惯性mocap解决方案，以及以前的努力，对人体运动的物理兼容性。光学-惯性混合运动捕捉。由于基于图像的运动捕获方法存在遮挡问题，将图像与惯性测量单元融合以实现更鲁棒的运动跟踪，近年来引起了人们的广泛关注。这可以通过基于能量的优化[20，33-Zhang等人。[83]提出通过融合由IMU链接的每对关节的图像特征，在2D姿态估计中利用IMU。一些作品将IMU与深度图像[17，21，86]或光学标记[1]融合，以执行人体运动/表演捕获。然而，这些方法在低光条件和严重遮挡下仍然受到很大限制我们的方法不需要视觉输入，因此不受这些限制。来自惯性传感器的运动捕捉。惯性MOCAP方法不受遮挡或受限的移动空间的影响商业解决方案[31，67]和扩展工作[13]依赖于17个IMU来执行运动捕捉。它们通常要求演员穿着具有密集绑定的IMU的紧身服装，这是不方便的、侵入性的和阻塞性的。显然，在身体上具有一组减少的IMU然而，从稀疏惯性传感器的运动捕捉是非常模糊和具有挑战性的。一些作品[28，56，60]利用超声波传感器获得额外的位置信息来解决一些模糊性，但距离传感器的使用限制了记录范围。早期的纯惯性作品[44，54，57]使用稀疏加速度计通过数据库搜索来重建人体姿势。 Schwarz等人。[47]使用稀疏方向测量来执行特定于人的姿势估计。为了提高精度，最近的工作[11，18，41，62，69]利用加速度和方向测量。Marcard等人。[62]提出了一种离线方法，用于仅从6个IMU，实现了有希望的精度。 Huang等人。[18]提出了第一种深度学习方法，该方法使用双向递归神经网络（biRNN）来实时估计来自6个IMU的人体姿势。然而，他们的方法不允许在3D空间中定位人，即，不估计根平移。当前最先进的方法，TransPose [69]，引入了第一个实时姿态和平移估计框架，该框架实现了准确的捕获质量，同时仅使用6个IMU。然而，所有这些作品都有一个不可忽视的13169∈∈∈∈∈∈∈∈由于对未来信息的固有需要而导致的延迟，不能稳定地捕获模糊的姿态，并且具有许多非物理伪像，诸如抖动和脚滑动。相比之下此外，我们是第一个将基于物理的运动优化与稀疏惯性运动捕获相结合的人，我们表明，这种精心策划的设计显着提高了运动的物理正确性。运动的物理可能性。为了确保运动的物理可解释性，许多作品在他们的方法中解决了物理意识。一类工程仅施加物理限制（例如，脚触点[7，50，89]，时间一致性[15，37，62]和碰撞[77]），而不考虑力和质量等人类动力学一些作品利用显式重建的场景来约束运动[13，16，81]。然而，由于人类的关节结构，通过施加这种朴素的约束来跟踪复杂的身体运动是相当困难另一类作品利用基于物理的人体模型并估计力来控制运动，目标是对现实世界的人体运动进行更准确的建模。一些作品[27，43，52，63，66，79]使用基于优化的方法来求解最佳力和人体运动，这些力和人体运动满足物理约束和定律，例如运动方程[9]。Zell等人[78]提出了一个弱监督学习框架，用于从人体运动中进行动态估计。Shimada等人。[51]提出了一个完全可微的框架，用于从视频中进行基于学习的运动和力估计。强化学习也用于基于物理的角色控制[2，19，29，38，39，70，74，76]，可以利用先进的不可微物理模拟器。在这些工作中，我们的物理模型与Shimada等人的工作最相似。[52]。主要的区别是输入到各自的方法和控制的物理字符。我们的方法假设运动物体的稀疏惯性测量值作为输入，而他们的方法[52]利用了演员的图像。此外，他们的方法[52]使用比例微分（PD）控制器来独立控制角色每个关节的旋转。相比之下，我们的方法使用了一种新的对偶此外，还提供了包括地面反作用力和关节扭矩在内的物理特性。该方法包括两个模块：1）运动学模块：神经运动学估计器，其从IMU测量结果推断人体运动，随后是2）动力学模块：物理感知运动优化器，其细化人体运动并输出物理属性。3.1. 神经运动估计运动学模块的任务是估计当前的运动状态（稍后指定）。我们使用与SMPL [30]中相同的运动树，其中包含J= 24个关节。我们将手腕、脚踝和头部称为叶关节，将骨盆称为根关节。对于所有J关节，其3D位置表示为pR3J;其线速度表示为v在6D表示中，它们的旋转表示为φR6J[87]。由于IMU不提供任何位置测量，所有这些估计都在局部坐标系中（相对于根关节）。 与TransPose [69]类似，我们在开始时执行T-Pose校准，然后在每个时间步，我们堆叠IMU测量，即，将对准的加速度和旋转矩阵转换成单个输入向量XR72。在下文中，我们首先概述了我们的网络结构（第二节）。3.1.1）。然后，我们深入到我们的新的基于学习的初始化的RNN隐藏状态在训练过程中（节。3.1.2）。新的初始化方法有助于网络学习捕获状态变化信号，这对于解决我们任务中的姿态模糊至关重要。3.1.1运动估计网络该网络的结构遵循Trans- Pose [69]的结构，其首先估计叶关节特性，然后以多阶段方式估计全身状态。与他 们 的 方 法 [69] 不 同 ， 我 们 选 择 使 用 RNN 而 不 是biRNN作为基本网络结构（在第二节中详细说明）。3.1.2），并且我们估计所有关节的速度而不是仅根关节的速度，因为我们发现使用与物理部分结合的全关节速度允许更好的角色控制。具体地说，如图2、我们首先使用一个RNNP介绍了PD控制器的全局控制特性，#21453;，以更好的准确性为目标。换句话说，我们的方法是使叶节位置P叶 ∈R15L来自IMU第一个将基于物理的显式优化应用到基于IMU的运动捕捉中。3. 方法我们的任务是实时跟踪人体运动使用6个惯性测量单元。我们的方法的输入是安装在左/右前臂、左/右小腿、头部和骨盆上的6个IMU的加速度和方向的连续测量（图2）。我们的方法的输出是受试者测量X。然后，级联向量[pleafx]被馈送到第二RNNPA中，其估计所有联合位置pR3J。接下来，我们将向量[p x]送入三个RNNRA、VA和CF来估计关节旋转φ R6J（根部方向由放置在骨盆上的IMU直接测量）、线速度vR3J和脚-地面接触概率c R2。最后，我们称之为运动状态的φ、v和c被输入到后续的动力学模块中在训练过程中，我们对PL、PA和RA使用L2损失，对CF使用二进制交叉熵损失，对VA使用[69]中提出的累积损失。13170叶∈∈图2.我们的方法概述我们首先使用一个神经运动学估计器来推断人类运动状态稀疏IMU测量。然后，我们使用物理感知的运动优化器来获得物理上正确的人体运动，关节扭矩和地面反作用力。3.1.2基于学习的递归神经网络来自稀疏惯性传感器的全身运动跟踪是严重欠约束和模糊的。例如，由于IMU的稀疏性，不可能区分静止站立和静止坐着，因为IMU测量是相同的：取向相同并且加速度为零。为了应对这种模糊性，必须通过捕获和记忆历史帧中的状态变化信号来利用时间信息。以前的最先进的作品[18，69]利用双向递归神经网络（biRNN）[46]来学习这种时间信息。然而，biRNN的设计仅允许实时设置中的固定帧窗口，这阻止了对在该时间窗口之外发生的状态变化的访问，例如，当受试者保持坐着较长时间时。因此，这些方法不能正确地捕捉这种模糊的姿势。为了克服这一限制，我们使用RNN来保留完整的历史信息并捕获关键的状态变化信号。为了捕获状态变化信号，不仅需要更新架构，还需要新的训练策略。传统上，RNN是以小批量的方式训练的，并且总是从每个批次中隐藏状态的零初始化开始。然而，在我们的设置中，恒定的初始状态是不正确的（受试者可能从坐、站、躺等开始）。当初始状态错误时，由于初始时的失配，模型永远无法学习如何为了解决这个问题，我们提出了一种基于学习的RNN初始化策略。具体来说，我们有一个单独的全连接神经网络（FCN），它从身体姿势信息回归RNN的初始状态。FCN和RNN是联合训练的：对于每个小批量，开始时的地面真实姿态被馈送到FCN中，然后FCN的输出被分配给RNN的隐藏状态，然后RNN像往常一样由于RNN实现没有修改，因此所提出的策略非常有效，并且与高度优化的黑盒RNN库兼容。持续时间通过推断，我们假设对象的初始姿态是已知的，其可以从校准步骤获得。请注意，FCN仅对第一帧的RNN进行重定向我们在训练过程中用于初始化的FCN如图所示 2作为IPL和IVA，其将开始叶关节位置p（0）和关节运动v（0）作为分别输入 此初始化仅适用于PL和VA，这是最受歧义影响的。3.2. 物理感知运动优化器运动学模块的输出可能仍然包含像抖动和地面穿透这样的伪像。因此，我们引入动力学模块，以明确应用物理约束，类似于[52]。该模块的输入是由运动学模块估计的运动状态φ、v和c，其用作基于物理的优化中的参考 动力学模块的任务是获得运动、内部关节扭矩和地面反作用力，这些反作用力与参考一致，但也 满 足 物 理 约 束 。 具 体 而 言 ， 基 于 物 理 模 型（Sec.3.2.1），我们首先使用一种新的双PD控制器（第3.2.1节）。3.2.2）计算模拟角色的期望加速度，该加速度可以完全再现参考运动，然后使用运动优化器（第3.2.2节）3.2.3）求解角色在物理约束条件下实际产生的加速度和力。最后，我们更新角色状态并计算最终输出运动（Sec.3.2.4）。3.2.1物理模型我们使用扭矩控制浮基模拟特性[85]作为我们的物理模型，并遵循与[52]相同的质量我们在原点初始化目标的全局位置。我们将关节在全局坐标系中的位置称为rR3J，将平移称为rrootR3. 在iverstec和ré处的时间der iv是指全局坐标系中的线我们参考局部关节旋转（即，姿态）的欧拉角，θ∈R3J，其在ive处的时间der ivθstec和θ¨是角ve-13171∈·∈∈∈∈·位置和加速度字符的配置由其姿态和平移来描述，我们将其表示为q=[rrootθ]∈RN，其中N=3+3J是其中，θ和θstec是当前关节角度和角速度;E（）将参考姿态转换为局部欧拉角;kpθ= 2400和 kdθ= 60是增益参数。自由度（DoF）。在iveqstec和qé的时间deriv是基因r-速度和加速度。该特征由力矢量τRN控制，其中每个维度指的是对应DoF上的力。在现实世界中，角色仅由非根关节处的扭矩驱动，而没有力施加到根关节。然而，为了补偿我们的物理模型和真实人类之间的动力学不匹配，我们允许根关节处有一个小的残余力，就像以前的工作一样[26，51，52，75，76]。在我们的符号中，前六个条目τ：6对应于根关节处的残余力，并且τ6：是致动关节扭矩。广义加速度q′和力τ遵循运动方程[9]：不关节位置控制器。 该控制器计算出Siredlinearjointaccelerationrüdes. 与旋转控制器不同，我们没有参考关节位置，因为我们没有直接的距离测量。因此，我们根据当前关节位置r和估计的关节速度v将它们计算为：rref=r+T（v）t，（4）其中，T（）将关节速度从局部帧映射到全局帧，并且T（）t是模拟时间步长。然后，关节位置控制器被定义为：rédes=kpr（rref−r）−kdrrstec，（5）τ+Jc（q）λ=M（q）q′+h（q，qstec）， （1）其中MRN× N是惯性矩阵; hRN为非线性效应项，用于说明重力、科里奥利力和向心力; λ R3nc为施 加 在 nc 个 字 符 - 地 面 接 触 点 处 的 外 部 接 触力;JcR3nc× N为接触点雅可比矩阵，将广义速度qstec映射为接触点速度：rstecc=Jcqstecc。（二）读者可参考[9]了解更多详情。在我们的模型中，我们假设所有的外力（重力除外）都是地面施加在接触点上的支撑力和摩擦力，我们称之为地面反作用力（GRF）。其中，kpr= 3600和kdr= 60是增益参数;rstec是当前接头速度，其可以通过下式计算：rstec =J q stec，（6）其中J∈R3J×N是联合雅可比矩阵.3.2.3运动跟踪优化器运动跟踪优化器解决二次规划问题，并估计加速度q？、关节扭矩τ和GRFλ。优化问题可以写为：argminq′，λ，τEPD+E注册3.2.2双比例微分控制器为了控制角色，以前的方法[19，51，52，76]使用单个PD控制器来计算角加速度或关节扭矩以再现参考运动。然而，由于角色的配置在局部欧拉角中被参数化简单地将PD控制应用于全局关节旋转将使优化问题非二次，从而引入大的计算成本。我们发现，施加PD控制器的关节位置将约束的全球构成，同时仍然保持问题的二次。为此，我们提出了一种双PD控制器，它包含1）一个旋转控制器控制关节旋转空间中的局部位姿和2）一个附加的位置控制器控制关节位置空间中的全局位姿下面，我们详细介绍这两个控制器。关节旋转控制器。该控制器根据估计的参考关节旋转φ计算期望的关节角加速度θdes，使用：θ¨des=kpθ（E（φ）−θ）−kdθθstec，（3）13172C×S. t. τ+JTλ=Mq¨+h （运动方程）λ∈ F（摩擦锥）rstecj（q<$）∈C（无滑动）。（七）M是使用复合刚体al-出租m [9]从q计算的。h是使用递归牛顿-欧拉算法[9]从q和q迭代计算的。下面将详细说明能量函数和三个约束接触点测定。应用方程中的三个约束。7、我们首先需要获取身体与地面的所有接触点。我们通过关节j到地面的垂直距离dj 来 确 定 关 节j 是 否 接 触 地 面，并且对于脚关节，由于脚更频繁地接触地面，因此为了更好的准确性，我们另外评估预测的接触概率c。具体地，如果1）df0，则脚关节f被认为接触<。5cm或2）df<3 cm，地面接触概率c f>0. 5;只有当dn0时，才认为非足关节n接触<。5厘米。然后，我们画一个L L正方形中心在每个接触关节，并采取其4个顶点作为接触点。 这是基于我们的发现，即假设面接触而不是点接触产生更稳定的结果。我们取L=20 cm13173EEEEE2·λ3y x y zyCCCCCCCJJJC（十）大概有一只脚那么大接触点的个数记为nj，则接触点的个数为nc=4nj。双PD控制器术语警局 为了繁殖母牛-通过双PD控制器的自动估计，该角色应该产生角加速度和线性加速度。 因此，在Eq。7、EPD由两个分量Eθ和Er，它们控制角加速度和线加速度：3.2.4动态状态更新程序我们使用有限差分方法进行动态状态更新：q（t+1）=q（t）+qstec（t）≠t，（十三）qstec（t+1）=qstec（t）+q？（t）？t，其中，q¨（t）是来自优化器的估计加速度，q（t+1）是更新的姿态和平移。由于我们EPD=kθEθ+krEr，Eθ=q<$3：−θ<$des<$2，Er=Jq<$+Jstecqstecr<$des <$2，其中kθ和kr是权重项，均设置为1。（八）系统以60 fps运行，每秒速度设置为1/60秒。4. 实验在本节中，我们首先将我们的方法与预-正规化术语我们的正则化项reg在等式中。 7包含三个能量项：1）λ惩罚Signorini接触条件的违反[53];2）res约束根残余力的大小;3）Eτ约束关节扭矩的范数：Ereg=kλEλ+k resE res+kτEτ，nc工程（Sec. 4.1）。然后，我们对关键部件进行了消融研究（第二节）。4.2）。最后，我们展示了我们的方法的潜在应用（Sec. 4.3）。数据集。训练和评估涉及AMASS数据集[32]、DIP-IMU数据集[18]和TotalCap- ture数据集[59]。在[69]之后，我们首先训练模型，AMASS使用合成的IMU，然后对其进行微调E=dλ2，Ec=1=πτE.G.，E=πτ二（九）∥,DIP-IMU的列车分裂进行评估TotalCapture和DIP-IMU的测试分割加速器-其中dc是接触点c的垂直高度; λc是点c处的GRF;kλ、kres和kτ是相应的权重，其被设置为10、0。1和0。01，分别。摩擦锥和滑动约束。这两个约束在Eq.7只适用于接触。我们假设接触点处的GRF应该在摩擦锥1内，并且接触接头不滑动。具体地，我们将沿着全局框架的y（垂直）轴的力/速度表示为y，并且对于x，z（水平）轴也是如此。摩擦锥约束可以线性化为：Fc={λc∈R|λ ≥0，|λ |≤µλ，|λ |≤μλ}，F={[λ1···λn]∈R3nc|λc∈Fc，c=1，2，···，nc}，这意味着来自地面的垂直力必须是向上的，而水平力不应大于最大摩擦力。我们根据经验设定摩擦系数μ=0。六、对于滑动约束，我们有：Cj={rstecj∈R3|rstecy≥0，|rstecx|≤σ，|斯特茨河|≤σ}，C={[rstec···rstec]∈R3nj|rstec∈C，j=1，2，···，n}，TotalCapture中的测量值始终存在偏差，我们对其进行了重新校准（详见补充文件）。所有报告的数字都是在线结果。指标. 我们使用以下指标来评估我们的方法。1）SIP误差以度为单位测量上臂和腿在全局空间2）网格误差测量重建网格和地面实况网格之间的平均顶点距离，其中根位置和方向以cm对齐。3）Jitter以km/s3为单位，衡量所有身体关节在全局空间中的平均加加速度（加速度的时间导数），它反映了平滑性的动议[10]。 4）零力矩点（ZMP）距离测量从虚拟ZMP [64]位置到字符的支撑点2的平均距离，单位为m。它代表了让角色摔倒的扰动力矩的强度，对于处于动态平衡的真实人类来说应该为零[64] 。 以 前 的 作 品 [42 ， 48] 杠 杆 年 龄 中 心 的 压 力（CoP）量化的平衡，这是有关的ZMP距离。关于ZMP和CoP的讨论可参见补充文件。在这些度量中，1）和2）测量姿态准确度，3）1njj jJ（十一）和4）测量物理相容性。我们进一步评估这限制了每个接触面的滑动速度小于σ = 0。01同时防止地面穿透。方程中的接触接头速度rstecj（q？）7的计算公式为：rstecj（q<$）=Jj（qstec+q<$t），（12）其中Jj∈ R3nj× N是接触联合雅可比矩阵。1摩擦锥：所有可以通过摩擦锥传递的力的集合库仑摩擦接触。参见[3]。res：6τ第六章：13174累积平移误差，其意味着相对于实际行进距离的全局位置误差;以及延迟，其测量从接收惯性测量到输出对应帧的姿态和平移的时间，单位为ms，使用具有Intel CoreTM i7- 10750 H CPU和 NVIDIA RTX 2080Super图形卡的膝上型计算机。对于所有这些指标，越低越好。2支撑底部（BoS）：与地面接触的主体部分的外边缘周围的区域。也称为支撑多边形。13175方法DIP-IMUSIP错误网格错误抖动ZMP距离延迟[第18话]17.108.96--117[69]第六十九话16.687.091.461.6794PIP15.025.950.240.1216方法TotalCaptureSIP错误网格错误抖动ZMP距离延迟[第18话]18.6211.22--117[69]第六十九话16.587.421.871.4094PIP12.936.510.200.2316表1.与DIP- IMU [18]和TotalCapture [59]上的最新方法进行比较。在第二节开始时详细介绍了单位和单位。4.第一章与SOTA TransPose相比，PIP实现了15%的姿态误差减少、87%的 抖 动 减 少 和 89% 的 运 动 不 平 衡 减 少 ， 延 迟 降 低 了83%[69]。累积转换错误0.40.30.20.10.00 1 2 3 4 5 6 7实际行驶距离（m）图4. TotalCapture [59]数据集上的定性结果。我们展示了不同方法的网格误差分布和曲线下面积（AUC）值，并选择了4个例子进行可视化。图例中显示了不同方法的颜色我们的方法在视觉上是所有方法中最准确的。图3. TotalCap上的翻译估计比较[59]。我们的方法具有最低的累积误差，因为基于学习的RNN初始化和双PD控制器。4.1. 比较定量。我们将我们的方法与最先进的方法DIP [18]和TransPose [69]进行比较，这些方法也针对来自稀疏IMU的运动捕获。 请注意，DIP不估计全局平移。结果见表。图1和图3。我们的方法不仅在捕获精度和物理可扩展性上显著优于以前的工作，而且大大减少了延迟。姿态准确性的提高归因于基于RNN的运动学估计器，其利用完整的历史信息并更好地捕获状态变化信号。运动平滑性、平衡性和平移精度的提高归功于具有物理感知的运动优化器和新颖的双PD控制器。因此，所提出的基于学习的运动学和基于优化的物理学的组合导致总体最佳结果。定性。在图4中，我们显示了DIP [18]、TransPose [69]和我们的TotalCapture方法的网格误差分布。我们在1）10%，2）众数，3）中位数和4）95%时取4个样本。在前两种情况下，我们的方法比以前表2.基于学习的RNN初始化，双PD控制器和基于物理的优化器的消融研究。它展示了我们的关键组件对姿态精度（如SIP错误所示）和物理可扩展性（如抖动所示）的帮助。工程.在第三种情况下，我们忠实地重建全身姿势，而其他人几乎失败。在最后一个具有挑战性的例子中，尽管估计的大腿稍微偏离地面事实，但我们的结果看起来仍然相似，并且优于其他人。同样，我们将这种优势归功于基于RNN的估计器和基于物理的优化器。在这些情况下的模糊性来自于这样的事实，即受试者可以在保持前臂/小腿取向不变的同时执行非常不同的姿势，并且解决模糊性的关键与以前的工作相比，我们更好地利用这些信息，由于我们的学习为基础的RNN初始化。因此，我们的网络回归更准确的姿态和速度，结合双PD控制器，进一步改善了结果。4.2. 评价物理性质。在图5中，我们展示了估计的物理性质。左图显示了受试者行走时双脚我们可以看到转置PIP（无物理学）PIP（w/o learning-init）PIP（w/o dual-PD）PIP2134平均平移误差（m）方法DIP-IMUTotalCaptureSIP错误抖动SIP错误抖动无学习初始化15.120.2713.700.23不带双PD15.040.2812.930.32w/o物理模块15.040.4812.840.51我们15.020.2412.930.2013176图5. 左图：步行运动中随时间推移的估计贴靠力评价。右：挥手运动的手臂关节扭矩可视化（红色表示大扭矩）。双脚轮流支撑身体，GRF approximation等于重力，根据[49，78]，这是合理的。右图是一系列画面，其中受试者挥动他的手，我们可视化手臂的内部当手臂开始和停止移动时，由于加速度，扭矩更大。基于学习的RNN 为了检验基于学习的初始化的效果，我们在没有基于学习的初始化的情况下训练相同的网络工作（PL和VA）并进行评估。如Tab.所示。2和图3，该变体变得不太准确和稳定，这反映在所有度量上的较大误差中。当运动高度模糊时（例如，坐着），但是这个优点在数值上被测试数据集中的共同（非模糊）运动平均掉了。为此，我们在DIP-IMU测试数据集中选取了一个长时间坐着的序列，并在图中绘制了随着时间推移的大腿定向误差六、在序列中，受试者从站立开始，然后立即坐下，并一直坐到最后。曲线显示，随着时间的推移，没有基于学习的初始化的方法开始失败，而我们的模型稳定地跟踪序列。通过检查序列中的几个选定帧，我们可以看到零初始化版本（蓝色）在开始时是正确的，但在很长一段时间后就会出错，因为它丢失了从站立到坐下的历史状态变化信息。结果，他的预言再次站起来相反，我们的（橙色）总是给出正确的估计，这是因为我们对这些信息有很好的记忆。物理和双PD控制器。我们评估1）移除基于物理的优化器，即，仅使用运动学模块和积分根部速度来获得平移;以及2）去除关节位置控制器，即，用如[52]中仅观察q的单个PD控制器代替双PD控制器。如图3所示，图6.基于学习的RNN初始化技能的消融研究，使用长时间坐着序列。我们绘制了大腿方向误差随时间的变化，并挑选了三个帧进行可视化。在没有基于物理的优化器或双PD控制器的情况下，转换精度显著恶化。此外，由于速度累积误差的影响，未经物理优化的方法总是会估计出漂浮在空中或沉入地面的角色这些事实证明了物理意识和我们的双PD控制器在减轻平移误差积累的必要性表中的定量结果2也显示了一个显着减少的运动抖动，在我们的完整的方法。然而，通过基于物理的优化，TotalCap- ture的SIP错误稍微大一些（0. 1◦）。这是因为物理模块主要有助于估计平移和改进运动的物理正确性。4.3. 应用我们的方法使几个应用程序，如实时动画的虚拟人物和运动重定向。还要注意，将延迟从94ms减少到16ms对于启用游戏等应用程序至关重要。请参阅我们的补充材料了解更多结果。5. 结论和限制在这项工作中，我们提出了第一个实时的物理感知的方法，估计人体运动，关节扭矩，地面反作用力，仅从6个IMU。结合运动学和物理模块导致更高的准确性和真实感，在我们的实验中所示。我们还展示了令人兴奋的应用程序，如实时动作捕捉。然而，我们过于简化了现实世界，例如，假设地面是平坦的，这使得我们的方法无法捕捉到上楼的人此外，目前的方法是基于一个已知的身体形状的假设。对于不同的体型，我们只需要调整骨骼长度和质量分布的物理模型。13177引用[1] 谢尔顿·安德鲁斯，伊万·韦尔塔，高村拓，列昂尼德·西格尔，肯尼·米切尔。利用稀疏传感器进行基于物理的实时 运动 捕捉 。在 第13 届欧 洲视 觉媒 体制 作会 议（CVMP 2016）的会议中。计算机协会，2016年。2[2] Kevin Bergamin，Simon Clavet，Daniel Holden，JamesRichard Forbes。Drecon：数据驱动的基于物理特性的响应控制。ACM事务处理图表2019年11月，38日。3[3] 我 是 卡 隆 。摩 擦 锥 - 机 器 人 运 动 。 网 站 地 图https://scaron.info/robot-locomotion/friction-cones.html。6[4] 陈龙，艾海洲，陈睿，庄子杰，刘爽。以超过100 fps的速度进行多人3d姿态估计的跨视图跟踪。2020年1[5] Rishabh Dabral、Soshi Shimada、Arjun Jain、ChristianTheobalt和Vladislav Golyanik。重力感知单胞三维人体目标重建。在国际计算机视觉会议（ICCV），2021年。1[6] Junting Dong，Wen Jiang，Qixing Huang，Hujun Bao，and Xiaowei Zhou.从多个视图快速和鲁棒的多人3d姿态估 计 2019 年 IEEE/CVF 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），2019年。1[7] 杜晓晓，拉姆·瓦苏德万，马修·约翰逊-罗伯森. Bio-lstm：一个生物力学启发的递归神经网络，用于三维行人姿势和步态预测。IEEE Robotics and Automation Letters，2019年4月。3[8] Sai Kumar Dwivedi，Nikos Athanasiou，Muslimed Ko-cabas，and Michael J.黑色. 学习使用微分语义渲染从图像中回归身体国际计算机视觉会议（ICCV），2021年10月。1[9] 罗伊 费瑟斯通刚性 身体 动力学算法Springer US，01 2008. 三、五[10] 塔玛·弗莱什和内维尔·霍根 手臂运动的协调：一个实验证实的运动学模型。神经科学杂志：神经科学学会的官方杂志，1985年5月8日。6[11] Jack H. Geissinger和Alan T.阿斯贝克使用稀疏惯性传感器、自监督学习和新的无脚本人体运动数据集进行运动推断。传感器，20，2020。2[12] 安德鲁·吉尔伯特，马修·特朗布尔，查尔斯·马勒森，阿德里安·希尔顿和约翰·科洛莫斯。融合视觉与惯性感测器与语意于三维人体位姿估测。国际计算机Vision，127，Apr 2019. 2[13] Vladimir Guzov ， Aymen Mir ， Torsten Sattler ， andGerard Pons-Moll.人体定位系统：基于人体传感器的大场景中3d人体姿态估计与自定位。在IEEE计算机视觉和模式识别会议（CVPR）上，2021年6月。二、三[14] Marc Habermann ， Weipeng Xu， Michael Zollhoefer，Ger- ard Pons-Moll，and Christian Theobalt. Deepcap：使用弱监督的单一人员绩效捕获。在IEEE计算机视觉和模式识别会议（CVPR），2020年6月。一、二[15] MarcHabermann ， WeipengXu ， MichaelZollhofer ，GerardPons-Moll，and Christian Theobalt.Livecap：从单目视频中实时捕捉人类行为。ACM事务处理图表，38，2019年3月。二、三[16] MohamedHassan ， VasileiosChoutas ， DimitriosTzionas，and Michael Black.利用3d场景约束解决3d人体姿态模糊性。2019年IEEE/CVF计算机视觉国际会议（ICCV），2019年。3[17] ThomasHelten ， MeinardMüller ， Hans-PeterSeidel ，andChristian Theobalt.使用一个深度摄像头和惯性传感器进行实时身体跟踪。2013年2[18] Yinghao Huang ， Manuel Kaufmann ， Emre Aksan ，Michael J. Black，Otmar Hilliges，and Gerard Pons-Moll.深度惯性姿势学习，从稀疏惯性测量实时重建人体姿势ACM Transactions on Graphics ， （ Proc. SIGGRAPHAsia），37，nov 2018. 一二四六七[19] 矶川真理子，叶远，马修·奥图尔，克里斯·基谷.基于光学非视线物理的三维人体姿态估计。2020年IEEE/CVF计算机视觉和模式识别会议（CVPR），2020年。二三五[20] Tomoya Kaichi，Tsubasa Maruyama，Mitsunori Tada，and Hideo Saito.单rgb摄像机解决人体姿态模糊问题传感器，20，2020。2[21] Christoph Kalkbrenner ， Steffen Hacker ， Maria-ElenaA