神经运动控制：基于物理模拟器的精确人体运动捕捉

PDF格式 | 4.08MB | 更新于2025-01-16 | 90 浏览量 | 举报

6417

Neural MoCon：用于物理上合理的人体运动捕捉的神经运动控制

王

步珍

中国东南大学

摘要

由于视觉模糊性，单目人体运动捕捉的纯运动学公

式通常在物理上是不正确的，生物力学上是不可信

的，并且不能重建精确的交互。在这项工作中，我们

专注于利用高精度和不可微的物理模拟器，将动态约

束的运动捕捉。我们的核心思想是使用真实的物理监

督训练的目标姿态分布之前，基于采样的运动控制，

以捕捉物理上合理的人体运动。为了获得精确的参考

运动与地形的交互采样，我们首先引入了一个基于

SDF

（有符号距离场）的交互约束，以执行适当的地

面接触建模。然后，我们设计了一种新的两分支解码

器，以避免来自伪地面实况的随机误差，并使用不可

微物理模拟器训练分布最后，我们从当前状态的物理

特征与训练的先验和样本满意的目标位姿回归的采样

分布，以跟踪估计的参考运动。定性和定量的结果表

明，我们可以得到物理上合理的人体运动与复杂的地

形相互作用，人体形状的变化，和多样化的生物。更

多信息可以在

www.yangangwang.com/papers/HBZ-NM-2022-

03.html

上找到

介绍

近年来，无标记运动捕捉技术得到了长足的发展，

其应用范围从角色动画到人机交互、个人健康和人类

行为理解等。大量现有的工作可以从单目运动学上捕

捉准确的人体姿势

通讯作者。电子邮箱：yangangwang@seu.edu.cn。这项工作得到

了中国国家重点研发计划基金2018YFB1403900、国家自然科学基金

（编号： 62076061）、 “ 中国科协青年精英资助计划” （编号：

YES20200025 ）和东南大学 “ 至善青年学者 ” 计划（编号：

2018YFB1403900）的部分支持。2242021R41083）。

图

我们的方法通过神经运动控制从单目

RGB

视频中捕获物

理上合理的人体

通过网络回归的视频和图像[22，25，26，66，67]

或优化[6，38，41，51]。然而，由于一系列不满足生

物力学和物理可接受性的伪像（

例如

，抖动和地板穿

透）。

为了提高运动质量和物理可扩展性，一些工作集中

于使用基于物理的约束来捕获人体运动[42，46，47，

53，57]将物理定律作为软约束纳入数值优化框架并减

少伪影。为了使优化易于处理，他们只能采用简单和

可微的物理模型，这可能会导致很高的近似误差。其

他方法[40，60，63]利用具有深度强化学习（DRL）

的不可微物理模拟器然而，训练一个理想的策略需要

复杂的配置[1，5，31]，并且它可能对环境变化敏感

[39，60]。上述限制使得它们不可行的估计与场景交

互的人体姿势然而，运动控制，通常是基于采样的方

法[35]，在再现高度动态和杂技运动方面取得了令人

印象深刻的性能，并且对接触丰富的场景具有鲁棒

性，这为基于一般物理的运动捕捉提供了一种方法。

在本文中，我们的目标是构建一个基于物理的运动

6418

捕获框架，更一般的复杂地形，形状变化，以及沿着

基于采样的运动控制的不同行为。然而，在单目运动

捕捉任务中采用基于采样的运动控制面临着几个挑

战。首先，传统的基于采样的方法[33，35]通常跟踪

来自商业运动捕捉系统的准确参考运动，而来自单目

RGB视频的估计运动是有噪声的并且在物理上是不可

信的。不准确的接触导致不自然的姿势，甚至会导致

角色的不平衡状态。其次，它是复杂的，以找到一个

最佳的抽样分布。虽然CMA（协方差自适应）[11]被

证明能够通过黑盒优化[33]调整分布，但它需要评估

大量样本进行分布自适应，这是耗时的。此外，依赖

于来自初始分布的随机样本的自适应强加了运动捕获

的不确定性。

为了克服这些障碍，我们的核心思想是在物理监督

之前训练运动分布。先验知识为基于采样的运动控制

提供了可行的解决方案我们首先引入了一个人-场景交

互约束，以获得一个参考运动与适当的接触采样。与

现有的检测脚-地面接触状态的工作[42，47]不同，我

们提出的交互约束通过SDF调整两个断开网格之间的

距离，强制人体模型接近地面表面。然后，我们尝试

训练编码器以回归具有 KL发散（ Kullback-Leibler 发

散）和来自CMA的伪地面实况的分布。然而，对于相

同的角色状态和参考位姿，CMA方法得到不同的分

布，从而CMA的随机误差导致网络发散和错误的回

归。因此，我们提出了一种新的双分支解码器来解决

这个障碍。如图3所示，从估计的分布中采样的目标姿

态被馈送到物理分支中以验证有效性。由于模拟器是

不可微的，我们使用输出来监督姿态解码器，并强制

其将目标姿态转换为类似模拟器的动态姿态。此外，

来自参考姿态的重构损失被应用于经解码的姿态以促

进正确的分布编码。当编码器是收敛的，我们用它来

编码分布和采样目标姿态的物理分支捕捉物理上合理

的运动。本工作的主要贡献总结如下。

•

我们提出了一个明确的基于物理的运动捕捉框

架，更一般的复杂地形，身体形状的变化，和不

同的行为。

•

我们提出了一种新的双分支解码器，以避免

随机误差，并利用不可微的物理模拟器训练分布

先验。

•

我们提出了一种基于SDF的交互约束，以从复杂

的地形场景中捕获准确的人-场景接触。

相关工作

基于物理的动作捕捉。VideoMocap [53]首先通过联合

优化人体姿势和接触力，在运动捕捉中使用物理约

束，这种方法需要人工干预才能获得满意的结果。在

[53]、[32]和[42，47，64]的基础上，分别进一步考虑

对象交互和运动姿态估计最近，Shimada

等人

。[46]提

出了一种基于神经网络的方法来估计地面反作用力和

关节力，并使用导出的加速度更新角色的位姿。为了

使优化问题易于处理，他们的方法只能采用简单的、

可微的物理模型和有限的约束条件，这导致了很大的

近似误差。为了解决这个问题，一些最新的作品[40，

60，62，63]采用DRL来实现基于不可微模拟器的运动

捕捉。尽管如此，训练一个理想的策略需要复杂的推

理[1，5，31]，并且它可能对运动类型和体型变化敏

感[39，60]。Vondrak等人[50]直接使用轮廓来构造字

符-图像一致性以训练状态机控制器。然而，这种方法

只能推广到各种运动，恢复的运动似乎是不自然的。

在这项工作中，我们采用神经运动控制来捕捉运动，

而不是DRL。有了训练好的分布先验，我们的方法对

不同的地形交互、人体形状变化和不同的行为更通用

基于物理的角色控制。基于物理的角色控制是一个长

期存在的问题[28，29，45，49，54，55]。早期的工

作依赖于倒立摆模型[21]，被动动力学行走[27]和基于

零力矩点的轨迹生成[12]可以处理简单的运动。为了

解决大自由度（自由度）模型，基于优化的方法[23，

30，48，56]被广泛用于模拟和分析人体运动。然而，

它需要大量的计算工作来处理一个复杂的运动。其他

方法[3，59]近似于实际的人类控制系统，可以产生正

常和病态的行走运动。这些基于控制的方法可以推广

到各种技能[3，33- 35，59 ]，但需要一组超参数来调

整所最近的作品采用DRL来控制物理特性[28，39，

58]。这表明，当提供运动捕捉数据作为参考时，DRL

可以实现高质量的运动[39]。课程学习促进DRL，

6419

图

概况

我们的方法首先从单目

RGB

视频（

）中估计具有准确的人类场景交互以及人类形状的参考运动。然后，先验回归

来自身体特征的状态和参考姿势的分布以采样目标姿势（

）。物理模拟器用于获得每个样本的物理上合理的姿态（

）。具有

最低损耗的样本被采用并用于样本评估（

）之后的下一帧。

学习更复杂的任务[58]。然而，训练一个最优策略需

要大量的低级和高级设计决策，这会强烈影响最终代

理的性能我们遵循基于采样的运动控制[33，35]来构

建一个通用框架。此外，我们提出了一种基于网络的

分布先验，以避免耗时的分布自适应，并提高其方法

的稳定性。

3D人体与场景交互。通过场景交互对三维人进行建

模，将促进对人类行为的计算理解，这对虚拟世界及

其相关应用具有先前在场景标记[19]，场景合成[8]，

启示学习[10，24]和对象排列[20]中的工作验证了人类

背景有助于场景理解。场景几何的先验知识也可以促

进更合理和准确的[13，15，43，44]根据场景几何形

状和人体部位之间的关系生成具有交互作用的人体运

动。[37]进一步利用这种关系从视频中恢复交互。为

了明确使用场景信息来提高姿态精度，[14]在优化中

制定了两个约束，[65]还采用了基于优化的方法，并

提出了一种平滑之前，以提高运动质量。然而，软约

束的数值优化很难避免像穿插，这是主要关注的人的

场景重建的伪影。相比之下，我们的方法依赖于物理

模拟器[4]来提供硬物理约束。通过基于网络的分布先

验，我们的方法可以通过神经运动控制获得精确的地

形交互。

方法

我们提出了一个具有不可微物理模拟器的框架[4]，

以捕获物理上合理的hu。

人的动作。我们首先描述我们的运动学和动力学特征

的表示（第二节）。第3.1节）。然后，设计交互约束

以获得具有适当接触信息的参考运动（第二节）。

3.2）。此外，我们引入了一个分布先验训练与一个新

的两个分支结构的神经运动控制（节。3.3）。最后，

我们回归一个分布，并采样满意的目标姿态来跟踪估

计的参考运动（第二节）。第3.4段）。

3.1.

预赛

表示.运动学运动用SMPL模型表示[36]。为了在物理模

拟器中表示不同的人体形状，我们将物理角色设计为

具有与SMPL相同的运动学树根据SMPL参数的估计，

可以直接得到角色的骨骼长度和链接形状我们固定一

些骨骼关节，使其具有57个自由度。角色的状态表示

为s=

（

，

stec），其中

和

stec分别是姿态和速度。

该模型的细节可在补充材料中找到

基于采样的运动控制。我们简要回顾了基于采样的运

动控制方法[35]，以促进

对我们方法的理解。运动姿态

被用作

参考，并且我们希望物理角色经由PD控制

（比例导数）动态地跟踪参考姿态。然而，由于运动

姿态估计和PD控制器的不准确性采样算法对参考位姿

的校正位

姿

进行采样，因此采用目标

位

姿

可

以补偿差异。

样本的质量由损失函数评估。通过选择

具有最低损失的样本，我们可以获得物理上合理的运

动。更多的细节可以在[35]中找到。

剩余11页未读，继续阅读

cpongm

粉丝: 6

神经运动控制：基于物理模拟器的精确人体运动捕捉

基于模型的人体运动跟踪

模拟物理运动

人体跟踪系统，跟踪运动的人体

基于动力补偿的液压并联运动平台控制策略 (2006年)

【神经网络与轨迹优化】：AI技术推动运动控制的革新

机械臂阻抗控制：跨学科的多臂协调技术挑战解析

运动追踪技术提升：ICM-42688-P数据融合应用实战

HelixToolkit物理引擎集成：模拟真实世界交互的终极指南

精确飞行的定位与导航艺术】：DJI SDK应用详解

物理模拟动力学解析：数值分析在动力学问题中的关键作用

最新资源