可微分动力学方法的关节3D人体运动重建

131900可微分动力学用于关节3D人体运动重建0Erik Gärtner 1,2 Mykhaylo Andriluka 1 Erwin Coumans 1 Cristian Sminchisescu 101 Google Research,  2 Lund University0erik.gartner@math.lth.se0{mykhayloa,erwincoumans,sminchisescu}@google.com0摘要0我们引入了DiffPhy，一种基于可微分物理的模型，用于从视频中重建关节3D人体运动。迄今为止，基于物理推理在人体运动分析中的应用受到了限制，这既是由于构建足够的关节人体运动物理模型的复杂性，也是由于在物理环境中进行稳定和高效推理的巨大挑战。我们通过提出一种方法来共同解决这些建模和推理挑战，该方法结合了一个物理上合理的身体表示、解剖关节限制、可微分物理模拟器和优化技术，以确保良好的性能和对次优局部最优解的鲁棒性。与最近的一些方法[39, 42,55]不同，我们的方法可以支持包括与场景中的物体交互在内的全身接触。最重要的是，我们的模型与图像直接连接，因此支持通过基于图像的损失函数进行直接基于梯度的物理优化。我们通过在具有可用的3D真实值的公共基准测试和互联网视频上演示，验证了该模型可以准确地重建出物理上合理的3D人体运动。01. 引言0我们致力于将基于物理的方法作为构建准确和稳健的3D视觉人体感知系统的基石之一。将物理定律纳入视觉推理过程中具有吸引力，因为它促进了估计运动的合理性，并促进了对训练样本的更有效利用[9]。我们专注于关节人体运动，作为一个既被广泛研究又具有挑战性的真实预测任务的缩影。现有的最先进方法在关节位置估计指标方面表现出相对较高的准确性[23, 24, 54,62]。然而，有时候预测结果在物理上是不合理的，即使是对于简单的行走和奔跑等动作。例如，估计结果可能包含在世界空间中不合理的突然转换，或者出现脚滑动或非平衡状态等伪影[39,42]。许多方法通常在大型动作捕捉数据集上进行训练，并在那些训练集中没有很好表示的动作上遇到困难。可以说，对关节运动估计施加某种形式的基于物理的普遍有效先验应该极大地改善结果的合理性。然而，基于物理的推理的代价是相当大的建模和推理复杂性。通常，基于物理的关节估计方法依赖于刚体动力学（RBD）[10,44]，这种形式引入了许多辅助变量，这些变量对应于每个时间步长处在关节上起作用的力。此外，物理接触会导致非平滑效应，其中模型参数的微小变化可能导致完全不同的运动。因此，在存在单目视频固有不确定性和接触不连续性的情况下，推断物理变量变得非常困难，无论是在算法上还是在计算上。尽管存在这些挑战，最近的一些方法成功地应用了基于物理的约束来估计关节人体运动[2, 39, 42,59]。最近的一项工作探索了应对建模复杂性的可能性，即简化物理并仅在身体和脚之间建立接触[39, 42,55]。其他方法使用辅助外部力来补偿建模误差[42,59]。在本文中，我们旨在扩展基于物理的关节人体运动估计的方法论。具体而言，我们证明了我们可以成功地利用可微分仿真的最新进展[17, 19,52]，将基于物理的约束纳入关节3D人体运动重建中。我们的方法DiffPhy依赖于基于梯度的优化，与图像直接连接，并且不需要对接触或引入外部非物理残余力进行简化假设。0有时候预测结果在物理上是不合理的，即使是对于简单的行走和奔跑等动作。例如，估计结果可能包含在世界空间中不合理的突然转换，或者出现脚滑动或非平衡状态等伪影[39,42]。许多方法通常在大型动作捕捉数据集上进行训练，并在那些训练集中没有很好表示的动作上遇到困难。可以说，对关节运动估计施加某种形式的基于物理的普遍有效先验应该极大地改善结果的合理性。然而，基于物理的推理的代价是相当大的建模和推理复杂性。通常，基于物理的关节估计方法依赖于刚体动力学（RBD）[10,44]，这种形式引入了许多辅助变量，这些变量对应于每个时间步长处在关节上起作用的力。此外，物理接触会导致非平滑效应，其中模型参数的微小变化可能导致完全不同的运动。因此，在存在单目视频固有不确定性和接触不连续性的情况下，推断物理变量变得非常困难，无论是在算法上还是在计算上。尽管存在这些挑战，最近的一些方法成功地应用了基于物理的约束来估计关节人体运动[2, 39, 42,59]。最近的一项工作探索了应对建模复杂性的可能性，即简化物理并仅在身体和脚之间建立接触[39, 42,55]。其他方法使用辅助外部力来补偿建模误差[42,59]。在本文中，我们旨在扩展基于物理的关节人体运动估计的方法论。具体而言，我们证明了我们可以成功地利用可微分仿真的最新进展[17, 19,52]，将基于物理的约束纳入关节3D人体运动重建中。我们的方法DiffPhy依赖于基于梯度的优化，与图像直接连接，并且不需要对接触或引入外部非物理残余力进行简化假设。̂̂̂̂which improve 3d joint reconstruction metrics at the cost ofaltered physical plausibility. Since we aim to increase thephysicality of reconstructed motions, we avoid using anyresidual forces. [59] follows on [33, 53] to learn a neuralnetwork that estimates torques to drive a model in the full-featured physical simulator MuJoCo [47]. However, Mu-JoCo is non-differentiable, hence the need to resort to ex-pensive training using numerical gradients in a reinforce-ment learning setting. The method is trained for millionsof steps using 3d ground-truth labels from a motion cap-ture dataset, but the method’s ability to generalize to in-the-wild is not demonstrated. Similarly to [39], the method as-sumes a known ground plane, whereas DiffPhy estimatesit. [41] integrates a simplified physics approach, dubbed“physionical”, into a neural network that estimates jointtorques and ground-reaction forces. Similarly to [42] theydetect foot contact using a neural network predictor ratherthan by means of physical simulation. Most recently, [55]introduced a method relying on a simplified physical for-mulation that makes it possible to refine 3D pose estimateswell enough to train motion synthesis models based on thatoutput.However, the method assumes a known groundplane, models only foot contact, and implements a sim-plified physical body scaled solely based on the estimatedbone length rather than shape estimates. Finally, in our con-current work [15], we perform physics-based human posereconstruction of complex motions through trajectory opti-mization based on CMA-ES [16] in the non-differentiablesimulator Bullet [7]. This general approach uses a matureand full-featured simulator which, while capable, is slowdue to costly black-box optimization. The method does notoptimize the initial state of the body (see §3.6) together withthe joint control variables, being more vulnerable to unfa-vorable initialisation. In summary, this work takes the novel131910s00� q0：T0τ 0 s ′ 0 s 10L 00� q00τ10s20L 10� q10β0PD PD0损失 损0TDS TDS0� q2：T0L0优化初始化0图1.DiffPhy概述。给定一个主体的身体形状β的运动学估计（在§3.1中描述），身体的初始姿势和速度s0，以及具有检测到的2D关键点的时变3D姿势¯q0：T，我们的模型通过最小化可微损失L（见§3.5）在物理模拟中重建运动。DiffPhy优化包含关节角度目标的控制轨迹ˆq0：T到PD控制器（参见（4））。反过来，PD控制器计算扭矩矢量τ，该矢量作用于模拟身体的关节中的电机。DiffPhy集成了一个全功能的可微分模拟器TDS[17]（在§3.2中描述），支持复杂的接触。每个主体都通过个性化的物理模型（见§3.3）来表示。此外，我们优化初始状态（见§3.6），这使得DiffPhy对低质量的初始估计具有鲁棒性。输出是与视觉证据对齐并遵守物理约束的3D姿势估计。02. 相关工作0基于运动学的3D人体姿势估计。通常通过端到端[29，30，61]或两阶段[8，18]模型来解决单目3D姿势估计问题，其中使用神经网络来预测3D关节位置。由于深度模糊和遮挡，这是一个不适定的问题。网络通常在广泛的姿势数据集[21，22，28，50]上进行训练，这通常支持对训练期间先前观察到的姿势的良好性能。几种方法[24，60，62]直接回归统计身体模型[26，56]的参数（而不是3D关节位置），包括主体的身体形状和运动学姿势。上述方法采用纯视觉推理方法解决问题，不考虑基于物理的约束。正如[39]所观察到的，这可能导致抖动、地面穿透、脚滑动或不自然的倾斜等伪影。0基于物理的3D人体姿势估计。最近的研究[15，27，39-42，55，59]旨在通过使用物理学来规范重建，增加真实性。这旨在强制执行正确的接触和动态一致性等物理约束。在[39]中，通过优化重建运动，但该方法仅考虑脚与地面之间的碰撞。这种简化在当前方法中反复出现，并限制了可以重建的运动类型。相比之下，在这项工作中，我们使用了一个全功能的物理模拟器，支持场景中所有物体之间的接触。PhysCap[42]是一种基于实时优化的方法，其中基于神经网络预先检测脚部接触。在基于物理的推理过程中，接触被认为是固定的，因此无法进行修正或改进。此外，根据[58]，该方法使用非物理的“残余力量”MethodBodyCont.DPTrainedTgNo RFRempe et al. [39]FixedFeet✗Contacts✗✓PhysCap [42]FixedFeet✓Contacts✓✗SimPoE [59]AdaptFull✗Yes✗✗Shimada et al. [41]FixedFeet✓Yes✓✗Xie et al. [55]FixedFeet✓No✗✓Dynamics [15]AdaptFull✗Prior✓✓DiffPhyAdaptFull✓No✓✓Table 1. Feature comparison against other physics-based meth-ods.Body compares the type of physical body representationwhere “adapt” means individually constructed based on shape esti-mate, Cont. column compares what type of contacts are supported,DP whether the method uses a differentiable physical formulation,Training if the physical inference requires training, Tg comparesif the ground plane is estimated (as opposed to assumed known),and No RF if the method avoid non-physical residual forces. Onlyour method does not require any additional training and uses afull-featured differentiable physics formulation.approach of tightly integrating physics into the reconstruc-tion process through a full-featured differentiable physicsmodel. As a result, DiffPhy supports complex full-bodycontacts, connects pixels-to-physics using end-to-end dif-ferentiable losses, supports personalised body models, doesnot resort to residual forces, and is robust to poor initializa-tion. See tab. 1 for an overview of physics-based methods.It is worth mentioning that, aside from physical simula-tion, there exist many other approaches to grounding thehuman pose estimates using e.g., inertial estimates fromIMUs [57], scene constraints [5,63], and motion priors [38].Differentiable Physics for Human Modeling.Physicalsimulation is a mature area with several established simu-lation engines available [7, 25, 47]. These engines imple-ment forward simulation but do not facilitate the compu-tation of derivatives necessary for efficient gradient-basedoptimization. These simulators are well-suited for trainingwith gradient-free methods such as reinforcement-learningor evolutionary algorithms and have been used for gradient-free optimization of human motion models [2,34,59]. Morerecently differentiable physics simulators have emerged[6, 14, 17, 37, 52]. Applying these to human motion recon-struction is difficult due to noisy gradients [19, 32], and anon-convex objective function. We present a methodologyusing gradient-based local search with stochastic global op-timization enabling the first use of a full-featured differen-tiable physics model [17] for human pose reconstructionfrom video. Furthermore, we show that our approach ismagnitudes faster than a purely sampling-based approach.3. MethodologyThis section presents our approach to reconstructing 3dhuman shape and motion from video with differentiablephysics in the loop. Given a monocular video of a humansubject, we use a kinematic neural network to estimate 2dFigure 2. Qualitative results on two in-the-wild sequences. Sportsand dynamic activities are rarely found in motion capture datasets.body keypoints, the body shape, and 3d body poses. Sinceestimating 3d pose from monocular video is ill-posed, dueto e.g. depth-ambiguities and occlusion [43], the kinematic3d reconstructions may suffer from self-penetration, incon-sistent translation, jitters, floating above the ground, andnon-physical leaning [39, 42]. We, therefore, reconstructthe motion in physical simulation, by jointly accounting forboth visual evidence and the constraints of physical simula-tion (e.g. collisions, gravity, and Newton’s laws of motion).See fig. 1 for an overview of our approach.3.1. Kinematic InitializationGiven a sequence of monocular images {Ii}, we assumea pinhole camera with intrinsics i = [fx, fy, cx, cy] and con-stant camera extrinsics. We obtain the visual evidence usedin our optimization objectives following the procedure in-troduced in [15]. This relies on HUND [60], a 3d pose es-timator that produces per-frame 2d keypoints ¯xi with con-fidence scores ci, 3d body poses θi, and 3d body shape βi,where θ and β are the GHUM [56] posing and shape pa-rameters, respectively.Since HUND is a per-frame estimator, a temporally con-sistent shape is recovered by selecting the N = 5 highest-scoring frames according to keypoint confidences.Forthese frames, HUND image losses [60] are minimized usingBFGS under the additional constraint of a constant shape,β, across all frames. In addition, [15] introduces a finalround of optimization where poses are updated under thetime-consistent body shape and a temporal smoothness lossto reduce jittering.Finally, as the ground plane location is not assumed tobe known and HUND produces estimates in camera spacek, we estimate the global transform Tg ∈ R3×4 for thephysical scene, with gravity along the y axis, as well as theground plane at y = 0. This is achieved by minimizingLg(Tg) =∥ min�δ, Ly�Tg[M(β, θi), 1]��∥2,(1)where Ly is an operator that extracts the k = 20 smallestsigned distances from the mesh vertices M(β, θi) after theglobal transformation. This assumes the body is in groundplane contact for most of the sequence. To allow for frameswhere the subject is not in contact with the ground, we clipthe maximum shortest distance to the ground to δ = 20 cm.131920τ t = H(qt)¨qt + C(qt, ˙qt, f xt )(2)JcH−1J⊤c p + Jc ˙x = v(3)v = [vu, vb]s.t.v⊤u pu = 0vu ≥ 0pu ≥ 0vb = 0ACDXicbVC7SgNBFJ31GeMramkzGIWAEHYF0TJoYxnBPCAbl9nZWR2cfThzVwjD+gFp/Ah/wMZCEVt7O2t/xNkha8DFw7n3Mu9/ip4Aps+8Oamp6ZnZsvLZQXl5ZXVitr62VZJKyFk1EIrs+UzwmLWAg2DdVDIS+YJ1/Kvjwu/cMKl4Ep/BIGX9iFzEPOSUgJG8yrZ2IwKXfqjdIEhAX+d57mnYdQMmgGDIz3We5WqXbdHwH+JMyHVRq32ObxV902v8u4GCc0iFgMVRKmeY6fQ10QCp4LlZTdTLCX0ilywnqExiZjq69E3Od4xSoDRJqKAY/U7xOaREoNIt90Fqer314h/uf1MgP+5rHaQYspuNFYSYwJLiIBgdcMgpiYAihkptbMb0klAwAZNCM7vl/+S9l7d2a/bpyaNIzRGCW2iLVRDjpADXSCmqiFKBqiB/SEnq0769F6sV7HrVPWZGYD/YD19gUmAqCN¨qut+�tACAnicbVC7SgNBFJ2NrxhfUSuxGQ1CRAi7gmgZtLGMYB6QXZbZyWwyZPbhzF0hLIuNvV9hY6GIrZWfYOeH2Dt5FJp4MLhnHu59x4vFlyBaX4Zubn5hcWl/HJhZXVtfaO4udVQUSIpq9NIRLlEcUED1kdOAjWiUjgSdY0+tfDP3mLZOKR+E1DGLmBKQbcp9TAlpyizupHRDoeX56k2VuCkd2hwkgGDK3WDIr5gh4lgTUqrulb8/HuzDmlv8tDsRTQIWAhVEqbZlxuCkRAKngmUFO1EsJrRPuqytaUgCpx09EKGD7TSwX4kdYWAR+rviZQESg0CT3cO71XT3lD8z2sn4J85KQ/jBFhIx4v8RGCI8DAP3OGSURADTQiVXN+KaY9IQkGnVtAhWNMvz5LGcU6qZhXOo1zNEYe7aJ9VEYWOkVdIlqI4oukOP6Bm9GPfGk/FqvI1bc8ZkZhv9gfH+A2+cmxg=qt+�tACAnicbVC7SgNBFJ2Nrxhfq1ZiMxqEiB2BdEyaGMZwTwgu4TZyWwyZPbBzF0xLMHG3q+wsVDE1spPsPND7J1NUmjigQuHc+7l3nu8WHAFlvVl5ObmFxaX8suFldW19Q1zc6uokRSVqORiGTI4oJHrIacBCsGUtGAk+whte/yPzGDZOKR+E1DGLmBqQbcp9TAlpqmztOQKDn+entsJ0CPsJOhwkgGIZts2iVrRHwLEnpFjZK31/PDiH1b56XQimgQsBCqIUi3bisFNiQROBRsWnESxmNA+6bKWpiEJmHLT0QtDfKCVDvYjqSsEPFJ/T6QkUGoQeLozO1hNe5n4n9dKwD9zUx7GCbCQjhf5icAQ4SwP3OGSURADTQiVXN+KaY9IQkGnVtAh2NMvz5L6cdk+KVtXOo1zNEYe7aJ9VEI2OkUVdImqIYoukOP6Bm9GPfGk/FqvI1bc8ZkZhv9gfH+A1tWmc=xt+�tACB3icbVC7SgNBFJ2NrxhfUtBRoMQEcKuIFoGbSwjmAdkl2V2MpsMmX0wc1cMy3Y2Vv6HjYUitvoJdn6IvZNHoYkHBg7n3Hvn3uPFgiswzS8jNze/sLiUXy6srK6tbxQ3txoqSiRldRqJSLY8opjgIasDB8FasWQk8ARrev2Lod+8YVLxKLyGQcycgHRD7nNKQEtucTe1AwI9z0/tTgT4NsvcFI7sDhNAMGRusWRWzBHwLEmpFTdK39/PNiHNbf4qefQJGAhUEGUaltmDE5KJHAqWFawE8ViQvuky9qahiRgyklHd2T4QCsd7EdSvxDwSP3dkZJAqUHg6crh0mraG4r/e0E/DMn5WGcAvp+CM/ERgiPAwFd7hkFMRAE0Il17ti2iOSUNDRFXQI1vTJs6RxXLFOKuaVTuMcjZFHO2gflZGFTlEVXaIaqiOK7tAjekYvxr3xZLwab+PSnDHp2UZ/YLz/ABNunRQ=˙xt+�tACHicbVC7SgNBFJ2NrxhfUsLR4MQEcKuIFoGbSwjmAdkl2V2MpsMmX04c1cIy5Y2Nn6IjYUitvkEOz/E3smj0MQDA4dz7r1z7/FiwRWY5peRW1hcWl7JrxbW1jc2t4rbOw0VJZKyOo1EJFseUzwkNWBg2CtWDISeI1vf7VyG/eM6l4FN7CIGZOQLoh9zkloCW3uJ/aAYGe56d2J4L0LsyN4UTu8MEAyZWyZFXMPE+sKSlVD8rfwyf7uOYWP/UgmgQsBCqIUm3LjMFJiQROBcsKdqJYTGifdFlb05AETDnp+JAMH2mlg/1I6hcCHqu/O1ISKDUIPF052lrNeiPxP6+dgH/hpDyME2AhnXzkJwJDhEep4A6XjIYaEKo5HpXTHtEgo6u4IOwZo9eZ40TivWcW80WlcognyaA8dojKy0DmqomtUQ3VE0QN6Rq/ozXg0Xox342NSmjOmPbvoD4zhD4hrne8=˙qt+�tstqt qtt+δtτt, ftJcτ t = kp(ˆqt − qt) − kd ˙qt,(4)1319303.2. 可微分物理仿真模型0我们在“Tiny DifferentiableSimulator”（TDS）[17]框架中实现了我们的模型。这个框架以约束坐标的形式表达了关节体的刚体动力学。向量 q中的元素表示每个关节的位置，向量 ˙q中的元素表示基于旋转和球形关节的关节空间速度。给定时间 t 的身体状态 �s t = ( q t ,  ˙q t ) ，以及关节力矩向量 τ t和外部力 f t，图3中的计算产生了对应于带有接触的刚体多体动力学的新的身体状态 �s t + δt。为此，我们首先运行正向运动学来计算世界空间位置和速度，以及正向动力学来计算不考虑接触的无约束加速度。正向动力学通过解动力学树的运动方程来计算加速度，该动力学树由以下方程给出0其中 H ( q ) 是关节空间惯性矩阵，C是关节空间的偏置力，f x是外部力的向量。正向动力学是通过基于传播的关节体算法（ABA）[11]计算的，该算法在三次遍历身体的运动链以计算最终获得身体每个刚体组件的加速度所需的数量。关节空间惯性矩阵是使用复合刚体算法（CRBA）[11]计算的。然后使用无约束加速度 ¨q u t + δt来计算无约束速度，结合正向运动学的输出 x t + δt来更新关节体与环境之间的接触点。具有正（分离）距离的接触点被分类为非活动接触点，而具有零或负距离的接触点是活动接触点。活动接触会产生一个斥力冲量，需要在计算新的身体状态时考虑。为此，正向动力学计算被表述为速度级别的线性互补问题（LCP）[45, 46]0其中 J c是在前一步中计算的接触点位置的接触雅可比矩阵，p是反作用冲量的向量，v 是相对速度的向量。指标 u 和 b分别表示单边和双边约束的部分。问题（3）中的LCP问题然后通过投影高斯-塞德尔方法进行迭代求解，遵循[46]中的公式01 请参阅[11]中的表7.1，了解关节体算法。0每个接触点的LCP[20]。计算的最后一步是使用半隐式欧拉积分从关节速度中获得关节位置 q t + δt 。0刚体状态0关节力矩和外部0力0新的身体状态0半隐式欧拉法0前向动力学0和正向运动学0计算接触0点和0和0计算0受约束的0图3. 物理模型模拟步骤的概述，该步骤将当前状态 S t更新为经过时间步长 δ t的新状态。对于每个计算块，我们包括在后续块中使用的输出量。03.3. 人体物理建模0在物理模拟中，我们将人体建模为由关节连接的刚性几何基元。该模型由16个关节组成，共有48个自由度，连接着代表各个身体部位的26个胶囊（参见图1）。模型的形状和质量通过依赖统计身体模型[56]来自动适应各种身体形状。给定与静止姿势中的形状估计 β 对应的3D网格 M ( β ,  � )，我们根据[2]的方法推断出几何基元的尺寸。该过程完全自动化，并为每个主体生成个性化的物理模型。由于物理模型需要质量，我们首先根据人体形状数据集[35]估计身体的总质量，然后根据解剖分布[36]分配重量。最后，根据质量和尺寸计算每个基元的惯性。DiffPhy通过激活身体关节中的扭矩电机来在模拟中重建运动。根据之前的工作[1]，我们优化控制目标以比例-导数（PD）控制器，而不是直接优化扭矩。我们将身体的角度关节位置定义为 q t，关节速度定义为 ˙q t ，关节的3D笛卡尔坐标定义为 x t，对于时间步长 t 。给定一组关节目标 ˆ q 1: T  =  { ˆ q 1 ,ˆ q 2 , . . . ,  ˆ q t } ，PD控制器推断关节扭矩为0其中k p和kd是PD控制器的增益参数。然后，我们可以将长度为T的运动指定为初始状态s 0 = ( q 0 ,  ˙q 0 )，定义地面平面的世界几何G，以及关节的目标轨迹ˆ q 1: T。给定（5）中提出的损失，我们通过最小化L = L ( s 0 ,  G,  ˆ q 1: T  ) 相对于ˆ q 1: T  来重建运动。03.4. 基于梯度的优化0鉴于我们的损失函数L = L ( S 0 ,  G ,  ˆ q 1: T  )，我们可以使用任何基于梯度的优化方法来最小化CMA-ES80k206.7125.777.416.9BFGS122160.1100.168.915.5Basin-BFGS509144.984.661.112.6L = wrLr + wjLj + wiLi + wlLl,(5)Lr(ˆq1:T ) = 1T∥¯xroott− xroott∥2(6)Lj(ˆq1:T ) =1TKarccos(|qkt · ¯qkt |),(7)Li(ˆq1:T ) =1TKckt ∥¯xkt − Π(xkt , i)∥2,(8)TK(9)131940方法 # eval MPJPE-G MPJPE MPJPE-PA M