data for machine learning. The lack of physical exertionand absence of motion makes this class of human activitiesamenable to relatively simple biomechanical models similarto the ragdoll models used in video games [35].We apply this insight to the problem of using a pressureimage to estimate the 3D human pose and shape of a per-son resting in bed. This capability would be useful for avariety of healthcare applications such as bed sore manage-ment [17], tomographic patient imaging [18], sleep studies[9], patient monitoring [10], and assistive robotics [13]. Tothis end, we present the PressurePose dataset, a large-scalesynthetic dataset consisting of 3D human body poses andshapes with pressure images (Fig. 1, left). We also presentPressureNet, a deep learning model that estimates 3D hu-man body pose and shape from a low-resolution pressureimage (Fig. 1, right).Prior work on the problem of human pose estimationfrom pressure images [9, 13, 18, 22, 29] has primarily usedreal data that is challenging to collect. Our PressurePosedataset has an unprecedented diversity of body shapes, jointangles, and postures with more thorough and precise anno-tations than previous datasets (Table 2). While recent priorwork has estimated 3D human pose from pressure images,[9, 13], to the best of our knowledge PressureNet is the firstsystem to also estimate 3D body shape.Our synthetic data generation method first generates di-verse samples from an 85 dimensional human pose and62150静止的身体：使用合成数据从压力图像中估计3D人体姿势和形状0Henry M. Clever 1，Zackory Erickson 1，Ariel Kapusta 1，Greg Turk 1，C. Karen Liu 2和Charles C. Kemp 101 佐治亚理工学院，美国亚特兰大，2 斯坦福大学，美国斯坦福0{henryclever，zackory，akapusta}@gatech.edu，turk@cc.gatech.edu，karenliu@cs.stanford.edu，charlie.kemp@bme.gatech.edu0图1.左：PressurePose数据集包含206K个3D人体姿势和形状，压力图像是通过物理模拟生成的，模拟了关节刚体模型和软体模型在床和压力感应垫上的情况。右：PressureNet是一个在合成数据上训练的深度学习模型，在真实数据上表现良好：输入压力图像和性别（in），输出3D人体网格（out），用于参考的RGB图像（ref）。0摘要0人们在床上休息的时间很长。为这种活动进行3D人体姿势和形状估计将有许多有益的应用，但是由于被床上物品的遮挡，直线视觉感知变得复杂。压力感应垫是一个有前途的替代方法，但是收集大规模的训练数据具有挑战性。我们描述了一种基于物理的方法，该方法模拟了人体在床上休息时的情况，并提供了Pressure-Pose，一个具有206K压力图像、3D人体姿势和形状的合成数据集。我们还提出了PressureNet，这是一个深度学习模型，可以根据压力图像和性别估计人体姿势和形状。PressureNet包含一个压力图重建（PMR）网络，用于模拟压力图像的生成，以促进估计的3D人体模型和压力图像输入之间的一致性。在我们的评估中，PressureNet在各种姿势的真实数据中表现良好，尽管它只是使用合成数据进行训练。当我们去除PMR网络时，性能显著下降。01. 引言0人类在休息时会选择可以轻松维持的姿势。我们的主要观点是，人体在休息时可以被建模得足够好，以生成合成的62160在拒绝基于自身碰撞和笛卡尔约束的样本后，我们的方法使用每个剩余的样本来定义两个物理模拟的初始条件。第一个模拟找到了一个在模拟床上静止的身体姿势。在给定这个姿势后，第二个物理模拟生成了一个合成的压力图像。我们的方法使用SMPL [32]生成人体网格模型，并使用SMPL[4]的胶囊化近似生成关节刚体模型。第一个物理模拟将一个具有低刚度和阻尼关节的胶囊化关节刚体模型放在一个床和压力感应垫的软体模型上。一旦关节体已经进入静态稳定的配置，我们的方法将已定型的胶囊化模型转换为无关节的基于粒子的软体。这个软体模型代表了身体的形状，对于压力图像合成非常重要。第二个物理模拟将这个软体模型从一个较低的高度放在软体床和传感器模型上。一旦安定，模拟传感器就会产生一个压力图像，并将其与安定的身体参数一起存储。我们的深度学习模型PressureNet使用了两个网络模块的系列。每个模块都包括一个基于[13]的卷积神经网络（CNN），一个来自[27]的运动嵌入模型，该模型产生一个SMPL网格[32]，以及一个压力图重建（PMR）网络。PMR网络用作压力图像生成模型。它是一个新颖的组件，可以促进估计的3D体模型和压力图像输入之间的一致性。如果没有它，我们发现我们的深度学习模型经常会犯一些忽视身体与床之间接触的错误，比如将脚跟放在与孤立的高压区域相距一定距离的位置上。当给定人体的网格模型时，PMR网络输出一个近似的压力图像，网络可以将其与压力图像输入进行直接比较。这些近似的压力图像用于损失函数，并作为第一个网络之后训练的第二个残差网络的输入，以纠正这些类型的错误并改善性能。在我们的评估中，我们使用了一种商业可用的压力感应垫（BodiTrak BT-3510[34]），放置在Invacare Homecare Bed[26]的配套床单下。与直线传感器相比，这种感应方法具有潜在的优势，因为它可以遮挡来自床上和其他来源（如医疗设备）的身体。然而，我们使用的垫子提供了低分辨率的压力图像（64×27），具有有限的灵敏度和动态范围，使估计问题更具挑战性。我们只使用合成数据训练了PressureNet，但在包括20个人的真实数据评估中表现良好，甚至成功估计了以前在文献中没有报道过的姿势，如仰卧位0工作0模态：（压力）P，（深度）D，（热）T，IRS -红外选择性0人体表示：（骨架）S，（网格）M0姿势0#关节0#身份0#图像0[22] R P Y M SP+，K 18 1 ?0[18] R D，P N S SP，L，P 10 16 1.1 K0[29] R P N S SP，L 8* 12 1.4 K0[1] R D Y S I/O，SP，L 14 10 180 K0[10] R RGB N S SP，UNK 7 3 13 K0[13] R P Y S SP，ST，K 14 17 28 K0[9] R P Y S SP+，L+，14 6 600ST0[31] R IRS N S SP+，L+，14 2 4190[30] R T N S SP+，L+ 14 109 14 K0我们的S/P Y M SP+，L+，24 200K/200K/0R P+，K，CL 20 1K0HBH，PHU0姿势关键字：SP - 仰卧位。L - 侧卧。P - 俯卧。K - 抬起膝盖。I/O - 上/下床。ST -坐姿。CL - 交叉腿。HBH - 头后面的手。PHU -俯卧手向上。+表示姿势之间的连续性。*表示肢体。0表1.文献比较：床上人体姿势0手臂后面的姿势。为了提高模型在真实数据上的性能，我们使用自定义校准物体和优化过程将物理模拟与真实世界匹配，然后合成训练数据。我们还创建了一个噪声模型，以便在训练PressureNet时对合成的压力图像应用噪声。我们的贡献包括以下内容：•一种基于物理的方法，用于生成模拟的静止人体并产生合成的压力图像。•PressurePose数据集，包括（1）206K个合成的压力图像（184K个训练/22K个测试），附带3D人体姿势和形状1，以及（2）来自20个人参与者的1,051个真实压力图像和RGB-D图像2。• PressureNet3，一个在合成数据上训练的深度学习模型，可以根据压力图像和性别估计3D人体姿势和形状。02.相关工作0人体姿势估计。从相机图像中估计人体姿势有着悠久的历史[2, 29, 37, 45, 46]，最近还使用了CNN[48,49]。该领域正在快速发展，估计3D骨架模型[40,53]，以及使用人体模型（如SCAPE[3]和SMPL[32]）估计3D人体姿势和形状的网格[4, 27,39]。这些后一种方法通过强制执行物理约束来提供运动可行的姿势估计，一些方法通过优化[4]，其他方法使用学习的嵌入式运动学模型[13, 27, 53]。我们的方法01.合成数据集：doi.org/10.7910/DVN/IAPI0X2.真实数据集：doi.org/10.7910/DVN/KOA4ML3.代码：github.com/Healthcare-Robotics/bodies-at-rest62170图2.我们从零开始生成初始姿势，使用身体形状、关节角度和床上的全局变换的随机抽样。我们使用拒绝抽样来分布姿势并消除自碰撞。然后，我们使用DartFleX将一个动态胶囊化的人体模型放在软床上，以获得更新的休息姿势。由于这个模型是对人体形状的一个相当粗略的近似，我们使用FleX将一个更精细的身体表示粒子化，以获得压力图像。0这种方法直接借鉴了现有的神经网络（例如，SMPL嵌入）和概念上的工作。虽然压力图像的形成与传统相机不同，但图像在视觉上是可解释的，并且在视觉社区中开发的方法非常适合压力图像[8, 27,49]。PressureNet对压力图像生成的模型与最近关于人与物体之间物理接触的工作相关[6, 23,24]。它还与基于不同阶段的地图之间的空间差异来微调估计的方法相关[7, 8, 36,49]。人体静止姿势。人体姿势估计往往集中在主动姿势上。床上的姿势由于与医疗保健的相关性而受到特别关注。表2概述了关于床上人体姿势估计的工作。这些工作使用了各种传感器，包括RGB相机[10]，黑暗房间的红外照明和相机[31]，用于估计毯子下面姿势的深度相机[1]，用于透过毯子看到的热相机[30]，以及人体下面的压力垫[9, 13, 14, 18,22, 29]。研究人员还研究了床上人体姿势分类[17, 18,38]。对于要考虑的身体姿势，缺乏共识，如表2所示。一些工作关注任务相关的姿势，例如进食[1]和伸展[9]。姿势可能增加特定模态的歧义，例如压力垫上缺乏接触（例如，膝盖在空中）[13,21]或面对热相机的重叠身体部位[30]。大型数据集对于深度学习和评估非常有价值。虽然一些床上姿势的工作使用了数千张图像，但它们要么只有少数参与者[10]，要么由于在几乎没有运动时捕获了许多帧而高度集中在某些区域[1, 9,13]。一个例外是刘等人最近的工作[30]，其中有109名参与者。在模拟中生成数据。生成深度学习背景下模拟人类的合成数据的方法包括基于物理的模拟器，如0DART [28]和PyBullet [16]以及诸如PhysX [15]和FleX[33]之类的基于位置的动力学模拟器。有些人使用这些工具来模拟可变形物体，如布料[12,15]。对于视觉，创建合成深度图像相对简单（例如[1]），而RGB图像合成则依赖于更复杂的图形方法[11, 51,52]。一些过去的研究已经模拟了压力传感器。一种方法是将阵列建模为穿透感测对象的可变形体积，其中力是穿透距离的函数[42]。其他人将压力感测皮肤建模为质量-弹簧-阻尼器阵列[19,25]；前者考虑了皮肤和传感器的分离层，这是覆盖可变形物体的压力阵列的一个关键属性。03. PressurePose数据集生成0我们的数据生成过程包括三个主要阶段，如图2所示：采样身体姿势和形状；进行物理模拟以找到静止的身体姿势；进行物理模拟以生成压力图像。我们使用两个模拟工具，FleX（第3.1节）用于模拟软体动力学，DART（第3.2节）用于模拟关节刚体动力学。样本初始姿势和形状。我们从SMPL人体模型[32]中采样初始姿势（即关节角度）和身体形状参数。姿势由69个关节角度Θ ∈ |69|组成，我们从均匀分布U中采样，该分布受到[5, 44,47]中定义的髋部、膝盖、肩膀和肘部的关节角度限制的约束。我们将人体初始化在床上方，通过均匀采样的滚动θr,1，偏航θr,3和2D平移{sr,1,sr,2}在床的表面上。俯仰角θr,2设置为0，垂直于床的距离sr,3基于最低初始关节位置的位置确定。这确定了全局变换{θr, sr} ∈ |6|。SMPL人体的形状由一组10个PCA参数β ∈|10|确定，我们也均匀采样，受到[43]中定义的[-3,3]的约束。我们使用拒绝采样的三种方式来生成初始姿势：以更均匀地分布在笛卡尔空间中的所有姿势（而不是均匀采样的关节空间），创建代表特定常见姿势的各种数据分区（例如，手放在头后面），并在存在自碰撞时拒绝姿势样本。请参见附录A.1。此步骤输出姿势和形状参数{β, ΘC, θr,sr}，其中ΘC是在β条件下通过了这些条件的一组关节角度。物理模拟#1：静止姿势。我们使用FleX[33]模拟一个静止在软床上的人体模型，其中包括床垫和床垫表面上的合成压力垫（图2）。人体被建模为由胶囊基元组成的关节刚体系统，这是SMPL模型的动态变体。一旦模拟接近静态平衡，我们记录静止姿势{�ΘC, ˜θr,˜sr}。FleX是一个基于位置的动力学模拟器，具有统一的粒子表示，可以高效地模拟刚体和可变形物体。然而，FleX目前没有提供粒子影响刚体胶囊运动的方法。为了克服这个限制，我们使用DART[28]来模拟胶囊化的人体模型的刚体动力学。我们通过以下循环将两个模拟器DartFleX和Section3.2结合起来：1）DART根据施加的力和力矩移动胶囊化的关节刚体。2）FleX根据刚体运动移动软体粒子。3）我们根据FleX粒子和胶囊化的关节刚体的状态计算新的力和力矩以应用于DART。4）重复。我们将这两个模拟器的组合称为DartFleX，第3.2节提供了更多细节。物理模拟#2：压力图像。定型的胶囊化身体无法产生逼真的压力图像：它对人体形状的近似程度太粗糙。相反，我们使用FleX（图2和3）从SMPL[32]网格中使用身体形状和静止姿势{β, �ΘC,˜θr}创建加权的粒子化软体人体。我们使用2D平移初始化粒子化的人体，使其位于床垫表面上的位置{˜sr,1, ˜sr,2} ∈˜sr。我们将垂直于重力的位置sr,3设置为使身体刚好位于床的表面上方。然后，我们开始模拟，将粒子化的身体放在软床上休息，并在模拟接近静态平衡时记录压力图像P。我们注意到，这种粒子化表示没有运动学，不能用于调整身体到静止配置；因此我们使用了两个单独的动态模拟。sampled joint space), to create a variety of data partitionsrepresenting specific common postures (e.g. hands behindthe head), and to reject pose samples when there are self-collisions. See Appendix A.1. This step outputs pose andshape parameters {β, ΘC, θr, sr}, where ΘC is a set ofjoint angles conditioned on β that has passed these criteria.Physics Simulation #1: Resting Pose. We use FleX[33] to simulate a human model resting on a soft bed, whichincludes a mattress and a synthetic pressure mat on the sur-face of the mattress (Fig 2). The human is modelled as anarticulated rigid body system made with capsule primitives,which is a dynamic variant of the SMPL model. Once thesimulation nears static equilibrium, we record the restingpose { �ΘC, ˜θr, ˜sr}.FleX is a position-based dynamics simulator with a uni-fied particle representation that can efficiently simulate rigidand deformable objects. However, FleX does not currentlyprovide a way for particles to influence the motions of rigidcapsules. To overcome this limitation, we use DART [28]to model the rigid body dynamics of the capsulized humanmodel. We combine FleX and DART through the followingloop: 1) DART moves the capsulized articulated rigid bodybased on applied forces and moments. 2) FleX moves thesoft body particles in response to the motions of the rigidbody. 3) We compute new forces and moments to applyin DART based on the state of the FleX particles and thecapsulized articulated rigid body. 4) Repeat. We call thecombination of the two simulators DartFleX and Section3.2 provides further details.Physics Simulation #2: Pressure Image. The settled,capsulized body is insufficient for producing a realistic pres-sure image: it approximates the human shape too roughly.Instead, we create a weighted, particlized, soft human bodyin FleX (Figs. 2 and 3) from the SMPL [32] mesh usingbody shape and resting pose {β, �ΘC, ˜θr}. We initialize theparticlized human with 2D translation over the surface ofthe mattress {˜sr,1, ˜sr,2} ∈ ˜sr. We set sr,3, the position nor-mal to gravity, so the body is just above the surface of thebed. We then start the simulation, resting the particlizedbody on the soft bed, and record the pressure image P oncethe simulation has neared static equilibrium. We note thatthis particlized representation has no kinematics and cannotbe used to adjust a body to a resting configuration; thus ouruse of two separate dynamic simulations.xi =�d0 − d(H, pi)�ni(1)62180图3. 物理模拟#2输出: PressurePose合成数据集示例。03.1. 使用FleX进行软体模拟。0我们通过连接FleX粒子来模拟感应阵列，以模拟真实的压力感应织物，并0图4. (a)合成压力垫结构。压力是顶层阵列颗粒进入四个底层颗粒的穿透的函数。(b)DartFleX模拟带有袖珍肢体和模拟床和压力感应垫之间的碰撞。0在FleX环境中模拟床垫和压力感应阵列。如图4所示，并在附录A.3中进一步描述。床垫以常见的双人床尺寸创建，由其间距D M 、半径R M 、刚度K M 和颗粒质量m M参数定义的颗粒簇定义。然后，在床垫顶部创建一个模拟的压力感应垫，用于生成压力图像，并通过计算施加在人体各个部分的力矢量来帮助人体模型达到休息姿势。该垫子由两层交错的四边形FleX布料网格组成的正方形金字塔结构，每层由其拉伸K σ 、弯曲K B 和剪切K τ刚度定义，这些是将垫子固定在一起的粒子的弹簧约束。压缩刚度K C 决定了两层之间的粘结强度，其质量由m L定义。我们将施加在垫子上的力建模为基于金字塔结构中的粒子穿透矢量x i的函数，如图4(a)所示。当顶层的第i个粒子p i靠近下面的四个粒子时，力增加。0其中d是粒子p i 与近似底层平面H之间的距离，d 0是接触前的静止初始距离，n i是近似底层平面的法向量。传感器模型。BodiTrak压力感应垫具有一组压力感应的taxel（触觉像素）。图4(a)中金字塔结构底部的四个粒子模拟了单个压力感应taxel的1英寸正方形几何形状。我们使用穿透矢量x i的幅度的二次函数来模拟单个taxel i 的压力输出u i 。ui =�C2|xi|2 + C1|xi| + C0�(2)fN,i = kxi(t) + b ˙xi(t),(3)fT,i = −µk|fN,i|vj − projfN,ivj|vj − projfN,ivj|(4)fi = fN,i + fT,i(5)Fj =P�i=1fi + Fg(6)Mj =P�i=1ri × fi(7)62190其中C 2 、C 1 和C 0是经过优化以适应校准数据的常数，如第3.3节所述。03.2. DartFleX: 休息中的动态布娃娃身体0DartFleX的目的是通过将DART中的刚体动力学求解器与FleX中的统一粒子求解器耦合，使刚体运动链能够与软体对象交互，如图4(b)所示。动态刚体链。我们的刚性人体模型依赖于对SMPL模型的袖珍化近似，参考[4]。为了在动力学环境中使用该模型，我们根据具有平均体形¯ β =0、平均体重和由Tozeren[50]定义的身体部位质量百分比分布之间的体积比率计算每个胶囊的质量。对于关节刚度k θ ∈ �69，我们调整参数以实现布娃娃模型的低刚度特性，以便由于重力而能够在床上达到休息姿势。我们将躯干和头部的刚度设置得很高，以使其基本上无法移动，并且关节阻尼b θ= 15 k θ以减少抖动。DartFleX物理。我们在DART和FleX中初始化相同的胶囊化模型。我们在DART中施加重力，并在DART模拟器中进行一步。我们得到一组更新的动态胶囊位置和方向，并相应地移动FleX中的静态几何体对应物。为了将力数据从FleX传输到DART，我们首先检查是否有任何顶层压力垫粒子处于接触状态。每个接触的粒子i在时间t处有一个穿透矢量x i(t)，我们使用质量-弹簧-阻尼模型[41]将其转换为法向力矢量f N,i ∈ � 3：0其中k是弹簧常数，b是阻尼常数，fN,i ⊥H。然后我们将每个力分配给其最近的对应胶囊j。给定胶囊j的速度vj和摩擦系数µk，我们计算第i个与之接触的颗粒的摩擦力fT,i：0其中proj是一个将vj在垂直于fN,i的直线上投影的运算符。在我们的模拟中，我们设置b = 4k和µk =0.5，并通过第3.3节中描述的校准序列来确定k。然后我们可以计算总颗粒力f i：0然后我们在FleX中计算第j个胶囊的合力Fj0基于与胶囊接触的P个颗粒的力之和加上重力Fg的身体胶囊的力矩：0图5. (a) 刚性校准胶囊，显示了四分之一美国硬币的大小。(b)模拟胶囊。 (右) 校准之前的真实和模拟压力图像。0对于每个与胶囊j接触的P个颗粒，计算力矩Mj，其中ri是颗粒与胶囊质心之间的力臂：0将合力和力矩应用于DART中，对每个身体部分施加力和重力，然后重复DartFleX循环。我们继续直到胶囊化模型稳定下来，然后记录静止姿势ΘC，根位置˜sr和根方向˜θr。03.3. 校准0我们使用图5(a)中的刚性胶囊形状来校准我们的模拟。我们在真实的压力感应垫上放置不同的重物，并记录数据，然后在模拟中创建匹配的形状。我们首先使用协方差矩阵适应进化策略（CMA-ES）[20]校准FleX环境，使用图5(b)中显示的颗粒化胶囊来优化D M，R M，K M，m M，d 0，Kσ，K B，K τ，K C，m L，C 2，C 1和C0，以匹配合成压力图像和校准对象的真实压力图像。我们还测量真实胶囊在床垫上的下沉程度。我们使用这些测量结果来校准方程3中的质量-弹簧-阻尼模型。我们将模拟的胶囊位移拟合到真实的胶囊位移，以求解弹簧常数k，然后设置b = 4k和µk = 0.5。详见附录A.4和A.5。04. PressureNet0and contact {P, E, CI} ∈ R128×54×3, which are shown inFig. 6 (b), as well as a binary flag for gender. P is the pres-sure image from a pressure sensing mat, E results from anedge detection channel consisting of a sobel filter appliedto P, and CI is a binary contact map calculated from allnon-zero elements of P. Given this input, each module out-puts both an SMPL mesh body and two reconstructed mapsproduced by the PMR network, { �Q, �CO}, that estimate thepressure image that would be generated by the mesh body.Mod2 has the same structure as Mod1, except that it takesin two additional channels: the maps produced by PMR inMod1 { �Q1, �CO,1}. We train PressureNet by training Mod1to produce a coarse estimate, freezing the learned modelweights, and then training Mod2 to fine-tune the estimate.CNN. The first component of each network module isa CNN with an architecture similar to the one proposedby Clever et al [13].Notably, we tripled the numberof channels in each convolutional layer.See AppendixB.1 for details. During training, only the weights of theCNNs are allowed to change. All other parts of the net-works are held constant.The convolutional model out-puts the estimated body shape, pose, and global transform,�Ψ = { �Θ, ˆβ, ˆsr, ˆxr, ˆyr}, with the estimated joint angles�Θ ∈ ❘69, body shape parameters ˆβ ∈ ❘10, global trans-lation of the root joint with respect to the bed ˆsr ∈ ❘3,and parameters ˆxr, ˆyr which define a continuous orienta-tion for the root joint of the body with {xu, xv, xw} ∈ xr,{yu, yv, yw} ∈ yr for 3 DOF, i.e. θr,u = atan2(yu, xu)and {θr,u, θr,v, θr,w} ∈ θr ∈ ❘3.SMPL kinematic embedding. �Ψ feeds into a kinematicembedding layer (see Fig. 6), which uses the SMPL differ-entiable kinematics model from [27] to learn to estimate theshape, pose, and global transform. This embedding outputsjoint positions for the human body, �S, and a SMPL meshconsisting of vertices �V ; and relies on forward kinematicsto ensure body proportions and joint angles match real hu-mans.PMR. The final component of each module, the PMRnetwork, reconstructs two maps based on the relationshipbetween the SMPL mesh �V and the surface of the bed. The▲1 =1NσsN�j=1����sj − ˆsj,1����2 +1Sσβ����β − ˆβ1����1(8)▲2 = ▲1 +1TσQ����Q − �Q2����22 +1TσCO����CO − �CO,2����1 (9)62200图6. (a) PressureNet:我们将两个网络模块（“Mod1”和“Mod2”）串联起来。Mod1学习一个粗略的估计值，Mod2通过学习一个残差来微调，该残差以Mod1重建的两个地图和Mod1的输入作为输入。(b) 单个PressureNet模块的详细描述，显示了重建压力和接触地图的新型PMR网络。0重建的压力图（�Q）与输入的压力图P相对应，根据人体网格下沉到床上的距离，为每个压力图taxel计算损失。重建的接触图（�C O）与输入的接触图�CI相对应，是�Q的二进制接触图。详见附录B。0损失函数。我们使用以下损失函数在PressureNet中训练Mod1，给定N = 24个笛卡尔关节位置和S = 10个身体参数：0其中s j ∈ S表示单个关节的三维位置，σ s和σβ是在整个数据集上计算的标准差，用于对术语进行归一化。0在我们的评估中（第6节），顺序训练两个独立的网络模块提高了模型性能和生成的人体网格和姿势预测结果。对于一个由T个taxels组成的压力阵列，我们通过将重建的压力图与来自模拟的地面真实图进行比较，计算Mod2的损失。0其中L 1 使用Mod2的估计（即�S 2 ，ˆβ 2 ），Q和C O是通过设置�Ψ = Ψ预先计算的地面真实图，σ Q，σ C O在数据集上计算。05.评估0为了评估我们的方法，我们在合成数据上训练了我们的CNN，并在合成数据和真实数据上进行了测试。我们生成了206K个静止状态的合成身体，对应的压力图像（184K训练/22K测试），我们将其分区以表示均匀采样的空间和常见的休息姿势。姿势是指常见的整体身体姿势的公认类别，例如坐姿、俯卧位和仰卧位。我们测试了4种网络类型和2种不同大小的训练数据集。We performed an error analysis as depicted in Fig. 7. Forthis analysis, we compute the closest point cloud point toeach mesh vertex, and the closest mesh vertex to each pointcloud point. We introduce 3DVPE (3D vertex-point-error),which is the average of these numbers. We downsample thepoint cloud to a resolution of 1cm so the number of points isroughly equal to the number of mesh vertices. We clip themesh vertices and the point cloud at the edges of the
我的内容管理
展开
