10461LEAP：学习表达的职业Marko Mihajlovic1，Yan Zhang1，Michael J. Black2，SiyuTang11ETHZürich，瑞士2德国图宾根马克斯·普朗克智能系统研究所neuralbodies.github.io/LEAP摘要使用深度隐式表示对刚性3D对象进行然而，将这些方法扩展到学习人类形状的神经模型仍处于起步阶段。人体是复杂的，并且关键的挑战是学习一种概括的表示，使得它可以以看不见的、高度铰接的姿势来表达看不见的主体的身体形状变形。为了应对这一挑战 ， 我 们 引 入 了 LEAP （ LEarning ArticulatedOccupancy of People），一种新的人体神经占用表示。给定一组骨骼变换（即关节位置和旋转）和空间中的查询点，LEAP首先通过学习的线性混合蒙皮（LBS）函数将查询点映射到规范空间，然后通过对规范空间中的准确身份和姿态相关变形进行建模的occupational网络有效地实验表明，我们的规范化的占用估计与学习LBS功能大大提高了学习占用表示跨各种人类形状和姿势的通用化能力，在所有设置中优于现有的解决方案。1. 介绍参数化3D人体模型[37，61]通常由多边形网格表示，并已广泛用于从图像和视频[17，28，33]中估计人体姿势和形状，为机器学习算法[22，49]创建训练数据，并在3D数字环境中合成逼真的人体[68，69]。然而，基于网格的表示通常需要固定的拓扑结构，并且在与深度神经网络组合时缺乏灵活性，其中需要通过3D几何表示的反向传播最近提出了神经隐式表示[39，45，46这样的代表具有若干优点。例如他们图1. LEAP通过学习人们在一个典型空间中的占有率，成功地代表了各种具有挑战性的姿势形状和姿态相关的变形是通过精心设计的神经网络编码器modeled。在标准姿势中，肘部周围观察到的与姿势相关的变形最好.是连续的并且不需要固定的拓扑。3D几何表示是可区分的，使得与环境的交互渗透测试有效。然而，这些方法仅在静态场景和物体上表现良好，它们对可变形物体的推广受到限制，使得它们不适合表示有关节的3D人体。一个特殊的例子是NASA [14]，它采用了一组人体的骨骼转换，如：10462放置并用神经占有网络表示对象的3D形状。虽然展示了有希望的结果，但它们的占用表征仅适用于单个主体，并且不能很好地推广到不同的身体形状。因此，由于每个主题的培训，他们的方法的广泛使用受到限制。在这项工作中，我们的目标是学习各种人体形状和姿势的关节神经occu-神经表征。我们从传统的基于网格的参数化人体模型[37，61]中获得灵感，其中身份和姿势相关的身体变形在规范空间中建模，然后应用线性混合蒙皮（LBS）函数将身体网格从规范空间变形到姿势空间。类似地，给定一组表示人体在姿势空间中的关节位置和旋转的骨骼变换，我们首先通过学习的逆线性混合蒙皮（LBS）函数将3D查询点从姿势空间映射到规范空间，然后通过在规范空间中表示可微3D身体变形的我们称之为LEAP（Learning Artic-ulated Occupancy of People）。LEAP的关键思想是在规范空间中对人体的准确身份和姿势相关占用进行建模（类似于SMPL中的形状混合模型和姿势混合模型[37]）。这就避免了在各种设定的空间中学习占用函数的挑战性任务。虽然概念上很简单，但学习各种各样的人类形状和姿势的规范化占用表示是一项非常重要的任务。我们遇到的第一个挑战是，传统的LBS权重只定义在身体表面。为了将一个查询点从一个设定空间转换到规范空间并执行占用检查，需要为设定空间中的每个为此，我们使用神经网络对正向和反向LBS函数进行参数化，并从数据中学习它们。为了解释不位于人体表面的点的未定义的蒙皮权重，我们为每个查询点引入了一个周期距离特征，该特征对该点上的正向和反向LBS操作之间的一致性进行建模。其次，高保真人体模型应该能够表达个体之间变化的准确身体形状，并在身体姿势不同时捕获细微的表面变形。为此，我们提出了新的编码方案的骨骼转换，利用先验知识的运动学结构和plausi- ble形状的人体。此外，受学习用于3D表面重建的像素对齐局部特征的最新进展的启发[51，52]，对于每个查询点，我们使用学习的LBS权重来构建局部感知骨骼变换编码，其捕获准确的局部特征。形状变形。正如我们的实验中所证明的那样，所提出的局部特征是一种有效的和富有表现力的表示，可以捕获详细的姿势和形状相关的变形。我们证明了LEAP在将人放置在3D场景中的任务上的有效性[68]。通过提出的占用表示，LEAP能够有效地防止人-人和人-场景的相互渗透，并且优于最近的基线[68]。我们的贡献总结如下：1）我们介绍了LEAP，一种新的人的神经占用表示，它可以很好地推广到各种身体形状和姿势;2）我们提出了一个规范化的占用估计框架，并通过深度神经网络学习空间中每个点的正向和反向线性混合蒙皮权重;3）我们对输入骨骼变换进行了新的编码方案，有效地模拟了准确的身份和姿势相关的形状变形;4) 实验表明，我们的方法大大提高了学习的神经占用表示对看不见的主体和姿势的泛化能力。2. 相关工作铰接网格表示。 传统动画角色由骨架结构组成，表示曲面/蒙皮的多边形网格。该表面网格通过刚性部件旋转和产生平滑表面变形的蒙皮算法变形[24]。一个流行的皮肤算法是线性混合皮肤（LBS），它很简单，大多数游戏引擎都支持。然而，其灵活性有限，并且易于在关节处产生不真实的伪影[37，图2]。因此，对于更现实的变形，已经提出了其他替代方案。他们要么改善皮肤al-出租m [31，35，38，60]，从数据[8，9，16，20，47]，或开发更灵活的模型，在规范空间中学习附加顶点偏移（用于身份，姿势和软组织动力学）[37，44，50]。虽然多边形网格表示提供了一些好处，如方便的渲染和与动画管道的兼容性，但它们不太适合内部/外部查询测试或检测与其他对象的碰撞。已经提出了一组丰富的辅助数据结构[29，36，54然而，它们需要索引网格三角形作为预处理步骤，这使得它们不太适合铰接网格。此外，索引步骤本质上是不可微的，并且其时间复杂性取决于三角形的数量[26]，这进一步限制了辅助数据结构对于需要可微内部/外部测试的学习管道的适用性[21，68，69]。与这些方法相反，LEAP支持直接和有效的可微10463内部/外部测试，而不需要辅助数据结构。基于学习的隐式表征。 与多边形网格不同，隐式表示支持高效且可区分的内部/外部查询。它们传统上被建模为分析函数的线性组合或符号距离网格，这是灵活的，但内存昂贵[55]。尽管基于网格的方法的内存复杂性问题被[27，43，57，66，67]所解决，但它们已经被最近的基于学习的连续表示[2，3，10，12，19，30，39，40，42，45，46，56，62，64]。此外，为了提高可扩展性和表示能力，在[7，11，41，46，51，52，62]中探索了使用局部特征的想法这些基于学习的方法通过使用神经网络来预测从查询点到表面的最近距离或占用值（即，在3D几何体内部或外部LEAP跟随这些方法的脚步，将3D表面表示为神经网络决策边界，同时利用局部特征提高表示能力。然而，与上述为静态形状设计的隐式表示不同，LEAP能够表示铰接对象。学习型铰接表示。最近的工作还探索了学习变形场建模铰接人体。LoopReg [4]通过探索将表面点映射到规范空间的想法，然后使用网格的距离变换来投影规范，从而实现了基于模型的配准。cal指向设定的空间，而PTF [59]通过学习分段变换域来解决这个问题。[23]使用确定性逆LBS，对于给定的查询点检索最近的顶点，并使用其关联的蒙皮权重将查询点转换到规范空间。NiLBS [25]提出了一种需要每个主题训练的神经逆NASA [14]提出使用分段隐式表示来对铰接的人体进行建模。它以一组骨骼坐标系作为输入，并用神经网络表示人体形状。与这些为具有固定拓扑结构的人类网格定义或需要昂贵的每个主题训练的方法不同，LEAP使用深度神经网络来近似正向和反向LBS函数，并很好地推广到看不见的主题。LEAP与NASA密切相关，具有以下关键差异：（i）它显示出改进的表示能力，在所有设置中优于NASA;（ii） LEAP能够用单个神经网络表示看不见的人，消除了对每个主题训练的需要。与我们的工作同时，SCANi- mate [53]使用类似的方法从原始扫描中学习特定于对象的穿衣人模型。探索了图像结构[15，63]和图形卷积神经网络[6，13，34]，以在其方法中包括结构感知的先验。[1]中提出的结构化预测层（SPL）通过层次神经网络设计对人体关节依赖性进行编码，以对3D人体运动建模。HKMR[17]利用运动学模型从2D图像中恢复人体网格，而[70]利用运动学建模来生成3D关节。受这些方法的启发，我们提出了一个前向运动学模型，用于仅从骨骼变换中对人体结构进行更强大的编码，以利于对articulated对象的占用学习。在高层次上，我们的配方可以被认为是逆HKMR和SPL提出的运动学模型我们从人体参数中创建了一个有效的结构编码。适用范围：将人置于3D场景中。最近，PSI [69]和PLACE [68]被提出来在3D场景中生成逼真的人体。然而，这些方法1）需要高质量的场景网格和相应的场景SDF来执行人-场景交互测试，以及2）当在一个场景中生成多个人时，结果通常表现出不切实际的人-人交互。如SEC所示。6.4，这些问题通过用LEAP表示人体来解决由于LEAP提供了人体的可区分的体积占用表示，我们提出了一种有效的基于点的损失，最大限度地减少了人体和任何其他对象表示为点云之间的相互渗透。3. 预赛在本节中，我们首先回顾参数人体模型（SMPL[37]）和广泛使用的网格变形方法：线性混合蒙皮（LBS）。SMPL及其规范化的形状校正。 SMPL身体模型[37]是一种加性人体模型，通过加性网格顶点偏移对身份和姿势相关变形进行解释性编码。该模型由一个艺术家创建的网格模板T<$∈RN×3，通过添加形状和姿势相关的顶点偏移来设置姿势通过形状BS（β）和姿态BP（θ）混合形状函数：V<$=T<$+BS（β）+BP（θ），（1）其中V<$∈RN×3是修改的标准顶点。线性混合形状函数BS（β;S）（2）由形状系数β的向量控制，并且由下式参数化：形状位移正交主分量S ∈RN×3×|β|从注册的网格中学习。Σ|β|结构感知表示。以前的工作是前-BS（β;S）=n=1 βnSn（2）10464k=1¯类似地，线性姿态混合形状函数BP（θ; P）（3）由学 习 的姿 态 混 合 形 状 矩 阵 P =[P1 ， . . . 、 P9K]∈RN×3×9K（Pn∈RN×3），且为con-由每关节旋转矩阵θ=[r0，r1，···，rK]控制，其中K是骨架关节的数量，rk∈R3×3表示部件k相对于运动树1999年从正则空间到一个定态空间（8），jj∈ R3（J ∈RK×3的一个元素）表示静止位姿中的第j个关节位置. A（k）是联合k的祖先的有序集合。请注意，W仅为SMPL中的网格顶点定义如第4.2节所述，LEAP建议参数-通过神经网络实现正向和反向LBS操作，以创建为3D空间中的每个BP（θ;P）=n=1（vec（θ）n− vec（θ）n）Pn.（三）4. LEAP：学习占用人受SMPL的启发，LEAP捕捉了人体的规范化倒退关节 从身体顶点。关节位置SMPL中的J∈RK×3定义在静止姿态和de-取决于身体身份/形状参数β。 关系-身体形状和关节位置之间的关系由学习的回归矩阵J∈RK×N定义，该矩阵将其余身体顶点转换为其余关节位置（4）J= J（T<$+ BS（β; S））。（四）从关节回归身体顶点。 我们观察到身体关节从顶点（4）的回归可以被反转，并且我们可以直接从接头位置;如果K> |β|该问题通常受到很好的约束。为此，我们首先通过从身体关节（5）中减去模板网格的关节来计算形状相关关节位移J∈RK×3表示关节位移和形状系数之间的关系的线性方程组（6）概况. LEAP是一个端到端可微的occu-pan cy函数fΘ（x|G）：R3<$→R，其预测查询点x ∈ R3是否位于由一组K个刚性骨骼变换矩阵G（7）表示的3D人体内部。我们的方法的概述如图所示二、首先，骨骼变换矩阵G由三个特征编码器获取（Sect. 4.1）生成全局特征向量z，然后由每骨可学习的线性投影模块取zωk以创建紧凑代码zk∈R12。第二，输入变换G被转换为局部骨骼变换{Bk}K（8），其定义每-从规范空间到一个有姿势的空间的骨变换。第三，输入查询点x∈R3通过逆线性混合蒙皮网络变换到 具体地，逆LBS网络估计查询点x的蒙皮权重w∈RK（Sec.4.2）。那么，在正则空间中的对应点x≠是通过逆LBS操作（10）获得。类似地，权重w=x也用于将点特征向量zx计算为骨骼特征zk的线性组合（11）。J=J-JT<$（五）x=.Kk=1 wx[k]BkΣ−1x，（10）Σ|β|J =JSnnβn。（六）zx=Kk=1 wx[k]zk.（十一）此关系对于创建有效的形状特征非常有用将在第节中演示的矢量。第4.1.1条。线性混合蒙皮（LBS）。每个修改的顶点exV<$i（1）通过一组混合权重W ∈RN×K进行变形通过旋转顶点的线性混合蒙皮函数（9关节位置J周围：第四，前向线性混合蒙皮网络采用标准姿势中的估计点x_n，并通过（12）预测用于估计输入查询点x_n的权重w_n。这个c（posed→canonical→posedspace）定义了一个额外的循环距离特征dx（13），查询点xYGk（ θ，J）=ΣΣrjjjj∈A（k）→0 1（七）xx=. ΣKΣwx[k]Bkk=1K（12）Bk=Gk（θ，J）Gk（θ，J）−1（8）ΣDx=k=1 |.|.（十三）KVi=wk=1k，iBkv<$i10465k=1k=1（九）最 后，占用多层感知器Ow（ONet）获取规范化的查询点xn′，即本地点代码其中wk，i是W的元素。 具体来说，设G={Gk（θ，J）∈R4×4}K 是K个刚性骨变换的集合zx和循环距离特征dx，并预测是否查询点位于三维人体内部：表示世界中的3D人体的信息矩阵。坐标（7）。 则B={Bk∈ R4×4}K是一组ox=0、如果Ow（x≠0|zx，dx）<0. 5（十四）转换身体1的局部骨骼转换矩阵，否则，请执行以下操作。10466Kτ（k）v =KKv=图2. 概况. LEAP由三个编码器组成，它们将K个骨骼变换G作为输入，并创建全局特征向量z，该全局特征向量z通过每个骨骼学习的投影模块<$ωk：z<$→zk为每个骨骼k进一步定制。然后，使用学习的LBS权重w*x来估计查询点x在规范姿态x*中的位置，并构造有效的局部点特征z *x，通过具有附加循环距离特征Dx的占用神经网络一起传播。蓝色块表示神经在网络中，绿色块是可学习的线性层，灰色矩形是特征向量，黑色十字符号表示查询点x∈R3。4.1. 编码器我们提出了三个编码器，以利用有关运动学结构（第二节）的先验知识。4.1.2）和编码形状依赖（第二节）。4.1.1）和姿势依赖（第4.1.3）变形4.1.1形状编码器如在（SEC。SMPL [37]是一种统计人体模型，它对有关人体形状变化的先验知识进行编码。因此，我们将SMPL模型转化为完全可微和有效的方式来创建一个形状之前从输入变换矩阵G。具体地，输入的每骨骼刚性变换矩阵（7）被分解为在规范姿势jk∈R3中的关节位置和局部骨骼变换矩阵Bk（8）。 联合然 后 使 用 位 置 来 求 解 形 状 系 数 βf 的 线 性 方 程 组（6），并进一步估计规范网格顶点Vf：图3. 运动链编码器。矩形块是小MLP，全箭头是骨骼变换，虚线箭头是形成结构特征向量的运动骨骼特征。省略了蓝色瘦骨的特征向量以简化图示。我们提出了一种分层神经网络体系结构（图3），它由每骨两层感知器mθk组成。mθk的输入包括关节位置jk、骨骼长度lk和骨骼k相对于其在运动学树中的父骨骼的相对骨骼旋转矩阵rk。此外，对于非根骨，对应的mθk也具有其父骨的特征。每个两层感知器vS（16）的输出然后被连接以形成结构特征vS（17）.V<$$>=T<$+BS（β<$;S）+BP（θ;P）。（十五）VS=m θ1（. vec（r1）j1l1），如果k=1，类似地，所需的定态顶点Vkmθvec（rk）jklkvS得双曲余切值.（十六）逆LBS网络，通过将LBS函数（9）应用于规范顶点V′来估计。S Kk=1vS，（17）网格顶点V′V是通过一个其中，R1是特征连接运算符。PointNet [48]编码器分别为规范化和姿势化的人体创建形状特征。注意，该过程所需的操作是不同的，并且可以通过利用SMPL的模型参数来有效4.1.2结构编码器4.1.3位姿编码器为了捕获姿态相关的变形，我们使用与NASA相同的投影模块[14]。将骨骼的根位置t0∈R然后将这些连接为一个姿态特征向量vP（18）受[1]和[17]的启发，我们提出了一种结构编码器，P Kk=1B−1t0.（十八）通过显式地对连接依赖性建模来有效地编码人体的运动学结构关节之间的结构化依赖关系由运动学树函数τ（k）定义，对于给定的骨骼k，该函数返回其父骨骼的索引。根据这一定义，查询点���∈���3典型的poin t∈3���编码器骨变换矩阵Π反向LBSwx∈���������1形状1结构∑点要素������∗w x循环距离 *Onet构成Π������发生在一个城市，���循环距离 *���∈���3逆LBS���ҧ∈���3��� ∈���3向前LBS……………K104674.2. 学习线性混合蒙皮由于我们的占用网络（ONet）是在规范空间中定义的，因此我们需要将查询点映射到规范空间以执行占用检查。但10468e=1i=1传统的LBS权重仅在身体表面上定义。为了弥补这一差距，我们使用神经网络参数化逆LBS函数，并为空间中的每个具体地说，对于查询点x∈R3，我们使用一个简单的MLP来估计蒙皮权重wx∈RK，以将该点转换到规范空间，如等式2所示10个。输入MLP由第2节中定义的两个形状特征组成。4.1.1中所描述的方法，以及从输入骨骼变换G.循环距离功能。学习准确的逆LBS权重是具有挑战性的，因为它是姿势相关的，需要大量的训练数据。因此，规范化的占用网络可能会为高度铰接的姿势产生错误的占用值。为了解决这个问题，我们引入了一个辅助的前向混合蒙皮网络，它估计蒙皮权重wx，用于将一个点从规范投影到空 间 （ 12 ） 该 前 向 LBS 网 络 的 目 标 是 创 建 帮 助occupational网络解决模糊场景的循环距离特征dx例如，位于姿势空间中人体几何结构外部的查询点x可以映射到位于规范空间xx∈中人体内部的点。在这里，我们的for ward LBS网络工作通过将x映射回到定态空间x∈（12），使得这两个点定义一个循环距离，提供有关典型点与典型姿势中的不同身体部位相关联，因此应该被自动标记为外部点。该循环距离（13）被定义为由逆LBS网络和前向LBS网络预测的权重之间的距离我们的前向LBS网络架构类似于反向LBS网络。它将形状特征作为输入，但没有骨骼变换，因为标准姿势在所有对象中是一致的。4.3. 培训我们采用两阶段培训方法。首先，两个线性混合蒙皮网络都是独立训练的。其次，这两个LBS网络的权重是固定的，并在占用网络的训练期间用作确定性可微函数学习占领网。的参数Θ，学习LBS网络。在这项工作中，学习LBS网络比学习占用网络更困难，因为地面真实皮肤权重仅在网格顶点上稀疏定义。为了解决这个问题，我们通过查询最接近的人类网格顶点并使用相应的SMPL蒙皮权重作为地面实况，为规范和姿势空间中的每个点创建伪然后，通过最小化预测权重和伪真实权重之间的5. 应用：将人放置在场景最近的生成方法[68，69]首先在3D场景中合成人体，然后采用优化过程，通过避免与场景几何形状的碰撞来提高生成的人的真实感。然而，它们的人-场景碰撞损失需要高质量的场景SDF，这可能很难获得，并且在生成新身体时不考虑先前生成的人，这通常会导致人-人碰撞。在这里，我们提出了一种有效的方法，将多个人在3D场景中的物理上合理的方式。给定一个3D场景（由场景网格或点云表示）和先前生成的人体，我们使用[68]合成另一个人体。这个新的身体可能会穿透现有的身体，这不能用[68]中提出的优化框架来解决，因为它需要3D场景和前人体的预定义的有符号距离场。使用LEAP，我们可以直接解决这个问题：我们用我们的神经占据表示来表示新生成的人体，并通过使用基于点的损失优化LEAP的输入参数来重新解决与3D场景和其他人的碰撞（20）。请注意，LEAP的参数在优化过程中是固定的，我们将其用作相对于其输入的可重构模块。基于点的损失。 我们引入一个基于点的损失函数（20）可用于解决由LEAP和3D场景表示的人体或由点云简单表示的其他人体：如果fΘ（x|G）−0。5>1l（x）=0，如果fΘ（x|G）−0。50（20）学习流水线fΘ（x|G）（LBS网络除外）是可选的，通过最小化损失函数（19）来最小化：Θ（x）|G）−0。5、否则ΣL（Θ）=G∈{Ge}EΣ{（x，ox）}M（fΘP（G）（x）|G）−ox）2，（19）我们采用了一个优化过程来细化的LEAP机构的位置，这样就不会有干扰，与现场和其他人。由于LEAP，其中0x是查询点x的地面实况占用值。G表示一组输入骨骼变换矩阵，并且p（G）表示地面实况身体表面。E是批量大小，M是采样点数每批。可以在没有预先计算的场景SDF的情况下执行平移检测。解决场景网格冲突的一种简单方法是将网格顶点视为点云并应用基于点的损失（20）。我们在这项工作中使用的一种更有效的方法是沿着F10469NASA（IOU↑ /Ch. ↓）我们的-无循环距离（IOU↑ /Ch. ↓）我们的（IOU↑ /Ch. ↓）形状+结构97.96%形状+结构+姿势97.99%当所有三个编码器组合时实现。74.04/4.32798.28/2.355好吧我知道了网格顶点法线的相反方向，并因此施加有效的定向体积误差信号以避免人-场景相互穿透。6. 实验图4. DFaust上的多人入住[5]。结果表明，我们的方法可以更好地表示小细节（手）和建议的周期距离功能进一步提高重建质量（腋窝）。图1给出了LEAP的几张高分辨率图像.我们消融了所提出的特征编码器（第二节）。6.1），显示NASA实验[14] Ourstype（IOU↑/Ch.↓）（IOU↑/Ch.↓）表2. 一 般 化。看不见的姿势，LEAP代表多个人的能力（第二节）6.2），见 主题实验演示LEAP对不可见姿势和不可见主体的泛化能力（第二节）。6.3），并显示我们的方法是如何使用提出的基于点的损失（第二节）来放置人在3D场景。6.4）。看不见的姿势73.69/4.7298.39/2.27看不见的主题 78.87/3.6792.97/2.80（第二节）[18][19]实验装置。我们的方法的训练数据由采样查询点x、对应的占用地面真值ox和伪蒙皮权重wx组成，骨转换G和SMPL [37]参数。我们使用DFaust [5]和MoVi [18]数据集，并遵循与[14]相似的数据准备过程。每个姿势总共采样200k个训练点;一半在hu周围的缩放边界框内均匀采样人体（10%填充）和另一半正态分布在网格表面x<$N（m，0. 01）（m是网格三角形上随机选择的点我们使用Adam优化器[32]，在所有实验中的学习率为10−4，并以百分比和倒角距离（Ch.）报告平均交集（IOU）。以104的系数缩放。我们在本节中展示的模型使用K=52骨骼（SMPL+H [50]骨架）的完全关节连接的身体和手模型，并在两个阶段进行训练（第二节）。4.3）。训练从一开始就需要大约200k次迭代，没有任何预训练，批量大小为55。我们的基线NASA [14]使用他们论文中指定的参数进行训练，除了骨骼数量（增加到52）和训练步骤数量（从200k增加到300k）。6.1. 特征编码器的影响我们首先量化的效果，每个功能编码器介绍，在第二节。4.1.对于该实验，我们使用10个受试者的119个随机选择的训练DFaust序列（约300帧），并评估每个受试者1个不可见序列的结果。为了更好地理解编码方案的功效，我们用在推理时间创建伪地面真值权重wx的确定性搜索过程替换逆LBS网络（第二节）。4.3）。该算法基于贪婪最近邻搜索，w.r.t.不可微输入点，但它提供了德-终止LBS权重以消融编码器。我们用100k次迭代来训练模型，并在表1中报告看不见的序列上的IOU。我们发现，结构编码器对模型性能的影响最大，所有三个编码器的组合产生最好的结果。6.2. 多人入住我们使用与Sec中相同的训练/测试分割6.1评估我们多人入住的代表权图4中分别显示了我们的模型在有和没有循环距离（13）的情况下测试集的平均定性和定量结果我们的方法具有比NASA更高的代表性[14]。高频细节得到更好的保留，相邻骨骼之间的连接也更平滑。循环距离功能进一步改善了结果，这在图示的特写中突出显示。6.3. 泛化在之前的实验中，我们评估了我们的模型对不同人类的不可见姿势的影响，这些姿势是由至少一个训练对象执行的，而在这里，我们更进一步，并表明1）我们的方法推广到在训练期间未观察到的动作上的不可见姿势，2）我们的方法甚至推广到不可见的对象（表2）。对于看不见的姿势泛化实验，我们使用所有DFaust[5]主题，并忽略一个随机选择的动作进行评估，并使用剩余的序列进行训练。对于看不见的主题实验，我们展示了我们的方法能够代表一个更大的子集，并推广到看不见的。我们使用了86个MoVi [18]受试者的10个序列，并使用一个随机选择的序列进行评价，每隔10个受试者就排除一个。再-编码器类型欠条↑表1. 功能EN的影响-构成91.86%程序员 每个编码器都有一个位置，形状96.44%对改革的贡献结构百分之九十七点四九质量，而最好的结果是10470冲突得分[68]第六十八话表3. 与地方比较[68]。我们的优化方法成功地减少了与3D场景和其他人的碰撞。SMPL LEAP原始扫描PLACE [68]我们的优化图5. 与地方比较[68]。使用基于点的损失进行优化，成功解决了与其他人和用点云表示的3D场景的相互渗透结果表明，LEAP大大提高了在这两种情况下的性能。特别地，对于不可见的姿势，LEAP将IOU从73改进为73。69%到98。39%，清楚地证明了拟议的占用表示在保真度和一般性方面的好处。6.4. 将人放置在3D场景在本节中，我们将演示LEAP在将人放置在3D场景中的任务中的应用。我们使用PLACE [68]在一个房间里生成50个人，并选择发生碰撞的人对，产生151对。然后，对于每个人对，建议的基于点的损失在迭代优化框架中使用公式（20）来优化一个人的全局位置，类似于在[65]中提出的轨迹优化。正在优化位置的人由LEAP表示，而其他人体和3D场景由点云表示。我们执行最多1000个优化步骤，或者在与其他人体和场景没有交集时停止收敛。请注意，其他姿势参数是固定的，而不是优化的，因为PLACE生成语义上有意义的和现实的姿势。我们的目标是证明LEAP可以有效地解决人与人和人与场景的碰撞。评估：我们报告的人-场景碰撞分数定义为穿透场景几何的人网格顶点的百分比，场景-人分数表示穿透人体的场景顶点的归一化数量，以及人-人碰撞分数定义为穿透其他人体的人顶点的百分比。定量（表3）和定性（图5）结果图6. LEAP从单个DFaust [5]受试者的原始扫描中学习。LEAP（中）比SMPL（具有10个形状组件（左））捕获更多的形状细节。证明了我们的方法通过避免与场景网格和由点云表示的其他人的碰撞，成功地优化了人体请注意，由于用于计算此度量的噪声场景SDF，人类场景分数几乎保持然而，我们保留它是为了与使用它进行评估的基线[68]进行公平比较。此外，LEAP对其他人体（6080点）的占用检查的推断时间为0.14秒。这明显快于[26]（25.77秒），后者使用2563分辨率体积网格进行精细近似，实现可微穿透检查。7. 结论我们引入了LEAP，这是一种新颖的清晰的占用表示，可以很好地概括各种人体形状和姿势。 给定一组骨骼变换和3D查询点，LEAP对这些点执行有效的占用检查，从而产生摆姿势的人体的完全可微的体积表示。像SMPL一样，LEAP代表身份和姿势相关的形状变化。结果表明，LEAP优于NASA的泛化能力和保真度在所有设置。此外，我们引入了一种有效的基于点的损失，可以用来有效地解决人与点云表示的对象之间的碰撞。今后的工作。我们计划从图像数据中学习LEAP，并将其扩展到有关节的穿着衣服的身体。从原始扫描中学习LEAP的初步结果（图6）表明，LEAP可以表示逼真的表面细节，激励LEAP未来扩展到模拟穿着衣服的人。致 谢 。 我 们 衷 心 感 谢 王 少 飞 、 张 四 维 、 KorraweKarunratanakul、范子聪和Vassilis Choutas，感谢他们在基线方面提供的有见地的讨论和帮助。管理公开MJB已经收到了来自In-tel，Nvidia，Adobe，Facebook和亚马逊的研究礼物基金。虽然MJB是亚马逊的兼职员工，但他的研究仅在MPI进行。他还是Meshcapde GmbH和Datagen Technologies的投资者。人文场景↓5.72%5.72%场景-人↓3.51%0.62%人-人↓五点七三厘1.06%10471引用[1] Emre Aksan，Manuel Kaufmann，and Otmar Hilliges. 结构预测有助于三维人体运动建模。在proc 国际计算机视觉会议（ICCV），2019年。三，五[2] Matan Atzmon和Yaron Lipman Sal：符号不可知论学习-从原始数据中提取形状。国际计算机视觉和模式识别会议（CVPR），2020年。3[3] Matan Atzmon和Yaron LipmanSALD：符号不可知学习衍生品。国际学习表征会议（ICLR），2021年。3[4] Bharat Lal Bhatnagar， 克里斯蒂安·斯明基塞斯库Theobalt，and Gerard Pons-Moll. LoopReg：隐式表面对应、姿势和形状的自监督学习，用于3D人体网格配准。 在proc 神经信息处理系统（NeurIPS），2020年12月。3[5] 费德里卡·博戈，哈维尔·罗梅罗，Gerard Pons-Moll，以及Michael J.黑色. 动态浮士德：登记人体运动。计算机视觉与模式识别国际会议（CVPR），2017年。七、八[6] Yujun Cai，Liuhao Ge，Jun Liu，Jianfei Cai，Tat-JenCham，Junsong Yuan和Nadia Magnenat Thalmann。利用图卷积网络进行三维姿态估计的时空关系。在Proc.国际计算机视觉会议（ICCV），2019年。3[7] Rohan Chabra ， Jan Eric Lenssen ， Eddy Ilg ， TannerSchmidt，朱利安·斯特劳布史蒂文·洛夫格罗夫理查德·纽科姆深度局部形状：学习局部sdf先验，用于详细的3d重建。欧洲计算机视觉会议（ECCV），2020年。3[8] 威尔·张和马蒂亚斯·兹威克 距离扫描配准使用简化的可变形模型。计算机图形学论坛，2009年。2[9] Yinpeng Chen，Zicheng Liu，Zhengyou Zhang. 张量-基于人体建模。 在proc 计算机视觉与模式识别国际会议（CVPR），2013年。2[10] 陈志勤和张浩。学习隐式字段生成 式形 状建 模国际 计算 机视 觉与 模式 识别会 议（CVPR），2019年。3[11] Julian Chibane，Thiemo Alldieck，and Gerard Pons-Moll.特征空间中用于三维形状再现和完成的隐式函数。计算机视觉和模式识别国际会议（CVPR），2020年。3[12] Julian Chibane，Aymen Mir，and Gerard Pons-Moll. Neu-用于隐式函数学习的无符号距离场。神经信息处理系统（NeurIPS），2020年。3[13] 海慈、淳于王、马小玄、益州王。Op-用于3D人体姿态估计的优化网络结构。 在proc 国际计算机视觉会议（ICCV），2019年。3[14] Boyang Deng ， JP Lewis ， Timothy Jeruzalski ， GerardPons-Moll ， Geoffrey Hinton ， Mohammad Norouzi ， andAndrea Tagliasacchi.神经关节形状近似。在proc 欧洲计算机视觉会议（ECCV），2020. 一、三、五、七[15] Pedro F Felzenszwalb和Daniel P Huttenlocher。用于物体识别的图像结构。国际计算机视觉杂志，2005年。3[16] Oren Freifeld和Michael J Black。 Lie bodies：A manifold3D人体形状的表示。在Proc.European Conference onComputer Vision（ECCV），2012中。2[17] Georgios Georgakis ， Ren Li ， Srikrishna Karanam ，TerrenceChen，Jana Kosecka，and Ziyan Wu.分层运动人体网格恢复。欧洲计算机视觉会议（ECCV），2020年。一、三、五[18] Saeed Ghorbani，Kimia Mahdaviani，Anne Thaler，KonradKording ， Douglas James Cook ， Gunnar Blohm ， andNiko-laus F Troje. Movi：一个大型多用途运动和视频数据集。arXiv预印本arXiv：2003.01888，2020。7[19] Amos Gropp，Lior Yariv，Niv Haim，Matan Atzmon和亚龙·李普曼用于形状学习的隐式几何正则化。机器学习国际会议（ICML），2020年。3[20] NilsHasler，ThorstenThormaühlen，BodoRosenhahn，and汉 斯 · 彼 得 · 赛 德 尔 学 习 骨 架 的 形 状 和 姿 势 。 ACMSIGGRAPH Symposium on Interactive 3D Graphics andGames，2010。2[21] Mohamed Hassan，Vasileios Choutas，Dimitrios Tzionas，迈克尔·J·布莱克用3D场景约束解决3D人体姿势 在proc国际计算机视觉会议（ICCV），2019年。2[22] David T.霍夫曼，迪米特里奥斯·齐奥纳斯，迈克尔·J·布莱克，还有唐思宇。学会用人造人训练。德国模式识别会议（GCPR），2019年。1[23] 黄曾，徐元路，克里斯托夫·拉斯纳，李浩，托尼·董。Arch：可动画化的衣服人的重建. 在proc 2020年计算机视觉与模式识别国际会议（CVPR）。3[24] Alec Jacobson、Zhigang Deng、Ladislav Kavan和 JP刘易斯.蒙皮：实时形状变形。ACM SIGGRAPH 2014课程，2014年。2[25] Timothy Jeruzalski，David IW Levin，Alec Jacobson，PaulLalonde，Mohammad Norouzi，and Andrea Tagliasacchi.NiLBS：Neural Inverse Linear Blend Skinning。arXiv预印本arXiv：2004.05980，2020。3[
我的内容管理
展开
