11594输入3D姿势网格SNARF：用于非刚性神经隐式形状动画陈旭1，3郑玉峰1，3MichaelJ. Black3OtmarHilliges1Andreas Geiger2，31ETHZürich，DepartmentofComputerScience2Un i versityofTübingen3德国图宾根马克斯·普朗克智能系统研究所摘要神经隐式表面表示已经成为以连续和分辨率无关的方式捕获3D形状的有前途的范例。然而，使它们适应铰接形状是不平凡的。现有方法学习将变形映射到规范点的向后扭曲场。然而，这是有问题的，因为向后扭曲场是姿势相关的，并且因此需要大量数据来学习。为了解决这个问题，我们介绍了SNARF，它结合了多边形网格的线性混合蒙皮（LBS）的优点与神经隐式曲面通过学习一个前向变形和灰场没有直接监督。该变形场在规范的、姿势独立的空间中定义，使得能够泛化到看不见的姿势。单独从构成的网格学习变形场是具有挑战性的，因为变形点的对应关系是隐式定义的，并且在拓扑变化下可能不是唯一的我们提出 了 一 个 向 前 的 皮 肤 模 型 ， 发 现 所 有 典 型 的correspondence的任何变形点使用迭代根查找。我们通过隐式微分推导出分析梯度，从而能够从具有骨骼变换的3D网格进行端到端训练。与最先进的神经隐式表示相比，我们的方法更好地推广到看不见的姿势，同时保持准确性。我们展示了我们的方法在具有挑战性的情况下（穿着）三维humans在不同的和看不见的姿势。1. 介绍传统上已经通过经由具有姿态校正的线性混合蒙皮（LBS）使多边形网格变形来实现对铰接的3D对象的形状和变形进行建模。然而，网格固有地受限于其分辨率-存储器比和其固定拓扑。因此，神经隐式表面表示[10，30，31，38]最近引起了广泛关注，因为它们提供了一种独立于分辨率的，光滑和连续的离散网格替代方案。然而，更新一个IM-学习的规范3D形状和蒙皮权重连续隐式曲面的不可见图1：SNARF：从一系列设定的网格（顶部）中，我们学习了一个神经隐式3D形状和一个规范姿势的蒙皮场（中间），而无需监督蒙皮权重或部分对应关系。学习的向前蒙皮使得能够泛化到不可见的姿势（底部），同时通过姿势调节来捕捉局部细节。作为潜在姿态变化的函数的隐式表面表示是具有挑战性的，因为它需要修改连续函数而不是离散的点集。为了解决这个问题，我们提出了SNARF（带向前蒙皮的蒙皮神经人工表示），这是一种新的方法，可以直接从3D水密网格和相应的骨骼变换中学习由神经隐式表面表示的关节式3D形状，而无需通过预定义的蒙皮权重进行监督。SNARF将LBS的骨架驱动变形的简单性与隐式曲面的保真度和拓扑灵活性相结合。11595规范空间落后规范空间向前变形空间变形空间点我们的方法是能够检索多个correspondence，任何变形点，因此自然地处理，dles拓扑结构的变化。我们进一步推导出我们的前向蒙皮模块的梯度，从而使其可区分，并使端到端的学习的规范形状和蒙皮权重共同从变形的观察。重要的是，与先前的工作相比，我们的方法不需要任何先验蒙皮权重或在表面上定义的姿势校正，因此可以应用于预先装配的网格模型不可用的场景中。我们通过实验证明，我们的方法能够生成具有任意所需骨骼变换的高质量形状，即使是那些远远超出训练分布的形状，而其他最近的方法如NASA [12]都失败了。由于我们的方法在连续空间中操作，因此可以重建精细的几何细节。通过将神经隐函数与姿态相关联，我们的方法忠实地模拟了局部姿态相关的变形，例 如 衣 服 或 软 组 织 的 移 动 。 我 们 的 代 码 可 在github.com/xuchen-ethz/snarf上获得。2. 相关工作图2：向前与向后蒙皮。前向蒙皮权重在姿势无关的规范空间中定义，因此自然地概括为左下图中的不可见相比之下，向后蒙皮权重是在姿势相关的变形空间中定义的，因此与看不见的姿势斗争。面，使动画的复杂人体如图所示。1.一、此外，SNARF通过在姿势上调节神经形状以捕获姿势相关的非线性变形而超越LBS。主要的挑战是表示在规范的姿势和他们的变形对应的表面点之间的映射现有方法尝试学习规范姿势和向后变形场中的形状，将变形点变换为规范姿势[12，34，39，43]。然而，如图所示。2，向后蒙皮是有问题的，因为变形场取决于变形对象的姿态，限制了对看不见的姿态的泛化。为了解决这个问题，我们设计了一种方法，学习一个密集的前向蒙皮权重字段，而不需要直接监督。一旦学习，即使对于训练集之外的姿势，也可以利用该蒙皮场来生成形状变形。然而，为了单独从构成的网格共同学习前向蒙皮场和对象形状，我们必须建立变形空间中的然而，这需要向后映射的可用性，其仅被隐式地定义并且没有解析解。为了克服这个问题，我们提出了一个前向蒙皮模型，利用迭代求根算法找到对应的规范点的任何变形蒙皮多边形网格：对非刚性和有关节的3D对象的变形进行建模是计算机视觉和图形学中的一个基本问题，具有许多应用。传统上，这个问题是制定多边形网格，并被称为蒙皮。蒙皮使具有低阶控制基元（例如骨骼）的高分辨率表面网格能够变形。最常见的方法是线性混合蒙皮（LBS），它将每个网格顶点的变形建模为由蒙皮权重定义的输入骨骼变换的凸组合。这些蒙皮权重通常由艺术家定义或从数据中学习。LBS产生了许多方法试图解决的众所周知的伪像，例如.使用双四元数混合蒙皮[20]或多权重包络[29，54]。关键概念是定义与姿势相关的传统上，这些在这里，我们扩展的概念LBS和姿势矫正神经隐式表面表示。从示例中学习混合权重和装备有着悠久的历史，从James和Twigg开始[17]。特别是对于人体，已经提出了许多学习方法，其中许多学习LBS权重[15，24，37，56]。最近的方法尝试以无监督的方式在给定注册的训练网格的情况下解开形状和姿势[19，60]。RigNet[57]使用深度网络来联合学习铰接钻机和蒙皮权重。NeuroSkinning [23]还使用深度网络来学习混合权重，并可以处理复杂的表面拓扑。在11596∈与我们相比，这些方法需要具有手绘蒙皮权重的操纵模型的大数据集，并且不考虑隐式表面表示。神经隐式形状：神经隐式形状表示可以以连续的方式对具有任意拓扑的复杂形状进行建模。给定3D位置，这些网络回归到3D点的表面的距离[38]、发生概率[30]、颜色[36]或辐射[33]。显示了对2D图像要素或3D点云要素等本地信息的调节以产生更详细的重建[11，16，41，47，48]。虽然早期的方法需要水密网格进行训练，但最近的几种方法已经证明了从原始3D点云[5，13，49]或图像[33，35，51，58]进行无监督训练。大多数现有隐式模型的当前限制是它们不支持高质量的骨骼变形。我们的方法解决了这个关键的限制，使学习和神经隐式表面的真实骨骼变形的生成。可变形神经形状：与网格相比，变形神经隐式形状更具挑战性，因为需要变形连续空间而不是固定的顶点集。最近，已经提出了各种方法来建模向后变形场[18，34，39，43]。 这些字段映射变形空间中的点到规范的，其中几何性质（例如，发生率）从标准形状网络中查询。变形场被建模为输出速度[34]、平移[43]或刚性变换[39]的神经网络，并且使用变形空间中的观察与规范占用网络联合训练NiLBS [18]学习每个点的蒙皮权重，然后根据骨骼变换通过LBS导出变形。然而，学习的向后变形的固有限制是对看不见的姿势的较差概括。如图所示。在图2中，向后变形场被定义在变形空间中，并且因此固有地随姿势变形。因此，网络必须记住不同空间配置的变形场，使得难以生成在训练期间未看到的变形。基于零件的模型：在最近的工作中，NASA [12]提出将3D人体模型表示为独立部分的组合，每个独立部分由占有网络表示[30]。将这些部分严格地转化为地面实况曲面蒙皮权重，以了解正确的零件分配。与美国宇航局相比，我们的方法学习为- ward蒙皮权重没有这样的监督和cap-tures姿势相关的变形。更一般地，先前的方法由于关于变形的过于简单的假设而遭受人为因素，或者没有很好地推广到不可见的姿态，如图1B所示4.第一章相比之下，SNARF通过学习规范空间中的姿势无关的前向蒙皮权重3D人体头像：虽然更一般，我们展示了我们的学习和动画现实主义的3D人类化身的问题上的方法。最近[2，3，4，6，59]和con-当前工程[9，14，22，25，26，32，40，42，44，49，50，52，53，55]关于学习3D人体模型的方法通常需要具有固定拓扑的模板网格模型，例如SMPL [24]，或由于基础3D表示而在分辨率上受到限制[2，3，55，59]。相比之下，我们的方法是能够代表关节形状在高保真度没有强烈的事先假设对象的形状。这允许我们更好地对具有更灵活拓扑的对象的变形进行建模，例如，穿着衣服的人3. 方法在本节中，我们首先定义规范形状和前向蒙皮权重的表示。接下来，我们介绍我们的前向映射，并推导出用于以端到端的方式学习规范形状表示和蒙皮权重的梯度3.1. 表示我们表示一个铰接对象的形状和皮肤宁权在规范空间。与SMPL等经典方法类似，我们将问题拆分为具有姿势独立的蒙皮权重和姿势相关的非线性变形的LBS。LBS捕获形状变化的许多重要方面，因此姿态依赖模型仅需要学习校正。这使得利用有限数据的训练是可行的，并且有助于对看不见的姿势进行泛化。形状：我们使用神经网络来预测正则空间中任何输入3D点x的占用概率。为了对姿势相关的局部变形（例如皱纹或软组织）进行建模，我们注入对象姿势p作为附加输入：根据输入的骨骼变换产生变形的形状。虽然这样的配方保留了fσf ：R3×Rnp→ [0，1]。（一）在关节运动之后的全局结构中，违反了表面变形的连续性，导致身体部分的交叉处的伪影。尽管每个部分可以学习使其自身变形以部分地补偿这种不期望的效果，但是仍然存在明显的伪影，特别是对于在训练分布之外的姿势。此外，NASA要求这里，σ f是网络参数，n p是姿态条件p的维数我们用关节角度来指定。规范形状被隐式定义为0。5神经函数S的水平集：S={x |f σf（x，p）= 0. 5}。（二）11597--Σ我我------我wi彡0且iwi=1，使用softmax激活函数。我我我Wx--.图3：使用向前蒙皮生成变形形状。给定变形空间x′中的一个查询点，我们的方法首先通过迭代求根找到它的正则对应x*，该正则对应满足前向蒙皮方程（4）由于拓扑变化可能存在多个对应关系，通过初始化求根算法可以可靠地找到这些对应关系其中多个起始点从骨骼变换导出然后，规范占用网络f σf预测{x*}处的占用概率，这些占用概率最终被聚合以产生查询点x’的占用概率。神经混合皮肤：我们使用线性混合皮肤（LBS）对骨骼变化引起的非刚性为了实现这个目标，我们使用第二个神经网络来表示规范空间中的LBS一个能够检索所有潜在的规范对应关系x*i的程序从隐式定义的关系中得到y个变形点x′的对应关系，然后使用隐式形状合成的标准操作来合成这些对应关系。图1中提供了概述。3 .第三章。wσw ：R3→Rnb，（3）通信检索：不像向后剥皮，因为-其中σw是网络参数，并且nb表示骨骼的数量 遵循传统的LBS，我们强制执行权重Σw={w1，. . . ，w，n，b}，以满足ward skinning定义了x *x’隐含地作为以下等式dσw（x，B）−x′=0，（5）其不能以封闭形式解决的溶液注意，w〇w不取决于姿态P。给定3D点x的LBS权重w和骨骼变换B=B1，. . .，Bnb，变形点x’由以下凸组合确定：当量（4）可以通过标准牛顿或准牛顿方法在数值上获得：xk+1=xk−（Jk）−1·（dσ（xk，B）−x′），（6）其中J是dσw的雅可比矩阵nb（xk，B）−x′。到x′=dσw （x，B）=wi=1σw，i（X）·Bi·X。（四）为了防止在每次迭代时计算雅可比矩阵，我们应用Broyden处理多个通信：我们发现多个注意，规范姿势是自由超参数。根据经验，我们发现了图1中所示的规范姿势1工作得很好，并将其用于所有关于人体形状的实验3.2. 可微分向前蒙皮为了预测变形空间中观察到的3D点x’的占用概率〇’x，我们必须首先确定变形查询x′的正则对应x*，以评估占用o（x′，p）=f（x*，p），其中根x*i通过用不同的起始位置初始化优化过程并利用迭代求根的局部收敛。由此，通过将变形点X’刚性地变换到针对nb个骨骼中的每个骨骼的规范空间来获得初始状态X。，并且初始雅可比矩阵J。是在对应初始状态处的LBS权重场的空间梯度：x0=B−1·x′J0=dσw（x，B）.（七）x=x0我们的前向皮肤方法的核心是找到任何查询点x′的正则对应x* 的问题。这是不平凡的，因为（i）它们的关............规范占用网络。11598系经由等式（1）隐式地定义。（4）没有解析逆形式，以及（ii）多个规范点可能对应于同一变形点，因为空间在扭曲之后可以重叠图3）。为了解决这个问题，我们建议远离最优值的初始状态导致收敛到最优值之一并且可以安全地包括用于进一步计算，或者发散，并且因此可以通过阈值处理容易地丢弃。因此，我们将最终的对应集合定义为：X*={x*i|dσw（x*i，B）−x<′11599{}fLL{·Σ其中ε是我们在实验中设置为10−5这使我们能够检索任何变形点x′的所有规范对应，即使在引起一对多映射的拓扑变化下。注意，如果任何正则对应被占据，则变形点x’也被占据因此，所有规范对应的占用概率上的最大值给出最终占用预测：o（x′，p）=maxf σ（x*，p）.（九）x*∈X*该并集运算符通常用于合成独立的形状[45]。与NASA[12]类似，在实践中，我们使用softmax而不是硬最大值来允许梯度反向传播到所有规范对应。3.3. 培训损失我们的模型是通过最小化变形点o（x′，p）的预测占用率与所有构成的3D网格的相应地面实况ogt（x′）之间 的二 进制 交叉 熵损 失 BCE（ o（ x ′ ，p ） ，ogt（x′））来训练的。 单一的主题。此外，我们在第一个时期应用两个辅助损失进行引导训练。我们随机采样点沿骨骼连接关节在canoni- cal空间，并鼓励其占用概率为1。此外，我们鼓励所有关节的蒙皮权重等于0。5，分别对应于两个相邻骨骼。我们的方法不需要地面真实皮肤权重或部分分割。3.4. 梯度在训练过程中，我们必须确定4. 实验我们首先在合成的2D数据上进行玩具实验，以分析不同的方法和模型设计选择在一个受控的环境中。接下来，我们将我们的方法应用于模拟穿着最少的人体，并将其与NASA [12]和其他自我实现的基线进行比较。最后，我们证明，我们的方法可以处理穿着人类，以及概括看不见的姿势。4.1. 数据集我们在实验中使用以下数据集2D棍子：我们模拟由两个骨骼连接的2D棍子我们将每个点的真实蒙皮权重设置为其到每个骨骼的距离的倒数。为了模拟拓扑变化，我们包括另一个刚性对象。虽然该对象在规范空间中是分离的，但是两者可以在构成空间中相交，并且因此引起拓扑变化以模拟人类自我接触或对象交互。穿着最少的人类：根据NASA [12]，我们使用AMASS[ 28 ]的DFaust [7]子集在穿着最小服装的人的SMPL网格上训练和评估我们的模型。该数据集涵盖了10个不同体型的受试者。对于每个受试者，我们使用10个序列，从中随机选择一个序列进行验证，其余的用于训练。对于序列中的每一帧，采样20K个点，其中一半在空间中均匀采样，一半在近表面区域中采样，通过首先在网格表面上应用泊松盘采样，然后添加σ = 0的各向同性高斯噪声。01到采样点位置。除了总损失w.r.t. 网络参数σ = σ f对于占用网络，σw}。tion”[11]《易经》云：“君子之道，焉可诬也？有始有卒者，其惟圣人乎！”fσf，梯度由下式给出的评价。 该数据集包含天然的，更chal-Lσf=L奥奥fσffσf·σf（十）《浮士德》中的人物造型穿衣服的人：我们使用CAPE [ 27 ]中的配准网格以及相应的关节和骨骼变换。这可以通过将梯度反向传播通过相应的计算图而容易地获得。对于LBS权重字段w〇w，梯度由下式给出：从伴随的SMPL模型regis- tration中获得的结果来训练我们的模型。我们使用来自数据集的8个受试者，其具有不同的服装类型，包括短/长的下半身服装和短/长的上半身服装。L=σwfσf（x*）·x·σw（十一）我们为每个主题和服装条件训练模型4.2. 基线其中x*是等式中定义的根。并且最后一项可以经由隐式微分解析地获得：我们在评估中考虑以下基线。对于dσw（x*，B）−x′=0（12）训练损失和超参数。dσ⇔w（x*，B）σw+dσw（x*，B）xx·σw=0（13）·11600姿 势条 件占用网络（ Pose-ONet ） ： 该基 线 通 过直接将姿势输入连接到占用网络来扩展占用网络[ 30 ]。x⇔=−。dσw（x*，B）−1· dσw （x*，B）. （ 十四）σwxσw向后蒙皮（Back-LBS）：这条基线是11601IoU [%]---∪--Pose-ONet分段反向LBS我们的GT100外推准确度100插值精度95八九十856080四零七五200与没有706560510 20 40 60图4：2D玩具实验的定性结果。拓扑变化训练角度步长[度]第1行（2块骨头）：我们变形的形状看起来与地面实况相似相反，Back-LBS和Pose-ONet产生扭曲的形状。分段刚性模型（分段）导致骨交叉点周围的伪影。第2行（2个骨骼+1个刚体对象）：我们的前向蒙皮算法可以处理拓扑结构的变化，而文物的交叉点，灰是明显的结果向后蒙皮基线（后LBS）。类似于[18]的向后蒙皮的概念。网络将变形点和姿态条件作为输入，并输出变形点的蒙皮权重变形点然后经由LBS被弯曲回到规范空间，并且规范对应被馈送到规范形状网络中以查询占用。向后位移（Back-D）：该基线直接预测从变形空间到正则空间的位移，类似于D-NeRF[18]。NASA：NASA [12]将铰接的人体建模为多个部分的组合，每个部分都根据姿势进行刚性变换和变形请注意，与我们相反，NASA需要地表点的地面实况蒙皮权重作为监督。我们使用作者提供的官方分段：为了对2D玩具数据集进行评估，我们创建了NASA的2D变体，称为4.3. 2D Stick数据集对于我们在简单的2D棒数据集上的结果，我们不使用局部姿势调节，因为形状不随姿势局部变形。我们考虑以下三种设置：外推法：铰接模型的一个基本要求是能够变形为任意姿势。在此设置中，我们使用关节连接的2D杆生成训练数据，关节角度来自区间[60，60]◦。在测试时，模型的任务是在[ 120，60]◦[60，120]◦中生成具有较大关节角度的变形形状。 图4和图5（左）显示了我们的结果。虽然我们的前向皮肤模型紧密地遵循地面事实，但Pose-ONet未能生成有意义的结构，因为它学习了从姿势到形状的直接映射，因此无法生成不符合实际的结构。图5：2D玩具实验的定量结果。左：对于姿态外推，我们的方法在两个测试用例上都优于所有基线，有和没有拓扑变化。右图：插值时，性能差距会随着训练角度的采样更稀疏而增加。看到的形状。通过从形状中分离变形，Back-LBS更好地保留了结构，但学习的姿势相关蒙皮权重不会泛化。分段模型（分段）生成正确的全局姿势配置，但是由于在关节处违反刚性假设而表现出可见的伪影拓扑变化：为了模拟拓扑变化，我们包括一个刚性对象，但其他设置与前一个实验中的设置相同。改变拓扑对于Back-LBS是具有挑战性的，因为它不能对一对多的反向对应进行建模。为了补偿这一点，占用字段得到扭曲，如图所示4.第一章相比之下，我们的模型优 雅 地 处 理 拓 扑 变 化 ， 也 如 图 2 中 定 量 所 示 。 5（左）。插值：为了评估插值性能，我们使用从[ 60，60] ◦连续采样的角度来评估生成的形状的准确性，同时增加训练姿势的采样步长。如图5（右），随着难度的增加，基线方法（Pose O-Net和Back-LBS）和我们的方法之间的差距分段模型（Piece-wise）是个例外，其性能对于训练样本密度是不变的，但是在部分交叉处表现出伪影。4.4. 穿着最少衣服的人在NASA [12]之后，我们现在考虑建模铰接式3D人体的更具挑战性的情况人类身体由于其复杂的骨骼结构和非线性地依赖于骨骼变换的局部变形而具有挑战性。虽然NASA要求地面实况蒙皮权重作为额外的监督，我们的方法不需要这样的知识。分销范围内：总的来说，所有方法在这个相对简单的设置中都能很好地执行，如Tab. 1.一、然而，我们的方法仍然提供了一个改进的所有基线。特别是，与NASA相比，我们-urs）转发（O反向LBS分段不O-Ne姿势2块骨头1对象2块骨IoU [%]11602主题分布范围内超出分销范围P. - Onet后DIoU bbox反向LBSNASA我们P. - Onet后DIoU曲面反向LBSNASA我们P. - Onet后DIoU bbox反向LBSNASA我们P. -Onet后DIoU曲面反向LBSNASA我们5000284.80%87.89%47.34%96.56%97.50%63.86%66.42%85.41%84.02%89.57%60.61%70.02%73.42%87.71%94.51%31.94%39.84%71.01%百分之六十点二五百分之七十九点七五50004百分之八十点零九84.52%93.53%96.31%97.84%57.79%59.93%88.07%85.45%91.16%55.44%64.63%65.17%86.01%95.61%34.26%38.62%69.43%62.53%83.34%5000788.31%89.09%50.13%96.72%百分之九十七点九六67.14%68.02%83.46%86.28%91.02%40.53%59.68%62.66%80.22%93.99%百分之十七点八34.76%59.53%51.82%77.08%5000971.67%74.75%65.36%94.94%96.68%50.87%53.96%85.38%84.52%89.19%38.17%50.18%63.34%78.15%91.22%23.24%百分之三十点八五64.40%55.86%75.84%5002069.21%73.37%93.04%百分之九十五点七五96.27%48.73%53.72%86.03%87.57%88.81%42.66%52.43%64.98%83.06%93.57%26.56%33.62%68.24%62.01%81.37%5002179.30%79.48%96.86%百分之九十五点九二96.86%57.80%64.02%89.96%87.01%百分之九十点一六45.50%58.99%69.89%81.80%93.76%29.07%37.19%61.69%65.49%81.49%5002286.60%百分之九十点五九百分之九十七点六97.94%百分之九十七点九六66.82%74.27%93.51%91.91%92.06%52.17%60.41%67.83%87.54%94.67%33.00%34.71%73.46%70.23%83.37%5002580.14%79.81%百分之九十五点二八百分之九十五点五百分之九十七点五四59.47%60.37%87.33%86.19%91.25%52.78%56.93%68.91%83.14%94.48%31.37%34.49%70.60%60.88%82.48%5002679.39%84.58%百分之九十七点三二96.65%97.64%60.52%64.07%百分之九十点一七87.72%91.09%56.09%64.33%65.20%84.58%94.13%32.07%37.71%71.85%59.78%80.01%5002773.91%76.71%80.33%95.53%96.80%53.91%57.46%85.04%86.13%89.47%48.22%57.00%67.86%83.97%93.76%27.56%32.56%70.55%61.82%81.81%Avg.79.34%82.08%81.68%96.14%97.31%58.61%62.22%87.44%86.98%90.38%49.21%59.46%66.93%83.16%百分之九十三点九七28.69%35.44%68.93%60.21%80.65%表1：穿着最少衣服的人的定量结果。报告空间中均匀采样点（IoU bbox）和表面附近点（IoU表面）的平均IoU。我们的方法优于所有基线，包括NASA [12]。对于表面附近的点和训练分布之外的姿势，改进更加明显。分布内分布外图6：穿着最少衣服的人的定性结果。我们的方法产生的结果类似于地面真相与正确的身体姿势和合理的局部细节，无论是温和的姿势内的训练分布和更极端的姿势。相比之下，基线方法遭受各种伪影，包括不正确的姿势地面实况我们反向LBSNASA后DPOSE-ONet11603（Pose-ONet）、退化形状（Pose-ONet、Back-D、LBS）和关节附近的不连续性（NASA），其对于看不见的姿势变得更严重11604图7：穿着衣服的人的定性结果。我们的方法可以在各种服装类型的3D服装的人，具有丰富的细节，包括皱纹，并在新的姿势。此外，我们的方法忠实地学习布料变形和身体姿势之间的非线性关系。在右边，我们展示了一个失败的案例，在这个案例中，布没有自然地落在一个极端的、看不见的姿势上。但是，请注意我们的方法在这种情况下仍然可以优雅地降级。用1证明均匀采样点的IoU。2%，近地表点的IoU为4.百分之六。这种改善也可以在定性结果中观察到。六、我们的方法产生的机构具有光滑的表面和正确的姿势。相比之下，NASA遭受关节附近的不连续人工制品。Back-D、Back-LBS和Pose-ONet遭受缺少身体部分。未分销：在此设置中，我们在不同的数据集PosePrior[ 1 ]上测试训练模型，以评估更真实设置中的性能，其中姿势可以与训练集上的人相差甚远。与2D玩具设置中的观察结果类似，看不见的姿势可能会导致基线方法的性能急剧下降，如Tab.1.一、相比之下，我们的方法优雅地退化，尽管测试姿势与训练姿势有很大的不同，并且非常具有挑战性。因此，我们的方法和NASA之间的IoU表面上的性能差距从4。6%至20。百分之四如可见于图6、我们的方法gener-为给定的姿势选择自然的形状，而美国宇航局却没有在骨骼交叉处生成用于不可见姿势的校正，从而导致明显的伪影。Pose-ONet和Back-D无法生成有意义的形状，Back-LBS由于蒙皮权重不正确而生成学习的蒙皮权重：我们在图中展示了我们学习的蒙皮权重。1.一、我们的模型学习合理的皮肤宁权重与平滑过渡的所有移动的身体部位，反映正确的身体部位分配。更多的结果可以在补充材料中找到。4.5. 穿着衣服的人我们的方法也可以应用到建模穿着的人。我们使用CAPE数据集的网格训练SNARF。结果示于图7.第一次会议。我们的方法是能够模拟不同的服装类型与灵活的拓扑学，并产生逼真的结果，在新的姿态与plau-sible局部细节，如皱纹。衣服随着身体姿势自然变形，除了预测质量适度降低的非常极端图8示出了对应于不同身体姿势的规范形状图8：姿势相关的非线性变形（core-dependent）在canonical space中。热图示出了当前姿势的规范形状与规范姿势的规范形状之间的差异（黄色=大，放大以获得更多细节），展示了可以由我们的模型捕获的变形的灵活性。5. 结论在本文中，我们提出了一个可微的前向皮肤模型的神经隐式表面。我们的方法从网格中学习连续的姿态条件形状和蒙皮权重，并且能够生成几乎任意姿态的plausible形状。我们获得了最先进的结果，关节神经隐式表示的三维人体，并表现出显着更好的泛化到看不见的姿势比基线。我们显示SotA结果具有挑战性的情况下（穿着）3D人类与不同的形状和姿势。在未来的工作中，我们计划将我们的方法扩展到仅使用可区分渲染的跨主题和图像学习[35]。鸣谢：Xu Chen和Yufeng Zheng得到了Max Planck ETHCenter for Learning Systems的支持。Andreas Geiger得到DFG EXC编号2064/1 -项目编号390727645的支持。披露：MJB已经收到了来自Adobe，Intel，Nvidia，Facebook和Amazon的研究礼物基金。虽然MJB是亚马逊的兼职员工，但他的研究仅在马克斯普朗克进行，并由马克斯普朗克资助。MJB在Amazon 、DatagenTechnologies和Meshcapade GmbH拥有财务权益。构成Canonical11605引用[1] 作者声明：Michael J.黑色. 用于3D人体姿势重建的姿势调节关节正在进行IEEE会议 计算机视觉和模式识别（CVPR），2015年。五、八[2] Thiemo Alldieck ， Marcus Magnor ， Weipeng Xu ，ChristianTheobalt，and Gerard Pons-Moll.从单目视频的详细的人类化身。在国际会议上。关于3D Vision（3DV），2018年。三个[3] ThiemoAlldieck ， GerardPons-Moll ， ChristianTheobalt，和马库斯·马格纳Tex2Shape：从单个图像中获得详细的完整人体几何形状。 在proc IEEE International Conf.计算机视觉（ICCV），2019年。三个[4] DragomirAnguelov ， PraveenSrinivasan ， DaphneKoller，Se-巴斯蒂安·特伦吉姆·罗杰斯和詹姆斯·戴维斯SCAPE：形状完成和动画的人。ACM Trans. on Graphics，24（3）：408-416，2005. 三个[5] Matan Atzmon和Yaron Lipman。SAL：体征不可知从原始数据学习形状。正在进行IEEE会议计算机视觉和模式识别（CVPR），2020年。三个[6] 巴拉特·拉尔·巴特纳加尔 克里斯蒂安·斯明基塞斯库Theobalt，and Gerard Pons-Moll. Loopreg：用于3D人体网格配准的隐式表面对应、姿势和神经信息处理系统进展（NeurIPS），2020年。三个[7] 费德里卡·博戈 哈维尔·罗梅罗 Gerard Pons-Moll和Michael J.黑色. 动态浮士德：登记人体运动。正在进行IEEE会议计算机视觉和模式识别（CVPR），2017年。五个[8] 查尔斯·G·布洛伊登 一类求解非线 性 联 立 方 程 组 Mathematics of Computation ， 19（92）：577-593，1965. 四个[9] Andrei Burov、Matthias Nießner和Justus Thies。动态人体表面功能网络 在IEEE国际会议上。 计算机视觉（ICCV），2021年。三个[10] 陈志勤和张浩。学习隐式字段生成式形状建模正在进行IEEE会议计算机视觉和模式识别（CVPR），2019年。一个[11] Julian Chibane，Thiemo Alldieck，Gerard Pons-Moll.特征空间中的隐式函数用于三维形状重构和完成。正在进行IEEE会议计算机视觉和模式识别（CVPR），2020年。三个[12] Boyang Deng ， JP Lewis ， Timothy Jeruzalski ， GerardPons-Moll ， Geoffrey Hinton ， Mohammad Norouzi ， andAndrea Tagliasacchi.神经关节形状近似。在欧洲会议上。计算机视觉（ECCV），2020年。二三五六七[13] Amos Gropp、Lior Yariv、Niv Haim、Matan Atzmon和亚龙·李普曼用于学习形状的隐式几何正则化。在国际会议上。机器学习（ICML），2020年。三个[14] Marc Habermann ， Lingjie Liu ，Weipeng Xu，MichaelZoll-题 名 其 余 部 分 ： by Gerard Pons-Moll ， and ChristianTheobalt.实时深度动态人物。ACM Trans. on Graphics，40（4），2021年8月。三个[15] Nil sHasler，ThorstenThorm¨ hlen，BodoRosenhahn，and汉斯-彼得·赛德尔。 学习骨架的形状和姿势。ACM Trans. on Graphics，第23-30页，2010年。二个11606[16] Tong He ， John Collomosse ， Hailin Jin ， and StefanoSoatto. Geo-PIFu：用于单视图人体重建的几何和像素对齐隐式函数神经信息处理系统进展（NeurIPS），2020年。三个[17] 道格湖James和Christopher D. Twigg 蒙皮网格动画ACM Trans. on Graphics，24（3）：399，2005. 二个[18] Timothy Jeruzalski，David IW Levin，Alec Jacobson，Paul Lalonde ， Mohammad Norouzi ， and AndreaTagliasacchi. NiLBS ： 神 经 逆 线 性 混 合 蒙 皮 。arXiv.org，2004.05980，2020。三、六[19] B. Jiang，J.张，J.Cai和J.郑解缠人基 于 深 度 层 次 神 经 网 络 的 人 体 嵌 入 。 IEEETransactions on Visualization and Computer Graphics，26（8）：2560-2575，2020。二个[20] Ladislav 卡万 史蒂文 柯林斯 Jiri 扎拉 和卡罗尔奥沙利文几何蒙皮与近似对偶四元数混合。ACMTrans. on Graphics，27（4）：105，2008. 二个[21] J.P.Lewis、Matt Cordner和Nickson Fong。 姿势空间变形：形状插值和骨架驱动变形的统一方法。ACMTrans. on Graphics，第165-172页，2000年。二个[22] Lingjie Liu ， Marc Habermann ， Viktor Rudnev ，KripasindhuSarkar ， Jiatao Gu ， and Christian Theobalt. 神 经 参 与者：具有姿势控制的人类演员的神经自由视图合成。arXiv.org，2004.05980，2021. 三个[23] Lijuan Liu，Youyi Zheng，Di Tang，Yi Yuan，ChangjieFan，和周坤。神经皮肤：使用深度图网络实现生产字符的自动皮肤绑定。ACM Trans. on Graphics，38（4），2019年7月。二个[24] Matthew Loper，Naureen Mahmood，Javier Romero，GerardPons-Moll和Michael J.黑色. SMPL：一个有皮肤的多人线性模型. ACM Trans. on Graphics，2015. 二、三[25] Qianli Ma，Shunsuke Saito，Jinlong Yang，Siyu Tang，and迈克尔·J·布莱克规模：建模穿着人类与表面编解码器的关节本地元素。正在进行IEEE会议 计算机视觉和模式识别（CVPR），2021年。三个[26] Qianli Ma，Jinlong Yang，，Siyu Tang，and Michael JBlack.点的力量在服装建
我的内容管理
展开
