ARAPReg：学习可变形形状生成器

5815ARAPReg：一种用于学习可变形形状生成器黄启星* UT奥斯汀huangqx@cs.utexas.edu张在伟UT奥斯汀zaiweizhang@utexas.eduXiangru Huang*UT Austin MITxiangruhuang816@gmail.com江俊峰河海大学jiangjf. gmail.comBo Sun*UT奥斯汀bosun@cs.utexas.eduChandrajit BajajUT奥斯汀bajaj@cs.utexas.edu源靶有ARAPReg无ARAPReg关于ARAPReg无ARAPReg图1：我们的方法从可变形形状的集合中学习形状生成器形状生成器是用一种新的尽可能刚性的正则化（ARAPReg）损失来训练的，该损失促进了多尺度形状特征的保存摘要本文介绍了一种用于训练参数化变形形状生成器的无监督损失。 其关键思想是在生成的形状之间加强局部刚性的保持。我们的方法建立在一个近似的刚性尽可能（或ARAP）的变形能。 我们展示了如何通过对ARAP能量的Hessian谱分解来开发无监督损失。我们的损失很好地解耦姿势和形状变化通过一个强大的规范。损失允许简单的封闭形式的表达式。它很容易训练，可以插入任何标准代模型，例如，可变自动编码器（VAE）和自动解码器（AD）。实验结果表明，我们的方法优于现有的形状生成方法，大大超过公共基准数据集的各种形状类别，如人，动物和骨骼。我们的代码和数据可在https://github.com/GitBoSun/ARAPReg获得。1. 介绍本文考虑从可变形形状集合中学习参数网格生成器，该可变形形状集合具有表现出相同拓扑但经历大的几何变化的形状（参见以下变形人类、动物和骨骼的示例）。这个问题出现在许多视觉计算和相关领域中，例如神经形态发生的恢复、数据驱动的形状重建和 基 于 图 像 的 重 建 ， 仅 举 几 例 （ 参 见 图 10 ） 。[54]）。可变形形状不同于许多其他视觉对象（例如，图像和视频），因为在形状空间之下存在自然约束。一个这样的例子是局部刚性约束;即形状空间中的相邻形状之间的对应曲面片经历近似刚性变换。该约束表明几何特征（例如，人的面部特征和动物的脚趾）。因此，一个有趣的问题是使用该约束来从训练形状的集合中训练形状生成器，其中5816ZNZR局部刚性约束准确且有效地将训练形状的特征推广到由生成器产生的新合成在本文中，我们研究了如何建模的局部刚性约束作为一个无监督的损失功能的生成建模。所提出的损失可以与标准网格生成器组合，例如变分自动编码器（VAE）[44，28，39，7]和自动解码器（AD）[59，61]。我们的损失函数的一个关键属性是它与其他训练损失一致。这家酒店提供多种优势。例如，学习生成器对损失项之间的折衷参数作为另一个示例，训练过程比损失项可以彼此竞争的设置更快地收敛。我们的方法称为ARAPReg，建立在建立的尽可能刚性（或ARAP）变形模型[43，49，55]上，该模型测量两个形状之间的非刚性变形。它的关键成分包括使用Oof的Hessian的ARAP变形模型来推导出一个明确的正则化的形状生成器的雅可比矩阵和一个强大的规范Hessian模型的姿势和形状变化的可变形形状。结果是一 个 简 单 的 封 闭 形 式 的 制 定 培 训 网 格 生 成 器 。ARAPReg 不同于在合成形状和基础形状之间加强ARAP损耗的现有工作[17，27，63]，当基础形状空间具有大变形时，可能会引入竞争损耗。我 们 已 经 在 各 种 公 共 基 准 数 据 集 上 评 估 了ARAPReg，例如DFAUST [5]，SMAL [66]和Bone的内部基准数据集。评价包括VAE和AD的发生器设置。实验结果表明，ARAPReg导致可考虑的性能增益在国家的最先进的变形形状发生器定性和定量。例如，如图1所示，使用ARAPReg的插值形状极大地保留了所生成形状的局部几何细节，并避免了不切实际的形状姿势。2. 相关作品本节将相关工作分为三组，即3D生成模型，生成建模的正则化和形状空间建模。3D生成模型。学习3D生成模型依赖于开发合适的3D表示以将3D模型编码成矢量化形式。示例包括体积网格[53，45，12，34，32，19]、隐式表面[35，9]、点云[1，57，56，25]、网格[22，28，14]、参数曲面[16，31]，球面表示[10，13，8]，几何布置[47，62]和多视图[30]。本文主要涉及网格表示下的生成模型第一类方法[44，48，28，46，38]基于在网格上定义变分自动编码器。一种典型的策略是将三角形网格视为图形，并定义卷积和去卷积运算以合成三角形网格（参见图1）。[48，28，46]）。[44]介绍了一种几何编码方案，其在梯度do中操作main.第二类方法建立在几何合成的再流程序上。该方法已广泛应用于基于基元的装配[26，40，41，65]。[18]将此方法扩展到网格，其中递归地应用边收缩操作。第三类方法[60，51]对基础网格进行变形以生成新的网格，其中变形是从数据中学习的。最后一类利用表面参数化[42，31，16，4]。虽然这些方法集中在网格设置下采用生成式建模方法，ARAPReg研究了在具有类似潜在代码的合成形状之间明确执行ARAP损失的新问题。用于生成建模的正则化。在用于3D生成建模的现有工作中已经探索了正则化损失。在[36]中，Peebles et al.研究了用于学习生成图像模型的Hessian正则化项。在[2]中引入了用于3D生成式建模的谱正则化损失一些作品[52，50，21，3]研究了基于图像的重建的几何正则化。相比之下，ARAPReg专注于与其他项一致的正则化项。其他几项工作[17，27，63]采用了任何合成形状与基础形状之间的ARAP损耗。ARAPReg的新颖之处在于，即使在底层形状空间呈现大变形时，它也与其他损失项一致。原因是局部刚性约束仅在底层形状空间中的相邻形状之间被强制执行。我们的初步实验表明，加强合成形状和基础形状之间的ARAP损失导致更糟糕的结果比下降的ARAP损失。形状空间建模。最后，ARAPReg与形状流形的切线空间建模的早期工作相关[23，20，58]。然而，与形状插值[23]，形状分割[20]和基于网格的几何设计[37，58]中的应用不同，ARAPReg专注于为网络训练设计无监督损失。3. 概述在[39，7，64]之后，我们有兴趣学习一个网格生成器，该生成器将潜在代码作为输入并输出具有给定网格连接性的三角形网格的顶点位置（见图2）。从形式上讲，我们将该网格生成器表示为g✓：Z：=Rk！ R3n.这里表示潜在空间，并且3n编码连接顶点位置的向量，即，n是顶点的数量。我们将本文的其余部分组织如下。在 第 4 节 中 ， 我 们 介 绍 了 本 文 的 主 要 贡 献 ，ARAPReg，一种用于训练g✓的无监督损失。损失只需要潜在空间的先验分布。本文假设先验分布是k维正态分布k。ARA-PReg的核心思想是确保局部刚度约束是预先确定的。5817Lz✓✓sk@z@zg（z-6z）k2 R 2 R+λR·rR（g（z），（z））@zR✓2R✓✓自动解码器（AD）具体来说，我们将无监督损失定义为reg（✓）：=ENk6zENkg（z+6z）-2g（z）+✓2✓@g✓其中，第一项促进生成器g的平滑度;s是ARAPReg的超参数。请注意，与强制执行VAE图2：我们考虑多个标准形状生成器，包括变分自动编码器（VAE）和自动解码器（AD）。 图形编码器h$将输入网格g映射到潜在参数h$（z）。图解码器映射潜在参数z到外部网格g✓（z）。在底层形状空间中的相邻生成的形状之间提供如图1的左侧部分所示，该损失的目标是显著改善网格生成器的生成行为，例如，保留多尺度几何细节。在第5节中，我们将讨论如何将这种无监督损失插入到基于VAE和AD的标准形状生成模型中。4. ARAPReg损失制定局部刚性的保持是相当具有挑战性的，因为所得到的损失项必须足够简单以便于网络训练。一种直接 的 方 法 是 在 生 成 的 形 状 g✓ （ z ） 与 其 扰 动 g✓（z+dz）之间强制执行局部刚性约束。在这里，dz表征了参数空间然而，该方法需要对大量形状对进行采样。此外，g✓（z）和g✓（z+dz）之间的形状变形的典型公式需要求解计算开销大的优化问题（参见图10）。[6]）。ARAPReg缝合了几个新颖的想法，以导出一个简单的无监督损失，该损失不会与生成建模中使用的典型损失产生不利影响（参见第5.1节）。4.1. 步骤I：解耦平滑和雅可比正则化首先，ARAPReg将局部刚性的执行解耦为两个术语。第一项加强了生成器的平滑性。该平滑性惩罚使得能够实现第二项，其将局部刚性的保持公式化为发电机的雅可比矩阵上的势，即，@g✓@g✓g（z+6z）g（z）+@z（z）·6z，（2）（1）中的公式不涉及g的一阶导数。因此，网络训练更有效，因为它只需要计算的一阶导数G.另一方面，它惩罚g✓的二阶导数。因此，它隐含地执行（2）。第二（1）中的第二项rR（g✓（z），@g（z））（将很快定义）用公式表示关于生成的网格g✓（z）和由雅可比矩阵@g✓（z）指定的无穷小扰动的正则化损失（参见图3）。λ是ARAPReg的另一个超参数。换句话说，代替强制执行形状对之间的局部刚性切空间是形状空间的一阶近似。平滑势确保该一阶近似是准确的，即，刚性约束传播到形状空间的局部邻域。正如我们稍后将讨论的，该公式的另一个吸引人的特性是雅可比矩阵使我们能够轻松地对姿势和形状变化进行建模（其中姿势变化比形状变化更刚性）。这个目标是很难实现使用通用的成对正则化。虽然平滑度约束涉及形状对，但我们的实验表明，没有必要对大量的形状对进行采样。一种解释是，深度神经网络训练具有隐式规则化（c.f. [33]），它促进平滑。4.2. 步骤II：雅可比正则化我们继续引入的本地刚性项r R，正则化的雅可比矩阵的发电机。为了使符号整齐，我们专注于制定rR（g， J）。这里g3n表示顶点x位置顶点r，并且J3n=k是指定无穷小扰动的雅可比矩阵关于G。我们的公式受到尽可能刚性（或ARAP）势函数的启发[43，49，55]。该标准模型测量一对形状之间的变形。考虑一个顶点位置为g2r3n的顶点位置为g+x2R3n的网格。表示（z） （3n）k.@zOi2SO（3）作为与第i个相关联的潜旋转图图编码解码G！#“z、（1）5818g✓（z）g✓（z）+@gy✓@zg✓zyR3nR22E2EE.Σ我X⇥2 RE2-2 EikZrL（g，J）：=VolR>：其中，HR（g， J）=JTHR（g）J。（5）提供沿y方向的刚性势潜在的空间我们的rR公式试图整合（5）在所有可能的方向y上。为了激发ARAPReg的最终 公 式 ， 让 我 们 首 先 通 过 在 单 位 球 上 积 分 yTHR（g， J）y来定义初始势能Sk在Rk中指定所有可能的y：2kZ图3：用于雅可比正则化的配置的图示。我们研究了无限小的变形引起的每个生成的形状g✓（z）处的切线空间。R命题2（Sk）y2SkK顶点它们之间的ARAP变形为rL2（g， J）=Tr（HR（g， J））=Xλi（HR（g，J））（7）fR（g，x）：=minnXkrij（Oi，g，x）k（3）哪里是i=1的第-个特征值。Oi2SO（3）（i，j）2Eλi（HR（g，J））iHR（g，J）rij（0i，g，x）：=（0i-13）（gi-gj）-xi-xj其中，表示网格生成器的边集合g✓。注意，我们假设（i，j）当且仅当（j，i） 。为了引入仅依赖于Ja的公式-cobian的生成器，我们认为泰勒展开的刚性尽可能的势能。命题1（[20]）的零阶和一阶导数fR满足@fR4.3. 步骤III：姿势和形状变化建模我们提出了一个简单的配方，解耦执行姿势和形状变量。具体地说，特征值λi（HR（g， J））=uTHR（ g ， J ） ui ， 其 中 ui 是 λi （ HR （ g ，J））的相应特征向量，反映了切空间不同方向上的变形. 根据尽可能刚性变形能的定义，每个顶点在姿势变化下。相比之下，单环邻域可能在形状变化下急剧变化。这意味着具有小特征值的特征向量对应于fR（g，0）=0，（g，0）= 0。@x具有大特征值的特征向量对应于形状变化（参见图4）。此外，Hessian矩阵由下式给出：@2fR@2x（g，0）=HR（g），在（2）中描述的L2公式的限制是所有方向被同等地惩罚ARAPReg采用鲁棒范数来对局部刚度损失进行建模以解决该问题H（g）=LI-A（g）TD（g）-1A（g）， ⑷其中Ln n是关联到的图拉普拉斯算子;A（g）是稀疏n n分块矩阵;D（g）是对角分块矩阵。 A（g）和D（g）的块由下式给出：i=1其中，我们在本文中设置=1类似于使用鲁棒范数去除离群值的效果，（8）对小的大特征向量生成的子空间上的权A（g）=8>

下载后可阅读完整内容，剩余1页未读，立即下载