13D动物园：动物的3D形状和姿势建模SilviaZuffi 1AngjooKanazawa 2DavidJacobs 2Michael J.Black31 IMATI-CNR，Milan，Italy，2马里兰大学学院公园分校，MD3德国图宾根马克斯·普朗克智能系统研究所silvia@mi.imati.cnr.it，{kanazawa，djacobs}@ umiacs.umd.edu，black@tuebingen.mpg.de图1：动物图片。我们使用很少的训练数据学习动物的关节式3D统计形状模型。我们将模型的形状和姿势与2D图像线索相匹配，显示它如何推广到以前看不到的形状。摘要在学习逼真的、有关节的人体3D模型方面已经做了大量的工作。相比之下，尽管有许多应用，但很少有这样的动物模型。主要的挑战是动物比人类更不合作。最好的人体模型是从数千个特定姿势的人的3D扫描中学习的，这对活体动物来说是不可行的。因此，我们从一小组任意姿势的玩具雕像的3D扫描中学习我们的模型。我们采用了一种新的基于部分的形状模型来计算初始注册的扫描。然后，我们规范化他们的姿势，学习统计形状模型，并完善注册和模型。通过这种方式，我们可以准确地对齐来自不同四足动物家族的动物扫描，这些动物具有非常不同的形状和姿势。通过注册到一个公共模板，我们学习了一个表示动物的形状空间，包括狮子，猫，狗，马，牛和河马。动物形状可以从模型中取样，摆姿势，动画，并适合数据。我们通过将其拟合到真实动物的图像来证明泛化，包括在训练中看不到的物种。1. 介绍动物的检测、跟踪和分析在生物学、神经科学、生态学、农业和娱乐业中有许多应用。尽管具有广泛的适用性，但计算机视觉社区更侧重于对人类建模，估计人类姿势和分析人类行为。我们能否将从人类分析中学到的最佳实践直接应用于动物？为了解决这个问题，我们采取了一种三维人体姿态和形状建模的方法，并将其扩展到动物建模。具体来说，我们学习动物的3D姿势和形状的生成模型，然后将该模型拟合到2D图像数据，如图所示。1.一、我们专注于一个亚-一组四条腿的哺乳动物，都有相同数量的 我们的目标是建立一个像SMPL[23]这样的统计形状模型，它在低维欧几里德子空间中捕获人体形状变化，对身体的关节结构进行建模，并可以拟合图像数据[7]。然而，动物在几个重要方面与人类不同首先，物种之间的形状变化远比63656366人类之间的差异。即使在犬科家庭中，由于选择性繁殖，狗的形状也有很大的变化。第二，所有这些动物都有尾巴，这是高度可变形的，显然不存在于人类形状模型中。第三，获取3D数据来训练模型更具挑战性。SMPL和以前的型号（例如，SCAPE[5]）依赖于一个大型数据库，该数据库包含许多人的数千次3D扫描（捕捉人群中的形状变化）和各种姿势（捕捉姿势变化）。人类是特别容易和合作的对象。将大量野生动物带入实验室环境中进行扫描是不切实际的，并且将扫描设备带入野外以捕获自然界中的动物形状将是困难的。由于扫描活的动物是不切实际的，我们改为扫描现实的玩具动物，以创建一个数据集的41扫描范围的四足动物，如图所示二、 我们表明，从玩具学习的模型推广到真正的动物。建立统计3D形状模型的关键是所有的3D数据必须对应。这涉及到注册一个共同的模板网格的每一个扫描。这是一个很难的问题，我们通过引入一种新的基于部件的模型和推理方案来解决这个问题，该模型和推理方案扩展了“缝合木偶”（SP）模型[34]。我们新的全局-局部缝合形状模型（GLoSS）将模板与不同的形状对齐，提供了非常不同的动物之间的粗略配准（图1）。左5）。GLoSS配准有些粗糙，但为无模型细化提供了合理的初始化，其中模板网格顶点在尽可能刚性（ARAP）约束下朝向扫描表面变形[30]（图5右侧）。我们的模板网格被分割成部分，混合权重，以便它可以使用线性混合皮肤（LBS）。我们“姿态归一化”的细化注册和学习低维形状空间使用主成分分析（PCA）。这类似于SMPL形状空间[23]。使用模板的铰接结构及其混合权重，我们获得了一个模型，可以生成和重新放置新的形状。利用学习的形状模型，我们使用共配准[17]来细化模板与扫描的配准，共配准通过惩罚与扫描拟合的模型的偏差来我们更新的形状空间和收敛。最终的皮肤多动物线性模型（SMAL）提供了从41次扫描训练的动物的形状空间。由于四足动物有共同的形状变化，该模型推广到训练中没有看到的新动物这使我们能够使用手动检测的关键点和分割将SMAL拟合到2D数据。如图1和图9，我们的模型可以生成各种姿势的逼真动物形状。总之，我们描述了一种方法来创建逼真的3D动物模型，并将该模型拟合到2D数据。这个问题比模拟人类要困难得多，我们开发了新的工具来扩展以前的方法来学习动物模型。这为动物形状和动作捕捉的研究开辟了新的方向。2. 相关工作在2D中表示，分类和分析动物形状有很长的历史[31]。在这里，我们只关注3D工作。基于部分的动物3D模型的想法也有很长的历史。与我们的GLoSS模型的精神相似，Marr和Nishihara[25]建议可以通过在运动树中连接的一小组3D形状图元来建模各种动物形状。3D扫描的动物形状。很少有系统地解决3D扫描[3]和动物建模的大小和形状的范围，以及处理活动物和处理其移动，使传统的扫描变得困难。以前的3D形状数据集，如TOSCA[9]，只有一组有限的3D动物，这些动物是艺术家设计的，具有有限的真实感。动物的形状从图像。以前的动物形状建模工作是从假设获得3D动物扫描是不切实际的开始的，并且集中在使用图像数据来提取3D形状。[10]第10话海豚的模板，并从手动点击的关键点和手动分割中学习其变形的低维模型。他们优化模型，以最大限度地减少关键点和轮廓的重投影误差。他们还显示了鸽子和北极熊的结果该公式是优雅的，但该方法遭受了过于平滑的形状表示;这对海豚来说不是问题然而，关键的限制是它们不对关节进行建模。Kanazawa等人[18]使3D动物模板变形以匹配一组图像中的手点击点。他们使用空间变化的刚度值来学习猫和马的独立可变形模型。我们的模型更强大，因为它将清晰度与形状变化分开进一步，我们对各种动物的形状变化进行建模，以产生统计形状模型。Ntouskos等人[26]从同一类中获取不同动物的多个视图，手动分割每个视图中的部分，然后将几何图元拟合到分割的部分。他们把这些组合起来形成一个近似的3D形状。 Vicente和Agapito[32]从参考图像中提取模板，然后使用关键点和轮廓将其变形以适应新图像。结果是低分辨率时，应用于复杂的形状。我们的工作是对这些先前仅使用图像数据来学习3D形状的方法的补充。未来的工作应结合三维扫描与图像数据，以获得更丰富的模型。6367图2：玩具。用于训练模型的动物雕像的3D扫描示例。视频中的动物形状Ramanan等人[27]将动物建模为部件的2D运动链，并从视频中学习部件及其外观。Bregler等人[8]跟踪非刚性物体上的特征（例如，长颈鹿脖子）并提取3D表面以及其低维变形模式。DelPero等人[13]跟踪和分割视频中的动物，但不解决3D形状重建。Favreau等人[14]专注于在给定2D视频序列的情况下动画化一个机器人的3D模型 Reinert等人[28]拿动物的视频序列，并且使用交互式草图绘制/跟踪方法，提取动物的纹理化3D模型通过将广义圆柱体拟合到多个帧上的每个草图笔划来获得3D形状。这些方法都没有对3D扫描中可用的各种细节进行建模，也没有对身体的3D关节最重要的是，没有人试图学习跨越多个动物的3D形状空间。3D扫描的人体形状。我们的方法受到了学习人类3D形状模型的悠久历史的启发。Blanz和Vetter[6]通过对齐面部的3D扫描并计算低维形状模型开始了这一方向与动物相比，面的形状变化性更小，关节连接更少，从而简化了网格配准和建模。对关节式人体形状进行建模要困难得多，但已经提出了几种模型[4，5，12，16，23]。Chen等人[11]对人类和鲨鱼进行建模，将变形分解为姿势和形状。3D鲨鱼模型是从合成数据中学习的，它们不对关节进行建模。Khamis等人[20]从深度图像学习具有形状变化的关节手模型。我们的方法基于SMPL[23]，它将低维形状空间与铰接混合蒙皮模型相结合。SMPL是从4000人以常见姿势的3D扫描和60人以各种姿势的另外1800次扫描中学习的相比之下，我们有更少的数据，同时有更多的形状可变性要表示。尽管如此，我们证明了我们可以为计算机视觉应用学习一个有用的动物模型。更重要的是，这为使用更多扫描和图像数据制作更好的模型提供了一条途径。我们还将在SMPL中添加非刚性尾巴和比人体更多的部件。图3：模板网格。它被分割成33个部分，在这里摆成中性姿势。3. 数据集我们通过扫描玩具无花果小便器创建了一个3D动物数据集（图1）。2）使用Artec手持式3D扫描仪。我们还尝试在博物馆里扫描动物标本，但令人惊讶的是，玩具的形状看起来更逼真。我们总共收集了来自几个物种的41个扫描：1只猫，5只猎豹，8只狮子，7只老虎，2只狗，1只狐狸，一只狼，一只土狼，一只鹿，一匹马，六匹斑马，四头牛，三只臀部。我们估计了一个比例因子，因此来自不同制造商的动物在大小上具有可比性。 像以前的3D人类数据集[29]，以及从图像中创建动物的方法[10，18]，我们收集了一组36个手动点击的关键点，用于辅助网格配准。更多信息见[1]。4. 全局/局部拼接形状模型全局/局部缝合形状模型（GLoSS）是3D铰接模型，其中针对每个部件局部地定义身体形状变形，并且通过最小化部件接口处的缝合成本将部件组装到一起该模型受到SP模型[34]的启发，但与之有显著差异。与SP相反，每个部分的形状变形是分析性的，而不是学习性的。这使得它更加近似，但重要的是，它允许我们将其应用于新的动物形状，而不需要先验训练数据。其次，GLoSS是一个全局可微的模型，可以用基于梯度的技术拟合数据要定义GLoSS模型，我们需要以下内容：具有所需多边形计数的动物的3D模板网格、其分割成部分、蒙皮权重和动画序列。为了定义网格拓扑，我们使用从Turbosquid网站下载的母狮的3D网格网格已装配，蒙皮权重已定义。我们手动将网格分割成N=33个部分（图3），6368使其沿矢状面对称。我们现在总结一下GLoSS参数化。设i是部分指标 ， i∈ （ 1···N ） . 模 型 变 量 为 ： 零 件 位 置li∈R3×1 ， 零 件 绝 对 三 维 旋 转 ri∈R3×1 ， 表 示 为Rodrigues向量，内部形状变量si∈Rns×1，姿态变形变量di∈Rndx1.尽量减少以下目标：E（m）=Em（d， s）+Estitch（m）+E曲线（）+E数据（）+E姿态（r），（3）哪里设π i={li，ri，si，di}为部分i的变量集，Π i={l，r，s，d}为所有部分的变量集。对于全局参考系中的部分i，顶点x坐标的矢量p∈i∈R3×ni计算为：Em（d， s）=ksm Esm（s）+ksΣNi=1Es（si）+kdΣNi=1Ed（di）p∈i（πi）=R（ri）pi+li，（1）其中ni是该部分的顶点数，R∈SO（3）是从ri获得的旋转矩阵。 pi ∈R3×ni是局部坐标系中的点，计算如下：vec（pi）=ti+mp，i+B s，isi+ B p，idi.（2）这里ti∈R3ni×1是零件模板，mp，i∈R3ni×1是是一个模型项，其中Es是平方马氏距离的合成形状分布和Ed是平方的L2范数。项Esm表示对称零件应具有相似形状变形的约束。我们在左右肢体、前爪和后爪以及躯干的部分之间施加相似性。最后一个约束有利于躯干的各部分具有相似的长度。拼接项Estitch是距离的平方和在部件之间的界面处的对应点的距离（参见[34]）。设C是顶点对的集合平均位姿位移向量;B年代我∈R3ni×nsIJ部分i和部分j之间的共振。然后Estitch（针）=是一个矩阵，其中列表示内在的基础，Bp，i∈R3ni×nd是形状位移的矩阵ΣKStΣpi，k（πi）−pj，l（πj）π2，（4）姿势相关变形。 这些变形矩阵定义如下。姿势变形空间。我们计算的部分为基础的姿势变形空间的例子。为此，我们使用了一个动画的母狮模板使用线性混合皮肤（LBS）。动画的每一帧都是姿势变形样本。我们在局部坐标系中对每个部分的顶点执行PCA，从而获得平均姿态变形的向量mp，i和基矩阵Bp，i。形状变形空间。 我们定义一个合成形状（i，j）∈C（k，l）∈Cij其中C是零件连接的集合最小化该术语有利于连接的部分。数据项定义为：Edata（）=kkp Ekp（n）+km2sEm2s（n）+ks2mEs2m（n），（5）其中，Em2s和Es2m分别是从模型到扫描以及从扫描到模型的距离身体各部位的空间这片空间包括7个变形-部分模板的缩放，即缩放、沿x缩放、沿y缩放、沿z缩放，以及如下定义的三个拉伸变形。拉伸x不会修改模板点的x坐标，但会缩放y和ΣN ΣniEm2s（m）=i=1k=1ΣSρ（min<$p<$i，k（πi）−s<$2），（6）s∈Sz坐标与x的值成比例。类似地，我们定义y和z的拉伸。这定义了一个简单的分析Es2m（m）=l=1ρ（minp（）−sl2），（7）p每个部分的变形空间。我们将形状系数的分布建模为具有零均值和对角协方差的高斯分布，其中我们任意设6369置每个维度的方差5. 初始注册模板与扫描的初始配准分两步进行。首先，我们优化了GLoSS模型其中S是S个扫描顶点的集合，ρ是Geman-McClure鲁棒误差函数[15]。项Ekp（k）为用于将模型关键点与扫描关键点匹配的术语，并且被定义为对应关键点之间的平方距离的和。这个术语对于在极其不同的动物形状之间进行匹配很重要。曲率项有利于具有与模板中的那些相似的成对关系的部分;E curv（E）=ΣΣ.用一种梯度法 这使模型接近kc. n、到扫描。然后，我们使用As-Rigid-As-Possible对扫描网格顶点（i，j）∈C（k，l）∈Ciji，kj，l（ARAP）正则化[30]来捕捉细节。基于GLoSS的注册。为了使GLoSS适合扫描，我们其中ni和nj分别是部分i和部分j上的向量x法线的向量。模板上的类似量6370图4：GLoSS拟合。（a）初始模板和扫描。(b)GLoSS适合扫描。(c)显示部件的GLoSS模型。（d）通过去除零件界面处的重复顶点获得具有全局拓扑的合并网格。图5：配准结果。将GLoSS（左）与ARAP细化（右）进行比较。优化后，与扫描的拟合更紧密用上标（t）表示。最后，E姿势是从尾巴的动画中学习的尾巴部分的姿势先验。所有玩具的能量权重值都是手动定义的，并保持不变。我们初始化注册的每一个扫描对齐模型在中立的姿态扫描的基础上，他们的顶点的中值。在此基础上，我们最小化Eq。3使用Chumpy自动区分包[2]。这样做会将狮子GLoSS模型与所有玩具扫描对齐。图4a-c示出了将GLoSS（彩色）拟合到扫描（白色）的示例，以及5（第一列和第二列）显示了一些获得的注册。为了将基于GLoSS的注册与SP进行比较，我们计算了大型猫科动物的SP注册。 我们获得的平均扫描到网格距离为4。39（σ=1. 66）对于SP，和3. 22（σ=1. 34）用于GLoSS。基于ARAP的细化。 GLoSS模型给出了一个很好的初始注册。鉴于此，我们将每个GLoSS网格从基于零件的拓扑结构转变为不重复接口点的全局拓扑结构（图1）。第4d段）。然后，我们通过最小化由等于等式2的数据项定义的能量函数，进一步将顶点v与扫描对齐。5、一个A-扫描ARAP中性姿势图6：在中立姿势下注册玩具扫描。尽可能刚性（ARAP）正则化项[30]：E（v）=E data（v）+E arap（v）。（八）这种无模型优化使网格顶点更接近扫描，因此更准确地捕捉动物的形状（见图1）。（五）。6. 皮肤多动物线性模型上述配准现在足够精确以创建第一形状模型，我们在下面进一步细化以产生完整的SMAL模型。姿势正常化。给定使用GLoSS估计的姿势，我们使用LBS将所有注册的模板带入相同的中性姿势。所得到的网格不是对称的。公制这是由于各种原因：不准确的姿势估计、线性混合蒙皮的限制、玩具可能不对称，以及身体两侧的姿势差异产生不同的变形。我们不想学习这种不对称。为了解决这个问题，我们在镜像网格后对顶点进行平均，以获得中性姿势的配准（图11）。（六）。此外，嘴有时张开而其他时候闭合的事实对配准提出了挑战，因为当动物具有闭合的嘴时，在扫描中观察不到嘴内点。为了解决这个问题，使用从模板学习的简单线性模型从嘴点回归配准中的腭和舌点。最后用拉普拉斯光顺法对网格进行光顺。形状模型。姿势规范化可消除零件旋转对顶点的非线性影响。因此，在中性姿势中，我们可以对形状变化的统计进行建模，欧几里得空间我们计算平均形状和PRIN-UNR分量，它们捕获动物之间的形状差异6371i=1我我图7：PCA空间。前四个主成分。中间是平均形状箭头的宽度表示组件的顺序我们可以看到±2标准偏差。小。SMAL模型是形状β、姿态θ和平移γ的函数M（β，θ，γ）。β是学习的PCA形状空间的系数的向量，θ∈R3N={ri}Nis the relative rotation of the N = 33 joints in the运动树，γ是应用于根节 与SMPL类似，SMAL函数返回一个3D网格，其中模板模型由β整形，通过LBS由θ生成，并由γ移位。拟合为了使SMAL适合扫描，我们最小化目标：E（β，θ，γ）=E姿态（θ）+E姿态（β）+E数据（β，θ，γ），（9）其中，Epose（θ）和Es（β）分别是与姿态和形状先验分布的平方马氏距离。E数据（β，θ，γ）的定义见等式（1）。5，但在SMAL模型上。为了优化，我们使用Chumpy[2]。共同登记。为了进一步完善配准和SMAL模型，我们随后执行配准[17]。关键思想是首先执行SMAL模型优化以将当前模型与扫描对齐，然后运行无模型步骤，其中我们通过将耦合项添加到等式（1）来将无模型注册耦合或正则化第八章：ΣVEcoup（v）=ko|v0−vi|、（10）i=1其中V是模板中的顶点的数量，v0是拟合到扫描的模型的顶点i，并且vi是被优化的耦合网格顶点。在配准过程中，我们使用30维的形状空间。我们执行4次迭代的配准和模型构建，并观察到配准误差减少和收敛（见附录）。Mat. [1]）。通过最后一次迭代中对玩具的注册，我们学习了最终SMAL模型的形状空间。图8：使用8个PC的不同动物家族的可视化（使用t-SNE[24]）。大点表示每个家族的PCA系数的平均值。动物形状的空间。在用共配准进行细化之后，最终的主成分在图中可视化。7.第一次会议。全局SMAL形状空间捕获不同家族动物的形状变异性。第一个分量捕捉尺度差异;我们的训练集包括成年和幼年动物。学习空间很好地分离了动物家族的形状特征。这示于图8与训练集中PCA系数的前8个维度的t-SNE可视化[24]。网格对应于每个族的平均形状。我们还通过计算该类PCA系数的高斯来定义特定于家族的形状模型我们在下面比较了通用和家庭特定型号7. 让动物适应图像我们现在通过优化形状和姿态参数来将SMAL模型M（β，θ，γ）拟合到图像我们将模型拟合到2D关键点和2D轮廓的组合，两者都是手动提取的，如以前的工作[10，18]。We表示为具有焦距f的透视摄像机投影，其中，We（M;f）是第i个我们假设一个身份摄像头放置在原点，并且3D网格的全局旋转由根关节的旋转定义。为了将SMAL拟合到图像，我们用公式表示目标函数并使其关于Θ={β，θ，γ，f}最小化。该函数是关键点和轮廓重投影误差、形状先验和两个姿态先验的总和，E（Θ）=E kp（Θ; x）+E silh（Θ; S）+Eβ（β）+Eθ（θ）+E lim（θ）。（十一）每个能量项由定义其重要性的超参数加权关键点重投影。关键点的定义见[1]，其中包括表面点和关节.由于关键点可能是模糊的，我们分配了一组多达四个版本-6372i=0时tices来表示每个模型关键点，并取其投影的平均值以匹配目标2D关键点。特别是对于第k个而{vk}km是指定的顶点集，则8. 实验我们已经展示了如何从一小组玩具雕像中学习SMAL动物模型现在的问题是：这是否jj=1Σ1|克米|模型捕捉真实动物的形状变化在这里，我们通过将模型拟合到真实和有注释的图像来测试这一点Ekp（Θ）=p（||x −|k m|Kj=1（vkj;Θ）||（2）、（12）imals。我们使用类特定和通用形状模型进行拟合，并表明形状空间推广到新动物其中ρ是Geman-McClure鲁棒误差函数[15]。剪影重投影。我们鼓励类似于[19，21，33]的轮廓覆盖和一致性，使用双向距离：未参加培训的家庭（合理）。数据为了拟合，我们使用[13]的19个语义关键点加上一个额外的尾尖点请注意，这些关键点不同于3D对齐中使用的关键点我们把镜框放进去Esilh（Θ）=Σx∈SDS（x）+Σx∈Sρ（min||x−x||（2）、（13）x∈STigDog数据集，重用它们的注释，迈布里奇的录像和从网上下载的图片对于没有注释的图像，我们单击相同其中S是地面实况轮廓，并且DS是其L2距离变换场，使得如果点x在轮廓内，则DS（x）=0。由于轮廓项具有小的吸引盆，因此我们在多个方向上优化该项。以由粗到细的方式使鳞片卷曲。形状优先。我们通过将Eβ定义为具有由PCA特征值给出的零均值和零方差的平方马氏距离来鼓励β 当动物家族已知时，我们可以通过使用特定家族的训练样本的均值和协方差来使我们的拟合更具体。有前科。Eθ也被定义为使用所有训练样本和行走序列中姿势的均值和协方差的平方马氏距离。为了使姿势先验对称，我们通过重新计算将训练数据加倍沿着模板的矢状面反射姿势。由于我们没有太多的例子，我们进一步用极限来约束姿势：E lim（θ）= max（θ− θmax，0）+max（θmin− θ，0）。（十四）θmax和θmin分别是θ的每一维的最大值和最小值的范围，我们手工定义我们不限制全局旋转。优化. 在[7]之后，我们首先使用躯干点初始化γ的深度。 然后，我们使用躯干上的点上的Ekp来求解全局旋转{θi}3和γ。使用这些作为初始化，我们解决方程。 11.不含E silh的整个Θ。 类似于以前的方法[7，18]，我们采用了一种分阶段的方法，其中姿势和形状先验的权重在三个阶段中逐渐降低。这有助于避免陷入局部最优。然后，我们最终包括Esilh项和解决方程。11从这个初始化。求解焦距很重要，我们通过增加另一项来正则化f，使γ接近其初始估计值。整个优化是使用OpenDR和Chumpy完成的[2，22]。在普通Linux机器上，对单个映像进行优化通常需要不到一分钟的时间。所有动物的20个关键点，每张图像大约需要一分钟。我们还手动分割了所有图像。没有重新访问图像以改进其注释，我们发现该模型在关键点的确切位置上对噪声具有鲁棒性。数据、注释和结果见[1]结果 该模型适合动物的真实图像如图所示。1和9。在Eq中的每个项的权重。11是用手调整和举行固定，以适应所有的图像。所有结果都使用动物特有的形状空间，除了薄荷绿的那些，它使用通用的形状模型。尽管接受了玩具扫描的训练，但我们的模型可以推广到真实动物的图像，很好地捕捉它们的形状。具有极端形状特征的动物家族的变异性（例如，狮鬃、瘦马腿、河马脸）都做得很好。通用模型和类特定模型都很好地捕捉了真实动物的形状。与人类的情况类似[7]，我们的主要失败是由于固有的深度模糊性，无论是在全局旋转和姿势（图10）。在图11中，我们显示了将通用形状模型拟合到训练集中没有看到的动物类别的结果：野猪，驴，绵羊和猪。虽然不能准确地捕获诸如猪鼻子之类的特征形状属性，但这些拟合表明学习的PCA空间可以推广到四足动物范围内的新动物。9. 结论人体造型有着悠久的历史，而动物造型则处于起步阶段。我们已经迈出了一小步，使动物模型的建立切实可行。我们证明，从玩具开始，我们可以学习一个模型，该模型可以推广到真实动物的图像以及在训练过程中看不到这给出了一个从更多动物和更多扫描构建更丰富模型的过程虽然我们已经证明玩具是一个很好的起点，但我们显然希望有一个更丰富的模型。为此，我们我们对图像的拟合提供了一个起点，从中学习更丰富的变形来解释2D图像证据。这里我们6373图9：使用手动获得的2D点和分割拟合真实图像。颜色表示动物家族。我们显示输入图像，拟合覆盖，从-45和45的视图。除了薄荷色的结果外，所有结果都使用动物特定形状。SMAL模型，从玩具雕像中学习，概括为真实的动物形状。图10：由于姿势和全局旋转中的深度模糊而导致的失败示例只关注了有限的四足动物一个关键问题是处理不同数量的部件（例如，角，象牙，树干）和形状差异很大的部分（例如，大象的耳朵）。在这里，超越动物类将涉及创建可重复使用的形状部件的词汇表和组合它们的新鸣谢。我们感谢Seyhan Sitti扫描玩具，感谢FedericaBogo和Javier Romero在轮廓术语方面的AK和DJ得到了国家科学基金会的资助。IIS-1526234图11：SMAL对训练集中不存在的动物种属的推广。引用[1] http://smal.is.tue.mpg.de网站。6374[2] http://chumpy.org网站。[3] 数字生活。http://www.digitallife3d.com/，2016年11月12日访问[4] B. 艾伦湾Curless，Z. Pop o vi c'和A. 赫茨曼学习身份和姿势相关的身体形状变化的相关模型，用于实时合成。在2006年ACM SIGGRAPH/Eurographics计算机动画研讨会论文集，SCA欧洲制图协会。[5] D. Anguelov ， P. 斯 里 尼 瓦 桑 D.Koller ， S.Thrun ，J.Rodgers和J.戴维斯SCAPE：人的形状完成与动画。ACM Trans. Graph. （Proc. SIGGRAPH，24（3 ）：408- 416，2005.[6] 诉 Blanz 和 T. 维 特 用 于 合 成 3D 面 的 可 变 形 模 型 见SIGGRAPH，第187-194页。ACM，1999年。[7] F. Bogo、A.金泽角放大图片，P. Gehler，J. Romero和M.J.布莱克。保持它SMPL：从单个图像自动估计3D人体姿势和形状。在欧洲计算机视觉会议（ECCV）上，2016年。[8] C. Bregler，A. Hertzmann和H.比尔曼从图像流中恢复非刚性三维形状。在CVPR，第2：690[9] A.布朗斯坦M. Bronstein和R.基梅尔非刚性梁的数值几何Springer出版公司，2008年。[10] T. Cashman和A. W.菲茨吉本海豚是什么形状的？从2D图像构建3D可变形模型IEEE Transactions on PatternAnalysis and Machine Intelligence，35（1）：232[11] Y. Chen，T. Kim和R.西波拉从单个视图推断3D形状和变形。在iProc中。欧洲会议中计算机视觉，第三部分，第300313页，2010年。[12] Y. Chen，Z. Liu和Z.张某基于张量的人体建模。在IEEE计算机视觉和模式识别会议（CVPR），第105-112页[13] L. Del Pero，S.里科河Sukthankar和V.法拉利从非结构化视频中发现和对齐连接的对象类。International Journalof Computer Vision，121（2）：303[14] L.法夫罗湖雷韦雷角Depraz和M.- P. Cani.视频中的人体步态. 2004年ACM SIG-GRAPH/Eurographics计算机动画研讨会，第277-286页。欧洲制图协会，2004年。[15] S. Geman和D.麦克卢尔断层图像重建的统计方法。《国际统计学会公报》，52（4）：5[16] N. 哈斯勒角斯托尔山桑克尔湾Rosenhahn和H.赛德尔人体姿势和体型的统计模型计算机图形论坛，28（2）：337[17] D. Hirshberg，M. Loper，E. Rachlin和M.黑色. 核融合：关节式3D形状的同时对准和建模。在欧洲会议中计算机视觉（ECCV），LNCS 7577，第IV部分，第242-255页。Springer-Verlag，Oct. 2012年。[18] A. Kanazawa，S.科瓦尔斯基河Basri和D.雅各布斯从2d图 像学 习动 物 的 3d变 形Comput. Graph. Forum ，35（2）：365 -374，May 2016.[19] A. Kar，S. Tulsiani，J. Carreira和J.马利克从单个图像重建特定类别的对象CVPR，2015。[20] S.作者：J.肖顿角Keskin，S. Izadi，以及A.菲茨吉本从深度图像学习手形变化的有效模型。IEEE计算机视觉与模式识别会议，2015年。[21] C.放大图片作者：J. Romero，M.基费尔F. Bogo，M. J.Black和P. 诉盖勒团结人民：关闭3D和2D人类表现之间的循环在IEEE计算机视觉和模式识别CVPR上，2017年。[22] M. Loper和M. J.布莱克。OpenDR：一个近似的可区分的渲染器。在欧洲会议中计算机视觉（ECCV），第154-169页，2014年。[23] M. 洛珀，N.Mahmood，J.罗梅罗湾Pons-Moll和M.J.布莱克。SMPL：一个多人皮肤线性模型。ACM Trans.Graphics（Proc. SIGGRAPH Asia），34（6）：248：1-248：16，Oct. 2015年。[24] L. v. d. Maaten和G.辛顿使用t-sne可视化数据。Journalof Machine Learning Research，9（Nov）：2579[25] D. Marr和K.西原三维形状空间组织的表示和识别。伦敦皇家学会副会长。 Series B，Biological Sciences，200（1140）：269 -294，1978。[26] V. Ntouskos，M.桑扎里湾卡法罗湾Nardi，F. 纳托拉，F. Pirri和M.鲁伊斯人工对象的智能建模。在IEEE计算机视觉国际会议（ICCV），2015年12月。[27] D. Ramanan、D. A. Forsyth和K.巴纳德从视频中建立动物 模 型 。 Pattern Analysis and Machine Intelligence ，IEEE Transactions on，28（8）：1319[28] B. Reinert，T. Ritschel和H.- P. Seidel通过骨骼草图从单视图视频生成动画3d。在GI[29] K. 罗比内特 S. 布莱克威尔 H. 达能 M. BoehmerS. Fleming，T.Brill，D.Hoeferlin和D.伯恩赛德民用美国和欧洲表面人体测量资源（CAESAR）最终报告。技术报告AFRL-HE-WP-TR-2002-0169，美国空军研究实验室，2002年。[30] O. Sorkine和M.Alexa 尽可能刚性的表面造型。在2007年7月4-6日在西班牙巴塞罗那举行的第五届欧洲图形学几何处理研讨会论文集，第109-116页[31] D. W. 汤普森成长与形式。剑桥大学出版社，1917年。[32] S. Vicente和L.阿加皮托球囊形状：从图像中重建和变形具 有 体 积 的 物 体 。InConference on 3D Vision-3DV，2013.[33] A. 魏斯D.Hirshberg和M.黑色. 从噪声图像和范围数据进行家庭3D身体在国际计算机视觉会议（ICCV）上，巴塞罗那，11月11日。2011. 美国电气与电子工程师协会。[34] S. Zuffi和M. J.布莱克。缝合木偶：3D人体形状和姿势的图形模型。 在IEEE会议 计算机视觉和模式识别（CVPR 2015），第3537-3546页，2015年6月。
我的内容管理
展开
