10802使用解剖肌肉的MichaelBao1，2Matthe wCong2，<$Ste' phaneGrabli2，<$RonaldFedkiw1，21Stanford University2 Industrial Light Magic1{mikebao，rfedkiw}@ stanford.edu<${mcong，sgrabli}@ ilm.com摘要基于肌肉的系统具有提供解剖学准确性和语义可解释性的潜力，作为对融合变形模型的补充;然而，缺乏表达性和可区分性限制了它们的影响。因此，我们建议修改一个最近开发的，而表达肌肉为基础的系统，以使其完全可微;实际上，我们提出的修改允许该物理上鲁棒的和解剖学上精确的肌肉模型方便地由底层的Blendshape基础驱动。我们的公式是直观的，自然的，以及单片和完全耦合，这样就可以区分模型从端到端，这使得它可行的优化和基于学习的方法，为各种应用。我们用许多例子来说明这一点，包括三维几何形状的形状匹配以及在不使用标记或深度信息的情况下从单个二维RGB图像自动确定三维面部姿势1. 介绍基于肌肉模拟的动画系统是有吸引力的，因为它们能够保持重要的物理特性，如体积守恒以及它们处理接触和碰撞的能力。此外，利用解剖学激励的控件集提供了从控件值提取语义含义的直接方式。不幸的是，即使[42]能够在给定稀疏运动捕捉数据的情况下自动计算肌肉激活值，基于肌肉的动画模型已被证明比基于混合变形的模型表现力更差，更难控制[30]。最近，[14]介绍了一种新的方法，显著提高了基于肌肉的动画系统的表现力。他们引入了“肌肉轨迹”的概念来控制底层肌肉组织的变形。这一概念为肌肉模拟提供了足够的表现力，可以针对任意形状，这使得它可以用于高质量的电影制作，例如例 如 Kong ： Skull Island ， 它 被 用 来 帮 助 创 建Blendshapes，并为艺术家创建的动画序列提供基于物理的校正[15，29]。虽然[14]阐述了基于肌肉的模拟在表现力和控制方面的问题，但该方法适用于生成计算机图形问题，因此不适合于从二维图像估计面部姿势，这对于无标记的per-camera捕获是常见的。 人们可以在使用混合变形解决性能和然后使用基于肌肉的解决方案来校正混合变形之间切换;然而，由于肌肉模拟不能访问原始数据，因此这种迭代方法是有损耗的，并且因此可能产生幻觉细节或擦除表演细节。在本文中，我们扩展了[14]，将传统融合变形模型的易用性和可区分性与表达性、物理上合理的肌肉轨迹模拟相结合，以创建可区分的模拟框架，该框架可与传统融合变形模型互换使用，用于面部表现捕捉和模拟。我们不是像[14]中那样依赖于不可微的每帧体积变形来驱动肌肉轨迹变形，而是为每个肌肉创建最先进的我们的模型保持了[14]的表达性，同时保留了关键的物理特性。此外，我们的新配方是端到端可区分的，这使得它可以用于目标三维面部姿势以及二维RGB图像。我们证明，我们的blendshape肌肉轨迹方法显示出显着的改进，在解剖的可解释性和语义的可解释性时，com-mountain到国家的最先进的blendshape为基础的方法，为目标的三维几何形状和二维RGB图像。2. 相关工作面部模型：虽然我们的工作并不直接处理管道的建模部分，但它依赖于预先存在的面部模型。为了构建演员的逼真数字替身，多视图立体技术可以10803可用于收集各种姿势的高质量几何形状和纹理信息[5，6，16]。 然后，艺术家可以使用这些数据来创建最终的Blendshape模型。在最先进的模型中，变形模型除了线性混合变形之外还将包括非线性蒙皮/包络，以实现更合理的另一方面，在目标演员事先不知道的情况下，更一般化的数字面部模型将更有用。这些模型包括经典的Blanz和Vetter模型[8]，Basel Face Model（BFM）[36，37]，Face-Warehouse [11]和Large ScaleFace Model（LSFM）[9]。最近的模型，如FLAME模型[31]，已经开始通过使用蒙皮和校正混合变形来引入非线性变形。这些模型倾向于面向实时应用，因此顶点数量较少面部捕捉：关于面部表现捕捉技术的更全面的综述可以在[53]中找到。到目前为止，基于标记的技术已经是最流行的捕捉面部表演的实时应用，电影和故事片。头盔式摄像机（HMC）通常用于立体跟踪面部上的稀疏标记集。然后，这些标记在优化中用作约束，以找到融合变形权重[7]。在许多实时应用中，预先应用的标记通常不是一个选项，因此通常使用2D特征[10，12，50]，深度图像[12，26，49]或低分辨率RGB图像[48]。最近，使用神经网络的方法已被用于重建面部几何[24，41]和估计面部控制参数[25，27]。还探索了合成分析技术来捕获面部表现[38]。人脸模拟：[42]是最早利用准静态模拟来驱动3D面部变形的人之一，特别是用于运动捕捉。也有兴趣使用准静态模拟来驱动肌肉变形，在身体[23，45，46]。然而，一般来说，面部肌肉模拟往往不如艺术家驱动的blendshape同行的表现力最近，重要的工作已经完成，使肌肉模拟更具表现力[14，21]。虽然这些方法可以用于以几何形状形式的目标数据，但目前还不清楚如何将这些方法干净地转移到目标非几何形状数据，如二维RGB图像。其他工作已经完成，试图将物理模拟引入Blendshape模型本身[3，4，22，28];然而，这些工作并不关注逆问题。3. 融合变形模型如第2节所述，存在许多不同类型的blendshape模型，我们建议感兴趣的读者参考[30]，以获得对现有文献的更全面概述我们专注于最先进的混合混合变形变形模型，这是我们在第6节介绍的方法的基础。 混合混合变形模型是指使用线性混合变形和线性混合蒙皮来变形网格顶点的变形模型。我们的模型包含一个单一的6自由度关节的下巴。我们可以将给定混合变形参数b和关节参数j的模型简洁地写为x（b，j）=T（j）（n+Bb）（1）其中n是中性形状，B是混合形状增量矩阵，T（j）包含线性混合蒙皮矩阵，即，对于每个顶点，由于颌关节的变化而产生的变换矩阵。注意，n+Bb通常被称为结皮前形状，Bb被称为结皮前位移。更复杂的动画系统包括校正形状和中间控件，因此我们让w表示更广泛的动画师控件集，我们将其视为独立变量，将等式1改写为x（w）=T（j（w））（n+Bb（w））（2）其中j（w）和b（w）可以包括非线性，例如非线性校正融合变形。4. 肌肉模型我们使用[13]的方法为给定的演员创建了一个面部解剖模型，包括颅骨、下颌和具有嵌入肌肉的四面体化肉网格由于我们希望与用于使面部表面变形的面部模型等同，因此我们将颌关节定义为6-DOF关节，其等效于第3节中用于使面部表面蒙皮的关节传统上，面部模拟模型已经使用肌肉激活参数的向量来控制，我们将其表示为a。我们使用与[45，46]相同的肌肉本构模型，该模型由各向同性Mooney-Rivlin项、准不可压缩项和各向异性被动/主动肌肉响应项组成。使用有限体积法[45，47]计算四面体化肉体网格每个顶点上的力，给定使用本构模型和当前变形梯度计算的当前第一Piola-Kirchoff应力。肉体网格XC的一些顶点被约束为与颅骨/颌一起运动学地跟随，并且稳定状态位置被隐含地定义为未约束的肉体网格顶点XU的位置，其使得所有相关力的总和相同地为0，即， f（XC，XU）= 0.我们可以把力分解成有限力的总和-体积力和碰撞惩罚力ffvm（XC，XU，a）+f碰撞（XC，XU）= 0。（三）可以进一步将有限体积力分解为被动力fp和主动力fa。然后使用10804MMMMMMMMMMMMM+M事实上，主动肌肉响应与肌肉激活a成线性比例[51]，我们可以将有限体积力改写为ffvm（XC，XU，a）=fp（XC，XU）+afa（XC，XU）. （四）我们请感兴趣的读者参考[42，45，46，47]，以获得上述力及其相关雅可比矩阵相对于肉体网格顶点的推导给定肌肉激活和颅骨/颌参数的向量，可以使用Newton-Raphson方法求解方程3以计算无约束的肉体网格顶点位置Xu。5. 肌肉轨迹[14]引入的肌肉轨迹模拟修改了第4节中描述的框架，使得肌肉变形主要由体积控制6. 混合变形驱动的肌肉轨迹第5节中的变形是按照计算机图形流水线的精神设计的，因此，不允许完全的端到端耦合，这有助于区分，反演和其他典型的逆问题方法。因此，我们的关键贡献是用等式1形式的混合变形变形代替变形步骤，以驱动肌肉体积及其中心线曲线，从而在动画师控件w和肌肉轨迹目标位置Mm和激活值a之间创建直接的功能连接.对于每一块肌肉，我们创建一个四面体体积M0在中立位姿下为分段线性中心线曲线C0此外，对于面部表面模型中的每个融合形状，我们使用[14]中的变形为每个肌肉的四面体体积M k和中心线曲线C k创建相应的形状morph [1，13]而不是直接使用肌肉激活值。[14]首先创建Blendshape系统的中性姿态n与四面体网格的外边界表面Xb之间的对应关系。然后，给定一个混合物-具有表面网格位移的形状目标表达式x（b，j）第k个混合变形。或者，一个人可以变形和subse-如第5节所述，使用轨迹进行连续模拟，以生成Mk和Ck。此外，我们为M0和C0中的每个顶点分配蒙皮权重，并将它们组装成线性混合蒙皮变换矩阵TM和TC。这元素x−n，[14]为四面体网格的外边界δXb创建目标位移。使用δXb作为Dirichlet边界条件，[14]解决了泊松方程，允许我们编写Mm（b，j）=TM（j）.M0+M mΣΣMKBK（七）对于位移δX=X−X0，即其中X0是与以下一致的静止状态顶点位置：中立的姿态Neumann边界条件用于四面体网格的内边界。事后，.Cm（b，j）=TC（j）kΣΣ0CkbkK（八）零长度弹簧连接在每个肌肉内部的四面体化的肌肉网格顶点和由泊松方程得到的它们的相应目标位置之间由每个肌肉m的零长度弹簧产生的肌肉轨迹力具有以下形式：f轨道，m=Km（Mm−ImXU）（5）其与等式1并行。值得注意的是，我们能够获得方程7和8，部分原因是与使用后蒙皮中性点的[14]相比，我们在前蒙皮中性点上求解了泊松方程。此外，这可以更好地防止线性旋转伪影扩散到四面体肉体网格中。最后，我们可以将每条中心线曲线的长度写为Σ其中，Km是每肌肉弹簧刚度矩阵，Im是肌肉内部的肌肉网格顶点的选择器矩阵L（Cm（b，j））=||二（九）||2(9)我肌肉，Mm是由体积变形产生的目标位置。因此，扩展的准静态方程可以写为：ffvm+f碰撞+f轨迹= 0（6）其中f轨迹包括每个肌肉的等式5。由于激活值a不再手动指定，因此必须在给定肌肉的最终变形后形状的情况下自动计算它们，以将肌肉张力的影响重新引入模拟中。[14]重心地将分段线性曲线嵌入到每个肌肉中，并使用该曲线的长度来确定适当的激活值。其中Cm，i（b，j）是第m块肌肉的分段线性中心线曲线的第i个顶点x。为了证明我们的方法，我们可以将求解泊松方程的线性系统写为AU（X0）δX=AC（X0）Bb，其中AU（X0）是使用[52]的方法对无约束顶点在静止的四面体上离散的拉普拉斯矩阵的一部分。类似地，AC（X0）是受约束顶点后乘以融合变形系统的中性姿势n与四面体网格的外边界Xb之间的线性对应的部分。等价地，我们可以写ΣAU（X0）δX=AC（X0）Bekbk（10）KC10805MM2（其中ek是标准基向量），这相当于进行k次求解，（fT/C）（C/bk） =0，相当于（fT/X）（X/bk）+（ffvm/C）（C/bk）=0，因为AU（X0）δXk=AC（X0）Bek（十一）f碰撞与C无关。 因为我们的激活仍然是和[42]中的一样，与X无关，这里是然后对两边求和，得到δX=kδXkbk。也就是说，泊松方程的线性允许我们预先计算每个融合变形的动作，随后通过简单地对在各个混合变形上获得的结果总之，对于k个混合变形中的每一个，我们求解与[42]中讨论的相同，因此它们的准静态解可用于通过 求 解 （ fT/x ） （ X/bk ） =− （ ffv m/c ）（C/bk）来确定X/b k。为了计算右手侧，注意，可以从等式8获得Δ C/Δbk 为了获得fvm/fvc，我们计算ffvm/ffvm/f a是方程4中的主动力fa，f a/f a L是局部泊松方程（方程11）来预先计算Mk和激活长度曲线的斜率，以及Δ L/Δ C很容易被Ck，然后给定动画师控件w，其产生b和j，我们通过等式7和8获得Mm和Cm这取代了变形步骤，使我们能够继续进行准静态肌肉模拟，使用完全由动画参数w驱动的轨迹。7. 端到端差异化在本节中，我们概述了模拟四面体网格顶点位置相对于混合形状参数b和钳口控制j的导数，其根据第6节参数化b和j相对于动画师控件w的导数取决于特定控件，并且可以后乘。如果关心嵌入或约束到四面体网格中的渲染网格的结果顶点，则该嵌入（通常是线性的）可以被预乘。尽管受约束节点XC通常仅取决于关节参数，但有时可能希望仅模拟四面体肉体网格的子集。在这种情况下，受约束的节点可以出现在非模拟边界上，而非模拟边界又可以由过渡形状参数b驱动;因此，我们写XC（b，j）并将其与XU（b，j）联系起来，以获得X（b，j），以达到本节的目的。碰撞力仅取决于节点位置，我们可以写为f碰撞s（X（b，j））。有限体积力取决于节点位置和激活，并且激活由激活长度曲线确定，其中长度在等式中给出根据公式9计算确定了λ X/λ jk也是。可以采用与等式6类似的方法，获得 通过求解（ΔfT/Δ X）（Δ X/Δ bk）=−（ffv m/C）（C/bk）−（ftrack s/M）（M/bk）。We强调了准静态系统的系数矩阵ψ fT/ψ X现在，solve通过Δ ftracks/Δ X（参见等式5）进行了扩充，并且与[14]中的准静态系数矩阵相同分别从等式5和7获得轨迹/λ M和λ M/λ bk同样地，可以类似地找到X/jk总之，求出λ X/λ bk和λ X/λ jk涉及到解决[42]中的相同准静态问题，而对[14]中的系数矩阵略有增加，只是右手边不同。虽然这需要对每个bk和jk进行准静态求解，但它们都是独立的，因此可以并行完成。8. 实验我们使用Dogleg优化算法[35]，由Chumpy自动差分库[33]实现，以便将我们的面部模型定位到三维几何和二维RGB图像，以证明我们的端到端完全可微公式的有效性。可以类似地追求其他优化算法和/或应用。我们的非线性最小二乘优化问题通常具有以下形式第九条。我们的预计算使得Cm仅仅是min ||F∗− F(x（w））||2+λ||W||2（十二）b和j独立于X，所以我们可以将激活长度曲线与公式8和9结合起来，写出m（Lm（Cm（b，j）。我们强调，激活是独立的位置，X。因此，我们可以写ffv m（X （b，j），C（b，j））。 类似地，我们可以写出轨迹s（X（b，j），M（b，j））。因此，方程6中的所有力都是X、C和M的函数，而X、C和M又是b和j的函数。使 用 上 述 依 赖 性 ， 我 们 可 以 取 等 式 3 中 的 力fT=ffvm+f碰撞相对于单个共混物的总导数。w R2 2其中w是使面部变形的动画师控件，x（w）是使用完全混合变形驱动的肌肉sim变形在第6节所述的计算系统中，F（xR（w））是这些顶点位置的函数，并且F（x R（w））是该函数的期望R（θ）和t分别是附加的刚体转动和平移，其中θ表示欧拉角，即xR（w）=R（θ）x（w）+t. 我们使用标准的L2animator控件上的规范正则化||W||2、凡形状参数bk 为了获得（λ fT/λ X）（λ X/λ bk）+λ，通过实验设置以避免过拟合。10806MMm图1.用于重建特定姿势的面部几何的八个视点。8.1. 模型创建使用[5，6]的方法从中性姿势n以及基于FACS的表达式[17]创建融合变形系统。八个黑白摄像机从不同的观点（见图1）被用来重建演员的几何形状。艺术家清理这些扫描，并使用它们作为混合变形模型的灵感，并校准面部表面的线性混合蒙皮矩阵（见图3）。当然，可以使用任何合理的方法来创建blendshape系统。使用具有52，228个表面顶点的全脸表面模型的子集，图3.通过将[5，6]中描述的多视图立体算法应用于图1所示的输入图像而重建的几何结构。四面体网格的表面并用作泊松方程中的边界条件，再次如[1，13]中那样求解，以获得整个体积四面体网格以及肌肉和中心线曲线的线性混合蒙皮权重，从而定义蒙皮变换矩阵TM和TC。图2显示了中立姿势的肌肉0以及在钳口打开的情况下剥皮后的结果，I.E.等式7，其中所有bk相同地为0。最后，对于blendshape系统中的每个形状，我们求解泊松方程（方程11）的顶点位移δXk，然后将其转换为肌肉体积和中心线曲线，以获得Mk和Ck。这M m优化.我们使用Blendshape系统的中性姿势和[13]的方法来创建四面体肌肉网格X、四面体肌肉体积M和肌肉中心线允许我们充分使用由参数化的方程7和8，布兰德沙普湾图4显示了使用公式7对各种表达式进行评估的肌肉的一些示例0米8.2。目标3D几何体通过从模板资源变形它们来曲线Cm我们模拟网格有302，235个顶点和1，470，102个四面体。我们使用了60块肌肉，共有50710个顶点和146965个四面体（由于重叠，一些四面体在肌肉之间重复线性混合蒙皮权重用于在面部表面上形成Tj的信号被传播到(a) 空档（b）钳口打开图2.使用线性混合蒙皮的中性姿势和下颌张开姿势的面部的基础解剖模型通常，人们已经以三维网格的形式捕获面部姿势;然而该数据通常是有噪声的，并且希望将该数据转换成较低维的表示。使用低维表示有助于编辑，提取语义信息，(a)微笑（b）皱眉（c）漏斗图4.面部的解剖模型仅使用来自等式7的融合变形来执行各种表情M10807并进行统计分析。在我们的例子中，低维表示是blendshape或仿真模型的参数空间。通常，从任意网格提取较低维然而，为了简单起见，我们假设对应问题已经预先解决，并且使用[5，6]的方法由系统捕获的传入网格的每个顶点在我们的面部表面上具有对应的顶点我们因此，可以使用等式12形式的优化问题来求解模型参数，其中F（x）是目标几何形状的顶点位置，并且F（x）=x是恒等函数。而F_∞与中性网格n之间的刚性对齐，即R（θ）和t是[5，6]的结果，我们通常发现它是不准确的。因此，我们也也允许优化求解θ和t。因此，我们针对三维几何形状的优化问题具有以下形式通过第6节中描述的Blendshape肌肉轨迹与使用第3节中描述的纯Blendshape模型驱动时的对比。传统上，皱褶形状对于基于激活肌肉的模拟来说很难击中。参见图5。虽然两种反转都没有完全捕捉到嘴部的皱褶的紧密度该道具在保持人中的一般形状方面也很有用;blendshape模型的倒置会导致人中靠近鼻子的部分明显不此外，如图6所示，由于所得到的肌肉激活值的稀疏性和解剖学意义，因此更容易从中得出语义意义请注意，在执行多视图重建时[5，6]的方法中的错误将导致目标几何形状的顶点包含噪声，并且可能处于物理上不合理的位置。此外，在寻找目标几何形状和面部表面之间的对应关系时的误差将导致不准确的目标函数。毛皮-最小w，θ，t||F − xR（w）||2+λ||W||2（十三）但是，不能保证我们的变形模型2 2其中λ=1×10−6是实验设定的。我们证明了我们的方法对姿势的有效性演员的嘴微微张开，做出一个撅起的形状。我们比较了目标三维几何形状时，它是使用模拟驱动的(a)混合变形（b）模拟（c）目标图5.我们使用（a）中所示的纯混合形状与（b）中所示的混合形状驱动的肌肉模拟模型来瞄准（c）中所示的几何形状虽然这两种方法都不完全匹配目标几何形状，但通常情况下，我们发现模拟结果保留了关键的物理特性，例如嘴唇周围的体积唇的特写在底行中示出，其中更明显的是纯混合形状反转如何在唇周围具有显著的体积损失。x（w）能够达到所有物理上可达到的姿势，即使在捕获和对应是完美的情况下。这证明了将基于物理的先验引入优化的功效。补充材料和视频中显示了其他比较和结果。8.3. 瞄准单目RGB图像为了进一步证明我们的方法的有效性，我们考虑从单眼RGB图像的面部重建。这些图像是使用100mm镜头捕捉的，镜头连接到ARRI Alexa XT Studio，以每秒24帧的速度运行，快门角度为180度，ISO800。(a) 混合变形权重（b）肌肉激活图6.混合变形求解会导致混合变形权重密集、过度调整且难以破译。而所有129（146;形状的脖子，等等。未使用）所使用的混合变形具有非零值，可用的60个肌肉中只有13个具有非零激活值。前四个最活跃的肌肉与额肌有关，表明眉毛抬起[43]。上唇切牙肌和口轮匝肌的激活也是最活跃的肌肉之一，正确地表明嘴唇的压缩[20，43]。10808我们将相机捕获的图像称为“板”。原始底片的分辨率为2880×2160，但我们将其缩小到720×540。使用[19]的方法对相机进行了校准，得到的失真在投影到图像平面中的面部表面x（w） 参见图8。然后，我们使用w从着色求解初始化形状马林明w||E2（w）||2+λ1||E1（w）||2+λ2||w−w||2（十六）参数用于使板不失真以获得F。2 2 2F（x）使用一组摄影机、照明和材质参数以当前姿势渲染面几何体。我们使用一个简单的针孔相机与外部参数确定的相机校准步骤。面部的刚性变换通过手动跟踪板中面部上的特征来确定面部模型使用具有9个系数γ的单球谐光照明，参见[39]，并使用朗伯漫反射着色进行着色 每个顶点i也有一个与之关联的RGB颜色ci。我们使用以下形式的非线性最小二乘优化来求解γ和所有c i：以确定最终参数w，其中λ1= 1 × 10−4和λ2=1通过实验设定。这里，E2=G（F-F（xR（w），γ，c））是板和合成板之间的每像素差异的三级高斯金字塔。渲染。我们证明了我们的方法对66帧面部表现的有效性。如第8.2节所述，我们比较了使用模拟模型与混合变形模型驱动的x（w）求解方程15和16的结果。特别地，我们选择具有特别具有挑战性的面部表情的四个帧（帧1112，1160，最小γ，c||F − F（xR（0），γ，c）||2+λ||S（c）||2（十四）1170）以及诸如运动模糊的捕获条件2 2（帧1134）。我们注意到，其中 ，N（i）是顶点i的相邻顶点. 这个照明和照明解决方案已经完成作为中性或接近中性姿势的预处理，λ=2500，实验设定。OpenDR [34]用于对F（x）进行微分以求解方程14;然而，任何其它可微分渲染器（例如，[32]可以使用。然后，我们假设γ和c在整个性能中保持不变参见图7。我们分两步求解参数w给定三维中性面部网格上的眼睛和嘴唇周围的曲线，旋转镜艺术家在二维胶片上绘制相应的曲线。然后，我们求解一个通过求解以下形式的优化问题来初始化猜测w面部表情是用转描曲线捕捉的并且阴影恢复形状步骤主要帮助细化面部的表情和轮廓。E1和E2（公式15和16）都需要通过我们的混合变形驱动方法实现端到端的可微性。参见图9。虽然一般的表达式是相似的，我们注意到，模拟的表面几何形状往往是更合理的物理模拟的能力，以保持体积，特别是在嘴唇周围。这种正则化在帧1134上尤其突出。如补充材料中所示，所得到的肌肉激活值也相对较稀疏，这导致从表演中提取语义含义的能力增加。补充材料和视频中显示了其他比较和结果。最小w||E1（w）||2+λ1||w||2（十五）9. 结论和未来工作2 2其中λ1=3600被设置为eexperimentall y。E1（w）是平板上的转描曲线上的点与对应点之间的二维尽管有前途的基于解剖学的肌肉模拟系统已经存在了一段时间，并且具有如[42]中的目标数据的能力，但是它们缺乏产生令人信服的结果所需的高端功效Al-(a)板块（b）照明/反照率图7.在估计面部姿势之前，我们首先估计中性或接近中性姿势的光照和光照。（a）Blendshapes（b）Simulation（c）Roto Curves图8.我们使用板上的rotoscoped曲线来解决面部姿势的初始估计。10809（a）混合变形（b）模拟（c）板图9。我们使用人脸模型x（w）来定位原始图像数据使用模拟和混合变形的一些帧，演员的表演由于在优化中仅使用单目二维数据，这两组结果都存在一定的深度模糊性。尽管最近提出的[14]确实产生了相当令人困惑的结果，但是它需要完整的面部形状作为输入并且是不可微的。在本文中，我们缓解了上述两个困难，扩展了[14]，具有端到端可微性和由混合形状参数驱动的变形系统。这种混合变形驱动的变形消除了需要一个完整的面表面网格作为预先存在的目标。我们通过针对三维几何形状和二维RGB图像来证明我们的方法的有效性据我们所知，我们是第一个使用准静态模拟肌肉模型的目标RGB图像。我们注意到[42]等方法可以用于本文中提出的优化（如第7节第二段至最后一段所述）;然而，所得到的模拟结果将是较少表达的，并且将不能有效地再现期望的表达。尽管计算机视觉社区在识别图像中的人脸、将其从周围环境中清晰地分割出来，甚至识别其形状方面付出了巨大的努力，但对这些人脸正在做什么或打算做什么或感觉的语义理解仍处于起步阶段，主要包括初步的图像标记和注释。使用肌肉激活基础来表达面部姿势或图像的能力提供了提取语义信息的解剖学动机的方式即使没有广泛的模型校准，我们的解剖模型这是今后工作的一个有希望的途径。此外，肌肉激活也可以用作统计/深度学习的基础，而不是混合变形权重的语义上无意义的组合。最后，深度学习中的一个更具哲学性的问题似乎围绕着什么应该或不应该例如，在[2]中，作者学习线性混合蒙皮的扰动，而不是整个形状，假设扰动是低维的，空间相关的，和/或更容易学习。作者在[18，40]中使用空间相关网络来处理空间相关信息，假设这会导致一个更容易训练和更好概括的网络。看来，增加强先验知识，领域知识，知情的程序方法，等等。在训练网络学习其余部分之前生成尽可能多的函数通常被认为是不明智的。我们的基于解剖学的物理模拟系统结合了物理属性，如体积变化，接触和碰撞，这样网络就不需要学习或解释它们;相反，网络只需要学习需要什么进一步的扰动来匹配数据。确认ONR N 00014 -13-1-0346 、 ONR N 00014 -17-1-2174、ARL AHPCRC W 911 NF-07部分0027，以及亚马逊和丰田的慷慨礼物此外，我们还要感谢ONR的Reza和Behzad对我们在计算机视觉和机器学习方面的支持，以及Cary Phillips、Kiran Bhat和Indus LightMagic对我们在面部表现捕捉方面的支持。M. Bao得到了Ole Agesen荣誉VMWare奖学金的部分支持。我们还要感谢保罗·休斯顿的表演，以及吴珍在准备补充视频时的帮助。116011701134111210810引用[1] Dicko Ali-Hamadi ， Tiantian Liu ， Benjamin Gilles ，LadislavKav an ， Franc oisFaure ， Oli vierPalombi ，andMarie-Paule Cani. 解 剖 移 植 。 ACM Transactions onGraphics（TOG），32（6）：188，2013。[2] Stephen W Bailey，Dave Otte，Paul Dilorenzo和James FO'Brien。快速和深度变形近似。ACM Transactions onGraphics（TOG），37（4）：119，2018。[3] V Barrielle和N Stoiber。实时性能驱动的人脸动画物理仿真。在计算机图形学论坛。Wiley Online Library，2018.[4] 文 森 特 · 巴 里 尔 ， 尼 古 拉 斯 · 斯 托 伊 贝 ， 和 Ce'dricCagniart。混合力：人脸动画的动态框架。在计算机图形论坛，第35卷，第341Wi- ley在线图书馆，2016年。[5] Thabo Beeler ， Bernd Bickel ， Paul Beardsley ， BobSumner，and Markus Gross.高品质的单镜头捕捉的fa-cial几何。ACMTransactions on Graphics（ToG），第29卷，第40页。ACM，2010年。[6] Thabo Beeler ， Fabian Hahn ， Derek Bradley ， BerndBickel ， Paul Beardsley ， Craig Gotsman ， Robert WSumner，and Markus Gross.高品质的被动面部性能捕捉使用锚帧。ACMTransactions on Graphics（TOG），第30卷，第75页。ACM，2011年。[7] Kiran S Bhat ， Rony Goldenthal ， Yuting Ye ， RonaldMallet，and Michael Koperwas.高逼真度的面部动画捕捉和轮廓重定位在第12届ACM SIGGRAPH/eurographics计算机模拟研讨会论文集，第7-14页ACM，2013年。[8] Volker Blanz和Thomas Vetter。三维人脸合成的可变形模型。第26届计算机图形和交互技术年会集，第187-194页。ACM出版社/Addison-Wesley出版公司一九九九年。[9] James Booth、Anastasios Roussos、Stefanos Zafeiriou、Allan Ponniah和David Dunaway。从10，000张面孔中学习的3D变形模型在IEEE计算机视觉和模式识别会议论文集，第5543- 5552页[10] 曹晨，翁彦林，林志颖，周坤。用于实时面部动画的3d形状回归ACM Trans-actions on Graphics（TOG），32（4）：41，2013.[11] 曹 晨 、 翁 彦 林 、 周 顺 、 童 一 英 、 周 坤 。Facewarehouse：用于视觉计算的三维面部表情数据库 。 IEEE Transactions on Visualization and ComputerGraphics，20（3）：413[12] 陈彦林，吴祥涛，施富豪，童欣，柴锦祥。使用单个rgbd摄像头准确而强大的3d面部捕捉。在计算机视觉（ICCV），2013年IEEE国际会议上，第3615IEEE，2013。[13] Matthew Cong，Michael Bao，Jane E，Kiran S Bhat和Ronald Fedkiw。全自动生成解剖面部模拟模型。第14届ACM SIGGRAPH/Eurographics计算机动画研讨会论文集，第175-183页。ACM，2015.[14] Matthew Cong，Kiran S Bhat和Ronald Fedkiw。艺术指导的肌肉模拟高端面部动画。在计算机动画研讨会上，第119-127页[15] 马修·康拉娜·兰和罗纳德·费德科在kong中用于面部动画的肌肉模拟：骷髅岛在ACM SIGGRAPH 2017会谈中，第21页。ACM，2017。[16] 保罗·德贝维克灯光舞台及其在数码摄影演员中的应用SIGGRAPH Asia，2（4），2012.[17] 保罗·艾克曼面部动作编码系统。一张人脸，2002年。[18] Yao Feng，Fan Wu，Xiaohu Shao，Yafeng Wang，andXi Zhou.结合位置映射回归网络的三维人脸重建和稠密对齐。arXiv预印本arXiv：1803.07835，2018。[19] 珍妮·海基拉和奥利·西尔文隐式图像校正的四步摄像机标定程序。计算机视觉与模式识别，1997年。诉讼程序1997年IEEE计算机协会会议，第1106-1112页。IEEE，1997年。[20] 许美善上唇切牙肌的解剖学特征及其与唇粘膜襞、唇腺和蜗轴区的关系。科学报告，8（1）：12879，2018。[21] Ale xandru-EugenIchim ， PetrKadlec ek ， Ladisla vKavan，and Mark Pauly. Phace：基于物理的人脸建模和动画 。 ACM Transactions on Graphics （ TOG ） ， 36（4）：153，2017。[22] 亚历山德鲁·欧根·伊希姆，拉迪斯拉夫·卡万，默林·尼米尔-大卫，马克·保利.构建用户特定的体积面装备并为其设置动画在计算机动画研讨会上，第107-117页[23] 杰弗里·欧文，约瑟夫·特兰，罗纳德·费德科。用于大变形 鲁 棒 模 拟 的 可 逆 有 限 元 。 2004 年 ACM SIG-GRAPH/Eurographics计算机动画研讨会论文集，第131-140页。欧洲制图协会，2004年。[24] Aaron S Jackson，Adrian Bulat，Vasileios Argyriou，andGeorgios Tzimiropoulos.通过直接体积cnn回归从单幅图像重建大姿态三维人脸。在计算机视觉（ICCV），2017年IEEE国际会议上，第1031-1039页。IEEE，2017年。[25] Amin Jourabloo和Xiaoming Liu。基于cnn的密集3d模型拟合的大姿态人脸对齐。在IEEE计算机视觉和模式识别会议论文集，第4188-4196页[26] Vahid Kazemi ， Cem Keskin ， Jonathan Taylor ，Pushmeet Kohli，and Shahram Izadi.从单个深度图像进行实时人脸重建。在3D Vision（3DV），2014年第2届国际会议，第1卷，第369-376页中IEEE，2014。[27] Hyeong wooKim、Mi chaelZoll höfer、AyushTewari、JustusThies、Christian Richardt和Christian Theobalt。逆面网：深度单眼逆面渲染。在IEEE计算机视觉和模式识别会议论文集，第4625-4634页，2018年[28] YearaKozlov ， DerekBradley ， MoritzB ？ cher ，BernhardBasszewski，Thabo Beeler，and Markus Gross.丰富10811面部混合变形装置与物理模拟。在计算机图形论坛，第36卷，第75Wiley在线图书馆，2017年。[29] 拉娜·兰马修·康罗纳德·费德科从面部肌肉解剖模型的演变中吸取的教训在ACM SIGGRAPH数字制作系统的Proceedings中，第11页。ACM，2017。[30] John P Lewis ， Ken Anjyo ， Taehyun Rhee ， MengjieZhang ， FredericHPighin ， andZhigangDeng.Blendshape面部模型的理论与实践。Eurographics（最新报告），1（8），2014年。[31] Tianye Li，Timo Bolkart，Michael J Black，Hao Li，and Javier Romero.从4d扫描中学习面部形状和表情的模型ACM Transactions on Graphics（TOG），36（6）：194，2017。[32] Tzu-MaoLi ， MiikaAittala ， Fre´ doDurand ， andJaakkoLehti-nen.通过边缘采样的可微蒙特卡罗射线追踪。ACM 事 务 处 理 图 表 （ Proc. SIGGRAPH Asia ） ， 37（6）：222：1 -222：11，2018.[33] 洛珀先生。Chumpy自分化文库。chumpy.org，2014年。[34] Matthew M Loper和Michael J
我的内容管理
展开
