基于运动的几何感知密集非刚性结构的三维重建方法

5346跳管汇：基于运动的几何感知密集非刚性结构苏利扬什·库马尔澳大利亚国立大学，CECS，堪培拉，ACT，2601suryansh. anu.edu.au摘要针对非刚性运动物体在多帧图像中的密集特征对应关系，提出了一种在每帧图像中估计其三维形状的算法。为了准确地解决这个问题，最新的最先进的算法将这个任务简化为使用Grass-mann流形表示的局部线性子空间重建和聚类问题的集合[34]。不幸的是，他们的方法错过了与表面变形建模相关的一些关键问题局部表面变形对其相邻表面的依赖性。然而，它们对高维数据点进行分组的表示不可避免地引入了对高维格拉斯曼流形上的样本进行分类的缺点[32，31]。因此，为了处理[34]中的此类限制，我们提出了一种算法，该算法联合利用高维格拉斯曼流形的优点来执行重构，并利用其等效的低维表示来推断合适的聚类。为了实现这一点，我们将每个格拉斯曼投影到一个低维格拉斯曼流形上，该流形保留并尊重结构相对于其邻居的变形。这些较低维度中的格拉斯曼点然后充当用于选择高维格拉斯曼样本的代表以执行每个局部重建。在实践中，我们的算法提供了一个几何上有效的方法来解决稠密NRSfM之间切换的流形的基础上，它的利益和使用。实验结果表明，该算法在处理噪声方面是非常有效的，重建精度与竞争方法相当或更好。1. 介绍非刚性运动恢复结构（NRSfM），一个任务是从一组跨帧的图像特征对应中恢复变形对象任何解决这个问题的办法都取决于对结构∈M的适当建模和运动∈SE（3）的有效估计，其中M表示某种结构流形，SE（3）表示特殊的欧氏空间(a)(b)（c）第（1）款图1：使用我们的算法进行面部表情的密集3D重建。结果表明，73,765点的复杂非刚性变形表面的三维重建这些结果可用于现实世界的应用，如3D建模，虚拟现实等。示例序列取自Actor数据集[7]。一个是一个可微的流形[20]。然而，在Bregler等人之后，在NRSfM [48]的因式分解框架中，运动估计主要放松到旋转估计∈SO（3）。即使在这样的放松之后，对于任何任意运动，问题仍然没有得到解决主要的差别-NRSfM中的虚拟性来自于这样的事实，即摄像机和物体都在移动，并且物体本身也在随之变形，因此，仅使用图像数据难以尽管存在这些困难，许多基于先验知识的有效可靠的解决方案被提出来解决NRSfM。解决这个问题的可靠解决方案非常重要，因为它涵盖了从医疗行业到娱乐行业等广泛的应用。为了求解NRSfM，过去提出的算法可以大致分为两大类：1）稀疏NRSfM和2）密集NRSfM。这种分类是基于该算法可以有效地处理以对对象的变形进行建模的特征点的数量。虽然对于稀疏NRSfM存在许多可靠的解决方案[18，37，35，3，47，42，40，26，29]，但是对于解决密集NRSfM重新，5347[23][24][25][26][27][28此外，密集NRSfM的现有解决方案在计算上是昂贵的，并且主要限于分析非刚性形状的全局变形[23，17]。在密集NRSfM中的这种逐渐进展的基础可能是由于其依赖于跨帧的每像素可靠对应，以及缺乏弹性结构建模框架来捕获局部非线性。人们可能会争论有效的运动估计，然而，从图像对应关系中，我们只能估计相对运动，并且存在可靠的理论算法来很好地执行此任务[18，40]。此外，随着深度学习算法的最新进展，每像素对应关系可以以显著的准确性实现[46]，这使得结构建模成为密集NRSfM中的潜在灰色区域。最近，Kumaret al. [34]利用格拉斯曼流形在稠密NRSfM中对非刚性表面进行建模。他们工作中的关键见解是：即使变形形状的整体复杂性很高，每个局部变形也可以不那么复杂[13，14，15，16]。利用这一思想，他们提出了一种求解稠密NRSfM问题的局部线性子空间联合方法然而，他们的工作忽略了与非刚性变形曲面建模相关的一些内在问题。首先，他们的方法通过高维格拉斯曼表示独立地表示每个局部线性子空间。目前，这种表示方法可以帮助重建复杂的三维变形，但可能导致错误的聚类，其次，他们表示局部非线性变形的方法完全忽略了相邻表面，这可能导致轨迹空间中格拉斯曼的低效第三，[34]所采用的形状空间中的格拉斯曼表示导致轨迹的不可挽回（2）译注。因此，使用格拉斯曼流形的形状集的时间表示似乎不是在格拉斯曼流形1上建模密集NRSfM的非常有益的选择。最后，虽然[34]中提出的密集NRSfM算法比以前的方法工作得更好更快，但它依赖于几个手动参数，这些参数对于实际应用是不可接受的。本文介绍了一种算法，克服了上述限制与Kumar等人。方法[34]。我们试图提出的主要观点是，在同一个高维格拉斯曼流形上的子空间的重构和分组似乎是一个不合理的选择。甚至最近在黎曼几何中的研究也表明，相应的高维格拉斯曼流形的低维表示更有利1NRSfM背后的目的与活动/行动识别不同。关于这方面的详细讨论，见补充材料。第一格拉斯曼点2n&格拉斯曼点Kt（格拉斯曼点图2：在形状空间中使用格拉斯曼的时间表示在特征点的整体轨迹中引入了不连续性。此外，在时域中定义相邻子空间依赖性图似乎非常具有挑战性，记住活动/表达可能重复。红色圆圈显示特征点及其在帧上的轨迹（黑色）。为Grassmannians分组[32，31]。因此，我们制定了密集NRSfM的方式，它利用了高，低维表示的格拉斯曼，即，在原始的高维度中执行重建，并在其低维度表示中聚类子空间。我们设计了一种无监督的方法来有效地表示高维非刚性表面上的低维格拉斯曼流形。这些低维格拉斯曼表示的方式，它保留的局部结构的表面变形时，根据其相邻的表面投影。这些低维Grassmannian作为其高维Grassmannian的一个潜在的代表，用于适当的分组，这随后有助于改进Grassmannian在高维Grassmann流形上的重构和表示，因此有了术语JumpingManifolds（MoJu）.此外，我们放弃了使用格拉斯曼的形状的时间分组，以讨论轨迹的不连续性（见图1）。（2）译注。本质上，我们的工作受到[34]的启发，并致力于解决其重要的局限性。此外，与[34]相反，我们通过Grassman建模在子空间算法的并集[39我们提出的算法是一个尝试，提供一个更有效的，可靠的和实用的解决方案，这个问题。与[34]相比，我们的公式给出了在Grassmann流形上建模密集NRSfM的有效框架。实验结果表明，我们的方法是准确的其他算法，并在处理噪声的数值更有效。我们工作的主要贡献如下：• 利用Grass-mann流形的不同维数根据它的几何形状。• 一个公式，封装的局部非线性的变形表面w.r.t其邻居，使局部线性子空间的适当推理和表示。• 一个迭代的解决方案，建议的成本函数帧5348基于ADMM [8]，它易于实现，并提供与最佳可用方法一样好的结果此外，在有噪声的轨迹的情况下，它有助于显著改善3D反射。2. 相关工作NRSfM的工作解决方案首先由Bregler等人在开创性的工作中引入。[9]这是Tomsai-Kannade刚性因子分解方法的扩展[48]。虽然这个问题仍然没有解决的任意变形，许多深刻的工作已经完成，以实现可靠的解决这个问题的一些或其他事先假设的对象[18，3，43，40，50，37，35，23]。由于关于这个主题的文献是非常广泛的，我们回顾了与经典设置2下的密集NRSfM方法密切相关的作品。解决密集NRSfM的早期尝试使用形状部分的分段重建，通过拼接步骤进一步处理以获得全局3D形状[12，45]。据我们所知，Garget al.变分方法[24]是第一个提出并证明每像素密集NRSfM算法，而无需任何3D模板。该方法在全局形状上引入了一个带迹范数约束的离散全变分约束，从而得到一个双凸优化问题。尽管该算法取得了出色的结果，但它相反，Daiet al.将他的简单先验自由方法推广到求解稠密NRSfM问题[18，17]。算法-3. 预赛在本文中，2000年，分别表示Frobenius范数和核范数。- 是的图G表示Grassmann流形上的范数概念。单角托架<、.、. >表示欧几里得内积。为了便于理解和完整性，在本节中，我们简要回顾了与格拉斯曼流形相关的几个重要定义。首先，流形是局部类似于欧几里得空间的拓扑空间。在众多流形中，Grassmann流形是一个拓扑丰富的非线性流形，它的每一个点都表示欧氏空间的所有右不变子空间的集合[19，1，34]。定义1. Grassmann流形，记为G（p，d），由嵌入在' d'维欧氏空间Rd中的所有线性p维子空间组成，使得0 ≤p ≤ d [Absil et al.，2009年][1]。Grassmann流形上的一点这种具有正交列的矩阵的空间是一个黎曼流形，使得ΦTΦ =Ip，其中Ip是p×p单位矩阵。定义2. Grassmann流形可以通过映射<$：G（p，d）<$$> →Sym（d），<$（Φ）= ΦΦT嵌入到对称矩阵空间中，其中Φ是Grassmann点[28，30]。给定两个格拉斯曼点Φ1和Φ2，则它们之间的距离可以使用亲-射度量d2（Φ1，Φ2）= 0.5（Φ1）−（Φ2）2[28]。GFRithm提出了一个时空公式来解决问题.作者重新访问了[18]中的时间平滑项，并使用非刚性形状的拉普拉斯算子将其与空间平滑项集成。由此产生的优化导致一系列最小二乘法被最小化，这使得它处理起来非常慢。最近，Kumaret al.在Grassmann模型上模拟了这个问题[34]。他们的工作扩展了时空多体框架来求解稠密NRSfM [37]。该算法表明，这种方法比最近解决密集NRSfM任务的所有其他方法更有效，更快和更准确[24，17，4]。基于连续帧的方法最近已经显示出一些有前途的结果，以解决包括非刚性对象的一般动态场景的密集3D重建[36，44]。然而，运动分割，三角剖分，尽可能刚性的约束和规模的一致性往往打破了变形对象在帧。因此，稠密NRSfM对于这样的算法变得非常具有挑战性。不久前，Gallardoet al.结合阴影、运动和一般物理变形来模拟密集NRSfM [21]。2经典设置是指不使用RGB-D或3D模板。在过去，格拉斯曼流形的这两个属性已被用于许多计算机视觉应用[28，10，34]。第二个定义非常重要，因为它允许测量格拉斯曼流形上的距离，因此，（G，dg）构成度量空间。我们在构造公式时使用了这些性质。对于全面的德-关于这个问题，读者可以参考[28]。4. 问题公式化设将所有帧的每个特征点的这些2D坐标跨矩阵的列连接起来，得到这个矩阵通常被称为测量矩阵[48]。我们的目标是，图像测量矩阵，估计相机运动和所有帧上每个2D特征点的3D坐标我们从经典表达式开始-对NRSfM的作用，即W=RS，其中R ∈R2F×3F是块对角旋转矩阵，每个块为2×3正交旋转矩阵，S∈R3F×P为三维结构矩阵.有了这样的表述，整个问题就简单了--适用于正确旋转矩阵“R”的估计5349我FG我λΩ Ω2结构矩阵根据先前工作[34]的假设，我们使用相交方法[18]估计旋转。因此，任务减少到组成一个有效的算法，正确地模拟表面变形，并提供更好的重建结果。NRSfM中最近的算法已经证明，聚类有利于重建，反之亦然，然而，采用这种想法的现有框架为了建立密集NRSfM的这个想法，Kumar等人。[34]在Grassmannian流形上使用LRR。利用类似的概念，我们使用格拉斯曼表示来模拟密集变形曲面，以提供更可靠和准确的解决方案。在 下 面 的 小 节 中 ， 我 们 首 先 介 绍 了 曲 面 的Grassmannian表示，以及如何通过保持相邻信息将这些Grassmannian投影到低维Grassmann流形上。在后面的小节中，我们使用这些表示来制定解决密集NRSfM问题的总成本函数4.1. 格拉斯曼表示设“Φ i”∈ G（p，d）是表示“S”的第i列所张成的第i个局部线性子空间的Grassmann点. 利用这个概念，我们分解了en-轮胎轨迹的结构成一组nians ={Φ，.，Φ}。 现在，这样一个代表-第i个格拉斯曼点（Θi）第j个相邻格拉斯曼点（Θj）YZX图3：与[34]相比，我们使用Grass-mannian的表面建模考虑了相邻Grass-mannian之间的相似性，同时在较低的维度中表示它。基于空间相邻表面倾向于跨越相似子空间的假设，定义相邻子空间依赖图是容易的，并且大多数现实世界的示例遵循这样的规则。 然而，在形状空间中构建这样的图可能很棘手。其中，ni=ΦiU−1∈Rd×p。 需要注意的是，Θi和φi具有相 同的列空间。原则上，这样的表示是有用的，然而，它不服务于其目的是保持其邻居的非线性。为了封装本地依赖关系（见图1），（3），Fig.（4）），我们进一步将我们的表示约束为：K1E（n）=minimizewij ǁΠ(Θi)−Π(Θj)ǁF(4)∆21 2 3K（i，j）每个子空间都是独立的，因此，低维线性表示可能不适合于捕获依赖于表面的非线性。为了正确地表示考虑低维非线性的格拉斯曼，我们引入了一个不同的这段话说明了两个格拉斯曼人之间的相似之处使用定义（2）和等式（3），（3），我们进一步简化了Eq.（4）作为非刚性曲面低维建模策略。为˜ΣKE（n）极小化wij ǁ∆TΩiΩT∆−∆TΩjΩT∆ǁ2现在，设R∈Rd×d是一个矩阵，它将Φ i ∈ G（p，d）映射<到φ i ∈ G（p，d ∈），使得d ∈ Rd. 从数学上讲，2002年i jF（i，j）ΣKφ=TΦ（一）E（n）极小化W1T（T−T）2我很容易检验φi我不是正交的∆（i，j）ij2iij jF因此，在Grassmann流形上，不存在一个势点。然而，通过对φi进行正交三角（QR）分解，我们估计了φi在格拉斯曼流形上的新表示，E（n）极小化∆ΣK（i，j）wij ǁ∆T(Λij)∆ǁ22（五）“d "维的折叠ΘiUi=qr（φi）=θTΦi（2）这 里 ， qr （ . ） 是 返 回 矩阵的 QR 分 解 的 函 数 。Θi∈Rd×p是一个正交矩阵，Ui∈Rp×p是上三角矩阵3。使用等式（2），我们把低维Φ i的等式表示为其中，Λij∈Sym（d）. 参数图）被设置为exp（−d2（Φi，Φj）），其中dg作为投影度量（参见定义（2））。当量（5）是一个无约束优化问题，其解可以提供一个平凡的溶液 为了估计有用解，我们进一步约束问题。 使用格拉斯曼点'Ehi'及其邻居，展开方程：（五）、通过执行一些简单的代数运算，Eq.（5）减少到Θi=ΔT（ΦiU−1）Θi=Ti（三）.痕量元素ΣK不i=1TΣΣii我伊塔（六）3注：若φd≥p，则在MA TLAB中利用[Θi，Ui]=qr（φi，0）得到一个方形Ui矩阵（Ui∈Rp×p）.115350其中，λii=ΣKj=1Wij.约束方程的值。（六）5351！高维Grassmann流形低维Grassmann流形Y ！（p，d）YZZXF我Fi=1i=1我12K到1提供了整体优化的有效表示的局部非刚性表面上的格拉斯曼流形。E（n）极小化∆受制于：ΣK（i，j）1Wij2 ǁ∆T(Λij）2（七）X3D重建(a)(b)（c）第（1）款图4：我们建模的概念图（a）.追踪追踪. ΣKi=1ΣΣλiiiT=1.到格拉斯曼点的3D轨迹（b）两个格拉斯曼流形和它们之间的点的映射以推断更好的聚类导致更好重建的指数（c）3D重建ΣK很容易验证矩阵Λ和λ联系我们非刚性变形物体的形状。i=1II我我是对称的和半正定的，因此，上述优化可以作为广义本征值问题来解决，详情请参考补充材料。4.2. 致密NRSfM制剂用前面小节中的表示法从运动中求解稠密非刚性结构§4.1，我们建议联合优化3D结构及其局部组表示上的目标函数。在为了建立总体目标函数，我们逐一介绍了每个约束方程，以便清楚地理解我们的总体成本函数。将Grassmann流形转化为对称矩阵流形，定义了自表示。 设θ1={Θ1，Θ2，.，ΘK}是低维格拉斯曼流形上的格拉斯曼集。太阳系的元素是高-“S” 矩 阵 的 列 的 维 格 拉 斯 曼 表 示 。令 X={（Θ1ΘT），（Θ2ΘT），.，（ΘKΘT）}是其嵌入到对称矩阵流形上。使用这种嵌入技术，我们重写Eq.（10）作为最小化βEβ2+β2βSβ2+β3βCβ2Ep（S）=minimizeS1W−RS22（八）E、C、S、F受制于：（十一）第一项约束3D结构，使得其满足重投影误差。Es（S）=minimizeS（9）S第二项满足关于非刚性对象的全局假设，即整体形状矩阵是低秩的。为了建立这个假设，我们执行形状矩阵的秩最虽然矩阵的秩最小化是NP-难的，但它被放松到核范数最小化来找到近似解。该术语主要是将所需的独立形状的总数进行平均化，代表形状。 极小化S∈R3P×F而S∈R3F×P则是受Dai等人的启发而提出的。[18]S=f（S），χ=χC+E其中，C∈RK×K和χ∈Rd×d×K分别表示格拉斯曼算子的系数矩阵和结构张量，K表示格拉斯曼算子的总数一般而言，KP，这使得这种表示可扩展。<<我们介绍的第三项由几个约束函数组成，它提供了一种同时对格拉斯曼模型进行分组和恢复3D形状的方法。 设P∈R1×P是包含S的列的索引的序向量.我们的函数定义的形式是function（）{）：definition}。使用它，我们定义函数fg，fh，fp和fs如下：由于稠密变形形状是由多个局部线性低维子空间组成的，..Σ（P，S） ：使用P对S的{Si}K列进行排序，其中，[Φ，θ，θΣ（S，p）（等式。（9））可能不反映其对当地的依赖性。因此，我们认为，为了引入局部子空间约束，ii=1..Σ我我我我（十二）形状，我们使用非线性格拉斯曼流形空间上的自我表达的概念。ξ˜,fh(∆,ξ):ξ˜={Θi}K,Θi=∆T(ΦiU−1),其中，k =方程的最小化的解（七）中国（13）最小化β 2 ε ε2+ β2ε Sεε2+ β3ε2。˜˜ΣGE、 C、S♯（十）（P，fp（P，C，Po）：P=谱聚类（P，C，Po）（十四）受：S=f（S），S=SC+E..ΣS，fs（λ，λ，λv）：Si=[iivi]，其中i∈Rp×p这里定义f：S∈R3F×P→S∈R3P×F，C∈RP×P为系数矩阵.我们从文献中知道，格拉斯曼流形是等距等价的-对称幂等矩阵[11]。所以，我们嵌入5352（十五）直观地说，第一个函数（fg）使用排序向量P∈R1×P来细化轨迹的分组，以获得合适的格拉斯曼表示。第二功能5353i=1i=1（fh）将格拉斯曼投影到ac中的较低维度-算法1运动的密集非刚性结构（MoJu）使用Eq.（七）、 第三个功能-tion（fp）使用投影的格拉斯曼（Grassmannian）将适当的标记分配给格拉斯曼点，并使用谱聚类来更新给定的排序向量P。第四个函数（fs）使用该组轨迹来重建回局部表面的集合。其中，R1，R2，R3，R4，R5，R6，R7，R8，R9，R10，R11，R12，R13，R14，R15，R16，R17，R18，R19，R111，R1111，R1112，R1111，R11112，R1111，R11111，R111111，R111112，R11111，R111111，要求：W，R，{βi}3，ρ=e−2，ρm=e8，ε=e−1 0，c=1。1，K;初始化：S=pinv（R）W，Si=f（S），Z=0，{Li}2=0，di;n=[Id×nd;随机值]，p%顶部奇异值Po= kmeans++（S，K），iter = 1，Pstore（iter，：） =Po，P=Po而不收敛.T−1 <$f −1（L 1）T <$目标功能：结合上述所有术语，约束提供了我们的总成本函数。1. S：= m/R R+ρI，ρ（f2. f：=fg（P，S）;见等式（十二）3. W：=排列列（P，W）（S）+ρ）+R W;1尽量减少 W−RS4. 使用“”更新相似度矩阵“”w ij“”。§4.15. t，t，t最小化E（k）;参见等式（1）。（十三）E、C、S、S2名女性∆6. rij=Tr[（θTΘi）（（θTΘj）];r=（rij）K;L=chol（r）受制于：J I~。不ij=1不L2S=f（ S），χ=χC+Efg（P，S），fh（P，S），˜7. C：= m/2β1LL+ρI，2β1LL+ρ（Z−ρ）;8. P：=fp（P，C，P）;9. S：=fs（ε，ε，εv）;参见等式（十四）10. S：=US（）V;s.t，[U，，V]：= svd（f（S）−L1）Sβss s sS2S=fs（λ，λ，λv），P=fp（λ，Cλ，Po）（十六）11. Z：=US βρρ（1）V;s.t，[U，V，V]：=svd（C_（1+L_2））;z3zzρzzzρ其中Po vector包含了“W”和“S”列 函数（fp）提供了排序索引，以重新排列“S”矩阵的列这很重要，因为在迭代中对“S”的列集合进行分组5. 溶液在Eq中提出的优化（16）是一个耦合优化问题。可以使用几种双层优化方法来解决这种最小化问题[6，27]。然而，我们提出了基于ADMM [8]的解决方案，因为它在许多非凸优化问题中的应用。要注意的关键点是我们的约束之一是由单独的优化问题（fh）组成的，Eq.的解（7）因此，我们不能直接嵌入对主要目标函数的约束。相反，我们只引入两个拉格朗日乘子L1，L2来连接一对约束回到原始目标函数。第其余的约束在迭代过程中强制执行。为了使变量C与χ解耦，我们引入了辅助变量C=Z. 我们将这些操作应用于我们的优化问题，以获得以下增广拉格朗日形式：12. L1：=L1+ρ（S−f（S））;L2：=L2+ρ（C−Z）13. iter：= iter+ 1;Pstore（iter，：）：=P;14. ρ：=min（ρm，cρ）;15. gap：= max{<$S<$−f（S）<$∞，<$C<$−Z<$∞};（<间隙）（ρ> ρm）→中断;%收敛检查endwhilereturnS;e3D=估计误差（S，S GT，P存储）; %使用公式（十八）请注意，C提供了关于子空间的信息，而不是矢量点。然而，我们有轨迹图和它对应的子空间。一旦，我们基于C*，fg（. ）提供了与每个组相对应的新Grassmann样本。f h（的定义。）和f s（. ），在Eq.（7）和等式（14）分别。更一般地，方程中的优化的解决方案通过将其作为广义特征值问题求解而获得 为了保持' S '矩阵与' W '矩阵fp（. ）提供排序索引。我们在算法表（1）中提供了我们的方法的实现细节，并提供了合适的MATLAB命令有关每个子问题的推导细节，请参阅补充材料。12χχ˜2♯6. 调查与评价尽量减少Z，C，S，S2W−RSβ2-羟甲基纤维素+我们进行了实验和评估的效用-ρ<$S <$−f（S）<$2+L1，S<$−f（S）>+β<$Z <$<$+2F 3<ρC能够标准的基准数据集[23，49，7]。为了使我们的评估与以前的方法保持一致，我们计算了平均归一化的3D重建误差，2F服从：=fg（P，S）， =fh （，），收敛后的估计形状10000005354GT000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000马里斯岛-SiS=fs（λ，λ，λv），P=fp（λ， C，Po）（十七）e3D= Fi=1estGTFǁSiǁF（十八）5355i=1（a）（b）（c）（d）图5：左起：分别在背部[23]、心脏[23]、纸张[49]和T恤[49]数据序列上的3D重建结果。这里初始化：我们使用交方法[18]来估计旋转矩阵并初始化S=pinv（R） W。S的轨迹或列的初始分组使用k-means++算法[5]完成。然后使用这些组为了初始化Po，P和格拉斯曼点{Φi}K，通过奇异向量的子集。 为了在低维中表示格拉斯曼数，我们求解Eq。（7）初始化缓存并存储相应的奇异值。在Eq.（7）是使用嵌入空间中格拉斯曼之间的距离度量§4.1建立的。1. 合成人脸数据集上的结果：合成脸数据集由四个不同的序列组成[23]，在多帧上跟踪28，880个特征点。每个序列捕获具有不同范围的变形和相机运动的人类面部表情。序列1和序列2是具有旋转的10帧长视频在±30℃和±90℃范围内。序列3和序列4是99帧长的视频，包含高频率，频率和低频旋转，分别捕捉真实的人类面部变形。表（1）显示了使用我们的算法在这些序列上获得的统计结果。关于这些序列的定性结果，请参阅补充材料。2. 纸和T恤数据集上的结果：Varol等人引入[49]第49话该数据集提供了稀疏的SIFT [41]特征轨迹和从Microsoft Kinect捕获的所有帧的噪声深度信息因此，获得所有帧的非刚性对象的密集2D特征对应变得困难。为了避免这个问题，我们使用Garget al.[22]估计测量误差的算法。为了使数值比较与密集NRSfM[34]中的先前工作保持一致，我们使用相同的坐标范围来跟踪特征。从数字上讲，它的xw（a）（b）（c）（d）图6：Actor序列上的3D重建结果[7]。=（253，253，508，508），yw=（132，363，363，132）矩形-Kinect纸张序列最大窗口，跨越193帧。对于Kinect T恤序列，我们考虑xw=（203，203，468，468），yw=（112，403，403，112）的在313帧中，与Kumar等人中使用的相同。工作[34]。图（5）示出了这些序列上的重建结果，比较结果在表（1）中提供。3. Actor数据集上的结果：Beeler等人[7]引入了Actor数据集，用于高质量的面部表现捕捉。该数据集由七个摄像机捕获的346帧组成该数据集捕捉面部表情的细节，这在NRSfM算法的测试中非常有用。然而，对于我们的实验，我们需要所有图像之间的密集2D图像特征对应作为输入，我们使用地面真实3D点和合成生成的几何相机旋转来合成这些图像。为了保持与密集NRSfM中用于性能评估的先前工作的一致性，我们基于Ansari等人中描述的头部运动合成了两个不同的数据 集 ， 即 Actor Sequence1 和 Actor Sequence2 。 工 作[4]。图（6）示出了使用我们的算法实现的密集详细重建表（1）清楚地表明了我们的方法重建这种复杂变形的好处。4. Face，Heart，Back数据集的结果：为了评估稠密NRSfM的变分方法[23] Garg等人。介绍了这些数据集。它的序列是由在自然环境中捕获的照明条件和大位移。它包括三个不同的视频，分别为120，150和80帧的面部序列，背部序列和心脏序列。此外，它还为面部、背部和心脏序列的帧提供了28332、20561和68295个特征跟踪的密集2D特征跟踪。没有地面实况3D可与此数据集进行评估。图（5）显示背部和心脏序列的重建结果有关这些序列的更多定性结果，请参阅补充材料。5356数据集↓/方法→[42]第四十二话美国[2][25]第二十五话[第26话][23]第二十三话DS [17]SMSR [4]可持续发展目标[34]我们面部序列10.25720.15590.53250.46770.05310.06360.18930.04430.0404面部序列20.06440.15030.92660.79090.04570.05690.21330.03810.0392面部序列30.06820.12520.52740.54740.03460.03740.13450.02940.0280面部序列40.07620.13480.53920.52920.03790.04280.09840.03090.0327演员序列10.52260.04180.37110.3708-0.08910.03520.03400.0274演员序列20.27370.05320.22750.2279-0.08220.03340.03420.0289纸张顺序0.08270.09180.08420.0801-0.0612-0.03940.0338T恤序列0.07410.07120.06440.0628-0.0636-0.03620.0386表1：我们的方法与其他竞争方法的统计比较。SMSR [4]和DV [23]的定量评价是由于他们的代码不可用，我们没有执行，因此，我们从他们发表的工作中列出了他们的重建误差0.080.0680.0550.0430.03我们SDGDS0.005 0.010 0.015 0.020 0.025 0.030 0.035 0.040 0.045 0.050 0.055噪声比（一）0.250.20.150.10.053 8 13 18 2328顶部奇异值的数量(b)50003750250012500面序号1面Seq2面Seq3面Seq4纸t恤数据集(c)1.41.210.80.60.40.20间隙1 = max（max（jS！f（S）j））]间隙2=max（max（jC~！Zj））max（gap1;gap2）0 50 100150迭代次数(d)图7：（a）平均3D重建误差随人脸数据集噪声比变化的变化[ 23 ]。(b)3D重建精度的波动与顶部奇异值和相应的奇异向量的数量变化，我们的算法用于人脸序列[23]。（c）在Intel Core i7-4790 CPU@3.60GHz x 8 Desktop上使用MATLAB 2017 b的其他竞争算法的处理时间（d）给出了算法的典型ADMM优化收敛曲线6.1.算法分析我们进行了更多的实验，以了解我们的算法在不同的输入参数和评估设置下的性能在实践中，这些实验有助于分析我们的算法的实用性。1. 噪声轨迹上的性能：我们利用标准的实验程序来分析我们的算法在不同噪声水平下的行为。与Kumaret al的工作类似。[34]，我们将高斯噪声添加到输入轨迹。噪声的标准偏差调整为σg=λgmax{|W|其中λg从0.01到0.055。 图（7）（a）显示数量比较我们的方法与最近的算法，即DS [17]和SDG [34]。该图是通过取所有四个合成人脸数据集的平均重建误差绘制的[23]。采购的统计数据表明，我们的算法是更有弹性的噪声比其他竞争的方法。2. 奇异值数量变化时的性能：G（p，d）中p的选取，即G（p，d）中p的选取。Grassmannian表示的顶奇异向量的数目，其相应的奇异值来进行重建，可以直接影响我们算法的性能。然而，它已被观察到，在几个实验中，我们需要非常少的奇异值和奇异向量，以恢复密集详细的三维重建的变形对象。图（7（b））示出了合成面部数据集的平均3D重建随“p”值的变化3. 处理时间和收敛：我们的算法执行时间几乎与SDG相同或稍慢[34]。图（7（c））显示了我们的方法在不同数据集上所花费的处理时间。图（7（d））给出了算法的典型收敛曲线理想情况下，需要120-150次迭代才能为问题提供最佳解决方案。7. 结论我们的非刚性变形表面的格拉斯曼表示利用了不同维度的格拉斯曼表示的优势，以联合估计更好的子空间分组及其相应的3D几何形状。我们的方法明确地利用了非刚性移动对象的几何结构，通过相似图在流形上与其邻居，它我们的经验表明，我们的方法是能够实现3D重建精度，这是更好的或一样好的最先进的，在处理噪声轨迹显着改善谢谢。作者得到了ARC机器人视觉卓越中心（CE140100016），ARC Discovery项目3D计算机视觉地理空间定位（DP190102261）和ARC DECRA项目（DE140100180）的部分支持。作者感谢他的哥哥Aditya Kumar的不懈支持和建议。感谢Roya Safaei不断的帮助和建设性的建议。最后，作者感谢J.瓦雷拉和C.在此工作期间，为医疗服务。面部序列1面部序列2面部序列3面部序列4Avg.标准化平均3D误差Avg.重构误差处理时间（秒）最小化损失MP DS SDG Ours5357引用[1] P-A Absil，Robert Mahony，and Rodolphe Sepulchre. 矩阵流形上的优化算法。普林斯顿大学出版社，2009年。[2] Ijaz Akhter 、 Yaser Sheikh 、 Sohaib Khan 和 TakeoKanade。轨迹空间中运动的非刚性结构。在Advances inneural information processing systems，第41- 48页[3] Ijaz Akhter 、 Yaser Sheikh 、 Sohaib Khan 和 TakeoKanade。轨迹空间：非刚性结构运动的对偶表示。IEEE Transactions on Pattern Analysis and MachineIntelligence，33（7）：1442[4] Mohammad Dawud Ansari，Vladislav Golyanik和DidierStricker。可扩展的密集单目表面重建。arXiv预印本arXiv：1710.06130，2017。[5] 大卫·亚瑟和谢尔盖·瓦西里茨基。k-means++：仔细播种的优点。在第18届ACM-SIAM离散算法研讨会论文集，第1027工业与应用数学学会，2007年。[6] 乔纳森·F·巴德实用的双层优化：算法与应用，第30卷。Springer Science Business Media，2013.[7] Thabo Beeler ， Fabian Hahn ， Derek Bradley ， BerndBickel ， Paul Beardsley ， Craig Gotsman ， Robert WSumner，and Markus Gross.高品质的被动面部性能捕捉使用锚帧。ACMTransactions on Graphics（TOG），第30卷，第75页。ACM，2011年。[8] Stephen Boyd、Neal Parikh、Eric Chu、Borja Peleato和Jonathan Eckstein。通过乘子交替方向法的分布式优化和统计学习。基金会和信托基金见《机械学》，第3卷，第1期，122，2011年。[9] Christoph Bregler，Aaron Hertzmann，and Henning Bier-mann.从图像流中恢复非刚性三维形状。在IEEE计算机视觉和模式识别会议，第2卷，第690-696页中IEEE，2000年。[10] Hasan Ertan Cetingul 和 Rene 'Vidal 。 stiefel 流 形 和grassmann流形上聚类的内禀均值漂移。在IEEE计算机视觉和模式识别会议上，第1896-1902页[11] 筑濑靖子特殊流形统计，体积174. Springer Science Business Media，2012.[12] T·柯林斯和A·巴托利。基于视频的局部仿射平面可变形曲面重建在视觉，建模和可视化国际研讨会上，第339[13] 基南·克兰保形几何处理。加州理工学院，2013年。[14] 基南·克兰离散微分几何：一个应用的介绍。2015年。[15] Keenan Crane，Fernando De Goes，Mathieu Desbrun，and PeterSchr oüder. 数字几何处理与离散外演算。ACMSIGGRAPH 2013课程，第7页。ACM，2013年。[16] 基南·克兰和麦克斯·沃德茨基离散微分几何一瞥。Notices of the American Mathematical Society ， 64（10）：1153[17] 戴玉超，邓慧忠，何明义。密集的非刚性结构从运动变得容易-一个空间-时间平滑的解决方案。arXiv