稀疏线性弹性SfT：一种不需要固体边界约束的3D变形形状恢复方法

13337具有空间稀疏变形力的AbedMalti1Ce' dricHerzet21AutoMed/LAT，Universite´ de Tlemcen，Tlemcen，阿尔及利亚2INRIA-Rennes，Campus de Beaulieu，雷恩，法国摘要目前的弹性SfT（模板形状）方法是基于最小 2范数。没有一种方法可以准确地重新覆盖作用力的空间位置，因为基于N2范数的最小化倾向于在噪声数据中找到最佳折衷以拟合弹性模型。在这项工作中，我们研究在空间上稀疏的力的作用下变形的形状我们提出了两个配方的一类新的SfT问题，在这里被称为SLE-SfT（稀疏线性弹性SfT）。第一理想公式使用一个范数来最小化变形力的非零分量的方向。第二个放松的公式使用一个101-范数，以最小化力分量的绝对值之和。这些新的配方不使用固体边界约束（SBC），通常需要刚性定位的变形图像的框架中的形状。我们引入了投影弹性空间属性（PESP），重投影约束和弹性模型。 我们证明了填充该属性对于松弛公式是必要且充分的：（i）检索地面真实3D变形形状，（ii）恢复非零变形力的正确空间域。（iii）它还证明了我们可以在不使用SBC的情况下将变形的形状刚性地放置在图像帧中。最后，我们证明了当填充PESP时，解决松弛公式提供了与理想公式相同的地面实况模拟和实际数据的结果表明，在恢复变形的形状以及变形力的空间位置方面有了很大的改善。1. 介绍SfT（Shape from Template）是近十年来计算机视觉领域最关键的开放问题之一。该问题是相当具有挑战性的，因为在很少有足够的先验的情况下，必须从单个图像中检索3D变形形状。这些先验知识通常涉及到重投影边界约束（RBC）和变形模型.前者建立模板形状（已知的3D形状）和变形图像（变形形状的2D投影）之间的对应关系。RBC给出了解释当前变形图像的可能变形形状的子空间。后者限制了可能的变形，模板的不同版本给出了RBC。它允许我们保持一个或最多一个有限的一组似是而非的变形形状[4]。模型先验可以根据基于物理的统计而不同。基于统计的方法通常将变形表示为学习形状或模式基础的线性组合[23，27，25，29，1]。基于物理的方法是主要用于等距的实例化[7，25，28，9]，共形[19，4]和弹性[14，21，2]。从理论上证明了等距先验存在唯一解，共形先验存在唯一解解的离散数[4]。在 弹 性 的 情 况 下 ， 通 常 需 要 一 组 固 体 边 界 约 束（SBC）.这个要求是必要的，以刚性定位的变形图像的帧中的形状，使得我们只寻求非刚性变形。这一限制是-确保SfT问题有一个唯一的解，具有一个2-范数线性公式[20]。实验表明，顺序方法不需要SBC[2]。在现有的SfT方法中，稀疏性已经被利用作为基于统计的方法中的模态先验它用于将变形形状表示为基本形状的稀疏线性组合。这种方法显示出重建精度的显著提高[34，12，26]。然而，在这种情况下，没有正式的证据证明线性组合确实是稀疏的。在基于物理学的SfT中，并且据我们所知，稀疏度从未被用作表征这种类型的变形之前的空间。解决这类变形问题对于实践和理论都很重要。实际上，在日常生活中，有不可忽略的数量的变形物体可能会受到稀疏变形力的影响例如衣服、塑料瓶、气球等。在理论上，由于稀疏性的使用在这里是物理上合理的，因此将其形式化，研究其适定性并提供解决它的工具变得很重要。本文研究了具有稀疏变形力的弹性SfT的形式化和适定性。这是第一次将稀疏性作为一种特殊类型的空间变形的先验特征。我们使用线弹性模型作为基于物理的先验，并使用有限元方法的线性公式，如[20]中所建议的。这先前的公式最小化了为获得变形形状而施加的力的2的情况13338Nn|N||M|M¯∈∈S--联系我们∈D∈ S¯.¯Σ¯在稀疏变形力矢量中，只有少数分量是非零的。因此，这样的公式是不合适的，因为一个2-范数最小化可以恢复一个密集的变形力，特别是在噪声数据和建模错误这项工作也提供了一个理论条件，SBC是不需要唯一检索地面实况3D变形形状。捐款. 我们提出了两个配方的一类新的SfT问题，这里称为SLE-SfT（稀疏林耳弹性SfT）。方程（IF）建立了具有最小化所施加的力矢量的非零分量的数量的范数方程（RF）表示具有1-范数的松弛公式，因为1-范数是NP难求解的[13]。这些新配方不使用SBC。我们引入了投影弹性空间属性（PESP），它联合编码RBC和弹性模型（定义2）。在定理2中，我们证明：填充该属性对于松弛公式是必要且充分的，以：（i）检索地面实况3D变形形状，（ii）恢复非零变形力的正确空间域。（iii）证明了不使用SBC也可以将变形的形状刚性地放置在图像框架中。最后，我们在命题1中建立，在某些条件下，（RF）的唯一地面真值解也是（IF）的唯一地面真值解。2. 相关作品及贡献基于稀疏先验的统计SfT。 稀疏性在计算机视觉中用于解决分类问题[32，30，33]。到目前为止，据我们所知，它只用于基于静态的SfT。主要是在-用于人体姿态估计。[26]提出了一种形状基础的稀疏表示，以从静止图像中的注释地标重建3D人体[12]在构建姿势字典时强制局部性。最近[34]提出了一个凸松弛的问题，共同估计形状和相机姿势。3. 有限元曲面参数化我们在有限元（FEM）框架[8]中使用形状函数来表示表面和变形。这是特别适合弹性SfT和allows铸造它作为一个线性问题。点对应的有限离散集具有通过RBC的自然边界条件。曲面上的任何其他点都不受此边界条件的约束，而服从线弹性先验。因此，设为模板和变形表面之间的点对应的离散集合，并且n=做他的红衣主教。 在FEM词汇中，这些点被称为元素的节点，用于网格化表面。我们表示组成曲面的元素的集合，m=元素的总数。模板e，表面i，s记为S0<$R3n. 的子集没有稀疏先验的基于物理的SfT。等距-n个点P，pi∈S0i=1 被认为是基于SfT [7，25，28]要求变形保持任何测地线距离。这种方法已经证明了其对纸状表面的准确性[9]。基于保形的SfT对变形施加局部各向同性约束。它在球形形状上进行了测试[19，9]。对于这两个基于几何的SfT的详细研究，我们建议-有限元网格划分模板全局节点向量pR3n是通过逐列叠加节点坐标而得到的。这些坐标表示在变形图像的帧中。的任何点p0个该表面相对于n个节点表示为：Σnmend [4].基于弹性的SfT将形状约束为经历线性或非线性弹性变形。[21]提出了一种使用线性弹性的非线性迭代SfT方法。的p（u，v）=¯i=1hi（u，v）pi，i∈[3n]，（1）¯这种方法依赖于在重新配置的情况下拉伸能量最小化投影边界条件然后将该方法转换为线性问题[20]，可以在一次优化运行中解决。[14]使用基于非线性弹性和正投影的非线性迭代方法。[15]使用形状轮廓作为RBC来估计变形图像帧中形状的变形和刚性放置。与SfT接近但概念不同的方法是其中[3n]，1，. . .，3n和（u，v）R2是曲面的全局参数化. hi（u，v）i∈[3n]，是实值可微函数，称为形函数，（8）。hi的支集是包含节点i的元素的并集。 对于所有的u，v，形函数的和必须为1。 变形曲面表示为SR3. 定义S相当于确定vec。磁场（δ ： S0→R3n： p→x），使得S =p+δ（p）=p+ x， p∈S， x∈R3n0NRSfM（非刚性运动结构）。 在这个AP-¯ ¯ ¯¯ ¯¯. 这里x表示方法可变形形状是从多个与点p∈S0相关联的变形向量。Tak-考虑到n个节点的集合P，T h.easociated set帧2D-2D对应。这些方法大多使用低秩形状对变形进行建模[10]。 一个变形矢量的定义为D，xi∈R3nni=1。在[2]中提出了从多个图像帧联合估计形状和相机姿态的顺序框架。该方法依赖于Navier-Stokes流体流动模型。它利用有限元法来表示曲面，并对变形力进行高斯近似。两者对于等参数有限元法，给定点p0的变形xR3关于设定变形向量的元素类似于（1）中的表示和相同集合形状函数Σn使用EKF（Ex-1）重建形状和力。卡尔曼滤波器（Kalmanx（u，v）=¯i=1hi（u，v）xi，i ∈ [3n].（二）¯13339∈×−Xy∈¯ηηS我我|Q|∈∈∈D×∈¯u我0.¯我我我节点的整体变形矢量xR3n是通过将节点的变形矢量的坐标按列叠加而获得的。变形形状的全局节点向量可以表示为变形图像帧中的p+x这些点在像平面上的再投影必须与模板上的相应点相所获得的线性约束被称为重投影边界约束（RBC），并在下面的段落中开发4. 物理和先验约束4.1. 重投影边界约束让我们从模板表面取一个节点pi∈PK是尺寸为3n3n的刚度矩阵，例如参见[20，2]中K的构造。 这种构造可以使用例如板理论[6]，如果我们假设所处理的表面具有局部平面性质（2-流形）。通过构造，矩阵K是对称半正定的。我们进一步假设它满足以下两个性质物业1. 如果我们假设我们有一个规则的网格的表面[11]，那么刚度矩阵K是良好的条件。物业2. 如果我们假设形状函数满足完备性[18]，则rank（K）= 3n6。 6维的零空间可以通过一组三个旋转和3个平移向量（刚性去中心化）来参数化。.¯坐标p =00¯ii i0米（星符号de-形成矢量）。我们记NR3n ×6为连接此零的一组向量基所得到的矩阵这里注意向量和矩阵转置）。坐标-纳特斯岛f表示相应的压缩变形向量空间.ΣX i =xi¯伊伊伊⋆. 之间的点对应N= v 1。. .V6，模板和变形表面是已知的，并由3D-的值给出。在该点处的2D翘曲π：S0→ΠS：p<$→π（p）=vπ。在那里，S2是亲-变形曲面的投影域。我们用透视法投影，并假设在投影坐标上去除得到的方程可以写为：ixi = yi.（三）S.T. Kvi=0，i∈[6]，（8）v1，. . . ，v6是线性无关的。形状函数的完整性确保模板表面0的刚性变换不涉及变形力。唯一的非零变形力是由于非刚性变形。4.3.变形力在哪里¯ ¯¯定义1. 我们称f的支集为它的分量Πi = . 1 0−ηu 且yi= −ip。（四）Q，{i|fi/=0，i∈[3n]}，（9）<$0 1−ηvi支持的大小是它的基数将n个节点作为点对应，得到了关于整体变形向量x∈R3n的n块对角矩阵方程x= y。（五）|，2010年10月0日。|, ǁfǁ0.（十）· fi是f的第i个分量。在[3n]中，We表示Q的补数。的情况下全球矩阵写为：2n×3n 和全局向量y∈R2n稀疏变形，基数预计将远远小于|Q<$|.埃什基5. 既往制剂：[001 pdf 1st-31files]lation¯1¯1=.且y=y。 。（六）0分钟。yn¯正如在[20]中所述，SfT可以形式化为找到ingx，使得.<$x∈argmin1Kx2s.t.RBC=yRBC，（十一）4.2.变形物理学x∈R3n 22SxX=0SB C。变形矢量xR3是由变形力矢量fR3引起的. 考虑到n个defor的集合节点的matio n′vector，a。变形关联集S是l3n稀疏矩阵。它在RBC的2l方程基础上增加了l个等式约束.在[20]中证明，如果有一个唯一的解，力矢量定义为F，fi∈R3ni=1. 全球这个公式，有必要和足够的L节点力矢量fR3n是将节点变形矢量坐标按列叠加而得。全局变形力矢量f和全局变形矢量x之间的关系写为：f=Kx，（7z13340）固体边界约束的方程，这样的质量，当用以下等式更新时，K（3i，3j）=1，如果i=j，K（3i，3j）=0，否则。（十二）13341˜−∈0∈∈∈QQQ这里，i在l个固体边界点上运行，j在3n列上运行6. SLE-SfT的配方6.2.1 SLE-SfT（RF）的松弛公式松弛的公式，没有f在span（K）表示为（RF），并由下式给出：x其中，6.1. 删除SBCSBC的必要使用在现实世界的应用中是有限的。它们确实很难在真实的背景下设置，除非用手或一些人工的方法设置它们。.Σˆf,wˆ∈¨ ¨¨ ¨arg min？f？2001年1月，.S.T. ΠΣK+Nwf+ Nwf =y。（RF）标记。在这项工作中，我们从配方中删除SBC我们证明，在一定的稀疏性水平上，有可能恢复具有正确支持的地面实况解如果没有SBC，K的秩为n6，并且如果x是非刚性变形，则存在服从相同变形力f的曲面的无穷多个刚性变换，即、f=K（x+Nw），对所有w ∈R6.（十三）考虑到该方程与变形力的稀疏性先验，产生以下公式。6.2. SLE SfT（IF）的理想制剂我们用K+表示K[5]的Moore-Penrose伪逆矩阵。 如果我们去除SBC并考虑f的稀疏性，则我们获得以下公式标记为（IF）x其中，这个最小化问题的全局方案对应于-研究了一类带线性约束的非如果这个问题有一个唯一的解决方案，如果可行集是非空的，它并不总是这种情况下，这个解决方案对应于地面真理解决方案。 推导条件-这个解是地面实况解的条件允许我们证明（RF）的解与（IF）的解相同。尽管在压缩传感理论中已经进行了广泛的研究[13]，但在稀疏变形力的SfT领域从未提出过。从这个理论推导出下列理论结果特别地，下面的定理1和定理2的证明是从[13]中的证明导出的，用于具体的SLE-SfT问题。7. （RF）的精确回收条件在本节中，我们要建立（RF）的精确恢复条件，其中通过该公式的唯一估计解x∈R等于地面真实变形x。为此，我们首先给出了一个扩展的定义的空间属性。这个属性在压缩感知[13]中很有名，并且允许我们为101-范数松弛问题提供充分条件。7.1. 射影弹性空间性质（PESP）.Σ¨ ¨ˆ¨˜ ¨..ΣK+=y，让我们记为fQE ∈R|Q|f qE ∈R|Q<$|作为限制-埃克塞特，wargminüfüs.t.1999年，f∈span（K）.（IF）f对Q和Q的指数的作用。定义2. 我们说力偶（K，K）满足相对于Q∈[3n]的射影弹性空间性质（PESP），如果对每个f∈R3n\{0}都有ch，则K+f∈通过性质1，我们可以假设，K+在数值上是稳定的。这里使用附加条件fspan（K）来确保（13）式得到验证。虽然这个公式对于利用f的稀疏性是理想的，但它有两个可以简化的特征：（i）NP0-范数是NP-困难的[13]。（ii）如果所提出的公式检索唯一的地面实况f，则它必须满足fspan（K）. 因此，我们可以简化公式（IF）通过：（i）使用一个松弛的公式，用一个1-范数代替一个0-范数，（ii）取消条件span（K）. 这一最后提法可在以下段落中说明。最后一个问题的解是相关的，当且仅当它是基础真理解，因此等于理想公式的解这个解的等式和它为真的条件在7.2节的命题1中得到了确立。span（N），我们有fQ<（十四）这个定义是更一般的修改的空间属性的扩展[3，13]。该定义涉及所有非零力f，使得非刚性变形的透视投影可以由刚性变换的透视投影来解释。如果力偶（K，K）对给定的[3n]满足PESP，则这种力的限制为严格地由这个力限制在0.1-norm意义上的。我们说它满足s阶PESP，如果它满足相对于任意支撑Q∈[3n]的PESP，且card（Q）≤s.定理1.每个力偶（f， w）∈R3n×R6，其中力向量f支撑在集合Q上，是唯一解13342−˜˜˜≤Q∈×Q ≤QQ~f∈QQǁ ǁ ǁǁ∈≤ −˜˜=vQ+fQ，根据v的定义∈−∈（RF）的观测图像y=<$（K+f+Nw），如果.R3n×R6满足ΣK+Nwf+ Nwf =n（K+f+Nw），且仅当耦合（K，K）满足相对于Q. 因此，唯一的重建变形由下式给出：我们可以很容易地检查向量v，f∈f是这样的，+x=K+f−N w。这个定理的优点在于，满足Kvspan（因此，我们可以将PESP与v一起使用证明¨ ¨PESP相对于支撑Q是必要且足够的，阿夫勒¨ ¨=f−fQ+fQ，通过（RF）检索地面实况解x和（f，w）为了证明这个定理，我们首先需要以下引理引理1. 对于任何n >3，给定的n和N分别在（6）和（8）中定义，我们有{\displaystyle{}}.（十五）1¨ ¨¨ ¨ ¨ ¨¨ ¨ ¨ ¨由三角不等式导出的<$ fQ<$+<$fQ<$1¨ ¨ 1¨ ¨1¨ ¨¨ ¨1<由PESP在V上发布0¨3个Q1+？f？¨ ¨ ¨1¨ ¨˜ ¨证据 让我们把p∈R看作模板表面S0。如果我们认为存在=<$fQ<$$>+<$fQ<$，因为f=fQ，fQ<$=0¨ ¨1 1w∈ker（N）使得w/= 0. 那么这就相当于¨ ¨=“f”。（十七）存在一个刚性位移Nw 01不改变其初始投影的模板节点p的（Nw+ p）=（十六）也就是说，N是内射的。事实上，一组n个点的刚性定 位以 适应给 定的透 视投 影只不 过是 一个Pestrian问题[24]。 已经确定[16]，对于n> 3，不存在p的刚性变换可以给出与（16）中所述类似的透视投影，这与假设w/= 0相矛盾。在本文中，我们研究了我们的新配方的一般情况下，n >3。病例n3是一个非常特殊的研究，需要更多的关注。我们把这个案例作为未来的潜在工作进行后续开发。因此，定理1的证明如下。证据首先，让我们来看看PESP的必要性。给定一个已知的支撑集，设每个偶（f，w）∈R3n×R6，其中f∈S，支撑在这表明f是（RF）的唯一极小元 如果wR6是一个可行解，则<$Nw<$=yK+f= 通过引理1，将n ∈N注入，然后w∈ N=w。定理2. 每对（f，w）R3nR6是（RF）的唯一解，其中f是s-稀疏力向量，当且仅当力偶（k，K）满足s阶PESP时，其观测图像y = k（K + f + Nw）.因此，唯一的r重构变形由x=K+f−N w给出。证据 如果（k，K）满足阶数s的PESP，则通过定义它满足相对于任何具有卡（）s的支撑[3n]的PESP。因此，对于每一个这样的支持，由定理1可知，每对（f，w）∈R3n×R6，其中f在Q上支集，是（RF）的唯一解7.2. （IF）的精确回收率1.提案在定理2的条件下，通过问题（RF）发现的每一个真实解也是问题（IF）的唯一真实解。¨ ¨一个集合Q，是唯一的极小受证据 在定理2的条件下，.ΣK+1=N（K+f+N w）。Particularly，如果f∈解对应于地面实况解（f，w），其中f是s-稀疏的。 假设这个力f ∈R3nR3n是任何向量（不一定在上支持），使得K+fspan（N），则通过映射，我们有¨˜ ¨引起变形并满足模型f= Kx其中f∈span（K）。 手法。在r上，设（z，c）为公司简介（fQ，w）是f的唯一极小元，如果（IF）的极小元满足y=<$Kf+Nw<$，则.ΣK+1=n（K+fQ+N w）。由于<$K+f∈z因为每次-span（<$N），存在唯一的w′R6（由于引理1）使得<$K+f=<$N w′。 如果我们选择稀疏ve. ctor是（RF）的非唯一解，y=nK+nf+Nwn，则f=z. 我们有一个w∈=w′+w， 写f=fQ+fQ<$>， 那么我们发现（fQ<$ ，w∈）是一个可行解。 由于假设（fQ，w）是唯一的最小化r，我们必须有fQ1

下载后可阅读完整内容，剩余1页未读，立即下载