没有合适的资源?快使用搜索试试~ 我知道了~
非刚性形状对齐的优化问题
13826非刚性形状对齐Florian Bernard Zeeshan Khan Suri Christian Theobalt MPIInformatics萨尔信息学院输入我们匹配的网格点云不同的拓扑部分重叠图1.左:MINA将直圆柱X非刚性地匹配到弯曲圆柱Y(它们的方向是任意的,但我们将它们可视化为相同的方向)。它找到稀疏点集(彩色点)之间的全局最优对应P∈P,以及X的非刚性变形τ,使得τ(X)与Y对齐。MINA具有高度灵活性,例如:它可以将网格与点云进行匹配(左中),将形状与不同的拓扑进行匹配(右中,其中X方向的手不接触,而Y方向的手接触,请参见两只手之间的测地线路径显示为红线),或处理部分重叠(右)。(放大后在屏幕上查看效果最佳)摘要本文给出了一个凸混合整数规划公式,属于一个特定的变换类(X),使得变换后的形状τ(X)最好地与Y对齐。形式上,这可以写成优化问题用于非刚性形状匹配的定位。为此,我们提出了一种新的形状变形模型的基础上,有效的minτ∈Ωd(τ(X),Y),(1)低维离散模型,因此在(大多数)实际情况下,找到全局最优解是容易的。我们的方法结合了几个有利的特性:它与初始化无关,与类似的二次分配问题公式相比,它更有效地解决全局最优性,并且就它可以处理的匹配问题的变体而言,它是高度灵活的。实验上,我们证明了我们的方法优于现有的稀疏形状匹配方法,它可以用于初始化密集形状匹配方法,我们展示了它的灵活性在几个例子。1. 介绍在几何数据中寻找对应关系是视觉、图形等领域的一个长期存在的问题。应用范围从创建统计形状模型、3D重建、对象跟踪或识别,到最近的设置,例如几何数据的对齐,以实现深度学习模型的训练。在这项工作中,我们考虑的问题,找到两个给定的形状之间的对应关系,称为形状匹配。我们假设一个形状是另一个形状的几何这样,将形状X匹配到形状Y可以被表述为找到变换τ(其其中d(·,·)是量化两个形状之间的差异的合适度量特定的形状匹配设置取决于度量d(·,·)的选择和变换的类别。例如,刚性形状匹配指的是n = SE(d),其中SE(d)是维度d上的特殊欧几里得群。在这项工作中,我们研究了非刚性形状匹配问题,其中,非刚性变形包括非刚性变形(将在第二节中定义)。(3)第三章。尽管许多先前的工作已经解决了非刚性形状匹配,但是存在几个公开的挑战:(i)由于问题(1)的非凸性质,对于d(·,·)和k的几乎所有相关选择,现有方法不能保证找到全局最优值。 因此,这些方法严重取决于τ的初始选择。(ii)通常,非刚性形状匹配方法要求两个形状具有相同的表示(例如,网格)。(iii)现有方法在可以处理的匹配公式方面具有有限的灵活性,例如:它们只能处理双向匹配,或者它们不能保证注入性,它们不允许附加的约束(例如,限制匹配的最大失真),或者它们不能处理具有不同拓扑的形状。(iv)此外,实验公式,纯粹是为了保持成对的距离时,找到一个匹配(见二次分配问题,在第二节。(2)不能保证保持13827曲面的方向我们的贡献。我们的主要思想是制定非刚性形状匹配的凸混合整数规划(MIP)的问题,同时解决(i)-(iv)。我们总结我们的主要贡献如下:• 我们提出了一个低维离散模型,10.5010 15 20 25问题规模刚性形状匹配是高度灵活的,因为它允许处理广泛的匹配配方。• 虽然求解MIP问题的全局最优性具有指数级的最坏情况时间复杂度,整数变量的数量,我们提出的公式只需要与形状分辨率无关• 我们的公式不需要初始化,并且通常可以(可证明地)找到全局实践中的最佳解决方案2. 相关工作背景由于与形状匹配和对应问题相关的大量文献,提供相关工作的详尽背景超出了本文的范围。例如,[46]中提供了在下文中,我们总结了我们认为最相关的工作。刚性形状匹配。找到对齐两个形状的旋转和平移称为刚性形状匹配。普罗克鲁斯特问题[40]认为,当两个形状上的点之间的对应关系已知时,这允许有效的封闭形式解。然而,刚性形状匹配变得更加困难,如果对应关系是未知的。最常见的是,这是通过本地优化来解决的。一种流行的方法是迭代最近点(ICP)算法[7],它也有各种变体,例如概率公式[28]。这些方法的共同点是它们不能保证找到全局最优解,因此它们的结果高度依赖于良好的初始化。与这些局部方法相反,对于刚性形状匹配问题,也存在全局方法,例如。基于半定规划松弛[25],或基于分支定界算法[29,51]。这些形状匹配方法的缺点是它们具有基于刚体变换的两个形状可以对齐的强烈假设。然而,在实践中,这一假设经常被违反,因此非刚性形状匹配方法更合适,我们将在下面讨论。功 能 图 。 等 距 形 状 匹 配 的 流 行 范 例 是 功 能 图(FM)[30,18,32],其定义了用于将功能从从源到目标形状。 虽然FM被证明是等距形状匹配的强大工具,但它们也有一些缺点:它们对噪音敏感,图2.将我们的配方、QAP和减少的QAP (cf. 搜索空间 的减少在Supp. Mat. )当用MOSEK [2]解决时。受对称性的影响,从FM获得的点到点映射既不能保证是光滑的,也不能保证是单射的,并且它们不适合于严重的非等距。应用于光谱嵌入(通过FM获得)的刚性形状匹配方法也可用于等距匹配,例如PM-SDP [25]中所然而,在这种情况下,上述缺点也适用。二次分配问题。非刚性形状匹配的另一种流行方法是基于二次分配问题(QAP)(或图匹配)[24]的公式,其目标是具有小失真的非刚性变形在离散设置中,这可以被表述为以这样的方式匹配两个形状之间的顶点,使得成对测地线距离(或类似的量)由顶点到顶点的对应性(适当地)保持。QAP被认为是NP难的[33],因此大多数解决方案都是基于启发式方法,而没有正式的保证,例如。[22 ]第20段。还有基于凸松弛的更有原则的方法,包括无提升[52,13,5]和基于提升的松弛[38,45,20]。然而,它们并不能保证找到原始非凸问题的全局最优解,因为它们依赖于某种舍入过程来获得二元解。全局最优QAP求解器基于组合搜索,例如,通过分支定界[3],这些方法在变量数量上呈指数级增长。与QAP类似,我们的方法也考虑了匹配的空间背景,但我们证明,在实践中,我们提出的公式求解速度要快得多,参见。图二.我们认为这是因为我们的公式具有特殊的结构(基于我们的稀疏变形模型),可以更有效地被组合求解器利用。全局非刚性匹配。通过在图中寻找最短路径或基于动态规划的方法,可以使某些匹配问题得到全局最优解。这些包括将2D形状(轮廓)与2D图像匹配[11,14,39],或将2D轮廓与3D形状匹配[21]。例如,如[4]中所指出的,在3D中非刚性地匹配两个对象是一个明显更困难的问题,因为它不允许这样的公式化。在[50]中,基于线性规划公式解决了两个3D网格的弹性匹配。但是,该公式对网格三角剖分敏感,需要较大的最大时间预算减少QAP QAP Ours时间[h]13828二进制变量的数量,并且由于松弛的非紧密性,它依赖于复杂的舍入技术,在此之后,不能再保证全局最优性。在[10]中,作者提出了一种通过消息传递解决的非刚性配准的凸公式。这种方法需要一个外在的术语,以消除内在的对称性,这在实践中意味着,两个形状之间的初始对齐是必不可少的,从而减轻了凸公式的优点。局部非刚性匹配。与此类似,局部细化技术也依赖于良好的匹配初始化。这样的方法包括[48,47]和[26],其中给定的虽然[48]依赖于QAP公式,但在[26]中,基于FM的频谱方法用于分层上采样。节中4.3我们证明了我们的方法可以用作此类方法的初始化。在[42]中,作者提出了一种基于每三角形仿射变换的非刚性变形模型。在这个框架内,他们也提出了一个对应的问题,然而,这需要一个良好的初始对齐两个形状之间,以使优化问题良定。此外,由于问题是非凸的,一般只能找到局部最优解。在我们的工作中,我们利用了类似的变形模型,但是(i)我们以适定性的方式来描述问题,而不需要初始形状对齐,以及(ii)我们执行全局优化。基于学习的匹配形状匹配也已经用机器学习技术来解决,例如。使用随机森林[36],监督深度功能图[23],在自或无监督设置中训练的深度功能图[17,37],或使用PointNet [31]学习点云对应关系[16]。不可否认,机器学习有可能解决形状匹配中的许多开放性挑战,例如。用于学习适当的形状表示。在过去,已经证明组合形状匹配受益于学习的深度特征[4],并且将组合优化求解器嵌入到神经网络中(“可微编程”)为解决一系列有趣的匹配问题开辟了新的 我们认为在将来,我们的方法也可以适用于利用这种协同作用,因此认为它与基于学习的方法正交凸混合整数规划混合整数规划是指同时涉及连续变量和离散变量的优化问题。它们的优点是非常灵活,可以对各种复杂问题进行建模。例如,它们可以用于离散困难的非凸问题,如施加旋转矩阵约束的公式,或用于措辞匹配问题与二进制变量。然而,缺点是MIP问题的搜索空间在离散变量的数量上具有指数大小,因此,一般来说,很难将大型问题求解到全局最优。凸混合整数规划是指对固定整数变量为凸的MIP问题的一个子类。一个主要的优点是,对于这类问题,存在有效的分支定界求解器,全局优化这些问题。虽然事实上,这些求解器有一个最坏的情况下的运行时间是指数的整数变量的数量,在这项工作中,我们证明了解决非刚性形状匹配使用凸MIP重构是易于处理的(大多数)实际情况。3. 非刚性形状匹配首先,我们总结一下我们的符号。 对于整数i ∈N,我们定义[i]:={1,. . .,n}。对于矩阵X∈R p×q和整数x集I∈[p],我们使用XI∈R|我|×q表示| 由 I 选 择 的 X 的 rw 。 |rowsofXselectedbyI. 1n和1n表示n-矩阵和向量不等式是按元素理解的。设X和Y是三维空间中黎曼二维流形的离散化三角曲面网格。请注意,稍后在SEC。4.4我们还将讨论Y是点云的情况。我们的目标是找到一个非-刚性变形τ,将形状X转换为τ(X),使得它与形状Y很好地对齐,参见问题(1).为了便于计算,我们使用X ∈RnX×3和Y ∈RnY×3是指分别包含形状X和Y的n个X和n个Y3D顶点位置的矩阵此外,设FX∈[nX]fX×3是对X的三角形面进行编码的矩阵,其中fX是三角形的数目3.1. 非刚性变形模型我们通过对每个三角形应用仿射变换来模拟X的非刚性变形 结合在适当的网格一致性约束下,各个每三角形仿射变形全局地构成非刚性变形。尽管之前已经引入了相关的变形模型[41,42,4,43],但它们尚未用于非刚性形状匹配的全局优化仿射每三角形变换。为了第一次-texXi我们根据下式定义非刚性变形τp:其相邻三角形P为τp(Xi):=(Xi−cp)Qp+cp+tp,(2)其中cp∈R1×3是未变形形状X中第p个三角形的质心, Qp∈R3×3是线性变换, tp∈R1×3是平移。因此,我们首先将给定顶点居中,应用线性变换,撤消集中,并最终将其转化为全球位置。网格一致性约束。为了确保一致的网格变形,我们施加约束τp(Xi)=τq(Xi) n∈[nX],p∈Ni,q∈Ni,(3)13829J不图3.变形τ的图示,其中每个三角形经历仿射变换。一致性约束意味着变换后的Xi是相同的,无论它是否对p∈Ni和q∈Ni,用τp或τq变换。其中,Ni∈[fX]是X中与顶点i相邻的所有三角形的集合,参见。图3 .第三章。约束(3)的目的是强制给定顶点Xi被变换到相同的位置,而不管其相邻顶点Xi的哪种变换。应用三角形,从而确保三角形拓扑通过变形得以保留。3.2. 混合型非刚性形状对齐低维对应模型。我们的非刚性变形τ由低维离散模型间接定义。为此,形状顶点的子集被用作控制点,它们由矩阵XI∈Ru×3和YJ∈RV×3表示。在这里,u:=|我|v:=|J|表示控制器总数点,I[nX]和J[nY]表示从原始形状中选择控制点的索引集形状. 在[43]中,对于形状的交互式操纵,也采用了类似的方法,然而,假设对于XI的每个控制点,Y J的控制点是已知的。相比之下,对更难的形状匹配问题感兴趣,lem,其中控制点之间的对应关系是未知的,而且,对于XI中的每个点,甚至可能不存在YJ中的精确对应物。凸多面体曲面近似。 我们支持-X图4. X(左)的控制点与Y(右)的凸多面体相匹配的插图。颜色表示控制点和凸多面体之间的对应关系。有关如何获得多面体的详细信息,请参见Supp。Mat.通信术语。我们通过建立控制点XI和的凸多面体之间的对应关系来解决非刚性形状匹配问题。与此同时,要确保所产生的非刚性变形τ是现在,让我们假设u≤v,并且XI的每个控制点都与Y的一个凸多面体匹配。此外,我们还允许X的多个控制点可以匹配到Y的同一凸多面体。我们使用矩阵P∈Puv对这些匹配约束进行建模,其中我们定义P uv:={P∈{0,1}u×v:P1v= 1u}.(四)元素Pij=1意味着XI的第i个控制点与Y的第j个凸多面体相匹配.后来,在SEC。4.4,我们还将提出更一般的公式当X上的一些控制点在Y上没有对应点时,也允许匹配形状。由于X I 上 有u个 控制点,每个控制点都与Y上的v个凸多面体中的一个相匹配,对每个i∈[u],j∈[v],我们引入一个连续的x组合权向量αij∈R1×dj. 这里,i是控件的索引xX的点I和j是X的凸x多面体的指数x,Y.通过定义d:=vd,Z:=[Z T,. . .,Z T]T∈Rd×3,提出解决问题,可能不存在确切的控制点之间的对应物如下:而不是将XI的控制点直接匹配到YJ的控制点,我们将X I的点匹配到局部近似Y的表面的convex xpolyhed r a,参见图。4.第一章 为此,我们将一个凸多面体与YJ的每个控制点相关联,我们使用矩阵Zj∈Rdj×3表示,其中j ∈ [v]。这里,Zj的每一行都包含Y上第j个多面体的dj∈ N个顶点(角点)中的一个。作为这样,位于凸多面体内部的任何点都可以被指定为Zj行的凸组合,即, 其中dj维向量θ满足凸组合约束θ≥0dj和θ1d= 1.我们注意到,这种点到多面体的匹配是一个严格的推广点到点匹配,因为后者是实现为dj=1。 使用这个公式可以找到一个匹配的be-当只存在一个近似值时,j=11v以及凸组合权重α:=[αij]i∈[u],j∈[v]∈Ru×d,(5)我们将对应项建模为fcorr ( τ , P ) : =λc <$τ ( XI ) −αZ<$.(六)此 外 ,我 们 还对i ∈ [ u ] ,j ∈ [ v ] ,设 α≥0 ,α1d=1u,α ij1dj ≤Pi j. 因此,我们可以使用线性等式来有效地强制约束x组合和匹配约束。这样,(u×3)维矩阵αZ包含位于凸多面体内部的点,其中每个点的u行对应于变换后的控制点矩阵τ(XI)∈Ru×3的相应行。此外,为了避免多个控制点被视为-一个凸多面体的同一个顶点,我们im-提出 柔软的ud在两个形状上的控制点之间配对内射性约束强制执行Y13830线性对数α的每一列最多为1。因此,如果列中的(单个)元素正好是一个,则仅将该控制点分配给凸多面体的相应顶点如果α列中的元素严格小于1,则将所有相应的控制点分配给非极值点0.204 816b(箱数)21.510.54 816b(箱数)10.950.94 816b(箱数)从而防止多个控制点匹配到多面体的同一顶点。我们用符号(α,P)∈Γ来表示本段中介绍的四个约束。总的来说,对应项的目的是使差异最小化,变换形状的控制点之间的距离τ(XI)和它们对应的Y的共凸x多面体。变形调节剂。为了正则化变形τ,我们将(2)中的每个线性变换Qp分解为旋转矩阵R∈SO(3)和一个(小的)一般线性部分Tp∈R3×3,使得(2)中的τp变为τ p(Xi):=(Xi−c p)(R+T p)+c p+t p。(7)使用加性因子分解Qp=R+Tp的目的(with是为了确保全局形状变形-mationτ ( 近 似 ) 保 持 X 的 形 态 。 这 与 尽 可 能 刚 性(ARAP)具有类似的效果模型[41],但只需要一个旋转矩阵COM到fX旋转矩阵中使用的ARAP。为了保持线性部分Tp较小,我们将刚性损失施加为图5.相对加速度w.r.t. 线性的,和determi,R的线性和对数编码的SO(3)离散化。我们假设所有权重λ·≥0。网格的一致性和Γ约束对变量P,R,α,Tp是仿射的和tp,所有的目标函数项f·都是仿射变换与Frobenius范数的合成,因此它们是凸的.然而,由于对P施加的二元约束,以及非凸二次等式,约束R∈SO(3),则整个问题是非凸的。凸混合整数公式。为了将问题(11)转换为凸MIP问题,我们使用一个片段-明智的线性近似的SO(3)约束的基础上二进制变量,见补充。Mat. [12]为了保持二进制变量的数量较小,我们使用有效的格雷编码用于分段线性近似,参见。[49],使得二进制变量的数量在离散化箱B的数量中是对数的。这里的主要思想是利用更有效的表示,其需要更少的二元变量,从而允许更有效的优化。特别地,这导致6·10g2(b)个二进制变量,与用于简单线性编码的6·b二进制变量相反frigid(τ):= λr¨ [T1,. - 是的- 是的 ,TfX]<$.(八)此外,为了实现局部光滑变形,我们引入了光滑损失在图5中,我们将我们使用的对数编码与线性编码进行了比较,其中可以看出对数编码需要更少的计算时间,并且当b=4时,得到的矩阵已经非常接近1。fsmth(τ):= λs¨ [ω1<$1,. - 是的- 是的 ,ω| E|∆| E|],(9)其中E∈[fX]2表示X中所有相邻三角形对的集合,ωe是标量权重。对于e=(p,q)∈ E,使得三角形p和q是邻居,我们定义第e个平滑度残差为e=τ p(c q)−τ q(c q)=τ p(c q)−(c q+ tq)。(十)残差τe∈R1×3的目的是量化使用同一三角形的变换τq变换三角形质心cq变换τp定义为它的邻居三角形p。优化问题。 基于引入的术语和约束,我们的混合整数非刚性对齐(MINA)公式如下:4. 实验在本节中,我们提出了我们提出的MINA方法的实验评估。为此,我们将其与其他稀疏对应方法进行比较,我们分析了全局最优性的差距,我们证明了MINA可以用作密集形状匹配的初始化,并且我们展示了它在几个示例性设置上的灵活性我们在Supp.垫..4.1. 稀疏形状匹配在本节中,我们将我们的方法与其他在对之间执行稀疏匹配的方法进行比较的形状。特别地,我们考虑凸匹配arg minP,α,R,{Tp},{tp}fcorr(τ,P)+frigid(τ)+fsmth(τ)(11)方法PM-SDP [25]在一个严格的设置,稀疏博弈论的方法,由Rodola等人。[35]第35话和谐S.T.τp(Xi)=τq(Xi),P∈Puv,求解器时间[h]rel. 提速det(R)13831(α,P)∈Γ,R∈SO(3).漂移(CPD)算法[28](随机初始化),以及ChenKoltun的凸松弛[10]。因此,我们涵盖了广泛的形状匹配 范 例 , 包 括 刚 性 ( PM-SDP ) 和 非 刚 性 ( ChenKoltun ) 形 状 匹 配 的 凸 松 弛 , 局 部 非 刚 性 方 法(CPD),13832Rodola等人CPD PM-SDP Chen Koltun MINA我我我图6.从TOSCA数据集[9]的几个形状匹配实例的方法中获得的对应关系顶行中的X和底行中的Y之间的对应关系由具有对应颜色的点指示。10050猫10050半人马10050大卫4.2. 全局优化分析在这里,我们分析的差距,全局最优依赖于处理时间t的TOSCA形状匹配的情况下,在秒。4.1.为此,我们定义00 0.51狗10000 0.51大猩猩10001000 0.51马g(t)=1NΣi:ti≤t(1 −σrel),(12)5000 0.515000 0.515000 0.5 1其 中 , N 是 形 状 匹 配 对 的 总 数 ( 对 于 TOSCA ,N=71),ti表示第i个形状匹配问题的总求解时间,σrel是100迈克尔100维多利亚100狼第i个问题定义为σrel=|f−f|max(δ,|F|)(参见[2])。5000 0.515000 0.515000 0.5 1这里,f和f是ob的上界和下界问题(11)的MIP公式的目标值是小的数。图8(左)可以图7.每个图总结了不同TOSCA形状类别的正确匹配百分比。水平轴示出了测地误差阈值,并且垂直轴示出了小于或等于该误差的匹配的百分比。和一种考虑二次分配可以看出,在1小时(我们的MIP求解器的时间预算)之后,g的值达到0。98,即平均而言,解接近于全局最优(值为1意味着所有实例都被求解为全局最优)。1小时后,对于82%的情况,我们证明了全局最优性,见图。8(右)。问题公式化(Rodola et al.)。在这组实验中,我们使用[19]中的稀疏点来匹配TOSCA数据集[9]中的形状对。因此,我们直接匹配X上的控制点到Y上的控制点,当我们-使用我们的MIN A方法(即,dj=1,其中j∈[v])。10.50全局最优性0 0.51时间[h]100500全局最优性0 0.51时间[h]在图6中,我们显示了从我们的方法中获得的各种形状匹配对的对应关系。在图7中,我们显示了定量结果,其中我们总结了TOSCA数据集中每个形状类的正确匹配的百分比年龄(相对于给定控制点的数量可以看出,我们的MINA方法通常优于其他稀疏匹配方法。较小测地线阈值的较低分数是由于我们的稀疏建模而产生的,因为匹配只能像稀疏控制点所允许的那样精确由于Rodola等人的方法。[35]不匹配所有给定点,则相应曲线未达到100%。此外,PM-SDP的性能表明,刚性匹配设置是过于限制。其他结果可以在Supp. Mat.图8.最优性差距(左)和已解决实例的比例全局最优性(右)取决于求解器运行时。4.3. 密集形状匹配接下来,我们证明了我们的方法可以用来获得一个合适的初始化稠密对应方法。由于密集非刚性匹配方法高度依赖于初始化(即使是凸方法[10]也需要良好的初始对准,参见秒2),关键是要有一个良好的初始化。对于这些实验,我们使用乘积流形滤波器(PMF)[48]从给定的稀疏匹配中获得密集匹配为了获得初始稀疏匹配,除了我们的MINA方法之外,我们还考虑G最佳百分比13833了一个随机的13834图9.不同稀疏匹配的比较(随机,PM-SDP [25],Rodola等人。[35],MINA),用作PMF的初始化[48]以获得密集匹配。第一行显示参考形状,其他行显示相应方法的颜色编码密集对应关系。匹配,通过PM-SDP [25]获得的刚性对准,以及Rodola等人的方法。[35 ]第35段。与前面的部分不同,这里我们基于测地线最远点采样(FPS)提取我们想要匹配的稀疏点,FPS获得形状上控制点的(近似)均匀采样在图9中,我们显示了TOSCA数据集[9](猫,狗,狼,人),SHREC水密数据集[15](眼镜,泰迪熊,猪),FAUST数据集[8](人)和SCAPE数据集[1](人)的形状的使用随机初始化(第二行)在所有情况下都失败,因此确认了PMF对其初始化的依赖性。尽管PM-SDP找到了全局最优(凸松弛的),但是刚性变形模型受到太多限制,因此不能为非刚性形状匹配(第三行)产生可靠的密集对应Rodola等人的方法。[35]对于几种情况(第四行)工作良好,但由于其初始化依赖性和潜在的方向翻转,它也导致了几个错误的匹配。我们发现,对于各种类型的匹配问题,包括强非刚性变形(猫在第一列),或对象间匹配,ing(第二列中的狗),我们的MINA方法提供了最可靠的初始化(最后一行)。尽管在许多情况下MINA能够正确地处理自对称性,但是对于所有考虑的方法来说,这种对称性形成了特别的困难,因此可能导致错误的匹配(最后两列)。另一个困难是剧烈的非刚性变形(狗在倒数第四列)。4.4. MINA配方接下来,我们通过以概念验证的方式解决形状匹配公式的几个变体来展示我们的MINA模型的灵活性离群拒绝。到目前为止,我们假设对于每个控制点XI,在Y上存在一个对应的凸多面体。为了所有ow,一些控制点的XI是不匹配的凸多面体的Y,我们建议使用离群拒绝机制,其中多达n出的控制点可以保持不匹配。为此,我们将(6)中的对应项fcorr替换为fcorr:=λcτ(XI)−αZ+,(13)其中∈ R u×3是稀疏误差变量,且0≤nout。米娜Rodola等人PM-SDP随机参考13835u无离群值拒绝与离群值拒绝XYXY图10.左:没有离群拒绝,狗的大腿上部与狼的脖子匹配(红色箭头)。右:我们的离群值剔除变体(13)有效地忽略了此控制点不一致性(X上的不匹配点以黑色显示)。在这里,我们使用·0来表示按行的0范数,它计算非零行的总数。为了将N0-范数建模为MIP,我们引入离群指标变量δ∈{0,1}u,其中我们强制1Tδ≤nout。此外,委员会认为,我们利用这两种形状在空间上有界的,这意味着有界的对应误差。有了它,我们就可以用线性连续性来加强稀疏性应变−δi M1T≤εi≤δi M1T对于足够大的(位置-允许匹配Pst或Ppq中的5. 讨论局限性虽然我们提出的MINA方法具有一系列理想的属性,包括其高灵活性,由于低维匹配表示或其初始化独立性而具有易处理性(在实践中),但我们的目标是在未来解决一些开放点节中4.4我们演示了MINA能够将网格与真实世界的点云数据进行匹配。考虑到严重混乱的数据,参见。[34],或者将形状与其他数据表示(例如,多边形汤)是有趣的后续步骤。一个突出的优势,我们的配方是,单独使用几何性质已经取得了良好的效果。然而,额外地结合特征描述符,如通常用于形状匹配所做的,是简单的,并且可以用于进一步提高匹配性能。3 3(Positive)numberM. 因此,当δi=1时,第i个con-i控制点不会对项fcorr 产生 任何 误差,因为i将补偿(τ(XI))i和(αZ)i之间的差异。 图10我们将我们的原始公式与离群值拒绝机制进行比较,即使两个形状之间的控制点不一致,也可以匹配形状对。形状到点云匹配。我们使用MINA将人体网格(来自[1])与我们使用TreedyScan全身扫描仪获得的真实点云进行匹配。使用手动指定的边界框裁剪原始点云,下采样到约10k个点,并进行降噪。使用测地线FPS对控制点进行采样,其中我们使用最近邻图来计算点云上的测地线(并估计法线)。对于这个实验,我们强调P是内射匹配,即我们征收1TP ≤1T。 在图1(中间可扩展性。我们的MINA配方可以解决非刚性形状匹配问题与u,v是102阶。理想情况下,人们将能够解决匹配问题与控制点的更密集的采样,使更严重的非刚性变形可以准确地建模。尽管与QAP公式相比,我们获得了显著的可扩展性改进,如图2所示,计算时间的进一步减少将是有益的。多匹配。所提出的MINA制定措辞匹配对的形状。我们相信,多匹配问题也将受益于相关的配方。实现这一点的一种潜在方法是考虑所有成对匹配问题(以对称方式),并使用循环一致性约束将这些问题耦合起来,例如:与[44,6]类似。6. 结论u v左)我们显示了结果匹配,这证实了,我们的方法在这种情况下效果很好。不同的拓扑结构。我们使用MINA来匹配两个具有不同拓扑结构的人体形状,如图所示。1(右中),其中X中的手没有接触,而Y中的手接触,如由两只手之间的测地线路径所示为红线。在这里,我们使用测地线FPS对控制点进行采样。部分形状匹配:我们还将部分形状与完整形状进行匹配,如图所示。1(右)。这里,我们使用测地线FPS对控制点进行采样,并且我们强制P是内射匹配,如上所述有界失真匹配。我们的配方还允许绑定匹配的最大失真。这可以通过施加线性约束来实现Pst+Ppq≤1,其中x上点s,p和y上点t,q之间的测地距离超过最大允许失真。与此同时,在我们已经提出了一个非刚性形状匹配问题的凸MIP公式,并且我们已经证明,在(大多数)实际情况下,找到全局最优值是容易的(见图1)。(八)。总体而言,我们的配方具有一系列优势:(i)与经常使用的QAP公式相比,它更有效地解决全局最优问题(图11)。2),(ii)它是初始化独立的,(iii)它能够获得合适的初始化密集形状匹配方法(节。4.3),和(iv)它是高度灵活的类型的非刚性形状匹配问题,它可以处理(节。4.4)。虽然MIP公式在计算机视觉中的匹配问题中经常被回避(由于其高计算复杂性),但在这项工作中,我们已经表明,一个合适的问题特定的建模确实允许解决非刚性形状匹配问题作为MIP。鸣谢:这项工作由ERC Consolidator Grant 770784资助。13836引用[1] Dragomir Anguelov 、 Praveen Srinivasan 、 DaphneKoller、Se- bastian Thrun、Jim Rodgers和James Davis。Scape:人物的形状完成和动画。SIGGRAPH,2005年。七、八[2] MOSEK ApS. 用于MAT的MOSEK优化工具箱-实验室手册。版本9.0。,2019年。二、六[3] Mokhtar S Bazaraa和Alwalid N Elshafei。二次分配问题的精确分枝定界方法。海军研究后勤季刊,26(1):109- 121,1979年。2[4] Florian Bernard , Frank R Schmidt, Johan Thunberg ,and Daniel Cremers.非刚性三维形状与图像匹配的组合解决方案。在CVPR,2017年。二、三[5] Florian Bernard Christian Theobalt 和 Michael MoellerDS*:二次匹配问题的紧无提升凸松弛在CVPR,2018年。2[6] Florian Bernard,Johan Thunberg,Paul Swoboda,andChris-tian Theobalt.Hippi:高阶投影功率迭代,用于可扩展的多匹配。在ICCV,2019年。8[7] Paul J Besl和Neil D McKay。三维形状配准方法。在SensorfusionIV : controlparadigmsanddatastructures,第1611卷,第586国际光学与光子学会,1992年。2[8] Federica Bogo , Javier Romero , Matthew Loper , andMichael J.黑色. FAUST:3D网格配准的数据集和评估。CVPR,2014。7[9] 亚历山大·布朗斯坦,迈克尔·布朗斯坦,和罗恩·基梅尔。非刚性梁的数值几何。施普林格出版公司,股份有限公司,第1版,2008年。六、七[10] Qifeng Chen和Vladlen Koltun。鲁棒非刚性配准的凸优化。CVPR,2015。三五六[11] James Coughlan , Alan Yuille , Camper English 和 DanSnow。高效的可变形模板检测和定位,无需用户初始化。计算机视觉与图像理解,78(3):303-319,2000。2[12] Hongkai Dai,Gregory Izatt,and Russ Tedrake.通过混合整数凸优化的全局逆运动学国际机器人研究杂志,2017年5月。5[13] Nadav Dym,Haggai Maron,and Yaron Lipman. DS++ -一个灵活的,可扩展的和可证明的紧松弛匹配问题。ACM Transactions on Graphics(TOG),36(6),2017。2[14] Pedro F Felzenszwalb. 可 变 形 形 状 的 表 示 和 检 测 。TPAMI,27(2):208-220,2005. 2[15] Daniela Giorgi Silvia Biasotti和Laura Paraboschi。2007年形状检索竞赛:2007年的防水模型赛道。7[16] Thibault Groueix、Matthew Fisher、Vladimir G Kim、Bryan C Russell和Mathieu Aubry。用于形状匹配的无监督循环一致变形。在计算机图形论坛,第38卷,第123-133页,2019年。3[17] Oshri Halimi , Or Litany , Emanuele Rodola , Alex MBron-stein,and Ron Kimmel.密集形状对应的无监督学习。在CVPR,2019年。3[18] Ruqi Huang和Maks Ovsjanikov。用于形状分析和匹配的伴随映射表示在计算机图形论坛,第36卷,第151-163页213837[19] 弗 拉 基 米 尔 ·G Kim , Yaron Lipman , and ThomasFunkhouser. 混 合 内 在 贴 图 。 ACM Transactions onGraphics(TOG),30(4),2011. 6[20] 杨明,李晓刚,李晓刚,等.求解非线性规划问题的一种新算法.北京:清华大学出版社,2001.SIAM Journalon Imaging Sciences,12(2):716-735,2019。2[21] ZorahLahner,EmanueleRodola,FrankRSchmidt,Michael M Bronstein,and Daniel Cremers.高效的全局最优2d到3d可变形形状匹配。在CVPR,2016年。2[22] DKh u eL e-Huu和Ni k osParagios。交替方向图匹配。在CVPR,2017年。2[23] 或 者 Litany , Tal Remez , Emanuele Rodola , AlexBronstein和Michael Bronstein。深层功能图:密集形状对应的结构化预测。在CVPR,2017年。3[24] Eliane Maria Loiola、Nair Maria Maia de Abreu、PauloOswaldo Boaventura Netto 、 Peter Hahn 和 Tania MaiaQuerido。二次指派问题研究综述欧洲运筹学杂志,176(2):657-690,2007。2[25] Haggai Maron , Nadav Dym , Itay Kezurer , ShaharKovalsky,and Yaron Lipman.通过有效的凸松弛进行点配准。ACM Transactions on Graphics(TOG),35(4):73,2016.二、五、七[26] 我 是 一 个 Melzi , JingRen , EmanueleRodola` ,AbhishekSharma,Peter Wonka和Maks Ovsjanikov。缩小:光谱上采样,实现高效的形状对应。ACM Transactions on Graphics ( TOG ) , 38 ( 6 ) ,2019。3[27] 贡萨洛·梅纳,大卫·贝朗格,斯科特·林德曼,贾斯珀·斯诺克。用Gumbel-Sinkhorn网络学习潜在排列。在ICLR,2018年。3[28] 安德烈·米罗年科和宋旭波。 点集配准:相干点漂移。TPAMI,32(12):2262-2275,2010.二、五[29] Carl Olsson Fredrik Kahl和Magnus Oskarsson。欧氏配准问题的分枝定界法。TPAMI,31(5):783-794,2008. 2[30] Maks Ovsjanikov、Mirela Ben-Chen、Justin Solomon、Adrian Butscher和Leonidas Guibas。功能图:形状之间映 射 的 灵 活 表 示 。 ACM Transactions on Graphics(TOG),31(4):30,2012. 2[31] Charles R Qi,Hao Su,Kai
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- WebLogic集群配置与管理实战指南
- AIX5.3上安装Weblogic 9.2详细步骤
- 面向对象编程模拟试题详解与解析
- Flex+FMS2.0中文教程:开发流媒体应用的实践指南
- PID调节深入解析:从入门到精通
- 数字水印技术:保护版权的新防线
- 8位数码管显示24小时制数字电子钟程序设计
- Mhdd免费版详细使用教程:硬盘检测与坏道屏蔽
- 操作系统期末复习指南:进程、线程与系统调用详解
- Cognos8性能优化指南:软件参数与报表设计调优
- Cognos8开发入门:从Transformer到ReportStudio
- Cisco 6509交换机配置全面指南
- C#入门:XML基础教程与实例解析
- Matlab振动分析详解:从单自由度到6自由度模型
- Eclipse JDT中的ASTParser详解与核心类介绍
- Java程序员必备资源网站大全
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功