联合映射与对称同步中的地图优化问题

联合映射与对称同步*孙一凡1，* 梁振笑1， 2，*黄相如1，黄七星1德克萨斯大学奥斯汀分校2清华大学{yifan，liangzx，xrhuang，huangqx} @ cs.utexas.edu抽象。地图计算中的大多数现有技术（例如，以特征或密集对应的形式）假设对象对之间的底层映射是唯一的。然而，当视觉对象具有自对称性时，这一假设很容易被打破。在本文中，我们研究的问题，共同优化对称群和成对的映射之间的对称对象的集合。我们介绍了一个提升映射表示编码对称群和映射之间的对称群。 基于这种表示，我们介绍了一个计算框架，联合对称性和地图同步。实验结果表明，这种方法优于国家的最先进的方法，从一个单一的对象，以及联合地图优化对象集合之间的对称性检测关键词：对应，对称群，圈一致性，优化1介绍建立跨视觉对象的映射是视觉计算中的一个长期存在的问题，在运动恢复结构[3，9]、联合分割[48，49]和标签/属性转移[2，31，50]等方面具有丰富的应用。虽然早期的工作集中在计算孤立的对象对之间的映射（参见图10）。[21]），最近的趋势是跨对象集合联合计算一致的映射[19，16，17，42，20，24，37，38，5，66，67，51，29]。这是由以下事实激发的多视图运动恢复结构[54，8]和共分割[60，56]）需要一致的对应关系，以及（ii）优化一致的映射使我们能够改进在隔离的对象对之间计算的映射（参见图10）。[16]）。这些方法的承诺是，不相似对象之间的成对映射通常可以通过沿着相似对象的路径组合映射来改进然而，所有现有的联合地图优化技术都假设两个视觉对象之间只有一个底层地图。事实证明，这种假设在许多情况下都不成立。特别地，当底层对象是对称的时，在每个对象对之间存在多个似然映射。这引入了对象对之间的映射计算和优化跨多个对象的一致映射的问题。解决2孙Y.，梁Z黄X黄Q图1.一、从互联网图像的类别特定重建（a）具有匹配的边缘特征点的输入图像的子集(b)使用我们的方法重建。颜色编码突出显示恢复的对称群。在这个问题上，一种直接的方法是首先检测每个对象的潜在自对称群，然后在因子空间或商空间中执行匹配（参见，[39]）。然而，这种方法不是最佳的，因为对称性检测是相当具有挑战性的（特别是对于对称部分可能被遮挡的图像），并且在对称性检测阶段中引入的误差不能在联合匹配阶段中恢复。在本文中，我们考虑的问题，联合优化的基本对称群和一致的成对映射。我们称这个问题为联合对称和地图同步。动机来自于对称性检测和地图计算高度相关的事实。除了计算底层对称群有助于地图计算的事实之外，地图还可以跨对象传播对称群，允许我们通过传播从其他对象计算的干净对称群来纠正从一个对象计算的有噪声的对称群为了制定联合对称和映射同步，我们提出了一种表示，使用乘积算子（在文献中也称为提升[27][18][23，58]）对对称群和成对映射进行编码。我们证明了对于我们物理世界中的许多对称群（例如，反射对称性和n重旋转对称性等），该表示允许精确对称群解码。此外，我们还证明了乘积算子产生的计算成本可以通过减少的函数基有效地解决[38]。使用这种表示，我们介绍了一个连续的优化制定联合对称和地图同步。输入由对称群和成对的映射独立计算使用现成的技术在每个域。输出由一致对称群和成对映射组成。我们的方法具有一些吸引人的特性。首先，输入对称群和成对映射可能是有噪声的和不完整的（例如，对象子集的一个输入自对称和对象对子集中的每对一个对象映射），并且我们的方法自动地校正、传播和完成对称群和成对映射。此外，当我们有足够的数据时，我们不需要指定基础对称群的类型它可以由输入数据自动确定，即，通过聚集输入对象之间的自对称性。联合映射与对称同步3我们在从2D图像到3D模型的各种对象集合上评估了我们的方法。实验结果表明，我们的方法优于国家的最先进的方法在联合地图计算从对象集合和对称群检测从每个对象隔离。2相关作品地图同步。对象匹配中的一个新兴焦点是在对象集合之间联合优化映射。直觉是，一对不同对象之间的映射可以通过沿着相似对象对的路径组合映射来获得。一种形式化这种直觉的方法是通过循环一致性约束，即，沿圈的复合映射应该是恒等映射。这导致了映射同步的问题，其将在隔离的对象对之间计算的映射作为输入，并且输出沿着周期一致的改进的映射。在[16]中，Huang和Guibas建立了循环一致性约束与以下事实之间的联系：在块中存储循环一致的成对映射的数据矩阵是低秩和/或半正定的。这项工作刺激了最近的几项工作，这些工作使用凸优化[16，5]和非凸优化[20，67，51，7]将映射同步制定为低秩矩阵恢复我们的方法也属于这一类。然而，重点是建立一个矩阵表示的联合映射和对称同步。共对称检测和匹配。对称性检测可以被认为是形状匹配的变体，其试图计算保留外在[36，44，22，52]或内在[40，28，65，46，45，25，64，63，62]距离的自映射。在这方面，对称性检测与成对匹配共享类似的限制，即，当潜在的对称性变得越来越近似时，现有方法倾向于中断。为了解决这个问题，我们建议，pose优化对称群之间的对象集合，以提高每个对象上的所得对称群据我们所知，关于这个主题的现有作品迄今为止都集中在单个对象对[33]提出检测反射对称轴以提高对应计算的性能。[39]介绍了第一种方法，用于在建立形状映射时因式分解出基础对称群然而，该方法仅考虑一对对象，并且不利用提升。此外，该公式需要指定潜在的对称群，或者换句话说，它不执行对称性和映射的联合推断。[57]提出了一种人工三维形状的关节结构恢复与匹配方法。该方法基于图匹配，因此需要基于部件的表示作为输入。通过提升进行匹配。我们的对称群编码方案的动机来自于二阶MAP推理的凸松弛的提升思想[27，18]。当使用与一阶势函数相关联的指标时，二阶势函数在这些指标变量中变为二次的。提升的思想是为每个二次项引入一个额外的变量4孙Y.，梁Z黄X黄QIJII图二.这个图用彩色看更好。对应的点具有相同的颜色。（左）该输入由每个形状一个自映射和每个对一个成对映射组成。在这里，我们显示了20个形状中的一个形状和380对中的一对。（右）我们的算法分别在相同形状和形状对上的输出。注意我们的方法不仅改进了对称群和成对映射，而且我们还通过传播自对称和映射来完成丢失的对称群和成对映射。使用这些额外的变量（其形成提升空间），目标函数变为线性的并且易于求解。提升思想也被用于对象匹配[23，14，58]。我们的表示的新颖性包括（1）解码方案，（2）对称群的类型，可以准确地恢复（稍后介绍），和（3）这种编码方案的各种属性，这将被用于制定联合映射和对称同步。3问题陈述和方法概述本节正式陈述了本文研究的联合映射和对称同步问题，并概述了我们的方法。问题陈述。假设我们有n个相关对象S1，···，Sn。在本文中，我们专注于对象是离散点集的情况（例如，图像像素[32]和从图像[34]或形状[30]提取的特征/采样点并且其中映射或自映射由逐点对应的集合给出我们假设这些对象是从一个底层的通用对象S0（也是一个点集），它拥有一个对称群。生成过程包括取子集和/或变形。此设置涵盖许多实际场景。例如，{Si}可以是对地下对象的部分观测（例如，在来自运动多视图结构中作为另一个例子，{Si}也可以是属于同一类别的对象（参见图2）。我们的方法的输入由噪声成对映射P组成：Si→ Sj，（i，j）∈ E，使用现成的方法沿着预先计算的边集E计算。特别地，E包括自循环，每个自循环与预先计算的自循环相关联。自映射P在：Si→Si中。我们的方法的输出由通用的如果S0被引用，则它是一个简单的组G（G是G的头），以生成非整数不杂乱的），以及针对每个对象Si的嵌入映射Pi〇：Si-S0。正如我们联合映射与对称同步5我们将在后面看到，从Si到Sj的成对映射是从{Pi0，1≤i≤n}导出的。和G.我们的方法的一个重要特征是它将不完整的观察（例如，每个对象对一个成对映射，而不管下面的对称群建议多个似真的成对映射的事实）。我们的方法的承诺来自于这样一个事实，即当在一个对象集合作为一个整体，每个元素的基础对称群和相应的所有成对的地图密集采样，提供足够的观察恢复之间的输入地图。方法概述。我们的方法的主要思想是开发一个矩阵表示的对称群和地图，这使我们能够制定联合地图和对称同步优化矩阵。一种简单的方法是使用二进制对应矩阵来编码对称群和成对映射中的对应。正如我们稍后将讨论的，当对称群的大小大于2时，这种表示是不够的。为了解决这个问题，我们建议使用乘积运算符进行编码。我们表明，我们提出的编码是无损的许多对称群。使用相同的思想，我们然后展示如何定义和编码嵌入映射Pi0，1≤i≤n和成对映射Pij，1≤i，j≤n。基于这种编码，我们提出了一个优化框架来恢复底层嵌入映射Pi0，1≤i≤n和自对称群G.为了解决由张量算子引起的计算开销，我们展示了如何使用缩减基（c. f.[38]）。4对称性与提升映射表示在本节中，我们展示了如何在基于点的表示下有效地编码对称群和成对映射。第4.1节描述如何编码对称群。第4.2节介绍了如何对部分相似的对称对象之间的映射进行编码。4.1对称群考虑由m个点组成的对象S。一个自映射由置换P∈[0，1]m×m给出，其中每行和每列恰好有一个非零项.我们用Pm设GPm表示与S相关的对称群。关于对称群的全面介绍，我们参考[11]了解更多细节。在本文中，我们感兴趣的对称群，其中最大轨道大小等于群大小：定义1. 设oG（i）∈ {1，···，m}表示对称群G中第i个元素的轨道3.我们称G为循环群，如果|G|= max1≤i≤m |.|.（一）3直观地说，轨道收集了从对称群中导出的对应6孙Y.，梁Z黄X黄Q121 2a，b请注意，循环群涵盖了我们物理世界中丰富的对称群家族例如，标准反射、n重旋转对称性和平移对称性（内在和外在意义上）可以在样本的适当放置下被描述为循环群。当考虑G的矩阵表示时，一种直接的方法是使用对应矩阵（维数为m×m）来编码从对称群诱导的所有对应。然而，这种编码的缺点是，当|G|> 2，则可能存在对应于相同编码的多个对称群。附录A中给出了一个这样的例子。为了解决这个问题，我们建议考虑使用张量运算符进行以下编码：Q：=P P∈{0，1}m2×m2.（二）P ∈GQ的一个关键性质是，当G是循环群时，则它可以从Q的元素中恢复：1.提案 如果对称群G是循环群，则它可以从Q的元素精确地恢复。为了证明prop。1（细节推迟到附录B.2），为了以后的使用，我们定义了以下线性算子，它将Q的元素混洗：定义2. 考虑矩阵A ∈ Rm2×m2. 让一个表示第（a，b）个元素矩阵A。定义F：Rm2×m2→Rm1m2×m1m2为F（A）i1m2+ i2， j1m2+ j2 =Ai 1 m 1 + j 1，i 2 m 2 + j 2，0 ≤ i1，j1 ≤ m1−1，0 ≤ i2，j2≤ m2−1。很容易检查F（Q）是低秩的：事实1. 设vec（P）=（pT，· · ·，pT）T∈Rm2 是展开1m列P =（p1，···，pm）∈ Rm×m. 然后ΣF（Q）=vec（P）·vec（P）T.（三）P ∈G证据见附录B.1。4.2对称群之间的映射我们继续定义和编码对称对象之间的映射。为了处理这种情况，其中两个被匹配的对象是底层完整对象的子集稍后，我们将展示如何将此设置扩展到部分相似对象之间正确定义的映射。让我们考虑一个源对象S1和一个目标对象S0（在本文中表示底层的通用对象为了定义从S1到S0的映射，我们引入潜在对象S1，其是（i）S1的超集，以及（ii）S0的副本，联合映射与对称同步72020I. 例如， |S1|为|S0|S1的对称组G1与S0的对称组G相同或相同。Our我们的目标是通过包含映射E1定义从S1到S0的映射：S1→S1以及从S1到S0的适当定义的映射：三楼的人。 G→G1是一个更简单的过程。我们有一个P10：S1→S0是适当的，如果P10·f1（P）= P·P10，P ∈ G.（四）换句话说，如果P10与基础对称群一致，它就是恰当的显然，每个映射P10诱导一个等价类{PP10，P∈G}.现在我们准备好定义从S1到S0的正确映射：定义4.我们说映射P10：S1→S0是真映射，如果存在S1S1和一个真映射P10：S1→S0使得P10= P 10·E1。（五）注意P10也导出等价类M10：={PP10，P∈G}.我们再次使用乘积运算符对M10进行编码：ΣQ10=P10∈ M10P10P10。（六）类似于对称群，我们有以下恢复条件：第二个提案。当G是一个循环群，且S1包含S1的极大轨道的一个元素时，则M10可以由（6）中描述的Q10的元素精确地恢复.该证明与命题1的证明类似，并被推迟到附录B.3。现在我们准备定义部分相似对象对（S1，S2）之间的映射定义5.若存在真映射，则称映射P12：S1→S2Pi0：Si→S0，因此P12= P TP10。（七）注意每个真映射P12都导出一个等价类M12：={PTPP10，P ∈ G}.（八）很容易检验M12与Pi0，1≤的特定选择无关i彡2。同样，我们使用张量积对M12进行Q12Σ：=P12∈M12P12（八）P12=（P20P20）TQ00（P10P10）的情况。（九）最后，我们引入F（Q12）的一个性质，我们将在后面使用：8孙Y.，梁Z黄X黄Q3号提案 当|oG（i）|为|G|，1 ≤ i ≤ m，则每个vec（P12）是F（Q12）的本征向量，即，F（Q12）vec（P12）=vec（P12）2·vec（P12），P12∈M12.（十）证明是直截了当的，作为M12的两个不同成员，它们的非零条目不重叠。在实践中，其中|oG（i）|<|保持较小（例如，|remains small (e.g., 1D反射轴上的点与整个图像上的点）。这意味着（10）至少近似满足。5基于泛函的联合映射与对称同步在本节中，我们介绍了一个计算框架，联合地图和对称同步。第5.1节描述了对称群和映射的广义表示。然后，第5.2节介绍了使用这种简化表示的有效方法。5.1对称性与用约化基表示地图Laplacian缩减基我们首先回顾离散对象之间编码映射的缩减基表示[38，61，47]。考虑一个有m个点的对象S，我们将S与一个正交矩阵B∈Rm×k相关联，该矩阵将S投影到由B的列所张成的特征空间上。在[38，61]之后，我们使用拉普拉斯矩阵的前k个特征向量，例如，图形拉普拉斯算子用于图像，拉普拉斯-贝尔特拉米用于3D网格。注意，可以使用其他基础计算方法，例如部分函数映射[47]。我们把它作为未来的工作。给定两个对象S1和S2以及相应的基B1和B2，我们将特征空间中从S1到S2的映射表示为矩阵X12∈Rk×k（文献[38]中称为函数映射给定一个基于点的映射P12：S1→S2，我们可以导出相应的函数映射为：X12：= argminXBT−BTP122= BTP12B1。（十一）X1 2F2在另一个方向上，我们转换一个功能地图X12到点地图P12通过最近邻查询关于行B1和B2。更准确地说，对于S1的第i个点，我们计算其目标点的索引为j= argminBTP12 e j− X12BTe i，4其中A e i提取A的第i列。2 1J给定底层的基于点的地图P12，该功能性地图编码如果存在一个线性映射X12使得BTP12≈X12BT，则该方案是精确的。2 14也可以通过求解线性分配来增强内射性。联合映射与对称同步9IJ在我们的实验中，我们发现使用k= 25的拉普拉斯基在离散对象之间提供了相当准确的编码。我们还将分析补充材料中不同k使用简化的函数基编码。使用约化基来编码对称群和对称群之间的映射与基于点的表示中的编码非常相似设B0是S0的基（如我们稍后所见，我们的算法将恢复S0和约化基B0。X00=BTPB0，X10=BTP10BT和X12=BTP12B1我们表示函数映射0 0 1 2分别表示P、P10和P12使用此设置，我们重写（2）、（6）和（9）的函数表示为Σ ΣY00：=（X00X00），Y10：=（X10X10），（12）P ∈G P10∈M 10Y12：=（X20X20）TY00（X10X10）。（十三）使用缩减拉普拉斯基的编码与使用基于点的表示共享许多属性如命题3中所讨论的，vec（P12）近似于Q12的特征向量。我们发现，在温和条件下（参见附录B.5的讨论），在约化基下，该性质也成立：F（Y12）vec（X12）≈ vec（X12）2 vec（X12）。 （十四）通过交替最小化进行解码。一旦我们已经获得了在缩减基下的编码Yi。，我们就通过交替最小化（参见图10）来恢复底层的函数映射和基于点的映射[38]）。从事实1的动机，功能地图被迫位于F（Yi0）的领先的本征空间由于篇幅所限，详情载于附录C。5.2联合映射与对称同步在本节中，我们描述了我们的方法，联合地图和对称同步使用上述开发 的 表 示 。 在 这 个 阶 段 ， 我 们 假 设 我 们 已 经 计 算 了 约 化 基 Bi ，1≤i≤n。我们还假设我们已经计算了沿着边集E的初始函数映射X，（i，j）∈ E。输入映射和边集都由现成的方法指定，我们将在第6节中讨论它们。我们的目标是恢复潜在的普遍对象S0，它的对称群G0，以及映射Pi0：Si→S0。我们的方法包括一个同步步骤和提取步骤。同步。我们引入一个n×n分块矩阵Y∈Rnk2×nk2，e_n_c_d_e_c_e_d_e_ 例如， Yijc或respondstoj-tro j类似于基于点的表示，Y是低秩的。看到1引入Zi=Y2（Xi0Xi0），1≤i≤n.令Z=（ZT，···，ZT）T。00 1n（13）使Y = ZZT。（十五）我们建议利用数值优化来获得Y和Z。具体地，通过组合（15）和（14），我们得到以下目标函数10孙Y.，梁Z黄X黄Q我我n我F回收率：min Σ F（Y）vec（Xin）−vec（Xin）2vec（Xin）+λY−ZZT2（十六）Y和Zijij（i，j）∈Eij ij F其中F是Frobenius范数。注意，我们使用逐块L1范数来抑制输入中的噪声。我们设置λ=1在我们的实验中在这在本文中，我们结合谱初始化和重新加权非线性最小二乘来求解（16）。详情参见附录D。译码由于我们的目标是恢复底层对象S0，因此仅恢复配对就可以在效率上 映 射 Yij。在 计算中，我们可以看到k=0 ，1≤i ≤ n和Y00。 设Z为（16）的最优解。若Z是一个正合恢复，则存在V∈Rk2×k2，使得V·ZT=Xi0Xi0，1≤i≤n，Y00 =V−1T V −1。（十七）对于解码，我们建立以下目标函数以恢复V和Xi0，1≤i≤n：minV，Xi0，1≤i≤nΣni=1V·Z-Xi0Xi02F +µV−Ik22（十八）其中引入第二项以避免获得平凡解V=0，Xi0= 0，1 ≤ i ≤ n。在我们的实验中，我们使用µ = 10 −3。 我们再次执行交替最小化以求解（18）。详情请参阅附录E由于Xi0将与Si相关联的特征空间与潜在通用对象S0的特征空间对齐，因此我们对Xi0BT，1 ≤ i ≤ n的列应用聚类以恢复B0，这也指定了S0。在我们的实验中，我们使用单链接聚类，并将聚类的总数设置为m。我们丢弃所有大小小于3的聚类。每个聚类中心对应于B0的一列。最后，我们应用（20）中描述的解码方案来恢复基础对称群G。6结果在本节中，我们评估了我们在2D图像（第6.1节）和3D形状（第6.2节）上进行联合映射和对称同步的方法。6.12D图像实验设置。如图1和图3所示，我们考虑从相似但不同的对象的多视图重建通用稀疏3D点云的应用[67，4，59]（即，类别特定重建）。重建的关键任务是在多个图像之间建立一致的特征对应。在我们的实验中，我们分享了这个一般的动机，但专注于对称对象。在这方面，我们收集了两个数据集。第一数据集由16个具有相似性的粪便对象的图像组成。√联合映射与对称同步11图3.第三章。从互联网图像的类别特定重建（a）具有匹配的边缘特征点的输入图像的子集(b)使用我们的方法重建。颜色编码突出显示恢复的对称群。四向旋转对称（见图1）。第二个数据集由16个类似垃圾箱对象的图像组成（参见图3）。对于这两个数据集，我们注释关键点以评估特征对应性。完整的数据集和注释的特征对应关系包含在附录H中。与[67，4，59]相同，我们假设底层对象被分割出来。此外，我们还对[67]中的轿车和SUV进行了评估。我们使用这两个数据集来比较我们的方法与标准的联合映射优化方法，不明确考虑潜在的对称群。我们遵循[67]中描述的过程，该过程分别应用结构森林[12]和图匹配[6]来生成特征点并执行成对匹配。我们利用的缩减基是成对匹配中使用的图的未归一化图拉普拉斯算子的前k= 25个特征向量（更多细节参见[6]对于Stool和TrashContainer，我们还应用此过程将每个图像与其自身进行匹配，这给出了自映射。为了测试我们算法在对称检测上的改进是否与不同的输入对称性一致，我们还评估了应用[13]进行对称检测（我们使用相同的过程来排除恒等映射）。关于边缘集E，我们将每个图像与针对Stool和TrashContainer的亲和力分数方面的8个最接近的图像与[67]相同，我们让E连接Sedan和SUV的所有图像对。我们考虑四种最先进的同步技术[19，66，67，7]进行基线评估。特别是[19]同步一致的功能图;[66]通过强制执行三个循环来优化基于点的对应;[67]应用快速低秩矩阵恢复方法来优化一致的逐点对应。[7]使用非凸优化来获得一致的逐点对应。与[67]相同，我们报告了特征对应的百分比，其相对于注释特 征 对 应 的 误 差 落 在 变 化 的 阈 值 δ 内 。 注 意 ， 对 于 Stool 和TrashContainer，我们相对于由底层对称群引起的最接近的映射（在累积特征对应误差方面）进行评估这与相对于对称对应来评估每个单独对应的质量形成对比，在对称对应中，最接近的对应可能彼此不一致。12孙Y.，梁Z黄X黄Q凳子TC轿车SUV 奥克托普武器蚂蚁鸟鱼4腿玻璃.手人类平面是说Sym-In71.268.7nana52.472.969.1 59.3 54.5 64.078.255.189.361.267.0Sym-Out84.581.2nana76.191.281.0 67.2 71.3 79.290.169.294.573.279.7SymII-In65.963.1nana48.368.166.4 57.4 51.5 63.271.749.281.360.063.2SymII-Out79.877.4nana68.081.277.3 74.2 70.1 80.786.557.190.372.476.6输入60.758.5nana44.969.564.1 53.0 48.1 58.076.351.783.835.760.1黄1468.260.6nana58.169.469.0 54.3 42.8 76.971.166.390.942.464.8周15a63.259.8nananananananananananananaZhou15b64.662.8nana56.570.171.1 51.3 43.7 71.966.768.186.144.463.7宇宙1761.959.7nana54.968.271.6 51.8 42.8 71.964.767.086.444.463.2我们80.6 75.2nana74.681.276.3 62.9 54.1 80.178.371.192.153.772.2输入nana78.777.6na65.747.8 39.8 45.6 56.654.147.569.430.250.7黄14nana85.987.1na69.659.0 52.2 42.3 76.559.366.290.939.461.7周15anana86.185.2nananananananananananaZhou15bnana87.786.2na68.259.3 47.6 46.1 70.359.259.788.138.559.7宇宙17nana84.583.4na67.161.4 44.9 42.8 71.357.961.485.837.958.9我们nana91.290.8na74.964.1 54.8 51.2 83.265.768.293.238.065.9表1.与人类注释特征点的比较。我们报告误差小于0的对应百分比。Id，其中，对于图像，d=max（w，h），并且d分别是3D形状的形状直径。(Top)对称性检测。图像：Sym-IN [6]和SymII-IN[13]。[25][26][27][28][29][29][29]（中间）在分解出基础自对称群之后的对象映射的评估。基准方法：Huang14：[19]，Zhou15a：[66]，Zhou15b：[67]，Cosmo17：[7].（底部）。评估原始空间中的对象映射表1收集了δ = 0时每种方法的统计数据。1 max（w，h），其中wh是输入图像的宽度和高度。联合映射和对称性检测改进了对称性检测。如表1（顶部）所示，我们的方法可以大大提高输入对称性检测。对于第一组输入对称（即， 使用[6]），我们的方法从71改进。2%，68。7%的粪便和垃圾箱，分别为84。5%，81。分别为2%对于第二组输入对称（即，使用[13]），我们的方法从65改进。9%，63。1%的粪便和垃圾箱，分别为79。8%，77。4%，分别。 图4（左）显示，当改变错误阈值时，改进是一致的。通信质量分析。我们的方法大大优于基线方法。具体来说，在Stool和TrashContainer上，我们的方法实现了80。6%，75。分别为2%相比之下，表现最好的最先进的方法只有68。2%（来自[67]）和62。8%（来自[19]）。图4（中间）示出了当改变误差阈值时改进也是一致一种解释是，由于潜在的对称性，每个对象对之间存在多个看似合理的映射然而，所有现有的方法都被迫输出一个一致的映射。在这种情况下，事实证明，它们的输出往往会对多个看似合理的地图进行平均，并且所产生的对应关系可能在同一图像的不同特征点之间不一致因此，即使在分解出基础对称群之后，它们的输出也可能远离基础映射。为了查看我们方法输出的有用性，我们对Stool和TrashContainer的每个数据集单独执行SFM。具体来说，我们运行刚性重建结构从优化的功能对应的正交相机模型和注释的观点。如图1和图3所示，我们的方法可以恢复反映凳子整体形状的3D点云联合映射与对称同步13100SymI−输入80SymII−InputSymI−Opt60SymII−Opt4020对称性检测（图像）00.020.040.060.080.1对应错误10080604020匹配（图像，Sym-Aware）0.020.040.060.080.1对应错误100806040200.020.040.060.080.1对应错误见图4。2D图像上的联合映射和对称同步的定量评估。（左）Stool和TrashContainer上的对称性检测。（中）Stool和TrashContainer上商空间中的对象匹配评估（右）Sedan和SUV上的原始空间中的对象匹配评估。垃圾桶。相比之下，[67]的方法在这两个数据集上并不成功我们继续定量比较我们的方法与基准方法轿车和SUV。在这种情况下，在我们的方法中，我们简单地将对角块设置为单位矩阵。如表1和图4（右）所示，我们的方法优于现有方法。益处来自乘积运算符，其使得联合匹配过程能够检测在图匹配阶段中获得的一致对应对类似于使用逐对一致性来提高图匹配的性能，这些一致的对应对增强了优化的对应。时机我们的方法是有效的。平均而言，我们的方法在每个数据集上的运行时间为137。0s，在具有32G内存的单核3.2G CPU上使用Matlab实现。其中包括12。5s用于将基于点的地图转换为功能地图，95. 6s用于联合映射和对称优化，以及28. 9s用于将功能图转换回原始的基于点的图。6.23D打印机实验设置。我们对SHREC 07- Watertight [15]进行了实验评估具体而言，SHREC 07-Watertight包含20个类别的400种形状。其中，我们选择了10个类别（即，蚂蚁、犰狳、鸟、鱼、四条腿、眼镜、手、人、飞机和章鱼）。特别是，章鱼包含一个非平凡的旋转对称群。每个其他类别都包含反射对称。所有类别都有人类注释的对应关系，用于实验评估。至于对称性检测，我们采用[25]。我们还测试了[40]，以查看改进是否与不同的输入对称性一致对于成对映射，我们采用混合固有映射[26]。我们考虑了第6.1节中描述的同一组基线方法，除了[66]，它是专门为图像匹配设计的。在评估协议方面，我们报告了测地误差落入[0，0]中的变化阈值的特征对应的百分比。其中d是以测地距离表示的每个形状的直径。我们周15a宇宙17输入黄14%对应性匹配（图像）输入Huang14Zhou15aZhou15bCosmo17Ours%对应性%对应性14孙Y.，梁Z黄X黄QSymI− 输 入SymII−输入SymI−OptSymII −Opt00输入黄14Zhou15b60宇宙17我们4020%对应性%对应性10080对称检测（形状）匹配（形状、符号识别）110080匹配（形状）60 6040 40202000.020.040.060.080.1对应错误0.020.040.060.080.1对应错误0.020.040.060.080.1对应错误图五. SHREC 07-Watertight的联合映射和对称同步的定量评估。（左）对称性检测。（中间）商空间中的对象匹配评估。（右）原始空间中的对象匹配评估。结果分析。我们首先评估我们的方法的对称性检测的性能。如表1所示，我们的方法提高了质量[25]的输入对称性，由23。7%和12。Octopus和其余型号分别为5%。用[40]计算的对称性替换输入对称性，改进变为19。7%和13。八达通及其他类别分别为3%如图5（左）所示，当改变截止阈值时，改进也是一致的这再次显示了在对象集合中联合检测对称性的巨大潜力。表1和图5将我们的方法与联合映射优化的基线方法进行了比较。我们的方法在商空间（即，在分解出自对称性之后）和在原始空间中。特别是，我们的方法和基线方法之间的相对改进，在商空间是高于那些在原始空间。这证明了联合映射和对称优化的承诺。时机我们对每个类别都采用了完整的观察图每个类别在同一桌面上的平均运行时间为560.1s，其中功能图转换、联合图和对称性恢复以及基于点的图提取分别花费38.2s、313.1s和208.8s。7结论本文描述了一种联合映射和对称同步的方法。我们的方法建立在一个新的对称性和地图representation- tion使用张量算子。在此基础上，我们引入了一个非凸优化方案，用于从噪声输入中恢复一致的对称群和成对映射。实验结果表明，我们的方法是优于国家的最先进的联合地图同步的方法，没有对称性检测和对称性检测，从每个对象在隔离。谢谢。黄启兴感谢NSF DMS-1700234对本研究的支持、Snap Research的捐赠以及NVIDIA的硬件捐赠。%对应性输入Huang14Zhou15b宇宙17我们的联合映射与对称同步15引用1. Bajaj角高，T.，他，Z.，黄，Q，Liang，Z.：SMAC：使用谱分解的同时映射和聚类In：Proceedings of the 35th InternationalCo nfere nceo nMachineLearning ing ， ICML2018 ， Stockholmsma¨ssan ， Stockholm ， Swe-de n ，July10-15，2018.pp. 334http://proceedings.mlr.press/v80/2. Berg，A.C.，Berg，T.L.，Malik，J.：形状匹配和物体识别lowd is to rt to ncorrresp o n c es. In：CVPR（1）。pp. 26比33 02TheDog（2005）3. 布雷格勒角Hertzmann，A.，Biermann，H.：从恢复非刚性三维形状我是一个g estreams. In：CVPR. pp. 2690 - 2696 IEEEComputerSoc iety（2 000）4. 卡雷拉，J.，Kar，A.，Tulsiani，S.，Malik，J.：用于物体重建的虚拟视图网络。计算机视觉和模式识别（CVPR）（2015）5. 陈玉，Guibas，L.J.，Huang，Q.：近最优联合对象匹配通过con-烦恼的放松在：Proceedings of the 31th International Conference on MachineLearning，ICML2014，B eijingg，China，21- 26June2014中。pp. 100-108 机器学习研究的博士，纽约，美国（2014年）6. Cho，M.李，J.，Lee，K.M.：图匹配的加权随机游动于：E CCV（5）. LectureNotesinComputerrScience，vol. 第6315页 492-50502TheDog（2010）7. C osmo，L.， Rodola`，E.， Albarelli，A.， 我的朋友F Cre mers，D. ：Consistentpartial通过稀疏建模匹配形状集合。Comput. Graph.论坛36（1），2098. Crandall，D.Owens，A.，Snavely，N.Huttenlocher，D.：具有MRF的SfM：离散-从运动中对大型结构进行连续优化IEEE Transactionso nPater nA nalysandMac hi neIntellige（PAMI）35（12），2841-9. 戴，Y.，Li，H.，He，M.：非刚性结构的一种简单的无先验方法-mottionfactorization. Inter natinalJour nalofC〇mputerVison107（2），10110. Dau bechies，I.， 德沃雷河一、 来自Sier，M.， Guu uuk，C. S. ：Iterativelyre-加权最小二乘最小化：证明稀疏恢复的速度比线性速度更快。In：42ndAnnual Conference on Information Sciences and Systems ， CISS2008 ，Princeton，NJ，USA，19-21Mar ch2008. pp. 26- 29（2008）。https://doi.org/10.1109/CISS.2008.455848911. Diaconis，P.：概率与统计中的群表示。数学统计学研究所讲义-专著系列，11，数学统计学研究所，海沃德，CA（1988）12. 做吧，P Zitni ck，C. L. ：针对故障的故障恢复的结构。In：Pro-2013年IEEE计算机视觉国际会议pp.1841- 1848年。 ICCV’13，IEEE C〇 mput e r S 〇 ciety，WA s hin g t 〇 n，DC，U S A（2013）。https：//doi.org/10.1109/ICCV.2013.231，http://dx.doi.org/10.1109/ICCV.2013.23113. Duchenne，O.，巴赫，F.R.昆岛Ponce，J.：一种基于张量的算法或RDERG RAPHMATCH I N G。IEEETrans. PattternAn al. Mach。 我告诉你。33（12）， 238314. Dym，N.，Maron，H. Lipman，Y.：DS++：一个灵活、可扩展且可证明严密的有关信息处理方案的信息。 A C MTrans. Graph. 36（6），184：1- 184：14（Nov 2017）。ht