非刚性形状的无模型共识最大化

非刚性形状的无模型一致性Thomas Probst1，Ajad Chhatkuli1，Danda Pani Paudel1，and Luc VanGool1，21瑞士苏黎世联邦理工学院计算机视觉实验室2VISICS，ESAT/PSI，KU Leuven，比利时{probstt，ajad.chhatkuli，paudel，vangool}@vision.ee.ethz.ch抽象。许多计算机视觉方法使用共识最大化来将包含离群值的测量与正确的转换模型相关联。在刚性形状的上下文中，这通常通过使用随机采样和一致性（RANSAC）来估计与最大数量的测量值（内点）一致的分析模型来完成。然而，小参数模型可能并不总是可用的。在本文中，我们制定了无模型的共识最大化作为一个整数规划图中使用“规则”的测量。然后，我们提供了一种方法来解决它最佳使用分支定界（BNB）范式。我们将其应用集中在非刚性形状上，其中我们应用该方法来去除异常值3D对应关系并实现优于现有技术的性能我们的方法与离群值比率高达80%。我们进一步推导出用于3D模板到图像匹配的类似公式，与现有技术相比实现类似或更好的性能。1介绍共识最大化是计算机视觉中的一个强大工具，它使高度复杂的算法（如运动恢复结构（SfM）[1-3]）的实际应用除了诸如随机采样和一致性（RANSAC）[4]的启发式策略之外，已经针对刚性形状广泛研究了全局最优一致性最大化器[5相比之下，这些工具尚未被认真地探索用于无模型场景，其中简单的分析转换模型不能解释测量。需要无模型方法的一个重要领域非刚性形状中的共识最大化在增强现实、对象动画和形状分析等中具有应用。虽然大量的工作已经解决了图像或形状之间的非刚性配准问题[12-16]，但很少注意识别匹配对应关系中的一些方法通过局部最优方法解决了非刚性形状[17，18]的图像中以及模板形状和图像[19]之间的问题。为非刚性变换分配合适的最小参数模型的困难使得设计共识最大化器具有很大的挑战性在本文中，我们提出了一个在无模型对应集中寻求共识的通用框架。我们的主要想法是，尽管缺乏一个模型，2Thomas Probst、Ajad Chhatkuli、Danda Pani Paudel和Luc Van Gool匹配集中的每个实例都是单独的，可以考虑使用某些规则来制定约束的两个或更多个实例之间的一致性。在非刚性形状中，广泛应用于重建和配准的规则是等距变形先验。等距意味着尽管变形，测地线距离仍保持不变。利用这些理论认识，我们从三个不同的方面提供了我们的贡献。首先，我们展示了如何无模型的共识最大化问题可以构成一个图形问题，并解决了整数规划，如果我们有内点/离群规则的匹配集。这样的一个可编程逻辑控制器程序可以使用BnB方法最佳地解决。其次，我们应用此配方去除异常值的非刚性形状对应的等距之前。我们表明，我们的方法可以处理多达80%的离群对应等距曲面。我们提供了广泛的实验上的几个等距和部分的形状，以及为了显示所引入的共识最大化的通用性质，我们还制定了一个3D模板图像离群点去除问题，使用分段刚性和平滑之前。我们进行了广泛的实验，以分析所提出的算法的行为，并与国家的最先进的方法进行比较。2相关工作我们简要地强调了相关的工作，是相关的非刚性配准的问题，lems。第一个问题是，最大限度地提高非刚性3D形状中的匹配的3D表面点之间的共识，使用等距先验。等距是配准[14，15，20-22]以及3D重建[23，24]中广泛使用的先验。大多数非刚性形状配准方法[15，20-22]从3D描述符（例如SHOT描述符[25]或热内核[26]）开始，并通过能量最小化建立形状之间的对应关系。其他人通过混合共形映射来计算配准[14，27]。任何这样的匹配方法都会导致好的和坏的匹配。在下面的章节中，我们将研究如何在实际情况中删除各种方法中的离群值匹配，包括完整，部分和跨主题场景。3D模板到图像匹配是非刚性形状中的另一个重要问题，其可用于定位相机[28]或用于基于模板的3D重建[19，24，29，30]。在[19]中通过使用局部迭代方法解决了在这种情况下消除离群值匹配的问题。解决图像配准的大多数其他方法[12，18]不明确使用3D几何先验我们解决的问题，consensus最大化，在这种设置与分段刚性和光滑先验。最近的方法[16]解决了具有相似约束的组合匹配问题，但没有关注识别离群匹配的问题。3背景和理论符号。我们将集合和图表示为特殊的拉丁字符，例如，V.我们使用小写拉丁字母i、j、k或l来表示索引或索引集。例如，Vi是集合V的元素。我们也用小写字母来写已知或未知的标量，比如z。我们使用大写粗体拉丁字母来表示矩阵（例如，M）非刚性形状3我我我我我和小写粗体拉丁字母来表示矢量（例如，v）。我们使用小写希腊字母来表示阈值。我们使用大写的希腊字母来表示映射或函数（例如，Φ）。我们使用。表示|. | to denote the ℓ1– norm of a vector or the cardinality of a set. 除非另有说明，我们写primed字母表示与变换集相关的量。3.1异常值设Φ：Ω→Ω’是两个空间域之间的变换函数 Φ与匹配集P={Pi：Pi∈Ω，i=1，. . .，p}且P ′={P ′：P ′∈P′，i =我我1、. . .，p}。在实践中，Φ可以是刚性或非刚性变换函数或相机投影之后的每个成员Pi对应于第二组中的成员P’。这定义了一组可能包含离群值的匹配C P × P′异常值集合O用距离函数Δ定义为：{1. . . p}，∆（Φ（Pi），P ′）≥∠=⇒i ∈ O.（一）一个对应对（Pi，P ′），也简称为i，如果Pi的映射和它的对应P ′之间的距离大于阈值，则它是一个离群值。3.2共识最大化使用（1）中的离群值的定义，一致性最大化的问题被定义为未知Φ的集合0的基数的最小化：尽量减少Φ|O|（二）受∆（Φ（Pi），P ′）≥∠=⇒i∈ O.问题（2）意味着我们希望在给定的匹配集C中找到导致由O的基数给出的最少数量的不一致的映射Φ。在刚性SfM相关问题中，Φ通常可以使用具有小的固定数量的参数的线性或非线性函数来表示。这意味着等式（1）可以逐点评估，并且还可以使用非常小尺寸的点对应集（称为最小集）来估计。毫无疑问，使用RANSAC和第1节中强调的其他全局最优方法可以有效地解决这些问题。 应该注意的是，即使Φ可以参数化，最近的问题（2）被证明是NP-难的，具有W[1]-复杂度[31，32]，这意味着最佳地解决它当Φ可以被参数化时（具有合理的少量参数），我们将这样的问题称为基于模型的共识最大化。在下面的部分中，我们将重点讨论无模型的情况。请注意，大多数关于一致性最大化的公式都被写为内点集基数的最大化，而不是离群点集基数的最小化然而，这些定义是等效的，为了方便起见，我们选择后者。1虽然在一些情况下，例如基本矩阵的情况下，Φ不能逐点确定，但可以针对最小集合估计因此，可以用公式表示RANSAC问题4Thomas Probst、Ajad Chhatkuli、Danda Pani Paudel和Luc Van Gool我3.3基于通用规则的一致性最大化与基于模型的问题相比，对于许多应用，诸如与非刚性形状相关的应用，Φ不能用小尺寸的参数表示，因此不能使用最小点集来估计。因此，∆不能逐点计算。例如，考虑Φ表示非刚性表面的两个实例之间的映射的情况。这种地图可以由自由形式变形（FFD）[18，33]或专门的潜在空间模型（如SMPL[34]）表示，这两种模型都需要大量的点来拟合潜在参数。在这种情况下，问题（2）以其原始形式求解是不切实际的因此，我们提供了一个替代的共识最大化制定，这是更容易解决一类特殊的问题。如果集合P和P′有一个共同的底层结构，可以使用匹配集C的子集来测量，而不需要显式地计算变换函数Φ，则问题属于这一特殊类。为了得到易于处理的公式，我们定义一组二元变量{z}，zi∈ {0，1}且i∈ {1，. . .，p}使得z i=1⇒i∈ O.设二值函数Θ：（Sa，Sb）→ {0，1}度量两个小子集Sa，SbC之间的一致性。如果子集Sa和Sb一致达到某个阈值Θ，则Θ评估为1，否则为0然后下面是原问题（2）的替代方案Σ最小化zi{z}i受（三）Θ（Sa，Sb）=0=⇒（Pi，P′）∈Sa ∪Sb：zi=1，（Sa，Sb）：Sa=/Sb，函数Θ可以被认为是一个规则，它使用集合P和P'上的先验来衡量匹配子集的一致性从匹配集合C采样的子集Sa和Sb是使得可以评估Θ的最小集合问题（3）简单地说，如果根据先验知识选择的两个子集彼此不一致，那么这些子集的并集中至少有一个成员必须是离群值。 这是我们工作的核心理念。 虽然最优地解决问题（3）并不保证问题（2）的最优解，但后者是前者的近似松弛。因此，解决问题（3）相当于解决无模型共识最大化。 问题（3）仍然是一个组合问题，是NP-难的。在下一节中，我们将对图结构的问题进行更多的了解，并提供一个全局最优的整数规划方法来解决这个问题。4使用图的一致性最大化我们将所有样本Sa和Sb的并集表示为图G={V，E}的节点，并将它们之间的连接表示为图G = {V，E}的边。节点集合V由所有唯一的采样子集Sa和Sb组成。一条边（Sa，Sb）∈ E连接节点Sa和Sb，并导出一致性函数Θ（Sa，Sb）.我们使用索引k∈ {1。. . v}来表示节点V和索引l ∈ {1. . . e}来表示边E。图1说明了问题的这种表示。非刚性形状5我我图1：共识最大化的图形公式。选定的点集（节点）在图形中绘制为橙色和紫色圆圈，由表示集之间兼容性的边连接云：云。4.1图形公式化给定图G，我们仍然希望计算原始二元变量集{z}。稍微滥用一下符号，我们将节点的二进制变量集定义为zk，{zi}：（Pi，P ′）∈Vk.类似地，我们将边的二进制变量集定义为zl，{zi}：（Pi，P ′）∈ Vka∪ Vkb，其中El=（Vka，Vkb）. 然后，对二进制变量的约束可以紧凑地表示为：（4）其中Σzl表示集合zl中所有元素的和。具有约束（4）的问题（3）是图优化的示例，其中我们需要使用边缘测量Θ（El）来计算每个节点k的节点属性zk。4.2整数规划在图中使用（4）的约束，我们在整数规划的框架下提出了一种解决共识最大化问题的有效方法，如下：Σ尽量减少{z}受ziΣzl≥ 1，l ∈ {1. . . e}， 如果Θ（El）= 0。（五）问题（5）可以使用任何现成的整数规划求解器来最优地求解这是使用流行的BnB方法完成的。共识最大化中的此类问题通常使用所谓的大M方法[36]来解决。当不能针对给定边缘E1 定义二元决策函数Θ时，需要这种方法。在在这种情况下，问题（5）中的整数不等式被写为Mzl+≥Λ（El），使用标量值函数Λ和标量阈值Λ。这里，M是一个选定的大标量，当Λ很大时，使问题可行的数字。然而，在这项工作中，我们只考虑那些可以用二元规则Θ表示的问题。6Thomas Probst、Ajad Chhatkuli、Danda Pani Paudel和Luc Van Gool我放松的替代品和BnB。整数规划问题一般是非凸的性质。它们可以通过进一步放松具有实界的二进制或整数约束来简化。相比之下，我们选择BnB方法保持整数约束，以便即使在高离群值比率的情况下也能获得全局最优解这样的方法迭代地计算成本的下限和上限，并且如果它们相等，则用次最优性的证书来我们在第6节中比较了松弛和全局最优方法在下一节中，我们描述了两个不同的非刚性形状的问题，它们可以用问题（5）的形式表示。5非刚性形状非刚性对象的变形无法使用一组较小的固定参数进行参数化然而，它们确实服从一些形状先验。基于这种变形先验，我们提供了5.1使用等轴测进行形状匹配我们考虑两种不同的形状P和P′，它们由一个未知的变形Φ联系起来。我们想在匹配集C上建立离群点集O。例如，当使用图像匹配配准3D非刚性表面时[28]或当用3D特征点描述符配准不同形状时[25，26]，可能会出现这样的问题为了解决这个问题，我们考虑等距变形先验假设的表面距离下保持变形。先验允许我们使用以下图形属性：Vk=（Pi，P′）.1如果Ψ（Pi1，Pi2）−Ψ（P ′，P ′）（六）Θ（El）=0否则，请执行以下操作。我1 我2其中Ψ是测量上两点之间的测地距离的函数。表面。每个图节点由C中的单个匹配对组成。因此，（6）中针对边缘获得的每个约束仅由两个二进制变量组成，使得问题高度稀疏。尽管我们仅示出了使用等距的问题公式化，但是可以在问题（6）中使用诸如保形性的其他变形先验实际考虑。虽然该方法对于等距曲面非常有效，但正在经历拓扑变化的对象（例如撕裂的一张纸或松散的等距曲面（例如人体））会带来额外的困难，因为在这种情况下等距并不总是令人满意。因此，我们提供了一种更实用的方法来解决算法1中的问题在算法1中，将该方法分别应用于不同的聚类还解决了整数规划问题的非线性时间复杂度这使得我们可以在密集点表面上使用该方法，因为时间复杂度与聚类数量总是线性的。为了估计测地线，当不提供网格时，我们通过Delaunay三角剖分来计算网格。非刚性形状7K1算法1：{z}= shapeRegistration（P，P′，C）1. 聚类初始使用k均值将C匹配成m个不相交的聚类2. 对于每个聚类c ∈ {1. . . m}，(a) 计算最近的邻居并建立边缘E1。(b) 对于每个边，计算一致性函数Θ（El）。(c) 用Θ公式化约束（6）。3. 聚合来自每个聚类c的所有结果。5.2模板到图像匹配基于模板的重建是一个研究得很好的问题[19，23，24，30]，它使用模板形状P和变形形状同样，所建立的匹配可能由离群值组成，在这种情况下，所获得的重建可能具有较差的质量。在这里，我们提出使用分段刚性和表面光滑度作为先验来定义一致性函数Θ。尽管非刚性，但表面平滑度已成功用于最先进的基于模板的重建方法[19，30]。我们使用类似的ap-proach，考虑到相对相机对象的姿态在表面上平滑地变化。使用这些先验，我们定义图属性如下：V k1 ={（Pi，Ii）}，i={i1，i2，i3}，i1，i2，i3∈ {1. . . p} Vk2 ∈ N（Vk1）Θ（El）=.1如果∆.ΣR，Rk2 ≤1且|tk1−tk2|≤ǫ2（七）0否则其中，Rk1和Rk2表示针对图像I分别使用节点Vk1和Vk2估计的绝对姿态的旋转。 我们定义N（. ）是给出图中相邻节点的集值函数。类似地，tk1和tk2表示相机平移。规则Θ测量两个节点的姿态一致的程度为此，∆是用于测量两次旋转之间的距离的函数。我们使用两个超参数1和2分别对旋转和平移的变化进行阈值化。局部刚性和表面平滑度意味着姿势也应该平滑地变化绝对姿态问题可以使用任何所谓的PnP方法[37-39]来解决我们只考虑使用三个非共线匹配点的最小问题，也称为P3P方法[37]。用P3P获得的解决方案具有4倍模糊性。这可以通过使用额外的匹配点对或通过简单地选择最小化Δ的解决方案来消除歧义。对节点进行采样，使得每条边仅需要四个唯一的点匹配，因此每个不等式约束将由四个二进制变量组成实际考虑。与等距相比，分段刚性是更强的先验。对于非刚性形状，这仅适用于近邻。与5.1中的形状匹配问题不同，这里的每条边需要四个点匹配。为此，它要求匹配集足够稠密，使得点至少8Thomas Probst、Ajad Chhatkuli、Danda Pani Paudel和Luc Van Gool算法2：{z}= templateImageRegistration（P，I，C）1. 聚类初始使用k均值将C匹配成m个不相交的聚类2. 对于每个聚类c ∈ {1. . . m}，(a) 计算点群的各种三角剖分，并使用两个三角形建立边(b) 对于具有共享边的每个这样的三角形对，评估Θ（El）。(c) 用Θ表示约束条件（7）。3. 聚合来自m个聚类的所有结果。在附近算法2描述了该方法的实现算法2的非常简单的简化可以通过将一致性函数Θ中产生大量1的所有点视为内点来进行我们称这种投票方法为局部滤波，它可以在模板图像匹配问题中找到明显的内点。5.3复杂性分析问题（5）的组合复杂性取决于四个主要方面：点的数量p、邻域大小q、簇大小r和表示顶点集S所需的最小集的基数，例如图中的s（参见图11）。①的人。如表1中所报告的单个整数规划的复杂度可以直接从图中的组合数学中获得。虽然模板到图像匹配的复杂性（S=3）是高的，该问题只需要本地协议，这允许我们使用一个小的本地邻域（q=15），用于创建顶点（三角形在这种情况下），平均每点30条边。在形状匹配中情况并非如此，我们在任何簇上使用全连通图（q=p/r−1），因为测地线测量是有效的，而不管点表1：复杂性分析。求解具有全连通性（簇大小r=1）和q连通性（簇大小r）的n个点和最小集合大小s。6实验结果我们在本节中对几个标准数据集提出了我们提出的方法的结果和分析。我们将基于整数规划的方法称为精确或提出的方法。我们还比较了简化的方法，其中问题（5）中的二元约束已经放松到真实的，我们称之为re-laxed方法。我们比较和使用几种匹配或离群值去除方法。我们编写了基于样条扭曲的图像离群点去除方法[18]作为特征。我们将图匹配方法[12]写成maxpoolm。我们测试了基于网格拉普拉斯算子[19]作为拉普拉斯算子的模板图像离群点去除方法。除了这些基于图像的方法，我们还使用形状匹配方法。我们将最近的可变形形状核匹配方法[15]写成KM。我们将深层功能图[22]写成DFM全连通性q-连通性证书。边缘eΣs.ΣpS.pΣS2顶点。边缘p q.Σsr s−1p. qΣsr s−12非刚性形状9[14]《易经》中的“阴阳”，是指阴阳之间的“阴阳”。我们在MATLAB中使用YALMIP [40]和MOSEK [41]实现了我们的方法，用于整数规划。下面，我们详细描述了针对所讨论的非刚性配准问题中的每一个的实验。聚类和阈值参数。对于一些实验，我们应用聚类来处理大量的点匹配。对于模板-图像匹配和Hand数据集，点匹配的数量较低（n200），因此聚类的数量为1。对于人体形状和报纸数据集，我们基于邻域（k均值聚类）选择聚类的数量为5。请注意，结果聚合是直接的，因为聚类是不相交的。对于图2，为了改变点的数量，我们将点随机子采样为固定数量。关于阈值，我们固定相对于用于形状匹配的模板的距离误差=20%6.1)除非另有说明。在模板到图像（Sec. 6.2)匹配的情况下，我们对所有数据集使用1=10o和2=40%6.1非刚性形状匹配我们首先分析所提出的方法在合成数据上的行为，其中地面实况对应可用于形状匹配问题。我们还比较了所提出的方法与国家的最先进的方法在几个真实的数据集。所有这些概述如下。Mocap数据。我们使用两个布捕获数据进行测试[35]。数据集包括一个布下降（抛）和一条运动的裤子（踏步裤）。数据集是用mocap生成的，由注册的真实3D点组成。我们通过随机重新分配匹配来综合生成离群值，以评估我们的方法。图2（a）比较了所提出的方法的宽松版本和精确版本。我们观察到，对于低离群值比率，可以使用松弛方法去除所有离群值。然而，当离群值的百分比超过50%时，它会崩溃，而精确解即使在离群值为80%的情况下仍然可以正确地检测到内点。注意，所提出的方法不检测任何假阳性内点。图2（b）显示了精确方法如何随着迭代次数而表现。我们观察到，该方法快速计算上限成本或悲观的内点集，而需要一段时间才能获得最优性证书。我们发现这种行为与许多其他实验设置是一致的。图2（c）显示了每次迭代时打开节点的数量，描述了BnB如何评估和修剪分支。为了研究时间复杂度，我们还在图2（d）中绘制了确切方法的执行时间。可以观察到，执行时间随着点数的增加而增加。然而，由于算法1中提出的聚类框架，这在实践中不是问题。KINECT Newspaper dataset. 从深度相机传感器如KINECT获得的RGB-D数据是该方法的重要应用领域。我们在Newspaper数据集2[42]上研究了我们的方法它由一张双层的2数据由作者提供。10Thomas Probst、Ajad Chhatkuli、Danda Pani Paudel和Luc Van Gool10080604010040305020200020406080010010210100102离群值（%）(a) 精确与放松迭代次数(b) BnB收敛迭代次数(c) BnB开放节点（50%离群值）(d) 我们的方法的运行时间随着点数和离群值百分比的增加而增加图2：我们的方法的分析。检测到的内点的数量、所提出的方法的收敛性以及在各种设置下mocap布料数据集[35]所花费的时间。注意，（b）和（c）中的迭代次数是对数标度。报纸被撕成两半。图3显示了使用我们的方法的模板图像由于使用两个点集计算的局部邻域，精确方法可以鲁棒地处理拓扑变化。另一方面，放松的方法由于缺乏足够的约束3而不能很好地工作。手数据集。手数据集[42]由手的两个不同实例及其使用SfM获得的3D地面实况组成由于非刚性变形，检测到的形状匹配方法[14，15]在这个数据集上完全失败，我们在这里不展示它们我们在图4中示出了精确方法的结果，在图5中示出了下一个最佳执行方法的结果这些定性结果清楚地表明，所比较的方法在这种困难的情况下表现不佳。人体形状。在下一组实验中，我们使用我们的方法对来自FAUST [43]数据集的人体扫描进行处理为了引入具有挑战性的异常值，我们考虑通过从网格中切出一个手臂和一条腿并将其与完整的匹配来部分匹配的情况。由于数据集提供的网格配准，我们可以根据与地面真实值对应的测地线偏差准确评估内点和离群点（偏差大于15 cm被视为离群点）。我们将我们的放松和精确方法与DFM[22]，KM [15]和BIM [14]估计的匹配进行比较。虽然BIM [14]产生了视觉上良好的对应关系，但它存在镜像模糊性，无法解决。因此，我们只在可能进行适当评估的情况下与BIM进行比较。3补充文件提供了整套结果。精确解松弛解悲观乐观正确内点N=25N=50N=100N=150检测到的内点数量的内点的数量打开节点非刚性形状11(a) 确切(b) 放松(c) 拉普拉斯图3：报纸数据集。从我们的精确和两个下一个最好的执行方法的报纸数据集的示例对的内点和离群点匹配的可视化。左列示出了内点检测，右列示出了离群点检测。图4：SfM Hand数据集。我们的内点检测（左）和离群点检测（右）精确方法图图5：具有拉普拉斯算子（左）和松弛（右）的内点检测12Thomas Probst、Ajad Chhatkuli、Danda Pani Paudel和Luc Van Gool由于我们的方法是专为等距形状，我们进行的第一个实验中的受试者内的情况下（同一主题在9个不同的姿势）。我们观察到，我们的方法可以成功地消除由DFM和KM产生的超过90%的离群值，同时仅去除少数真正的内点，如表2的第一列所示然而，在对象间体型匹配应用中，等距假设仅在一定程度上成立。我们使用两个具有挑战性的数据集来测试这样的场景。第一个是在FAUST数据上的受试者间匹配，再次在部分匹配设置中由于身体形状因受试者而异，等距表2的第二列中给出的结果表明，这个问题明显比等距匹配更难我们看到BIM产生的匹配包含很难检测到的离群值，并且在不牺牲许多内点的情况下只能删除15%对于DFM和KM，我们分别可靠地检测到超过80%和90%。因此提高了后续任务的匹配鲁棒性。我们对人体形状的第三个实验涉及从深度图到3D模型的密集对应我们使用直立姿势和身体形状的变化，从铰接的MPII人体形状模型[44]中模拟KINECT的投影和噪声属性渲染合成深度图。为了计算在此模态上的测地线，我们使用2DDelaunay三角剖分对点云进行三角剖分对原始输入应用DFM和KM效果不佳，因为SHOT [45]和HKS [46]不是深度图的可靠特征因此，我们从一个度量回归森林[47]中获取初始匹配，该森林在密集对应估计的特定任务上进行了训练然后，我们在表2的第三列中的这些匹配之上比较我们的方法、KM和ICP我们可以得出结论，虽然提供了初始匹配，KM未能正确匹配的两种方式。然而，我们的方法显示出有前途的结果，即使形状是非等距的，测地线上计算的三角点云。有趣的是，我们的结果与铰接式非刚性ICP的结果相当，后者利用了额外的信息，如运动学和更强的形状先验。图6示出了来自我们的测试集的定性示例。总之，我们表明，我们的方法可以在通用匹配方法之上使用，以鲁棒地检测等距变形的离群值，以及一些类别的非等距配准，例如受试者间身体形状。此外，我们可以确认我们的结果的合成数据，并得出结论，即使放松的方法提供了良好的结果，如果离群值的比例低于50%。6.2模板到图像匹配三维模板与图像的匹配是非刚体几何中的一个重要问题。大多数重建方法[19，30]对离群对应敏感，并且通过首先去除匹配中的离群值来进行。我们使用问题（7）来公式化使用绝对姿态的模板到图像离群点去除方法。我们在三个数据集上测试了我们的结果：KINECT Paper [48]，T-Shirt [49]和MPI Sintel [50]，所有这些数据集都我们为每个数据集选择一个随机的单对，并计算SIFT匹配。我们为每个方法的输出手动我们比较我们的方法与其他三个国家的最先进的方法拉普拉斯，featds和maxpoolm。同样，如5.2节所讨论的，我们也报告了松弛方法的结果我们进一步报告非刚性形状13方法浮士德学科内学科间MPII HumanShape从渲染深度贴图内值/离群值时间[s]内值/离群值时间[s]内值/离群值时间[s]BIM--3381 /16023--BIM+Ours（轻松）--3269 /136210--BIM+我们的（精确）--3267 /139532.9--DFM4211 /77213756 /12271272 /37281DFM+Ours（放松）三九一八/三十一193437 /9315--DFM+我们的（精确）三九一八/三十一243437 /9319.4--公里4736 /181894051 /86092第572 /3387号决议53KM+Ours（轻松）4554 /181043634 /161107--KM+我们的（精确）4556 /171103634 /161115--RF----3220 /780<1RF+KM----1162 /2693RF+我们的（放松）----2800 /13714RF+我们的（精确）----2800 /13715RF+ICP----3166 /159301大多等距非等距表2：非刚性3D形状匹配。关于FAUST [43]主体内和主体间的结果，以及将深度图与MPII HumanShape [44]模型匹配。我们报告了真阳性（内点）和假阳性（剩余离群点）匹配的数量图6：定性结果。深度图的非等距形状匹配。从左到右：人体网格模型[44]、RF[47]、RF+KM [15]、RF+Ours、RF+ICP、输入深度图。对应关系是彩色编码的，灰色表示删除的匹配项。方法Kinect纸内点时间（s）t恤内点时间（s）Sintel内点时间（s）局部滤波46 /1424.2295 /3516.1017/68 2.03放松99 /1425.56291 /3517.5244/68确切一百一十四/一百四十二7.59309/3519.66决议53/68拉普拉斯一百二十六/一百四十二1.15301 /3517.8444/68 0.53特色76 /1423.93304 /3511.4642/68maxpoolm3 /142159.966 /351608.5516/68 7.88表3：3D模板与图像匹配。在三个不同的真实数据集上进行比较。14Thomas Probst、Ajad Chhatkuli、Danda Pani Paudel和Luc Van Gool局部滤波方法的结果作为另一基线，其中基于局部邻域投票来决定内点。我们测试了所有的方法与有利的参数。手动验证报告的内点结果表明，我们的方法执行与拉普拉斯设计完全基于模板的离群点去除。请注意，精确方法始终比其他方法检测更多数量的内点。我们的方法在多体情况下比featds表现得更好，因为featds使用单个基于样条的扭曲并计算残差来识别离群值。我们在图7中可视化了所提出的方法和另外两种表现最好的方法：featds和laplacian的离群值去除结果。图7：内点（左）与使用精确方法的T恤数据集的离群值（右）。该方法的性能优于两个比较的方法设计的非刚性匹配。补充材料中提供了更多结果7结论和未来工作本文提出了一种基于整数规划的无模型一致性最大化理论我们制定了两个不同的注册问题，使用我们的共识最大化：等距形状离群点去除和模板图像离群点去除。我们在非刚性形状配准中高达80%的失配和模板图像配准中>25%的我们得到了这些结果，通过解决一个封闭的放松，保证最优性的原问题。我们通过大量的实验表明，我们的方法始终与现有方法相当或更好地执行虽然本文的重点是非刚性形状，许多视觉问题可以被转换为公式5，其中每个图节点具有三个或更少的变量。i）一个变量问题：机器人导航上的相对姿态[51]，ii) 两个变量问题：鲁棒三角测量[52]和纯平移估计[53]，三个变量问题：图像到图像仿射单应性和三视图模约束[54]。对于未来的工作，我们打算解决这些问题，我们在本文中开发的配方。确认该研究由欧盟地平线2020计划资助，资助号为687757-复制和授权号645331研究还 得 到 了 瑞 士 技 术 和 创 新 委 员 会 （ CTI ， 批 准 号 ： 26253.1 PFES-ES ，EXASOLVED）。非刚性形状15引用1. 哈特利，RI，齐瑟曼，A.：计算机视觉中的多视图几何。第二个edn。剑桥大学出版社，ISBN：0521540518（2004）2. Longuet-Higgins，H.：一种从两个投影重建场景的计算机算法Nature293（1981）1333. 你好，D.：五点关系问题的有效解决方案。IEEET rans.P型Anal.马赫内特尔26（6）（2004）7564. Fischler，文学硕士，Bolles，R.C.：随机样本一致性：模型拟合的范例及其应用于影像分析和自动制图。Commun. ACM24（6）（1981）381-3955. 阿成TJ纪英辉Eriksson，A.，Neumann，F.：混合整数线性规划的保证离群点去除。在：CVPR中。（2016年）6. Speciale，P.，波德尔，民主党，奥斯瓦尔德，医生Kroeger，T.，Gool，L.V.，Pollefeys，M.：线性矩阵不等式约束下的一致最大化。在：CVPR中。（2017年）7. Bazin，J.C.，Li，H.，Kweon，Is. Demonceaux角Vasseur，P.，Ikeuchi，K.：对应与分 组 问 题 的 分 枝 定 界 法 。 IEEE Transactions on pattern analysis and machineintelligence35（7）（2013）15658. 哈特利，RI，卡尔，F.：通过旋转空间搜索进行全局优化国际司法文书第82（1）条（2009年）64–799. Bazin，J.C.，Seo，Y.，哈特利，RI，Pollefeys，M.：旋转和焦距未知的全局最优内点集最大化。In：ECCV. （2014年）10. Li，H.：鲁棒几何估计的保证全局最优性的一致集最大化。In：ICCV. （二零零九年）11. 郑宇，Sugimoto，S.，Okutomi，M.：确定性最大化可行子系统用于单位范数约束的鲁棒模型拟合。在：CVPR中。（2011年）12. Cho，M.孙，J.，Duchenne，O.，Ponce，J.：在干草堆中寻找匹配：存在离群点时图匹配的最大池化策略。在：CVPR中。（二零一三年）13. Collins，T. Mesejo，P.，Bartoli，A.：基于图的关键点匹配中的误差分析和提出的解决方案。In：ECCV. （2014年）14. Kim，V.G.，Lipman，Y.，Funkhouser，T.：混合内部贴图。ACM Transactions onGraphics（TOG）第30卷。（2011年）7915. Lne r，Z.， Vestne r，M.， Bo yarski，A.， 我是O Slossbe r g，R.，Remez，T.， Rodola`，E.，布朗斯坦，上午，Bronstein，M.M.，Kimmel，R.，Cremers，D.：通过核匹配实现有效的可变形形状对应。In：3DV. （2017年）16. Bernard，F.施密特，F. R.，Thunberg，J.，Cremers，D.：非刚性三维形状与图像匹配的组合解决方案在：CVPR中。（2017年）17. Pilet，J.，莱佩蒂Fua，P.：快速非刚性表面检测、配准和真实增强。国际计算机视觉杂志76（2）（2008）10918. Pizarro，D.Bartoli，A.： 基于特征的自遮挡变形曲面检测推理国际计算机视觉杂志97（1）（2012）5419. Ngo，T. D.， Oüstlund，J.O.，Fua，P.：基于模板的单目3D形状检索使用拉普拉斯网格。IEEE Transactions on Pattern Analysis and Machine Intelligence38（1）（2016）17220. Aflalo，Y. Dubrovina，A. Kimmel，R.：谱广义多维标度。国际计算机视觉杂志118（3）（2016）38021. Vestner，M.，利特曼河Rodol，E.，Bronstein，A.，Cremers，D.：Product manifold filter：无通过乘积空间中的核密度估计的刚性形状对应。在：CVPR中。（2017年）16Thomas Probst、Ajad Chhatkuli、Danda Pani Paudel和Luc Van Gool22. Litany，O.，Remez，T.，Rodola，E.，布朗斯坦，上午，布朗斯坦，M.M.：深度功能图：密集形状对应的结构化预测。In：ICCV. （2017年）23. Salzmann，M.，Fua，P.：可变形表面单目重建的线性局部模型。IEEE Transactionson Pattern Analysis and Machine Intelligence33（5）（2011）931-94424. Ba r toli，A.， G e'rard，Y.，Chadebecq，F.，Collins，T. 皮萨罗，D.：从模板塑形。IEEE传输模式分析马赫内特尔37（10）（2015）209925. Salti，S.，Tombari，F.，Di Stefano，L.：镜头：表面和表面纹理描述计算机视觉与图像理解125（2014）25126. Ovs jani kov，M.， 好吧Q M e'moli，F.，Guibas，L.：用热核进行一点等距匹配在：计算机图形论坛. （二零一零年）27. Le，H.，阿成TJ Suter，D.：基于最优莫比乌斯搜索的共形表面对准。在：CVPR中。（2016年）28. Innmann，M.， Zollh o¨ fe r，M.， Nießne r，M.，Theobalt，C. Stamminge r，M.：Volumedemode：实时体积非刚性重建。In：ECCV. （2016年）29. Wandt，B.，阿克曼，H.，Rosenhahn，B.：从单目图像序列中重建人体运动的三维IEEE Transactions on pattern analysis and machine intelligence38（8）（2016）150530. Chhatkuli，A.，Pizarro，D.Bartoli，A.，柯林斯，T.：一个稳定的分析框架isometric形 状 从 模 板 表 面 积 分 。 IEEE