非刚性形状的无模型共识最大化

分支定界

62 浏览量更新于2025-01-16 收藏 1.1MB PDF 举报

非刚性形状的无模型一致性

Thomas Probst

，Ajad Chhatkuli

，Danda Pani Paudel

，and Luc Van

Gool

，

瑞士苏黎世联邦理工学院计算机视觉实验室

VISICS，ESAT/PSI，KU Leuven，比利时

{

probstt，ajad.chhatkuli，paudel，vangool

}

vision.ee.ethz.ch

抽象。许多计算机视觉方法使用共识最大化来将包含离群值的测量与正确

的转换模型相关联。在刚性形状的上下文中，这通常通过使用随机采样和

一致性（RANSAC）来估计与最大数量的测量值（内点）一致的分析模型

来完成。然而，小参数模型可能并不总是可用的。在本文中，我们制定了

无模型的共识最大化作为一个整数规划图中使用

“

规则

”

的测量。然后，我

们提供了一种方法来解决它最佳使用分支定界（BNB）范式。我们将其应

用集中在非刚性形状上，其中我们应用该方法来去除异常值3D对应关系

并实现优于现有技术的性能我们的方法与离群值比率高达

80%

。我们进一

步推导出用于3D模板到图像匹配的类似公式，与现有技术相比实现类似

或更好的性能。

介绍

共识最大化是计算机视觉中的一个强大工具，它使高度复杂的算法（如运动恢

复结构（SfM）[1-3]）的实际应用除了诸如随机采样和一致性（RANSAC）[4]

的启发式策略之外，已经针对刚性形状广泛研究了全局最优一致性最大化器[5

相比之下，这些工具尚未被认真地探索用于无模型场景，其中简单的分析转换

模型不能解释测量。需要无模型方法的一个重要领域非刚性形状中的共识最大

化在增强现实、对象动画和形状分析等中具有应用。

虽然大量的工作已经解决了图像或形状之间的非刚性配准问题[12-16]，但很

少注意识别匹配对应关系中的一些方法通过局部最优方法解决了非刚性形状

[17，18]的图像中以及模板形状和图像[19]之间的问题。为非刚性变换分配合适

的最小参数模型的困难使得设计共识最大化器具有很大的挑战性在本文中，我

们提出了一个在无模型对应集中寻求共识的通用框架。我们的主要想法是，尽

管缺乏一个模型，

Thomas Probst、Ajad Chhatkuli、Danda Pani Paudel和Luc Van Gool

匹配集中的每个实例都是单独的，可以考虑使用某些规则来制定约束的两个或

更多个实例之间的一致性。在非刚性形状中，广泛应用于重建和配准的规则是

等距变形先验。等距意味着尽管变形，测地线距离仍保持不变。利用这些理论

认识，我们从三个不同的方面提供了我们的贡献。首先，我们展示了如何无模

型的共识最大化问题可以构成一个图形问题，并解决了整数规划，如果我们有

内点/离群规则的匹配集。这样的一个可编程逻辑控制器程序可以使用BnB方法

最佳地解决。其次，我们应用此配方去除异常值的非刚性形状对应的等距之

前。我们表明，我们的方法可以处理多达80%的离群对应等距曲面。我们提供

了广泛的实验上的几个等距和部分的形状，以及为了显示所引入的共识最大化

的通用性质，我们还制定了一个3D模板图像离群点去除问题，使用分段刚性和

平滑之前。我们进行了广泛的实验，以分析所提出的算法的行为，并与国家的

最先进的方法进行比较。

相关工作

我们简要地强调了相关的工作，是相关的非刚性配准的问题，lems。第一个问

题是，最大限度地提高非刚性3D形状中的匹配的3D表面点之间的共识，使用等

距先验。等距是配准[14，15，20-22]以及3D重建[23，24]中广泛使用的先验。

大多数非刚性形状配准方法[15，20-22]从3D描述符（例如SHOT描述符[25]或热

内核[26]）开始，并通过能量最小化建立形状之间的对应关系。其他人通过混

合共形映射来计算配准[14，27]。任何这样的匹配方法都会导致好的和坏的匹

配。在下面的章节中，我们将研究如何在实际情况中删除各种方法中的离群值

匹配，包括完整，部分和跨主题场景。

3D模板到图像匹配是非刚性形状中的另一个重要问题，其可用于定位相机

[28]或用于基于模板的3D重建[19，24，29，30]。在[19]中通过使用局部迭代方

法解决了在这种情况下消除离群值匹配的问题。解决图像配准的大多数其他方

法[12，18]不明确使用3D几何先验我们解决的问题，consensus最大化，在这种

设置与分段刚性和光滑先验。最近的方法[16]解决了具有相似约束的组合匹配

问题，但没有关注识别离群匹配的问题。

背景和理论

符号。

我们将集合和图表示为特殊的拉丁字符，例如，V.我们使用小写拉丁字

母i

、

j、k或l来表示索引或索引集。例如，

是集合

的元素。我们也用小写字母

来写已知或未知的标量，比如z。我们使用大写粗体拉丁字母来表示矩阵（例

如，

）

非刚性形状

我

和小写粗体拉丁字母来表示矢量（例如，v）。我们使用小写希腊字母

来

表示阈

值。我们使用大写的希腊字母来表示映射或函数（例如，Φ）。我们使用

。

表

示|. | to denote the ℓ

– norm of a vector or the cardinality of a set. 除非另有说明，

我们写primed

字母表示与变换集相关的量。

3.1

异常值

设

：

Ω

→

Ω

’

是两个空间域之间的变换函数

与

匹配集

P={

：

∈

Ω

，

. . .

，

}且

′

={P

′

：

′

∈

′

，

我我

、

. . .

，

p}。在实践中，Φ可以是刚性或非刚性变换函数或相机投影之后的每个

成员

对应于

第二组中的成员P

’

。这定义了一组可能包含离群值的匹配C P × P

′

异常值

集合O用距离函数

定义为：

. . . p

}

，

∆

（

）

，

′

）

≥

∠

=⇒

∈ O

（一）

一个对应对

（P

，

′

），也简称为

，如果

的映射和它的对应

′

之间的距离

大于阈值

，则它是一个离群值

。

3.2

共识最大化

使用（1）中的离群值的定义，一致性最大化的问题被定义为未知Φ

的

集合

的

基数的最小化：

尽量减

少

|O|

（二）

受 ∆（

（

）

，

′

）≥

∠

=⇒

∈ O

问题（2）意味着我们希望在给定的匹配集C中找到导致由O的基数给出的最少

数量的不一致的映射Φ。在刚性SfM相关问题中，Φ通常可以使用具有小的固定

数量的参数的线性或非线性函数来表示。这意味着等式（1）可以逐点

评估，

并且

还可以使用非常小尺寸的点对应集（称为最小集）来估计。毫无疑问，使用

RANSAC和第1节中强调的其他全局最优方法可以有效地解决这些问题。应该

注意的是，即使Φ可以参数化，最近的问题（2）被证明是NP-难的，具有W[1]-

复杂度[31，32]，这意味着最佳地解决它当Φ可以被参数化时（具有合理的少量

参数），我们将这样的问题称为基于模型的共识最大化。在下面的部分中，我

们将重点讨论无模型的情况。请注意，大多数关于一致性最大化的公式都被写

为内点集基数的最大化，而不是离群点集基数的最小化然而，这些定义是等效

的，为了方便起见，我们选择后者。

虽然在一些情况下，例如基本矩阵的情况下，Φ不能逐点确定，但可以针对最小集合估

计因此，可以用公式表示

RANSAC

问题

Thomas Probst、Ajad Chhatkuli、Danda Pani Paudel和Luc Van Gool

我

3.3

基于通用规则的一致性最大化

与基于模型的问题相比，对于许多应用，诸如与非

刚性形状相关的应用，

不

能用小尺寸的参数表示，因此不能使用最小点集来估计。因此，

∆

不能

逐点计

算。例如，考虑Φ表示

非刚性表面的两个实例之间的映射的情况。这种地图

可以由自由形式变形（

FFD

）

[18

，

33]

或专门的潜在空间模型（如

SMPL

[34]

）表示，这两种模型都需要大量的点来拟合潜在参数。在这种情况下，

问题（

）以其原始形式求解是不切实际的

因此，我们提供了一个替代的共识最大化制定，这是更容易解决一类特

殊的问题。如果集合

和

′

有一个共同的底层结构，可以使用匹配集

的子集

来测量，而不需要显式地计算变换函数

，则问题属于这一特殊类。为了得

到易于处理的公式，我们定义一组二元变量

{

}

，

∈ {

，

}

且

∈ {

，

. . .

，

}

使得

⇒

∈ O

设二值函数

：（

，

）

→ {

，

}

度量两

个小子集

，

SbC

之间的一致性。如果子集

和

一致达到某个阈值

，

则

评估为

，否则为

然后下面是原问题（2）的替代方案

最小化

{

}

受

（三）

（

，

）

0=⇒（

，

′

）∈

∪

：

，

（

，

）

：

，

函数

可以被认为是一个规则，它使用集合

和

上的先验来衡量匹配子集的

一致性从匹配集合

采样的子集

和

是使得可以评估

的最小集合问题

（

）简单地说，如果根据先验知识选择的两个子集彼此不一致，那么

这些

子集的并集中至少有一个成员必须是离群值

。这是我们工作的核心

理念。虽

然最优地解决问题（3）并不保证问题（2）的最优

解，但后者是前者的近似松

弛。因此，解决

问题（3）相当于解决无模型共识最大化。问题（3）仍然是

一

个组合问题，是

NP-

难的。在下一节中，我们将对图结构的问题进行更多的

了解，并提供一个全局最优的整数规划方法来解决这个问题。

使用图的一致性最大化

我们将所有样本

和

的并集表示为图

，

的节点，并将它们之间的连

接表示为图

G = {V

，

的边。节点集合

由所有唯一的采样子集

和

组

成。一条边（

，

）

∈ E

连接节点

和

，

并导出一致性函数

（

，

）

我们使用索引

∈ {

。

. . v

}

来表示节点

和索引

∈ {

. . . e

}

来表示边

。图

说

明了问题的这种表示。

剩余16页未读，继续阅读

cpongm

粉丝: 6

非刚性形状的无模型共识最大化

非刚性三维模型检索特征提取技术研究.pdf

非刚性部分模型与完整模型的对应关系计算.docx

光谱匹配matlab代码-LPS-matlab:生成“用于匹配非刚性形状与不兼容形状结构的鲁棒局部光谱描述符”的局部点签名

Shape Context Based Corresponding Point Models：基于Shape Context的2D/3D对象的非刚性配准，构建主动形状模型-matlab开发

SHREC'15 TRACK：用于非刚性3D形状检索的规范格式

DWKS描述符：非刚性形状匹配的创新技术

非刚性形状对齐优化技术：全局最优与应用

深度学习方向感知特征：非刚性形状匹配的新突破

非刚性形状配准：Matlab实现曲率信息的2D曲线最佳变形

深度学习驱动的非刚性三维模型特征提取技术综述

最新资源