鲁棒且高效的概率点集滤波器

1FilterReg：使用高斯滤波器和扭曲参数化的鲁棒且高效的概率点集麻省理工weigao@mit.edu麻省理工russt@mit.edu摘要概率点集配准方法因其对噪声、离群点和遮挡的鲁棒性而受到越来越多的关注。然而，这些方法往往比流行的迭代最近点（ICP）算法慢得多，这严重限制了它们的可用性。在这篇文章中，我们贡献了一种新的概率注册方法，实现了最先进的鲁棒性，以及实质上更快的计算性能比现代ICP实现。这是使用严格但计算效率高的概率公式来实现的。点集配准被转换为最大似然估计，并使用EM算法求解。我们表明，通过简单的增强，E步骤可以被公式化为一个过滤问题，使我们能够利用高效高斯滤波方法的进步我们还提出了一个定制的permutohedral过滤器[1]，以提高效率，同时为我们的任务保留足够的精度。此外，我们提出了一个简单而有效的扭曲参数化，推广我们的方法，关节和可变形的对象的注册对于铰接对象，我们的方法的复杂性几乎是独立的自由度（DOF）。结果表明，所提出的方法始终优于许多有竞争力的基线上的各种配准任务。视频演示和源代码可以在我们的项目页面上找到。1. 介绍点集配准是通过估计两个点云的相对变换来对齐它们的任务。这个问题是许多实际视觉系统的重要组成部分，例如SLAM [27]，对象姿态估计[20]，密集3D重建[40]以及对articulated [24]和可变形[12]对象的交互式跟踪ICP [3]算法是用于该任务的最广泛使用的方法。ICP可替代地建立最近邻对应关系并最小化点对距离。使用KD树等空间索引，ICP提供了相对快速的性能。文献包含ICP算法的许多变体;[28]和[29]提供了全面的综述和比较。尽管ICP算法很受欢迎，但它对噪声、离群值和遮挡不敏感。这些局限性已在文献中广泛记录[9，25，15]。因此，已经对使用概率模型进行点集配准进行了大量研究[25，14，13]，原则上可以提供更好的离群值拒绝。另外，如果每个点被给予高斯方差，则点云可以被解释为高斯混合模型（GMM）。大多数统计配准方法建立在GMM基础上，并根据经验提供改进的鲁棒性[25，15，10]。然而，这些方法往往比ICP慢得多，并且很难扩展到大的点云，这严重限制了它们的实际可用性。在本文中，我们提出了一种新的概率配准算法，实现国家的最先进的鲁棒性，以及更快的计算性能比现代ICP实现。 为了实现这一目标，我们提出了一个计算效率高的概率模型，并将配准作为最大似然估计，可以使用EM算法来解决。通过一个简单的增广，我们将E步骤表示为一个滤波问题，并使用高效高斯滤波器的进步来解决它[1，5，2]。我们还提出了一个定制的permutohedral过滤器[1]，提高了效率，同时为我们的任务保留了足够的精度。从经验上讲，我们的方法与最先进的基于GMM的方法（如[25]）一样稳健。在速度方面，我们的方法与CPU是3-7倍的速度比现代ICP的实现和数量级快于典型的强大的基于GMM的方法。此外，所提出的方法可以是GPU并行化的，并且比CPU实现快7倍此外，我们提出了一种简单有效的扭曲参数化，将我们的方法扩展到关节和节点图[17]可变形对象。我们的方法很容易实现，并实现了直接参数化大幅加速。对于铰接式物体，1109511096MNx yz该方法几乎不依赖于自由度，这使得它即使对于高自由度系统也是高效的结合这些组件，我们提出了一个强大的，高效的和一般的注册方法，优于许多竞争的基线上的各种注册任务。视频演示，补充文件和源代码是可用的，在我们的项目页面上。2. 相关工作点集配准问题是计算机视觉中广泛关注的问题，详尽的综述是不可能的。 在下面的文本中，我们限制我们的讨论 到基于GMM的概率配准，并根据其潜在的概率模型对其进行粗略审查。最早的统计方法[30，21，23，14]隐含地假设由运动参数（例如刚性变换或关节角度）控制的模型点在3d空间上诱导GMM分布。观测点是从该分布中独立采样后来，几个贡献[25，32，15]严格地从上述内容推导出EM程序。运动参数θ。另一个点集Y被定义为观测值，其在配准期间是固定的我们感兴趣的是联合分布p（X，Y，θ）。我们假设给定模型几何形状X，观测Y与θ无关，联合分布p（X，Y，θ）可以分解为p（X，Y，θ）φ运动学（X，θ）φ几何学（X，Y）（一）其中φgeometric（X，Y）是编码几何关系的势函数，而势φkinematic（X，θ）编码运动学模型。φ运动学（X，θ）可以编码硬约束，例如X=X（θ）和/或软运动正则化器，例如[ 25，26 ]中的平滑项和[ 32 ]中的非穿透项。我们进一步假设运动学模型φkinematic（X，θ）已经捕获了模型点X内的依赖性。因此，在运动参数θ的条件下，X中的点彼此独立。分布可以进一步分解为YM概率模型该公式也适用于多刚性[10]、铰接[42，15]p（X，Y，θ）运动学（X，θ）i=1φgeometric（xi，Y）（2）和可变形的[25，32]物体。另一种类型的算法被称为基于相关性的方法[38，16，4，33]。这些算法将观测点和模型点都视为概率分布，我们的模型的因子图表示如Fig.1.有了这些分解方案，条件分布可以写为：YM贡献。点云配准可以被解释为最小化分布之间的一些距离，p（X，θ|Y）Xφ运动学（X，θ）i=1φ几何（xi|（三）KL分歧的立场。为了提高效率，使用诸如体素化[33]或支持向量机[4]等技术来创建紧凑的GMM表示。在本文中，我们假设观察点根据几个现有的工作[9，25]，我们让geomet-每个模型点的Ric分布φ几何（xi|Y）是GMM，N+1在空间上引入概率分布。直观地说，配准是将模型点移动到位置，φ几何（xi|Y）=j=1P（yj）p（xi|（4）具有大后验概率的位置，受运动学约束。这个公式与几个现有的作品[9，22，25]有关，在第2节中给出了一个更技术性的比较。3.2.除了公式，我们的工作的主要贡献包括引入基于过滤器的对应和扭曲参数化建立在概率模型上，如第二节所述1.一、结合这些组件，所提出的方法是通用的，鲁棒的和有效的，优于各种竞争的基线。其中p（xi|yj）=N（xi;yj，nxyz）是概率密度。高斯分布的密度函数（PDF），yj是Gaussian centroid和xyz=diag（σ2，σ2，σ2）是对角协方差矩阵。一个附加的均匀分布p（xi|y（N +1）=1，以考虑噪声和异常值。与[25]类似，我们对所有GMM分量使用相等的隶属概率P（yj）=1，并引入参数0≤w≤1来表示离群值的比率我们估计运动参数θ和模型点X通过最大化下面的对数似然，3. 注册的概率模型3.1. 概率公式ΣML=i=11998年12月20日（N+1j=1 P（yj）p（xi（θ）|（5 ）在本小节中，我们提出了点集配准的概率模型 我们用X， Y 来表示两个点集x1 ， x2 ，.. xM和y1 ，y2，.，是X和Y中的点。我们将模型X定义为由下式控制的点集：11097这里我们只限于运动学模型X=X（θ），而把一般情况留给补充材料。我们使用EM [7]算法来解决这个优化问题。EM程序是11098MMXiXi0M0+cxiikE步骤：对于每个xi，计算Σ0Xi 克雷蒂克1XiykN（xi（θold）;yk，θxyz）N（xi（θold）;yk，θxyz）yk（六）M步骤：最小化以下目标函数100M0M1M 1Xi（xi（θ）−xi）T−1（xi（θ）−xi）（7）xixi+c0xyz0xixi其中M0和m1在步骤（6）中计算，c=W N1−w M 是一个常数，w是表示outliers的比例EM程序在概念上与ICP相关。加权平均的目标点（M1/M0）取代了近距离的目标点。图1.所提出的概率模型的说明上：在高层次上，拟议的公式假设观察到xixiICP中的最近邻，每个模型点的权重为M0Xi .直观地说，平均目标提供了鲁棒性Xi在观察噪声，而每个模型的权重点应拒绝模型中的离群值。请参考补充材料以获得完整的推导。3.2. 讨论和比较在高水平上，所提出的公式可以被视为相干点漂移（CPD）[ 25 ]和许多类似公式[ 10，32，15 ]的“逆”，如图11所示。1.一、CPD [25]假设观察点根据模型点引入的GMM独立分布，而所提出的公式直接假设观察点在空间上诱导GMM。经验上，这两种方法对噪声和离群值都非常鲁棒，并且显著优于ICP。从计算的角度来看，所提出的方法比CPD [25]和类似的公式[10，32，15]更简单和有效。所提出的方法只需要在Y（6）上求和，而CPD [25]需要在Y（6）上求和。Y引入了概率分布，而CPD [25]假设模型X引入了由运动参数θ控制的分布。下图：我们的公式和CPD公式的因子图表示[25]。3.3. 几个扩展所提出的概率公式可以扩展到包括许多成熟的基于GMM的配准技术。此外，这些扩展可以有效地计算在一个统一的框架使用过滤器为基础的E步骤在第二节。4和基于扭转的M步骤在Sec. 五、我们选择[25]中提出的优化方差，[32]中的特征对应和[6]中的点到平面残差作为三个实际重要的例子，尽管许多其他方法也可以以非常相似的方式集成。特征：目前在E步骤（6）中，仅使用3D位置来测量模型与观测点之间的相似性与[32]类似，E步骤可以扩展为包含正常，SHOT [37]，学习特征[31]或其串联等特征。步骤E任意两个Y 和X. 此外，如果空间索引用于每个-特征是M0= Σ N（fx;fy，nf）从这个总和，CPD [25]必须重建每个EM迭代，因为模型点X被更新。在我们的公式中，如果在EM迭代过程中方差是固定的，我们只需要构建一次索引，这对于许多情况来说已经足够了。xii k 克雷蒂克M1=N（fx;fy，nf）ykyk（八）应用[32，39]。一些现有的作品[9，22]也建立了一个GMM表示的观察点。与我们的方法相比，它们没有明确地考虑离群值差异。M0其中fxi和fyk是点xi和yk的特征值，是特征的对角协方差优化方差：在我们之前的公式中，高斯核的方差xxyz被用作固定参数。失去了重量XiM0+cXi. 而且这些与CPD类似[25]，如果 xyz =diag（σ2，σ2，σ2），变量方法假设每个模型点仅与一个或几个此外，结合基于过滤器的对应和扭曲参数化。4、第5，我们的方法往往比这些作品快得多，正如我们的实验所证明的那样。概率σ可以解释为决策变量和最优值。分析性地混淆。具体公式及推导见补充资料。点到平面距离：我们的M步骤（7）中的目标与ICP中的点到点距离相似，它不捕获平面结构。一个简单的解决方案是计算一个法线方向来表征局部平面MMM==11099MM22Xi02我0Xi目标附近的结构（M1/M0）第一章 xiNx =（N（xi;yk，yxyz）Ny）/M0（九）i kxiyk其中Nyk是观测点yk的法线。M步骤中的目标则是点到面误差M20 M 1Xidot（Nx，xi（θ）−xi）2（10）xixi+cxi4. E步骤：基于过滤器的通信4.1. 笼统措词图2.一个permutohedral晶格滤波器的说明[1]。Splat：使用重心权重将输入特征插值到置换面体晶格。模糊：晶格点与附近的晶格点交换其值。切片：滤波后的信号内插回输入信号。算法[5，1，2]，滤波后的输出为在本节中，我们讨论计算E步（6）和几个扩展（8和9）的方法。这些特定的EG（fxi）=Σzk∈F滤波输入e−1（fx−fzk2）vzK步骤可以写成以下一般形式Σ12（十四）G（ fxi）=−1（fexiyk−fyk2）vyK（十一）=yk∈FYe−2（fxi−fyk）vy其中vyk概括了3d位置yk和单位权重有了这个增强，我们可以应用这些过滤器al-租ms [1，2，5]作为一个黑盒子我们的问题。然而，在这方面，在（6，8）和正常的Nyk在（9）。G（fxi）推广了0和M1，以及正常的Nx 在（9）中。 的我通过利用这些方法的结构，我们可以更有效地完成我们的任务。在下面的文本中，特征fxi和fyk概括了高斯PDFN（xi;yk，yxyz）中的3d位置xi和yk。特征fxi和fyk本文以[1]中提出的一种变面体格型滤波器为例进行了讨论，并在实验中得到了应用。被归一化为具有恒等协方差。我们还省略了-一个归一化常数det（2π<$xyz）2 关于GuassianPDFN（xi;yk，kxyz），以简化符号当量ag（11）被称为一般高斯变换，并提出了改进的快速高斯变换（IFGT）[41]。然而，IFGT [41]在内部使用k均值树，并且配准中的典型参数会有太多的k均值质心。实际上，对于我们的任务，[41]并不比蛮力评估快多少。相反，我们建议使用高斯滤波算法[5，1，2]来计算（11这些算法加速的滤波运算是4.2. 穿面体格点滤波器本文简要地回顾了文[1]的滤波过程，并给出了一个例子.二、d维特征f首先被嵌入到（d+ 1）维空间中，其中全面体晶格存在。在嵌入空间中，每个输入值vSplats到其具有重心权重的封闭单形的顶点上。接下来，晶格点用附近的晶格点模糊它们的最后，在每个输入位置使用相同的重心权重对空间进行切片以插值输出值。虽然permutohedral过滤器[1]已经证明G（ fyi）=−1（feyiyk−fyk2）vyK（十二）在各种任务上都有很好的表现，但它仍然不是最适合我们的问题。特别地，当方差Δxyz太小时，[1]中的索引构建可能是低效的它是一般高斯变换的子集：用于检索滤波值G（fyi）的特征fyi必须包括在输入点集Y中。在我们的例子中，我们希望使用来自另一个点云X的特征fxi来检索值G（fxi），这不能在（12）中直接表达为了解决这个问题，我们提出了以下增强输入：F滤波器输入= [FX，FY]（十三）V滤波器输入=[0，VY]其 中 ， FX=[fX1 ， fX2 ， . ， fxM] ， FY=[fy1 ，fy2，...， fyN]和VY= [vy1，vy2，...，vyN]。新的输入特征F滤波器输入和值V滤波器输入适用于这些滤波M我K11100另外，将[1]简单地应用于E步骤（6）需要在模型点X被更新时在每个EM迭代中重建索引。为了解决这些问题，我们提出了一个自定义的permutohedral过滤器[1]，这是更有效的，同时保持足够的精度为我们的任务。详细方法见补充材料。5. M步骤：有效的扭曲参数化在本节中，我们将介绍使用扭曲参数化求解优化（7，10）的方法首先讨论了一般运动学模型中的扭曲，然后将其特殊化为关节和节点图可变形物体。11101我Xi∂θ联合∂θ∂ζ我们专注于以下一般运动学模型，xi=Ti（θ）xi参考（15）算法1铰接运动学的A矩阵一曰： 对于所有的物体j，可以并行化其中Ti（θ）∈SE（3）是刚性变换，xi参考是2：JTJ扭度j= 06×6x的固定参考点为i。注意，Ti（θ）取决于3：对于物体j中的所有点xi，可以并行化而运动学模型不一定是全局的4：JTJ+=（rxi）Trxi刚性变换Twist是一个6向量，表示局部线性化5：A= 0N联合扭j×N接头拉吉吉拉吉吉（3）“改变”。设扭角τi=（wi，ti）=（αi，βi，γi，ai，bi，ci）是Ti的局部线性化，我们6：对于所有的身体j做7：可以计算空间速度雅可比矩阵8：使用现成的模拟器，如[36，34]有1 −γiβiai9：J空间j=身体j的空间速度雅可比矩阵10：A+=JT（JTJ）JT新γi1 −αibiT（十六）空间j扭j空间ji−βiαi1cii0 0 0 1因此，雅可比矩 阵xi =[s ke w（xi），I3×3]是一个3×6矩阵，其中I3×3是单位矩阵，skew（xi）是一个3×3矩阵，使得skew（xi）b = cross（xi，b），对任意b∈ R3.模型，运动参数θ∈RNjoint将是关节角度，其中Njoint是关节的数量Ti（θ）是点xi所附着的刚体的刚体变换到. A矩阵的计算可以分解为：优化（7，10）是最小二乘问题，并且我们集中讨论它们ΣΣA=（吉吉∂θ）T（（拉吉吉 （2008年10月21日）拉吉吉吉吉∂θ）（20）rTrx（十七）体jxiinbodyj其中是刚体j的扭曲，我们利用了其中rxi是级联最小二乘残差，拉吉吉吉吉=I6×6，如果点i在刚体j上。重要的是，取决于xi。 我们使用高斯-牛顿（GN）算法解决（17）。在每次GN迭代中，我们需要计算以下A和b矩阵：称为空间速度雅可比矩阵，由下式提供：许多现成的刚体模拟器[34，36，19]。使用（20）的算法在算法1中示出。电子邮件*rx电子邮件*算法1的第1-4行支配了整体的每-A=（i）T i，b=（i）T（rx）（18）2∂θ ∂θxixiθi时间复杂度为O（6M），其中M是模型点的数量，通常为MN。因此，在本发明中，并且运动参数的更新为θ= −A−1b。因此，主要的计算瓶颈是组装矩阵A和B。在下文中，我们只讨论A矩阵的计算，而b向量的计算类似且更容易。A矩阵的计算可以写为：联合该算法的复杂度几乎与N个节点无关。作为比较，以前的关节配准方法[19，35]需要O（N2M）时间来组装A矩阵，并且N关节通常远大于6。此外，算法1的第1-4行实现起来非常简单并且可以容易地被GPU并行化。结合一个关闭-Σ∂ζi∂rx∂rx∂ζiA=（）T（（i）Ti）（）（19）货架模拟器，整体流水线可以实现promis-∂θ∂ζi我∂ζi∂θ效率。 相反，以前的方法[19，35]其中，θi是将运动参数θ的变化映射到刚性变换Ti的变化的雅可比矩阵，而Ti的变化表示为其扭曲。注意通常需要定制的运动树实现为了实现实时性能，同时需要大量的软件工程工作来实现。项rxi=rxixi 很容易计算，因为5.2.节点图变形模型拉吉吉阿克斯岛其中，xi和xi只依赖于x。为了捕捉物体（如绳子或布）的运动阿克斯岛如果运动学模型是全局刚性变换，我们需要一个运动学模型来允许大的变形我们有一个新的 =IΣ和A=（（rxi）Trxi）。在我我X11102同时防止不切实际的塌陷或变形。∂θ6×6xii拉吉吉在下面的小节中，我们继续阐述和节点图可变形运动学模型。5.1.关节连接的模型铰接对象由通过运动学树中的关节连接的包括人体、手和机器人在内的一组广泛的现实世界对象都是人造对象。如果运动学模型（15）是铰接的，在本文中，我们遵循[17]将一般可变形运动学模型表示为节点图。直观地，节点图定义3D空间中的运动场和等式中的参考顶点。（15）根据运动场变形。更具体地，节点图被定义为：一个集合{[pj∈R3，Tj∈SE（3）]}，其中j是节点index，pj是第j个节点的位置，Tj是SE（3）mo。在第j个节点上定义的运动方程（15）11103可以写成Ti（θ）=归一化的（k∈Ni（xireference）wkiTk）（21）其中Ni（xireference）是模型点xireference的最近邻居节点，并且wki是固定的蒙皮权重。的刚性变换Tk的插值使用SE（3）的DualQuaternion [18]表示来执行。该运动学模型的A矩阵可以使用与算法1非常相似的算法来构造。详细方法见补充材料。6. 结果我们进行了各种实验来测试所提出的方法的鲁棒性，准确性和效率。我们的硬件平台是Intel i7- 3960 XCPU，除了Sec。6.5，其中所提出的方法在NividaTitan Xp GPU上视频演示和源代码可以在我们的项目页面上找到。6.1. 合成数据的稳健性检验我们遵循CPD [25]，在合成数据上设置实验。我们使用一个子采样斯坦福兔子与3500点。初始旋转差异为50度，具有随机轴。将所提出的方法与两个基线进行比较：CPD [25]，一种代表性的基于GMM的算法;TrICP [6]，一种广泛使用的稳健ICP变体。所有方法的参数都得到了很好的调整，并在补充材料中提供我们使用以下度量来测量姿态估计误差图3.各种算法对异常值的鲁棒性比较。顶部：（a）显示了异常值比率为0.2的示例初始化;（b）和（c）分别是所提出的方法和从（a）初始化的TrICP [ 6 ]的最终比对。底部：每个算法对于不同数量的离群值的对齐误差（22时间[ms]每次迭代迭代次数整体时间[ms]提出固定σ0.9640.438.4提出更新σ1.1627.632.1CPD22826.86110稳健ICP3.1070.2217.6表1.不同算法的性能为斯坦福兔子的注册。误差（T）= 1M|(T − T)x|(22)Mi=1gti参考2我们使用干净的点云来更好地可视化。我们其中，Tgt是已知的地面真实姿态，（15）中定义的x1参考当扭曲（变换的变化）小于阈值时，算法终止以这种方式，对于所有方法，最终对准误差（22）约为1[mm]。所有统计结果均为30次独立运行的平均值。图3示出了不同算法相对于点集中的离群值的鲁棒性。我们将不同数量的点随机添加到模型云和观测云中。一个例子，这样的点集与初始对齐显示在图。3（a），所提出的方法和TrICP [6]的收敛对齐如图所示3（b）和图3（c）分别。所提出的方法和CPD [25]显著优于稳健ICP。图4示出了不同算法相对于点集中的噪声的鲁棒性。我们用高斯噪声破坏模型和观测云中的每个点。噪音的单位是兔子的直径。图4（a）中示出了具有初始对准的这种点集的示例图4（b）和（c）是所提出的方法和从（a）初始化的TrICP [6]的最终比对。注意方法和CPD [25]比耐用ICP更准确表. 6.1总结了每种方法的计算性能。在干净的点云上测量运行时间。我们的方法比TrICP [6]快7倍，比CPD [25]快两个数量级固定σ的方法迭代速度快，但需要更多的迭代次数才能收敛.总的来说，所提出的方法与最先进的统计配准算法CPD[25]一样稳健，并且运行速度明显快于mod-1.0。国际比较方案的执行。6.2. 真实世界数据的刚性配准我们按照[9]来设置这个实验：该算法用于计算Stanford Lounge数据集上的帧到帧刚性变换[43]。我们在前400帧中每隔5帧注册一次，每个帧下采样到大约5000个点。与地面真实值的平均欧拉角偏差被用作估计误差。图图5（a）示出了通过所提出的方法的示例配准图5（b）示出了各种算法的精度和速度。基线方法的结果来自11104图4.各种算法对噪声的鲁棒性比较。顶部：（a）示出了具有0.03相对噪声的示例初始化;（b）和（c）是通过所提出的方法和从（a）初始化的TrICP [ 6 ]进行的最终比对。请注意，我们使用干净的点云以获得更好的可视化效果。下图：不同噪声水平下每种算法的对准误差（22）图5.斯坦福休息室数据集上的刚性配准[43]。大多数基线的结果来自[9]。(a)示出了通过所提出的方法的示例配准。(b)显示了各种算法的准确性和性能。[25][26][27][28][29]对 于 CPD [25] ， 我 们 使 用 σinit=20[cm]而不是[25]的基于数据的初始化，我们观察到性能有所改善由于点对点误差不能捕获平面结构，因此所提出方法的点对点版本以及许多其他点对点算法[ 25，22，3，6 ]在该数据集上的准确性所提出的方法与点到-1我们的CPU（i7- 3960 X）略低于[9]（i7- 5920 K），我们使用CPD [25]和TrICP [6]观察到类似的准确性和略差的速度。因此，我们认为尽管硬件存在差异，但我们的速度结果与[9]相当。图6.模糊离群点和强遮挡下基于特征的全局配准。(a)显示了由特征着色的配准初始化[11]。（b）和（c）是通过我们的方法和基线进行的基于特征的配准（d）和（e）示出了使用从（b）和（c）初始化的3D局部细化的最终对准。所提出的方法收敛到正确的姿势，而基线方法是陷入不良对齐。平面误差达到了最先进的精度。在计算方面，所提出的方法显著优于所有基线，包括依赖于高端Titan XGPU的GMMTree [9]和EMICP [146.3. 基于学习特征的全局位姿估计我们展示了使用运动不变特征的全局姿态估计。任务是将预先构建的几何模型与RGBD图像中的观测云对齐，其中模型和观测云都由学习的特征着色[11]。我们使用所提出的方法与特征对应在SEC。3.3和固定σ= 0。05，因为特征具有单位范数。所提出的方法与修改的TrICP [6]：最近邻在特征空间（而不是3D空间）中搜索。在基于特征的配准之后，我们应用3d空间局部细化来获得最终对准。图6示出了示例配准。请注意，我们将背景视为离群值。如图在图6（a）中，观测（RGBD云）处于严重遮挡下并且包含非常模糊的离群值。图6（b）和（c）示出了通过我们的方法和“特征”TrICP进行的基于特征的配准。该方法对离群点和遮挡具有较强的鲁棒性。图6（d）和（e）示出了使用从（b）和（c）初始化的局部细化该方法在基线对准不好的情况下收敛到正确的位姿.表. 2总结了两种方法在30幅不同视点和光照条件下的RGBD图像上的正确率。我们的方法具有更高的成功率，比基线更有效。11105成功率时间[ms]提出29/3013特色ICP25/3034表2.基于特征的全局搜索的成功率和速度登记6.4. 铰接式跟踪所提出的方法与关节运动学模型被用来跟踪机器人操纵一个盒子。机器人和盒子模型有20个自由度（12个自由度用于盒子和机器人的浮动基座，8个自由度我们使用drake [34]进行（20）中的运动学计算。我们使用固定的σ= 1[cm]，并将最大EM迭代设置为15。我们的模板有7500个点，深度云有大约10000个点。图7（a）示出了跟踪操纵场景的快照。图7（b）显示了实时几何模型和观测云。观察点为黑色，而几何模型根据刚体着色。请注意，表中的点被视为离群值。图7（c）总结了各种算法的所提出的扭转参数化比直接参数化快一个数量级。结合基于滤波器的对应和扭曲参数化导致实时跟踪算法和实质性的性能改进，图为ICP和[42]。6.5. 动态重建的应用所提出的具有节点图可变形运动学的方法在GPU上实现，并用作DynamicFusion [26]（我们的实现）的内部将所提出的方法与投影ICP（[26]的原始非刚性跟踪器）进行比较。我们使用固定的σ= 2[cm]。图8示出了两种方法在具有相对快速运动的RGBD序列上操作。所提出的方法正确地跟踪它，而投影ICP无法跟踪演员的右手该方法比投影ICP对快速和切向运动具有更好的为了测试所提出的扭曲参数化对节点图可变形对象的效率，我们将其与Opt [ 8 ]进行了比较，Opt [8]是一种使用直接参数化的高度优化的GPU最小二乘求解器。表中总结了各种算法的每帧计算性能。3 .第三章。我们基于滤波器的E步骤的GPU并行化实现了CPU版本的8倍加速，并且所提出的扭曲参数化比[8]快约20倍。提出（GPU）提出（CPU）提出(Opt[8]）E步长[ms]7.8627.8M步长[ms]21.6不落实382表3.在此基础上，分析了各种变形跟踪算法的逐帧性能。8.图7.所提出的方法适用于跟踪机器人manipulating一个盒子。(a)：跟踪的操纵场景的快照。(b)观测点云（黑色）和实时几何模型（根据刚体着色）。(c)：各种算法在此数据集上的每帧性能。Ye Yang代表我们的CPU实现[42]。图8.所提出的具有节点图可变形运动学的方法在GPU上实现，并用作DynamicFusion的内部非刚性跟踪器[26]。对于相对 快 速 的 运 动 ， 所 提 出 的 方 法 正 确 地 跟 踪 它 ， 而DynamicFusion [26]使用的投影ICP无法跟踪演员的右手。7. 结论最后，我们提出了一种概率配准方法，实现了最先进的鲁棒性，准确性和效率。我们表明，对应搜索可以制定为一个过滤问题，并采用先进的高效高斯滤波方法来解决它。此外，我们提出了一个简单而有效的扭曲参数化，推广我们的方法，铰接和可变形的对象。广泛的实证评估证明了我们的方法的有效性。致谢这项工作得到了NSF Award IIS-1427050 和Amazon ResearchAward的支持。本文所表达的观点是作者本人的观点，并没有得到资助机构的认可。11106引用[1] A. Adams，J. Baek，and M. A.戴维斯使用置换面体晶格的快速在Computer Graphics Forum，第29卷，第753-762页中。Wiley Online Library，2010。1、4[2] A. Adams，N. Gelfand，J. Dolson，and M.勒沃用于快速 高 维 滤 波 的 高 斯 kd 树 。 在 ACM Trans-actions onGraphics（ToG），第28卷，第21页中。ACM，2009年。1、4[3] Besl和N. D.麦凯三维形状配准方法。在Sensor Fusion IV中 ： Control Paradigms and Data Structures ， 第 1611卷，第586-607页。国际光学与光子学会，1992年。1、7[4] D. Campbell和L.彼得森一种用于鲁棒点集配准和合并的自适 应数 据表示 。在 IEEE计算 机视 觉国际 会议 的Proceedings，第4292-4300页，2015年。2[5] J. Chen，S. Paris和F.杜兰德利用双边网格进行实时边缘感 知 图 像 处 理 。 ACMTransactions on Graphics（TOG），第26卷，第103页。ACM，2007年。1、4[6] D. Chetverikov，D.Stepanov和P.克塞克三维点集的鲁棒欧氏对齐：修剪迭代最近点算法。Image and VisionComputing，23（3）：299-309，2005。三六七[7] A. P. Dempster，N. M. Laird和D. B.鲁宾基于em算法的不完全数据最大似然估计。 英国皇家统计学会杂志。B辑（方法），第1-38页，1977年。2[8] Z.De V ito ， M. Mara ， M.Zo l lh oüfer ， G.Bernstein，J. Ragan-Kelley，C.Theobalt，P.Hanrahan，M.Fisher和M.尼斯纳Opt：一种用于图形和成像中的非线性最小二乘优化的领域特定语言ACM Transactions onGraphics（TOG），36（5）：171，2017。8[9] B. Eckart，K. Kim和J. Kautz。基于高斯混合树的点云快速精确配准。arXiv预印本arXiv：1807.02587，2018。一二三六七[10] G. D. Evangelsburg，D.库纳德斯-巴斯蒂安河Horaud，以及E. Z. Psarakis。多点集联合配准的生成模型欧洲计算机视觉会议，第109-122页Springer，2014. 一、二、三[11] P. R.佛罗伦萨湖Manuelli和R.泰德瑞克密集对象网：学习密集的视觉对象描述符和机器人操作。arXiv预印本arXiv：1806.08756，2018。7[12] W. Gao和R.泰德瑞克Surfelwarp：高效的非体积单视图动态重建。1[13] S. Gold ， A. Rangarajan 角 P. Lu ， S. Pappu 和 E. Mjol-sness.用于2D和3D点匹配的新算法：姿态估计和对应。模式识别，31（8）：1019-1031，1998. 1[14] S. Granger和X.佩尼克多尺度em-icp：一种快速、鲁棒的 曲 面 配 准 方 法 。 在 欧 洲 计 算 机 视 觉 上 ， 第418Springer，2002年。一、二、七[15] R.霍罗德角Forbes，M.伊盖尔湾Dewaele和J.张某刚性和铰接点配准与预期一致附加最大化IEEE Transactions on Pattern Analysis andMachine Intelligence，33（3）：587-602，2011。一二3[16] B. Jian和B. C.维穆里一种稳健的混合高斯点集配准算法。计算机视觉，2005年。ICCV 2005年。第十届IEEE国际会议，第2卷，第1246-1251页。IEEE，2005年。2[17] L. Kavan，S.柯林斯角，澳-地OSullivan和J.扎拉刚性变换混合的对偶一、五[18] L. K avan，S. Collins，J. Za′ra和C. O'Sulliv an. 几何使用近似对偶四元数混合蒙皮。ACM Transactions onGraphics（TOG），27（4）：105，2008。6[19] J. 李，M。X. Grey，S.哈，T。Kunz，S.Jain，Y.叶，S。S. Srini- vasa，M. Stilman和C. K.刘某Dart：动态动画 和 机 器 人 工 具 包 。 The Journal of Open SourceSoftware，3（22）：500，2018。5[20] F. Lu 和E. 米利 奥斯未 知环境 下机 器人位 姿估计 的Journal of Intelligent and Robotic Systems，18（3）：249-275，1997. 1[21] B. Luo和E. R.汉考克一个统一的对齐和对应框架。计算机视觉与图像理解，92（1）：26-55，2003. 2[22] M.马格努森三维正态分布变换：用于配准、表面分析和环检测的有效表示。博士论文，Oürebrouni-versitet，2009. 二、三、七[23] G. McNeill和S. Vijayakumar鲁棒形状匹配的概率方法。图 像 处 理 ，2006 年 IEEE国 际 会 议 ， 第 937-940页 。IEEE，2006年。2[24] L. Munderman，S. Corazza和T.安德里亚基使用具有软关节约束和关节模型库的关节式icp精确测量人体运动《计算机视觉与模式识别》，2007。07年CVPR。IEEE会议，第1-6页。IEEE，2007年。1[25] A. Myronenko和X.歌点集配准：相干点漂移。IEEETransactionsonPatternAnalysisandMachineIntelligence，32（12）：2262-2275，Dec 2010. 一二三六七[26] R. A. Newcombe，D. Fox和S. M.塞茨动态融合：非刚性场景的实时重建与跟踪。在IEEE计算机视觉和模式识别会议论文集，第343-352页，2015年。二、八[27] A. Nüchte r，K. Lingemann，J. Hertzbe r g和H. 苏曼6d slam3d映射户外环境。Journal of Field Robotics，24（8-9）：699-722，2007. 1[28] F. Pomerleau，F.科拉斯河Siegwart等人移动机器人点云配准算法综述。Foundation-tionsandTrendsRobotics，4（1）：1-104，2015。1[29] F. Pomerleau，F.科拉斯河Siegwart和S.麦格纳特比较真实世界数据集上的ICP变量。Autonomous Robots，34（3）：133-148，Feb. 2013. 1[30] A. Rangarajan，H.Chui、黄毛叶蝉E.Mjolsness，S.帕普湖达瓦奇P. Goldman-Rakic和J.邓肯一种用于放射自显影图像对齐的鲁棒点匹配算法。医学图像分析，1（4）：379-398，1997年。2[31] T.施密特河Newcombe和D.狐狸.密集对应的自监督视觉描述符学习。IEEE Robotics and Automation Letters，211107（2）：420-427，2017。311108[32] J. Schulman，A. Lee，J. Ho，and P.阿比尔用点云跟踪可变形物体在机器人和自动化（ICRA），2013年IEEE国际会议上，第1130