实时3D模型颜色和深度跟踪在单CPU内核上的性能优化

745在单CPU内核上实时跟踪3D模型的颜色和深度Wadim Kehl1，2Federico Tombari2Slobodan Ilic2，3Nassir Navab21丰田研究所，洛斯阿尔托斯2慕尼黑TUM3西门子研发中心，慕尼黑wadim. tri.global摘要我们提出了一种新的方法来跟踪3D模型的颜色和深度数据。为此，我们引入了近似，加速了一个数量级的最先进的基于区域的跟踪，同时保持类似的精度。此外，我们展示了如何在深度数据的存在下使该方法更加鲁棒，从而形成一个新的联合轮廓和ICP跟踪能量。我们提出了比最先进的更好的结果，同时比大多数其他方法快得多，并在单个CPU核心上实现上述所有功能。1. 介绍图像序列中的目标跟踪是计算机视觉中的一个重要问题，在机器人、增强现实、医疗导航和监控等领域有着重要的应用对于这些应用中的大多数，目标跟踪必须在3D中进行，即。算法必须在每个帧中检索每个模型的完整6D姿态。这是相当具有挑战性的，因为对象可能在其姿势中是模糊的，并且可能经历遮挡以及外观变化。此外，跟踪器还必须足够快，以便覆盖更大的帧间运动。在从彩色图像进行3D对象跟踪的情况下，相关工作可以大致分为稀疏方法，该方法试图建立和跟踪帧之间的局部对应关系[30，15]，以及基于区域的方法，该方法利用关于对象的更多整体信息，例如形状，轮廓或颜色[18，5]，尽管两者的混合确实存在[22，2，23]。虽然这两个方向都有各自的优点和缺点，但后者对无纹理物体的表现更好，这是我们在这里的重点。无纹理对象跟踪的一种流行方法依赖于将投影对象轮廓与每帧中的分割对齐的想法。虽然最初显示为任意形状[4，1]，但最近的工作重点是跟踪3D彩色模型[5，18，31，29]。随着商品RGB-D传感器的出现，这些方法随后被进一步扩展到深度图像图1. 我们可以对多个对象进行可靠的跟踪，同时对部分遮挡以及尺度的急剧变化具有鲁棒性。为此，我们采用轮廓线索和内部对象信息来联合驱动6D姿态对齐。所有这些都是在单个CPU核心上实时实现的。用于同时跟踪和重建[20，19]。事实上，利用RGB-D是有益的，因为基于图像的轮廓信息和深度图是互补的线索，一个集中在对象边界上，另一个集中在对象内部区域上。这已经被用于3D对象检测和跟踪[16，9，13，12]，以及改进平面室内环境中的相机跟踪[32]。从计算的角度来看，几个国家的-艺术跟踪器利用GPU实现实时性能[20，19，29]。然而，人们对减少计算负担和通常避免使用GPU有着强烈的兴趣，这是由于许多相关应用要求跟踪器重量轻[11，17]。考虑到这一切，我们提出了一个框架-工作，允许准确跟踪多个三维模型的颜色和深度。与相关作品[18，29]不同，我们的方法是轻量级的，无论是在计算（只需要一个CPU核心）和内存占用。为了实现这一点，我们建议从不同的视点预渲染给定的目标3D模型这避免了耗时746⊆\在线渲染，从而导致快速跟踪方法。此外，我们不计算我们的目标函数密集的条款，但引入稀疏近似，这给了一个巨大的性能提升，允许- ING实时跟踪多个实例。虽然提出的基于轮廓的跟踪在RGB图像中工作良好，但在可用深度信息的情况下，我们提出了两个附加条件：首先，我们通过结合云信息使基于颜色的分割更加鲁棒，其次，我们定义了一个新的跟踪框架，其中云数据上的新的平面到点误差和轮廓误差同时引导姿态对齐。作为我们工作的基础，我们建议预先渲染模型视图空间，并在离线步骤中提取轮廓和内部信息，以避免在线渲染，使我们的方法是一个纯粹的基于CPU的方法。我们稀疏地而不是密集地评估所有术语，这将极大地提高性能。给定RGB-D数据，我们展示了如何通过将云信息并入颜色轮廓估计来改进基于轮廓的跟踪此外，我们提出了一种新的联合跟踪，它结合了一种新的平面到点误差和轮廓误差，即。颜色和深度点同时操纵姿态对准。因此，我们的方法可以处理跟踪中通常遇到的挑战，如图1所示。在结果部分，我们评估了我们的方法的定量和定性，并将其与相关的approaches报告更好的准确性，更高的速度。2. 相关工作我们将自己限制在颜色和深度的3D模型跟踪领域。该领域的早期工作采用2D-3D对应关系[21，22]或3D边缘[6，28，24]，并以ICP方式拟合模型，即而无需明确地计算轮廓。虽然沿着这个方向的连续方法设法获得改进的性能[2，23]，但另一组作品仅专注于通过进化水平集函数来密集跟踪轮廓[1，5]。特别是，Bibbyet al.[1]将当前不断发展的2D轮廓与分层地射线投射体积表示，并通过利用手机的惯性传感器数据来加速姿势优化。Tjaden等人[29]建立在原始框架的基础上，并将其扩展为一个新的优化方案，该方案采用高斯-牛顿和扭曲表示。此外，它们还处理多对象跟踪场景中的遮挡，使整个方法在实践中更加鲁棒。这些方法的典型问题是基于颜色直方图的脆弱分割，如果不使用自适应外观模型，或者在背景颜色与对象颜色匹配的场景中进行跟踪，则很容易失败在此基础上，[31]探索 一个边界项，以加强轮廓，而[8]改进了局部外观模型的分割。当涉及到从深度数据进行时间跟踪时大多只有基于稀疏和密集数据的能量最小化的工作[16，3，20，19，32，25]，或者基于学习的工作，例如Tan等人的工作。[26，27]和Krullet al. [14 ]第10段。其中，与我们关系最密切的是任正非等人的作品。[20，19]，其在基于颜色的分割之后跟踪并同时从深度数据重建3D水平集嵌入，以及Park等人。[16]他们制定了类似的联合颜色/深度能量来跟踪和重建基于模板的模型表示。3. 方法我们将首先介绍RGB-D图像中轮廓跟踪的概念。在那里，我们正式提出了一种新的前景后验概率的颜色和云数据。这是其次是完整的能量制定联合轮廓和云对齐。最后，我们解释了我们进一步的贡献，以提高运行时性能，曼斯通过我们提出的近似方案。3.1. 隐式轮廓嵌入跟踪本着[18，29]的精神，我们希望在相机空间中跟踪（网格化）3D模型，使得其投影轮廓与图像I中的2D分割完美对齐：R→R3，其中R→R2是图像域。给定一个轮廓（即前景掩模），我们可以推断轮廓C以计算带符号距离场（SDF）φs. t。.d（x，C），x∈φbφ（x）：=， d（x ， C ） ：=m in||x−y||颜色分割，并证明了提高鲁棒性当计算颜色空间中的后验分布时。−d（x，C），x∈fy∈C基于这项工作，第一个实时轮廓跟踪器，Prisacariu等人提出了3D模型。[18]，其中通过将3D模型及其相关的6D姿势投影到帧上来确定轮廓。然后，分割和投影之间的对齐误差驱动其中，像素表示到最近轮廓点的带符号距离，并且是背景像素的集合。我们遵循PWP3D跟踪器能量公式[18]其中，给定彩色图像I，嵌入为φ的轮廓的逐像素（后验）概率定义为：通过梯度下降更新姿态参数中后续工作[17]中，作者将他们的方法扩展到在移动设备上模拟跟踪和重建3D对象，P（φ|I）：=Y.x∈ΩΣHφ（x）Pf（I（x））+（1−Hφ（x）Pb（I（x）.手机实时它们通过以下方式绕过GPU渲染：···747D→→D||||图2.在彩色数据中并排追踪两个斯坦福兔女郎虽然左边是密集跟踪，右边是通过一组稀疏的50轮廓样本点与我们从计算后的地图Pf为每个对象，我们描绘了一些涉及的能量项。每个稀疏轮廓点上的颜色表示其2D方向，而黑点是采样的内部点。项Pf、Pb是基于颜色对前景和背景隶属度的后验分布进行建模，实际上是从归一化的RGB直方图计算的，而Hφ表示在φ上定义的Heavi侧阶跃函数的平滑版本。为了了解所涉及的术语，我们参考图2。在实践中该后验在前景和背景不同的情况下工作良好，并且当背景的部分的颜色接近目标对象的颜色时开始失效。为了避免这个问题，我们建议使用来自RGB- D传感器的深度信息作为补充信息，在对象的前景上的稀疏采样点。让我们定义一个深度图D：R+和它的云图−1：R3。此外，我们进行了一个快速的深度图修复，这样我们就可以删除D和D −1中的所有未知值。 我们的目标有两个：我们希望通过将云信息包括到概率估计中来使后验图像Pf更鲁棒，并且我们希望将跟踪能量扩展到新数据。3.2. 逐像素彩色/云后验在实践中，颜色直方图非常容易出错，并且对于纹理/光泽对象和彩色背景快速失效，即使在跟踪期间使用自适应直方图因此，我们提出了一个新的强大的像素后Pf用于轮廓对齐方程。当提供附加深度数据时，为1。我们提出的概念是，单独的颜色后验是误导性的，应该重新加权与他们的空间接近模型。给定一个姿态为M= [R，t]的模型，我们推断出轮廓区域f和背景b，现在不仅基于给定的像素颜色x，而且还基于相关的云点C来定义它们的概率。我们从估计姿势及其轮廓的概率开始，提供颜色和云数据，并图3.分割计算。由于背景颜色相似，因此只有额外的基于云的加权才能为我们提供可靠的分割以进行跟踪。houette是独立的，给定x和C：Pf：= P（G = FG，M |x，C）= P（FG|x，C）·P（M |X，C）。假设所有像素都是独立的，像素的颜色与其浊点之间没有相关性，并且P（M）是均匀的，我们得到1：P（FG x，C） ： =P（x|FG）·P（C|（ 2）<$G∈{FG，BG}P（x|G）·P（C|G）P（M |x，C）P（x|M）·P（C|M）。（三）虽然P（x G）通常从颜色直方图计算，但如何计算P（C G）并不直接清楚，因为它假设从图像掩模推断3D数据，而项P（x M）通常是不可行的。因此，我们放弃了这两个术语（即，将两者都设置为uniform），并最终定义精细G∈ {FG，BG}作为二元前景/背景变量 为了便于处理，我们假设一个姿势和它的sil-1我们请读者参阅补充完整的推导。748−ω ω0t∈∈R且σ2∂φxXDF∈P：=P（C|M）·P（x|FG）。（四）它的李代数扭曲∈SE（3）以及它到李群∈SE（3）的指数映射：G∈{FG，BG}P（x|G）电子邮件加权项P（C|M），这给出了0−ωzωytxΣ可以通过多种方式计算模型上的云点。 我们想要一个更精确的测量，而不是简单地测量到模型质心的距离，ξˆ:=ωz0 −ωxty,Ξ:= exp(ξˆ)=y x z0 0 0 0Rt.0 1返回到最近模型点的距离。由于即使是对数最近邻查找在这里也是昂贵的，因此我们使用在[7]中首次提出的想法。可以预先计算模型周围体积中的距离变换为了便于恒定的最近邻查找功能，N（C）：= argminX∈模型||X − C||我们利用这一点我们滥用符号s.t. X表示应用于3D点X的XRR4×4的变换。假设只有极小的变换变化，我们推导出关于点X进行螺旋运动的能量2，<$EC=（Pf− Pb）<$Hφ<$φ <$π（X）<$<$（X）。通过将每个场景云点C带入局部对象帧，并有效地计算像素级Hφ（Pf−Pb）+Pb∂φ ∂x ∂X∂ξ（八）利用高斯核在图像平面上加权：一些术语的可视化可以在图2中看到。当你（X）¯ ¯3×6π π（X）X∈R2×3可以写成P（c）|M）：=exp（−||C−N（C）||），C<$：=R·C−Rt.（五）这里，σ= 2。5cm决定了我们允许一个点偏离完美对齐的程度，因为我们希望在解析形式中， 本质上是一个平滑的狄拉克δ，而φR1×2可以通过简单的中心差分实现。总的来说，我们得到一个雅可比矩阵Jx∈ R1×6，每个像素和解决一个最小二乘问题处理姿势不准确以及深度噪声。在图3中，我们可以看到颜色后验加上基于云的加权项的组合。而Σ=（XJ<$Jx）−1Σ（9）X前者给出了单独基于外观的分割，后者考虑了互补的空间距离，使得基于轮廓的跟踪更加鲁棒。3.3. 联合等高线和云跟踪我们引入了一个组合跟踪approach的概念，其中2D轮廓点和3D云点共同驱动姿态更新。本质上，类似于[16]，我们寻求以下形式的加权能量：E接头=EC+ λEICP。（六）其中λis平衡两个部分能量，因为它们可以在样本数量以及数值尺度上偏离。3.3.1轮廓能量假设逐像素独立性并取Eq.1，我们得到一个轮廓能量泛函通过Cholesky分解。给定模型姿态MtR4×4在时间t，我们通过指数映射Mt+1=exp（λp）·Mt。（十）3.3.2ICP能源在ICP方面，点到平面误差已被证明比点到点度量提供更好和更快的收敛。它假设源点si（此处来自模型视图）与目的地（此处为场景）的点di和法线ni相机空间中的法线可以从深度图像中近似[9]，但通常有噪声并且需要时间。因此，我们提出了一种新的平面到点的错误，其中法线来自源点集，并已预先计算每个视点。这确保了快速的运行时间和完美的数据对齐，因为切线平面在最佳位置重合。给定当前姿势[R，t]和最近视点，EC：=− Σx∈Ω日志∂ξ∈∇749XyzXyz.ΣHφ（x）Pf（I（x））+（1−Hφ（x）Pb（I（x）.局部内部点si，我们变换为s<$i=R·si+t，并投影每个点以得到相应的场景点di：= Π−1（π（s<$i））。因为我们也有一个本地的ni，我们带来了（7）在场景中，n<$i=R·ni，我们要重新定义最小化为了优化模型姿态变化方面的能量，我们采用高斯-牛顿计划扭转坐标，类似于Tjaden等人。[29]第10段。我们定义了一个EICP：=argminΞΣ。Σ2（（s<$i）−di）·SO（n<$i）. （十一）扭转向量<$= [t，t，t，ω]<$∈R6，其提供我们所寻求的转换的最小表示和2为了简洁，我们将完整的推导移到补充中。我750我我X我∀∈与已建立的点到平面误差的差异是对源法线ni 的 附 加 旋转进行求解。请注意，只有旋转的部分作用在n′i上，因此我们省略了李代数的平移生成元。对R3进行推导，得到了每个对应的雅可比矩阵Ji∈R1×6和残差riΣJi：=−n¯⊺.（s<$i×n<$i）+n<$i×（s<$i−di）Σ⊺Σ、（十二）ri：=（s<$i−di）·n<$i（13）并构造一个正规系统以得到以下形式的扭曲：∇ξ=. ΣJJi我Σ−1Σ我（14）图4.对象局部3D轮廓点可视化为单位球体上的三个每个视图捕获不同的轮廓，在跟踪期间使用该轮廓以规避昂贵的渲染。总之，我们现在可以把等式插在一起。7和11，以-从Eq. 6作为关节轮廓和平面到点对齐。接下来，我们构建了一个正常系统，该系统包含来自2D图像数据的逐射线轮廓雅可比矩阵Jx和来自3D云数据的逐对应ICP雅可比矩阵Ji∇ξ=. ΣΣJJx+XiλJ JiΣ-1。ΣXJx+Σ√λJi·ri.我（十五）求解上述系统产生一个扭曲，用它来更新当前姿态。这种公式的优点是我们将来自不同优化问题的实体应用到一个公共框架中：虽然彩色像素使投影误差最小化，但是云点这样做具有几何误差。因此，如果分割部分错误或者如果一些深度值有噪声，则这些互补线索可以相互补偿3.4. 近似实时跟踪从Eq. 3.1已经有三个昂贵的步骤。我们需要当前模型姿态的轮廓渲染，轮廓C的提取，以及最后，后续的距离变换嵌入φ。虽然[29]执行GPU渲染并在同一通道中耦合SDF及其梯度的计算以更快，[17]在CPU上执行分层光线跟踪并通过Scharr运算符提取轮廓。我们提出两个关键意见：1. 只需要2. 由于曲率因此，我们提出了一个便宜的，但非常有效的近似模型渲染空间，避免了在线渲染和轮廓提取。在离线阶段，[3]推导过程见补充材料。图5.当前跟踪和最近的预渲染视点aug-用轮廓和内部采样点分段。色调表示每个轮廓点的法线方向。请注意，我们如何通过近似平面内旋转来旋转每个轮廓点的方向，以使SDF计算正确。在对象模型周围的单位球体上对视点Vi进行采样，从每个视点进行渲染，并提取3D轮廓点，以在局部对象空间中存储与视点相关的稀疏3D采样集（参见图4）。由于我们将在3D空间中使用这些点，因此我们既不需要按比例采样，也不需要进行不同的面内旋转。最后，我们为每个轮廓点存储其2D梯度方向并采样一组内表面点与其法线（见图5）。在一个天真的方法，所有涉及的条款，从方程。7将被密集计算，即，这对于实时场景来说成本过高。相关工作仅在轮廓周围的窄带中评估能量，因为残差在离开界面时迅速衰减。因此，我们建议计算Eq。8在沿着稀疏的选定轮廓点集合的窄带中，其中我们沿着射线计算φ。每个投影轮廓点垂直于轮廓即沿其法线发射正射线和负射线。在此基础上，我们引入了3D轮廓点的射线积分的想法，这样我们就不会创建逐像素但逐射线的雅可比矩阵，这导致更小的缩减步骤和正常系统的更好的调节。在Eq. [17]他们的方法。Σ751−··≈∂φV∂φx||O||−为了形式化，我们在跟踪期间具有模型姿态[R，t]，并且通过计算对象空间中的相机位置来避免渲染。 我们归一化到单位长度，并通过点积快速找到最近的视点VVi：=argmaxVi，O/||O||。（十六）Vi然后将来自Vi的轮廓Xi的每个局部3D采样点变换并投影到2D轮廓采样点xi=π（RXi+t），然后使用该2D轮廓采样点x i= π（RX i + t）将射线发射到对象内部并发射到相反方向。为了得到每条射线的方向，我们不能依赖任何-更多关于预渲染期间的值，因为当前模型姿势可能具有未考虑的平面内旋转在预渲染过程中，给定一个具有2D旋转角度θ的轮廓点，我们可以通过v=（cosθ，sinθ，0）将其嵌入到3D空间中，然后将其与当前模型旋转R相乘。虽然这在实践中是可行的，但R v到图像平面上的投影有时可能是关闭的因此，我们提出了一个新的近似的面内旋转，我们试图分解R=RinplaneR 规范S. T。一个部分描述了围绕标准帧中的对象中心的一般旋转，而另一部分描述了围绕照相机的观察方向的旋转（即，在飞机上）。虽然一般是不适定的，但我们利用我们关于最佳观点的知识，假设R是正则的RV，并提出通过以下公式来近似xy平面上的旋转R：轮廓点，我们得到的正常系统持有两个射线雅可比每点。3.5. 实现细节我们的方法在C++中运行在单个i7-5820K@3.3GHz内核上。总的来说，我们从等距的642个视图渲染模型，两个视点之间的角度差约为8度为了计算直方图，我们避免了渲染，而是在前景直方图的投影内部点获取颜色对于背景直方图，我们计算模型的3D边界框的矩形2D投影，并将其外部的像素取出。我们采用H φ和H φ的一维查找表，φ，以加快计算速度。最后，如果我们找到一个待遮挡的变换点p′，即D（π（p<$））+5cmp<$z，我们在所有计算中丢弃它（见图6）。<图6. 我们的遮挡处理与修复的深度数据一起。在优化过程中会跳过被遮挡的点（红色）。4. 评价提供定量数字并自我评估我们的R：=R·R.（十七）方法对无噪声数据，我们运行的第一组实验上的合成RGB-D数据集的Choi和克里斯-然后，我们通过第一个元素提取角度θ=αcos（R=1，1）。具有较大的视点偏差||V−O||，这个近似值是错误的，但我们的球体采样足够密集，可以在实践中减轻这种情况。我们重新定向每个轮廓梯度gi：=（gi+θ）mod 2π，并发射射线以计算残差和来自等式7（参见图5以比较SDF射线的方向和图2中的底行最后一个缺失的构建块是由于我们丢失了密集的信息，因此无法用数值计算SDFφ因此，我们从几何学上计算它，类似于[17]。而他们的计算是准确的，当假设当地平面性的投影到prin-UNRray，我们的方法是更快的，而招致一个小的误差，这是可以忽略不计的实践。给定从轮廓点p=（px，py）出发的射线r=（rx，ry），我们计算φ（px+rx，py+ry）处的水平导数作为中心差||（p）+R+ 1，p+r）||−||（p）+r −1，p+r）||tensen [3]。它提供了四个1000帧的序列，每个序列覆盖给定轨迹周围的对象。后来，我们在LineMOD数据集上运行收敛实验[9]，并对Tan等人进行评估。在他们的两个序列上。4.1. 用λ平衡跟踪能量为了理解轮廓和内部点之间的平衡，我们分析了改变λ的影响。它应该补偿不同数量的采样点和数值尺度。我们将两种模态的样本点固定为50，以仅关注与雅可比矩阵的尺度差异。虽然ICP值是度量的，范围在[ 1，1]左右，但来自轮廓雅可比的值是图像坐标，因此可以是数千。我们选择了两个序列，即由于前景和背景之间的相似性太大，所以仅通过轮廓（λ= 10另一方面，仅依靠面到点能量（λ= 109）xx y y xx2yy.导致"Kinect盒子"的平面漂移。 因此我们发现λ= 105是一个很好的折衷方案（见图7）。垂直导数的计算类似。 像在相关的工作中，我们以由粗到细的方式在三个金字塔级别上执行所有计算 因为我们每次4.2. 改变采样点的数量在λ= 105的固定值下，我们现在查看更改样本点数量时的行为我们再次选择了752∼图7. 上图：“kinect box”（左）和“tide”（右）在每20帧上变化λ的平均平移误差。下图：Kinect Box上的跟踪性能。当λ=105时，轮廓点和内部点之间的平衡正确地驱动姿势当λ= 109时，能量主要由面-点ICP项决定，导致平面物体的漂移。仅强调轮廓（λ= 10），我们稍后会因杯状闭塞而偏离。图8. 左：当λ = 10 5时改变样本点数时，“潮汐”的平移/旋转平均误差由于相似的比例，我们绘制在同一图表中。右：后部颜色与当跟踪λ = 10 3时，云重新加权。彩色海报Pf，Pb优化直方图更新总1.420.140.121.042.73表1.Choi数据集上所有步骤的平均计时（毫秒）“潮”，因为它有丰富的色彩和几何跟踪。如图8所示，我们不断减少，直到30个点，在30个点处，平移误差趋于稳定，而旋转误差进一步衰减，在80-90个点附近趋于稳定。我们惊讶地看到，一个相当小的10个轮廓/内部点的采样集已经导致适当的能量解决方案，使成功跟踪的序列。4.3. 与相关工作的我们运行我们的方法与λ= 105和50点的轮廓和内部。由于我们想要测量具有和不具有额外云加权的新颖能量对准的性能，因此我们重复了两种情况下的我们通过计算每个平移轴和每个旋转轴上的RMSE来与其他人进行相应的从表2中可以看出，我们大大优于其他方法，有时甚至达到一个数量级。这个结果并不令人惊讶，因为我们是唯一一个直接的，投影能量最小化的方法。虽然C CPCL C C Krull Tan A B(a)Kinect Boxtx43.991.840.81.541.20.76ty42.512.231.671.901.161.09tz55.891.360.790.340.300.38α7.626.411.110.420.140.17β1.870.760.550.220.230.18γ8.316.321.040.680.220.20MS45391661431.52.708.10(b)牛奶tx13.380.930.511.230.910.64ty31.451.941.270.740.710.59tz26.091.090.620.240.260.24α59.373.832.190.500.440.41β19.581.411.440.280.310.29γ75.033.261.900.460.430.42MS22051341351.52.728.54(c)橙汁tx2.530.960.521.100.590.50ty2.201.440.740.940.640.69tz1.911.170.630.180.180.17α85.811.321.280.350.120.12β42.120.751.080.240.220.20γ46.371.391.200.370.180.19MS16371171291.52.798.79(d)潮tx1.460.830.690.730.360.34ty2.251.370.810.560.510.49tz0.921.200.810.240.180.18α5.151.782.100.310.200.15β2.131.091.380.250.430.39γ2.981.131.270.340.390.37MS27621111161.52.719.42是说Tra18.721.360.820.810.580.51腐29.702.451.380.370.280.26MS27861321311.52.736.92表2.平移（mm）和旋转（度）的误差，以及Choi数据集上跟踪结果的运行时间（ms）。我们比较了PCL[14] Tanet al.[27]我们没有（A）和云加权（B）。和Krull使用粒子滤波方法，花费超过100毫秒，Tan基于深度差异评估随机森林Tan和C C只使用深度信息，而Krull像我们一样使用RGB-D数据。我们的运行时（如表1所示）非常接近Tan等人S.虽然它们经常需要大约1.5ms，但我们平均需要不到3ms来计算完整的更新。如果我们计算增加的云权重，它需要我们另外4ms，但在这个数据集上产生迄今为止最低的报告误差。Tan和Krull需要一个训练阶段来构建他们的回归结构，而我们的方法只需要渲染642个视图并提取样本信息。这大约需要此外，我们在单个CPU核心上的速度大约是Tjaden等人的四倍。s [29]基于GPU的密集实现。4.4. 收敛性质由于我们提出的联合能量以前没有以这种方式应用，我们对一般的收敛行为感到好奇。为此，我们使用了现实生活中的75310−−10图10. 上图：我们与Tan等人比较的两个序列中的两个帧。底部：两个序列上每4帧的LineMOD错误。我们显然表现得更好。图9. 上图：每个θ的旋转误差的相对频率。中心：每个θ和给定迭代方案的平均LineMOD得分。底部：扰动示例和检索的姿势。LineMOD数据集[10]。虽然设计用于对象检测，它有地面实况注释15纹理无对象，因此我们模仿跟踪的情况下，扰动地面实况姿态和'跟踪回'到正确的姿态。更准确地说，我们通过在[θ，θ]范围内分别为每个轴随机采样扰动角和在[t，t]范围内随机平移偏移来创建每帧1000个扰动，其中t是模型直径的1/1每个序列和配置产生超过100万次运行，为我们提供了严格的定量收敛分析，我们在图9中以最终旋转误差的直方图形式显示了2个序列4我们还绘制了每个θ的平均LineMOD评分。为此，模型云用地面实况和检索到的姿态变换一次，并且如果两者之间的平均欧几里得误差小于直径的1/1我们的优化是迭代的，在三个级别上从粗到细，因此我们计算了不同迭代集的上述得分。例如，2- 2-1表示在粗尺度上的2次迭代，在中间尺度上的2次迭代和在最精细尺度上的1次迭代。在跟踪过程中，典型的姿势变化很少超过对于这种情况，我们可以报告近乎完美的结果。尽管如此，我们在更困难的姿势偏差中表现得出奇的好，并且优雅地降级从LineMOD分数中我们可以看到，[4]在附录中，我们提供了所有序列的数字。水平不足以恢复更强的扰动。对于非常高的θ，在较粗尺度上的附加迭代可以产生高达35%的差异，这主要通过SDF射线来解释，捕获更大的空间距离。4.5. 与最新技术我们感谢Tan等人的作者。用于提供两个序列以及地面实况注释，使得我们可以直接与他们的方法进行比较来评估我们的算法。与我们相反，他们的方法内置了一个学习的遮挡处理。这两个序列的特点是一个旋转表与中心对象跟踪，经历了许多层次的闭塞。从图10中可以看出，我们的性能超过了他们的方法，特别是在第二个序列上。4.6. 失败案例最薄弱的环节是后验计算，因为整个轮廓能量依赖于它。在模糊或突然的颜色变化的情况下，后部被误导。此外，我们的SDF近似可能会失败的小或非凸轮廓时，内部光线过冲的内部。5. 结论我们已经演示了RGB和深度如何以联合方式用于准确和高效的6D姿态跟踪的目标所提出的算法依赖于一种新颖的优化方案，该方案足够通用以单独应用于深度或RGB模态，同时能够在两者都可用时以原则性的方式融合它们。我们的系统使用单个CPU核心实时运行，并且可以以30 Hz的频率跟踪大约10个对象，这是可以在视觉上适合一个VGA图像的现实上限同时，它能够报告最先进的准确性和对遮挡的固有鲁棒性。致谢作者要感谢Hen- ning Tjaden提供的有用的实施评论，以及丰田汽车公司对这项工作的支持和资助。754引用[1] C.毕比和我。里德使用像素后验的鲁棒实时视觉跟踪。ECCV，2008年。一、二[2] T.布罗克斯湾Rosenhahn，J. Gall和D.克莱姆斯结合区域和运动的三维跟踪的刚性和关节的对象。TPAMI，2010年。一、二[3] C. Choi和H.克里斯滕森RGB-D对象跟踪：一种基于GPU的粒子滤波方法。InIROS，2013. 二六七[4] D. Cremers，M.Rousson和R.德里切水平集分割的统计方法综述：将色彩、纹理、运动和形状融为一体。IJCV，2007年。1[5] S. 当布雷维尔河Sandhu、A.Yezzi和A.坦南鲍姆使用3D形状先验的联合2D基于区域的分割和3D姿态估计的几何 方 法 。 SIAM Journal on Imaging Sciences ， 2010 。一、二[6] T. 德 拉 蒙 德 河 西 波 拉 复 杂 结 构 的 实 时 视 觉 跟 踪 。TPAMI，2002年。2[7] A.菲茨吉本 2D和3D点集的稳健配准。BMVC，2001年。4[8] J. Hexner和R.R. 哈格基于区域的异质目标2D-3D位姿估计IJCV，2016年。2[9] S.欣特施托伊塞尔角Cagniart，S. Ilic，P. Sturm，N.纳瓦布P. Fua和V.莱珀蒂用于无纹理目标实时检测的梯度响应图。TPAMI，2012年。一、四、六[10] S. 欣特施托伊塞尔河谷Lepetit，S.Ilic，S.Holzer，G.布拉德斯基，K. Konolige和N.纳瓦布基于模型的训练，检测和严重杂乱场景中无纹理3D物体的姿态估计。InACCV，2012. 8[11] S. 霍尔泽M.Pollefeys，S.Ilic，D.Tan和N.纳瓦布用于实时跟踪的线性预测器的在线学习ECCV，2012年。1[12] W. Kehl，F.Milletari，F.Tombari，S.Ilic和N.纳瓦布局部RGB-D补丁的深度学习，用于3D对象检测和6D姿态估计。在ECCV，2016年。1[13] W. Kehl，F.通巴里湾Navab，S.Ilic和V.莱珀蒂Hash-mod：一种用于可伸缩3D对象检测的哈希方法。在BMVC，2015年。1[14] A. Krull，F. Michel，E. Brachmann，S. Gumhold，S.Ihrke，和C.罗瑟6-通过物体坐标回归的基于自由度模型的跟踪。InACCV，2014. 二、七[15] Y. 公园和V。莱珀蒂增强现实的多个3D对象跟踪ISMAR，2008年。1[16] Y. 帕克河谷Lepetit和W.哇哦。使用RGB-D相机进行无纹理对象ISMAR，2011年。一、二、四[17] V. A.普里萨卡留湾W.默里和我D.里德手机上的实时3D跟踪和重建。TVCG，2015. 一、二、五、六[18] V. A.普利斯卡留和我。D.里德PWP3D：3D对象的实时分割和跟踪。IJCV，2012年。一、二[19] C. Y. Ren，V.普里萨卡留岛凯勒岛Reid和D.默里使用RGB-D输入的具有相同外观的多个对象的3D跟踪。在3DV，2014年。一、二[20] C. Y. Ren，V. Prisacariu，D.默里和我里德STAR 3D：使用RGB-D数据同时跟踪和重建3D对象。InICCV，2013. 一、二[21] B. Rosenhahn，T. Brox，D. Cremers和H. P. Seidel基于轮廓的姿态估计的形状匹配方法比较。LNCS，2006年。2[22] C.施马尔茨湾Rosenhahn，T. Brox，D. Cremers，J. 韦克特 湖 Wietzke 和 G. 萨 默 基 于 区 域 的 姿 态 跟 踪 。InIbPRIA，2007. 一、二[23] C.施马尔茨湾Rosenhahn，T. Brox和J. Weickert使用3D模型进行基于区域的遮挡姿态跟踪。MVA，2012年。一、二[24] B. K.徐，H. Park，J. I.帕克，S。Hinterstoisser和S.伊利克最佳局部搜索，用于在高度杂乱的背景中进行快速和鲁棒的无纹理3D对象跟踪。在TVCG，2014. 2[25] M.斯拉夫切瓦湾Kehl，N. Navab和S.伊利克SDF-2-SDF：高精度3D物体重建。 ECCV，2016。2[26] D. Tan和S.伊利克多林跟踪器：变色龙在追踪CVPR，2014。2[27] D. J. Tan，F. Tombari，S. Ilic和N.纳瓦布基于学习的3D时间跟踪器：可扩展、健壮、网上在ICCV，2015年。二、七[28] K. Tateno，D. Kotake和S.内山基于模型的3D对象跟踪与在线纹理更新。在MVA，2009年。2[29] H.查登湖Schwanecke和E.舍默多个目标的实时单目分割和位姿跟踪在ECCV，2016年。一二四五七[30] L.瓦凯蒂Lepetit和P.呸使用在线和离线信息进行稳定的实时3D跟踪。TPAMI，2004年。1[31] S.赵湖，加-地Wang，W. Sui，H. Y. Wu和C.锅基于边界约束区域模型的三维InICIP，2014. 一、二[32] 问 ：y. Zhou 和V.科 尔顿 。 深 度相 机 跟 踪与 轮 廓 线索.CVPR，2015。一、二