6280一种用于三维重建的半隐式曲面表示方法-SDFChristiane Sommer卢桑DavidSchubert Daniel Cremers慕尼黑工业大学计算机视觉集团{c.sommer，lu.sang，d.schubert，cremers} @ tum.de摘要我们提出了一种新的三维几何表示方法-通过存储在每个体素的有符号的距离场，以及其梯度向量场，我们提高了隐式表示的能力与方法最初制定明确的表面。作为具体的例子，我们表明：（1）主动SDF允许我们从深度图像执行直接SDF跟踪，使用有效的存储方案，如哈希图，(2)所述连续SDF表示使我们能够直接在体素表示中执行光度束调整（而不变换成点云或网格），自然是几何形状和相机姿态的完全隐式优化实验结果证实，这导致显着更清晰的重建。由于总体SDF体素结构仍然受到尊重，因此所提出的并行SDF与相关方法同样适合于（GPU）并行化。1. 介绍计算机视觉中的三维几何表示是一个长期研究的课题。在数学上，曲面是嵌入R3中的二维流形。然而，当涉及到在计算机上实现这一点时，离散化的问题就出现了：我们如何用有限内存和有限精度的变量来表示可能具有无限细节和大范围的表面？对这个问题有不同的答案，哪一个是最合适的高度取决于一个人想要解决的具体问题。一方面，有显式表示，如点云，曲面云或多边形网格。它们直接对曲面上的点进行采样，并提供曲面法线或点半径（对于曲面）等附加信息*这些作者的贡献相等。图1.我们的无符号SDF（中）是存储在体素网格（左）中的标准有符号距离场与使用曲面的显式几何表示（右）之间的混合表示：虽然我们继承了标准SDF体素的隐式性质，但我们存储每个体素的梯度，这类似于曲面的表面法线属性。这结合了隐式表示的优点，例如直接SDF跟踪的可能性，以及显式表示的优点，例如执行束调整的可能性。fels）或点的连通性（对于网格）。这对于像光束法平差这样的应用程序很有用，在这些应用程序中，曲面点被重新投影到不同的相机帧中。另一方面，我们有隐式表示，它采用不同的方法：通过为周围空间R3中的每个点p分配标量值（例如二进制占用率）或到最近表面点的（带符号的）距离，来隐式地对表面进行编码。有符号距离场（SDF）有一些有用的属性，例如，与显式表示不同，它们允许表面拓扑的变化存在不同的方式来存储SDF，更传统的方式是体素网格，其中3D空间被划分为体素，即，给定大小的立方体每个体素包含其中心点的SDF值，有时被截断为某个值。这样的体素网格可以密集地存储，也可以稀疏地存储，例如，邻-6281∈树或哈希映射。从隐式表示中提取曲面需要额外的步骤，移动立方体是一种流行的选择[17]。直到最近，隐式表征的隐式参数化才变得更加流行。神经网络回归SDF值的表面在任何一点上，和网络权重集的唯一特征的表面几何形状。虽然这些双重隐式表示非常优雅，因为它们理论上提供了无限的细节水平，但是更新几何形状比基于体素的隐式表示更重要，并且表面提取通常需要体素化。在这项工作中，我们提出了一个混合显式和隐式表示称为conventient-SDF：我们使用基于体素的隐式SDF表示，并增加它与SDF梯度。总之，我们提出以下贡献：• 我们提出了一个隐式的几何表示与显式功能的间接SDF。该算法利用一阶泰勒展开进行插值，不需要直接访问多个体素.• 我们证明，我们存储的一致性SDF向量是显着更准确的梯度比标准的有限差分格式。• 我们从理论上和实验上展示了如何在基于深度的跟踪和映射系统，其中有效的存储在散列图中结合了直接SDF跟踪的协同SDF可以使用。• 我们提供了一个公式的光度束调整（BA）对我们的隐式体素为基础的梯度SDF表示和评估的好处。2. 相关工作ICP跟踪和基于SDF的映射在KinectFusion [19]中，通过迭代最近点（ICP）算法跟踪深度相机，其中通过光线投射将传入的深度图点云配准到从当前SDF模型许多方法建立在这个想法，并专注于改善不同的方面，最显着的是减少高内存要求所施加的体积体素网格的需要。体素散列方法为更低的内存需求奠定了基础[20]，其他人遵循并进一步改进了这一点[12，13，32]。在TextureFusion [16]中，体素哈希数据结构通过纹理块来增强，以便在RGB-D扫描设置内计算高分辨率纹理。虽然这些类似KinectFusion的方法工作得很好，可以在GPU上有效地实现，但它们可以在3D几何的不同表示之间切换：体素网格存储SDF并用于映射，通过光线投射获得的3D点云用于跟踪。基于SDF的跟踪和映射很少有作品解决了这个问题的表示切换，最显着的Bylow等人。[6]和Canelhaset al. [7]他们直接最小化SDF的平方和来估计相机姿态，而不是将SDF转换为点云。Slavcheva等人[24]还在相机姿态估计之前将输入深度图转换为体积SDF。这两种类型的方法比KinectFusion类方法收敛得更好，同时避免了表示的变化然而，它们严重依赖于被内聚地存储在存储器中的体素，因为跟踪步骤涉及SDF的插值和梯度计算，其需要访问至少八个体素以用于一个单次查找。基于Surfel的跟踪和映射基于Surfel的方法还可以从深度图像实现令人印象深刻的3D跟踪和映射结果Keller等人[14]使用冲浪板，即，点与它们的法线和一些附加属性一起，从深度传感器重建3D场景为了找到与传入图像中的像素相对应的表面元，他们使用索引图，并使用ICP将传入深度图与虚拟模型深度图对齐显式表示的一个特定优点是，密集摄影测量光束法平差[10]可以很容易地集成到跟踪和映射管道中，最近的一个例子是BADSLAM [22]。由于SurfelMeshing [23]，甚至可以从surfel表示中提取网格，使用延迟更新的八叉树来存储和轻松访问surfel。用于跟踪和映射的神经网络在过去的几年里，神经网络越来越多地用于跟踪和映射，因为使用学习参数的几何表示已经证明非常成功[4，11，18，21]。在RoutedFusion [30]中，SDF仍然存储为离散体素网格值 ，但 学 习新 传入 深 度图 像 的SDF 更 新。 后 来的NeuralFusion工作[31]也表示了潜在空间中的几何。在最近的工作中也采取了类似的方法[2，28]。3. 3D视觉3.1. 曲面还是体素？在体素网格上定义的SDF已经被用于存储和有效更新3D几何结构[9]几十年。将R3的一个子集R2细分为一个离散的体素集，其位置为 vjR3，每个存储到其最近表面点的距离，也参见图1（左）。 该符号指示vo x el位置是自由空间（Vj><0）还是对象内部（Vj>0）。 这种自由空间分类对于导航任务中的碰撞避免是有用的。给定一个SDF表示和一个新的距离估计d（vj），6282←（1）W+w（v）∈−∈−SΣp∈Ss∇J容易更新位于vj，vj的vox elWj<$j+w（vj）d（vj）<$，J JWj←Wj+w（vj），（2）其中w（vj）是指示估计可靠性的权重，W j是当前权重估计。体素的集合vj通 常 被布置在规则的3D网格上，vj=vsmj，其中体素大小v s和mjZ3。如果可以非常快速地访问所存储的卷y，则存储器随着场景大小成立方地增长。使用分层树结构[25，26]或哈希映射[20]可以显著减少内存然而，对于那些，SDF中的某些操作，例如三线性插值或梯度计算（即，正常估计）可能变得昂贵，因为需要访问多个体素 这是一个问题，即使使用[20]中的体素块：对于大小为8 ×3的体素块，只有6× 3体素完全位于块内。对于这些，可以类似于按体积存储的SDF来访问邻居。对于57。块中8%的体素（8363）具有其块外的邻居，邻居查找仍然意味着额外的散列表查找。此外，为了充分利用块内部的规则结构，我们必须引入体素类型之间的区别（完全内部/面/边/角）。此外，在散列图中，可能不是所有八个体素角都存在，这意味着我们需要规则来执行插值，仅给出邻居的子集。在光谱的另一边，有冲浪者：曲面由曲面上的一组点p和曲面法线n明确表示，参见图1（右）。曲面可能有更多的属性，如半径，一些视觉描述符或时间戳[22]，可用于定义特定跟踪或映射应用程序中的更新规则曲面位置和法线可以类似于（1）以运行加权平均的方式更新在曲面表示法的正常估计是平凡的，因为法线存储在曲面数据结构。然而，计算到给定点p的最近表面点的距离R3可能会变得相当昂贵，因为它通常涉及最近邻搜索此外，曲面表示3.2. 安全-SDF：最好的两个世界我们提出了一种混合解决方案，结合了隐式体素世界和显式曲面世界的最佳效果：我们通过附加的3D矢量，即在该点处SDF的缩放梯度gj，来增加体素结构。图1中显示了这个建议的数据结构。对于有符号距离函数，点p处的梯度为等于在最近表面点处的向内指向的表面法线和向外指向的表面法线的负值因此，类似于（1）中的更新，gj可以以简单的方式更新：gj←gj+w（vj）n（vj）.（三）在大多数应用中，法线已经从输入数据中计算出来（例如，深度图）用于滤波或渲染，因此N（v，j）的计算不会引入任何计算开销。 我们对加权和gj进行归一化，以获得v j处的实际梯度估计gj。将梯度与距离一起存储允许容易地计算体素vj的最近表面点ps：ps（vj）=vj−jgj。（四）由于每个vj可以唯一地映射到具有点ps（vj）和法线的曲面，因此，我们可以将我们的存储方案解释为存储曲面的体素化方式。就像传统的体素SDF一样，我们的连续SDF可以按体积存储，也可以使用优化的结构（如树或散列图）存储。由于每个体素的内存是增加了使用的一致性SDF，我们把我们的分析集中在稀疏体素存储方案。将体素表示与曲面表示的分量（即，SDF梯度/曲面法线）相结合，梯度- SDF克服了纯体素或曲面表示可能具有的问题，特别是当体素稀疏存储时。我们证明了这一点的一系列示例appli-阳离子。4. 3D视觉4.1. 使用深度图像的为了找到具有点pk的点云到全局表面模型的刚体变换（R，t），我们的目标是最小化加权最小二乘能量E（R，t）=wk dS（Rpk+t）2，（5）K其中，wk是权重，并且dS（p）表示从点p到表面的（可能带符号的）距离：|=min p − p s。|=min∥p−ps∥.（六）这种形式的能量通常使用Gauss-Newton或Levenberg-Marquardt优化来最小化，其在算法的每次迭代中需要dS和dS为了强调顺应性SDF的好处，我们简要回顾了两种最常见的方法-迭代最近点（ICP）算法和直接SDF跟踪-估计这些数量。6283S∇我们我们L∇S|N|NSDFSLΣΣ基于ICP的跟踪如果表面S由点或面元云表示，即，使用离散点集ql∈，可能具有法线nl，距离dS及其梯度可以使用（无符号）点对点利用我们的数据结构，我们可以使用一阶泰勒展开，仅用一个单体素查找就可以轻松地近似dS和dS近似pt-PTdS（p）=0+（p-vj）gj，（14）DS （p）=p-ql，（7）dS（p）=gdpt-pt（p）=p−ql、（8）j=argminp−vj。（十六）Sp-qlj或（有符号的）点到平面近似dpt-pl（p）=n（p-ql），（9）PT-PL这看起来与基于ICP的公式非常相似，但在我们的情况下，可以通过舍入p/vs来计算j，而无需任何邻域搜索，因为我们知道vj是在R3中的规则网格上采样的。与萨伊德·S（p）=nl，（10）l= arg min p − ql。（十一）因此，对于体积直接SDF跟踪方法如此有益的连续存储器存储不再那么重要，并且我们可以使用散列图来替代地压缩存储我们的体素，同时仍然保持在一个范围两者都需要对每个评估这可以使用kD树来实现，或者更有效地通过搜索深度图像中的像素邻域来在像[19，20]这样的方法中，使用离散的SDF表示来存储全局3D模型，每个相机姿态估计步骤都需要将SDF表示转换为点云，以便应用ICP，这是不一致且不优雅的。相比之下，像[6，7]的直接SDF跟踪方法直接使用SDFvox els（vj，vj）来使用插值近似dS：dsdf（p）=jω（p，vj），（12）vj∈N（p）其中（p）是p的邻域，并且ω（p，v，j）是插值系数。对于三线性插值，（p）=8. dsdf的梯度可以通过在样本点vj的正则网格S上的有限差分来计算：几何表示这使我们能够存储更大的体积，就像在[20]中一样，其中远离表面的体素（即，具有零权重）不被显式地存储。4.2. 位姿优化与光束法平差通常情况下，光束法平差是在稀疏的点集[1，29]上执行的，因为计算成本随着点的数量而增长。在在线方法中，摄像机的数量通常也限于滑动窗口。随着BAD SLAM的引入[22]，这些限制被解除：将深度数据用于光束法平差以及某些智能优化允许在更密集的级别上实际执行光束法平差。当然，问题是光束法平差是否也可以在隐式稠密几何表示（如带符号距离场）中进行。这就是为什么要使用修正SDF：虽然很难在标准SDF表示中提出有意义的光束平差能量，但我们可以利用（4）定义要平差光束的曲面上的点。与[22]的发现一起S（p）=τx（p，vj）jτy（p，vj）.（十三）优化可以被限制到法线方向，我们可以设置隐式光度BA成本：Σ Σvj∈N′（p）τz（p，vj）E（{R，t}，t）=νΦ。Ic−1νI c，（17）系数τx，y，z（p，vj）和邻域N′（p）i i iji，j，cijNjKkjkj取决于选择哪种类型的插值和哪种类型的有限差分格式。6284我给出IJIJ我我Σ与基于ICP的方法相比，这种直接方法的优点在于，其中，Vij表示帧i中的体素Vjν ij），c ∈ {r，g，b}，并且Φ是鲁棒成本函数。Ic是也可以用于姿态估计，任何转换，导致一个非常优雅的解决方案，Ic（{Ri，ti}，tj）=Ic.π（R（vj−jgj−ti）），（18）易于实施。然而，为了评估（12）和（13），需要读取至少8个体素以便获得DSDF及其梯度。当体素连续存储时，这是最有效的。存储在内存中，这限制了重建体积到小到中等尺寸（通常至多5123）。其中π是从R3到图像域的透视投影。在优化中，我们将g_（？）_j的原始意义抽象为g_（？）_j 的 梯 度 ，并在改变g_（？）_j的同时保持g_ （ ？）如[22]所述，对于强连接问题，可以执行姿势和距离的优化6285−224|| ≤−JIJ我- ×−IJJNJIJ IJ用于网格提取的分层移动立方体以交替地降低计算成本。我们可以将姿态优化部分限制为实际包含表面点的体素，以减少计算。根据场景，可以通过将优化限制到相机姿态（Ri，ti）来进一步加速该方法。不是将体素中心vj投影到RGB图像Ii中（如在例如图1中所做的），[6，20]），我们投影的实际表面点vj你好这在标准SDF表示中不容易实现因此，双折射SDF允许在隐式的基于体素的表示中进行（光度）光束法平差光度BA存在不同的成本公式，我们选择了类似于[10]的（17）而不是成对平方强度差的总和，因为我们欣赏这提供的自然解释：对于Φ（r）=r2，能量E可以重写为：E（{Ri，ti}，t i）=Nj·Var（{Ic}），（19）j，c每个体素的最近表面点的强度方差的加权和与[22]相比，由于我们不存储每个体素的颜色，我们解除了这个限制，解耦的原始能源成本，同时最小化E i（R i，ti，t i）= εν ijΦ. I c−1v kj Ic.（二十）一组surfels，或者我们运行marching cubes来提取网格。我们讨论了这两种方法，并给出了有效实现它们的方法，给出了我们特定的数据结构。有向点云提取从我们的梯度增强SDF表示中提取曲面表示的一种非常快速的方法是提取曲面点ps（vj）与它们的法线gj从所有具有vejgjvs（分量方向）。这将产生分辨率为vs的均匀采样、一致定向的点云。对于更规则分布的曲面（如[32]中的曲面），在我们的连续SDF表示中不需要重新采样。此点云的常规几何体上采样也非常容易：我们将每个体素细分为四个子体素，使用泰勒展开（14）确定它们的距离，然后使用|而不是v s。|≤vsinstead.对于像我们这样的隐式SDF表示，使用一个网格而不是一组曲面也很容易：我们可以使用众所周知的移动立方体（MC）算法[17]。在体素不是按体积存储在内存中，而是存储在散列图中的情况下，我们可以遍历散列图并检查每个体素是否分配了旁边立方体的八个角（沿正x，y和z方向）。如果是，我们可以从j，cijNj kjKMC查找表。然而，这需要网格化算法的完全重新实现。我们用不同的-这使得姿态优化步骤在数量的帧。姿态能量的同时（而不是交替）最小化意味着即使每个能量包含所有残差Ic的平均值，该平均值在实践中也不强加任何附加计算我们在评估中表明，（20）中介绍的简化对结果几乎没有影响 在最小化Ew. r. t. 和（Ri，ti），我们可以计算体素vj处的颜色ρc作为平均值可以更无缝地集成到现有MC实现中的方法：在我们的分层行进立方体中，我们首先提取所有体素的最小和最大x、y和z坐标，以获得轴对准的边界框。然后，从（不失一般性）最小z开始，我们为大小为（xmax）的 两 个 体 素 层 分 配 内 存xmin ）（ ymax ）ymin），并将其填充为第一个两个字z-权重、颜色和距离值的图层。 我们现在在层界面上应用移动立方体。在此之后，我们用下一个z值重新填充第一层并继续。ρc=1πνIc（二十一）这样，我们就避免了立方内存的使用。由于我们在成本函数（17）中隐式编码了到最近表面点的投影，并且没有存储体素颜色的显式估计，因此我们避免了在TextureFusion [16]中使用的几何和纹理之间的对应估计4.3.从自适应SDF中为了最终从隐式TSDF表示中提取曲面，我们有两个选择：我们可以提取5. 评价为了证明的潜力，我们分析了我们存储的梯度，并显示了两个示例应用程序，我们使用的concilient-SDF存储底层的3D几何：一个简单的跟踪和映射系统，使用深度图像，光度束调整连同子采样的concilient-SDF初始化从我们的跟踪系统。我6286××∥ − ∥p c图2. SDF Tracker [7]的定性重建结果，5123=1。34108体素（左）和我们的跟踪器使用来自[8]的00577沙发序列上的连续SDF散列图（右）。显示的是运行行进立方体后的网格。The visual quality of results is largely comparable, but our hashmap-based method needs more than 20 less memory than thedense storage of [7], despite having three more entries pervoxel.5.1. 执行我 们 的 代 码 可 以 在 https://github.com/c-sommer/gradient- sdf上找到。我们的数据结构是 用 C++ 实 现的 ， 具 有单 精 度 浮 点数 ， 我们 的GradSdfVoxel存储在哈希映射中，每个条目一个体素我们发现，对于一个CPU的实现，在性能上的差异相比，散列块的大小8-3是边际。对于跟踪器和光束法平差中的位姿优化，我们使用高斯-牛顿，并使用Cholesky分解求解所得线性系统优化BA成本（20），我们不存储体素颜色的三个变量，这与[6，20]相反所有实验均在Intel Xeon CPU上进行。3 .第三章。60GHz，使用带有四个线程的OpenMP，没有GPU。5.2. 合成数据设置我们开始我们的评估与我们存储在我们的vox els的gra-grp_rp_j的分析，并比较它们和有限差分梯度地面真相梯度。五个具有不同半径的随机球体被随机渲染成一系列深度图像，这些深度图像被增强了类似Kinect的传感器噪声[15]。我们使用地面真实姿态根据（1）-（3）中的公式对于中心为c的球体，点p处的（地面实况）SDF梯度为p-c。此外，我们具有存储的梯度，并且我们可以从累积的SDF计算中心有限差分梯度。结果图3显示了梯度向量与地面真实值的角度偏差，对于我们存储的梯度和有限差分。 我们的梯度显然更接近地面实况-无论是表面体素，并在整个截断区域。补充中的其他可视化显示，我们的梯度估计比使用有限差分的估计要平滑得多。因此，双线性SDF不仅使dS（p）的插值更容易，而且还产生比图3.梯度估计的质量。对于比x体素更接近表面的所有体素，曲线的y值指定与地面实况梯度的角度偏差的平均值、中值和第95百分位数，以度为单位。实线是连续SDF向量，虚线是中央有限差分。我们的梯度比使用有限差分计算的梯度更精确例如，离表面10 μ s以内的体素的平均角偏差几乎是中心差的两倍（9。49）至于我们存储的梯度（5. 07年7月）。fr1/desk6.83.53.95.6fr1/desk263.56.26.66.6fr1/xyz2.52.31.72.0fr1/rpy8.14.23.94.9fr 1/工厂28.14.35.511.2fr 1/泰迪33.78.010.111.3fr 3/家庭6.14.03.85.2表1.来自[27]的序列的绝对轨迹误差（ATE）的RMSE（单位：cm），25cm以上的误差标记为红色。在fr 1/floor上，所有方法的ATE均大于50cm，因此我们排除了该序列。Whilevery slow, in terms of ATE our baseline implementation of directSDF tracking using a hash map is on par with [6].快速SDF的速度更快，并且始终优于KinectFusion，与标准的直接SDF跟踪相当。KinFu和直接跟踪器的结果取自[6]。标准的有限差分格式。5.3. 使用深度图像的我们的第一个实际应用是一个3D扫描系统，它使用深 度 图 像 来 跟 踪 相 机 并 建 立 隐 式 3D 模 型 ， 就 像KinectFusion或直接SDF跟踪一样。设置我们采用[6]中的一般系统设置，具有线性权重，并在3处截断深度值。5米。我们选择[19]第十SDF融合[6]SDF跟踪哈希映射Cumber-SDF哈希映射（我们6287∇×××××vs= 2cm的体素尺寸，并在5vs处截断。由于散列图表示不允许直接进行体素SDF更新[20]，因此我们基于深度图像像素更新体素：对于每个像素，我们更新沿着观察光线的在截断距离内的所有体素。在给定深度处的像素大小大于一个体素的情况下，这可能导致一些体素未被更新，因此重要的是不要选择太小的体素大小。使用来自[3]的FALS方法估计法线，并且仅将法线与观察光线之间的角度小于75°的点集成到最终的平行SDF中。为了与KinectFusion和直接SDF跟踪进行公平比较为了评估与具有散列映射实现的直接SDF跟踪器相比的益处，我们实现了这样的跟踪器作为基线。该散列图SDF跟踪器稀疏地存储体素，但仍然使用三线性插值来评估dS和dS，这意味着每个函数/梯度评估需要八个散列表查找。结果在表1中，我们总结了TUM RGB-D数据集的结果[27]。为了使这种定量评估具有重现性，我们关闭了OpenMP以生成表格。[6，19]平均而言，对于5123体素重建体积[6]，表现最佳，因此我们报告了该设置的数字。在平均位姿误差方面，使用非线性SDF和使用泰勒展开而不是三线性内插的内插与其他方法相当，同时在稀疏存储方案的表示一致性方面更优越。此外，我们在图2和补充中显示了定性结果。对于这种定性的com-course，我们使用开源的SDF跟踪器代码与5123体素的体积，和相同的参数作为我们的courtent-SDF跟踪器。SDF跟踪器的实现已经扩展到访问SDF卷，这使得我们可以在原始数据上运行行进立方体。姿态估计每帧大约需要30- 40 ms，相比之下，这清楚地表明了泰勒插值的优越性，在三线性稀疏存储方案。集成到SDF体积中平均花费80ms，并且比不集成梯度的基线实现慢约7%（5因此，跟踪中的增益超过补偿在映射阶段中引入的边际开销，并且梯度- SDF的GPU实现具有实时运行的潜力。[6]和[19]的密集重建体积由5123个体素组成，这意味着存储1。34 108体素，因此2. 需要68 108浮点变量（每个体素的权重和距离）这与基于散列图的存储的平均2×106体素形成对比我们的基地-BAD SLAM（630K points，RMSE 1.5 cm）最后的SDF（470K点，RMSE 0.6 cm）图4.由BAD SLAM产生的彩色点云（上图），以及在我们的BAD-SDF（下图）上优化BA成本后，fr 3/长办公室家庭[27]：非常低的均方根姿势误差在表面点的重新投影平均颜色上变得明显，对于我们的BAD-SDF甚至比BAD SLAM更明显因此，行散列映射直接SDF跟踪器需要大约4 × 10× 6个浮点数。此外，CFD-SDF还存储梯度，因此每个体素总共有5个值，从而产生约107个变量。尽管一个单体素是2。5比标准SDF大，但总的来说，这仍然比容量存储少20以上的容量。此外，对于体积存储，我们需要提前知道应在何处放置反射体积，这使得这些方法在未知环境中不太灵活。5.4. 光束平差和位姿优化我们的第二组实验证明了我们的隐式光度光束法平差/姿态优化公式的能力：在来自[27]的不同序列上，对于10秒内的30个关键帧，我们最小化来自（17）的束调整成本，即， 关键帧比率为10%，如在BADSLAM中，正则化器权重为0。01cm−2。初始几何形状是从我们的深度跟踪器获得的。定量结果所有结果总结在表2中：我们首先通过最小化（17）进行光度BA姿势在优化后大幅改善，而几何形状仅略有变化，我们将其归因于我们的深度跟踪器提供的因此，我们运行了一个只对姿势进行优化的版本，它更快，并实现了同等的姿势误差，而且在视觉上看起来同样好（注意，我们没有几何图形的地面实况我们执行与（20）中解耦的姿势优化相同的一组实验，并发现我们几乎得到了6288BAD SLAM（800K点，RMSE 3.7 cm）表2. 30个关键帧上平移姿态误差的RMSE [cm]，序列来自[27]：即使有许多计算优化（参见正文），与深度跟踪之后的初始误差相比，我们也能够将隐式光束法平差中的误差保持得非常低。作为参考，我们提供了BAD SLAM的数字作为显式密集光束法平差方法的示例总的来说，我们的错误与BAD SLAM的错误相当。在姿势上有相同的改进，同时在关键帧的数量上保持计算复杂度线性。通过这些优化，我们可以在每次迭代 20- 作 为 基 于 surfel 的 参 考 方 法 ， 我 们 运 行 BADSLAM，并使用它们的姿态估计进行定量评估。定性结果我们展示了我们的光度优化（使用解耦姿态）和BAD SLAM的内置表面重建的定性结果我们按照4.3节所述，以双倍分辨率提取几何图形，以获得更密集的点云，其点的数量与BAD SLAM结果相当。关于其他序列，参见补充。调整的姿势和距离越好，（21）中的平均重投影颜色的变化越低，因此纹理越清晰。For this reason, we show colored point clouds forqualitative visualization.由于我们将深度和颜色输入解耦-这与BAD SLAM和许多其他RGB-D扫描系统形成对比，这些系统在其模型中假设同步数据。最后一次SDF（1M点，RMSE 4.3cm）图5.由BAD SLAM生成的彩色点云（顶部），以及在我们的BAD SDF（底部）上优化BA成本后，fr 1/teddy[27]：尽管均方根姿势误差稍大，但我们的最终纹理比BAD SLAM的要清晰得多6. 讨论虽然与没有梯度的基于散列图的SDF相比，存储器开销对于典型的室内场景并不重要，但我们仍然旨在减少存储器。因此，我们的下一步是利用单位范数梯度在S2中的事实。我们将研究如何使用两个变量来参数化更新规则，并且仍然保持更新规则简单。所示的双折射-SDF的应用是示例性的，该表示可用于存储任何3D几何形状。因此，我们保持我们的实验组小，而是专注于如何使用双稳态SDF的在未来，我们将探索我们的神经元SDF的好处，在神经几何表示跟踪和映射。结论我们提出了一种结合了显式和隐式表示优点的三维几何混合表示方法-D-SDF。通过对经典的隐式符号距离函数（SDF）进行梯度值增强，实现了包括直接测光光束法平差在内的显式表示能力在几个实验中，我们证明了这些优势-特别是，我们的梯度比有限差分近似更准确，使用梯度SDF的3D扫描产生令人印象深刻的清晰重建。fr1/xyzfr 1/泰迪fr2/xyzfr 3/家庭fr2/rpy优化前2.86.81.82.72.1完全BA，姿势耦合1.04.41.02.50.6仅姿势，姿势耦合1.04.31.12.40.7全BA，去耦1.24.61.02.50.6仅姿态，解耦1.14.31.02.40.6[22]第二十二话1.83.71.30.91.56289引用[1] Sameer Agarwal，Noah Snavely，Steven M Seitz，andRichard Szeliski.大捆调整。在欧洲计算机视觉会议上，第29施普林格，2010年。[2] DejanAzino vic'，RicardoMartin-Brualla，DanBGoldman，Matthias Nießner，and Justus Thies.神经rgb-d表面重建。arXiv预印本arXiv：2104.04532，2021。[3] Hernan Badino ， Daniel Huber ， Yongwoon Park ， andTakeo Kanade.从深度图像快速准确地计算表面法线。2011年IEEE机器人与自动化国际会议，第3084IEEE，2011年。[4] 马宝瑞，韩志忠，刘玉深，兹威克·马蒂亚斯。神经牵拉：通过学习将空间拉到曲面上，从点云学习有符号距离函数。2021年国际机器学习会议（ICML）。[5] Erik Bylow ， Robert Maier ， Fredrik Kahl ， and CarlOlsson.结合深度融合和光度立体精细详细的三维模型。斯堪的纳维亚图像分析会议，第261-274页。Springer，2019年。[6] ErikBylow，JürgenSturm，ChristianKerl，FredrikKahl，andDaniel Cremers.实时摄像机跟踪和3D重建使用有符号距离函数。《机器人：科学与系统》，第2卷，第2页，2013年。[7] Daniel R Canelhas ， Todor Stoyanov ， and Achim JLilienthal.SDF Tracker：一种用于在线姿态估计和深度图像场景重建的并行算法IEEE/RSJ智能机器人和系统国际会议，第3671-3676页。IEEE，2013。[8] Sungjoon Choi ， Qian-Yi Zhou ， Stephen Miller ， andVladlen Koltun. 对 象 扫 描 的 大 型 数 据 集 。 arXiv ：1602.02481，2016。[9] Brian Curless和Marc Levoy。从距离图像建立复杂模型在Proceedings of the 23rd annual conference on Computergraphics and interactive techniques，pages 303[10] 我是艾尔·德朗和马克·波列夫。用于密集多视图3d建模的光度束调整。在Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition 中 ， 第 1486-1493页[11] Amos Gropp、Lior Yariv、Niv Haim、Matan Atzmon和Yaron Lipman。用于学习形状的隐式几何正则化第37届国际机器学习会议论文集，ICML 2020，2020年7月13日至18日，虚拟事件，机器学习研究论文集第119卷，第3789-3799页PMLR，2020年。[12] O. Kahler，V.A. 普里萨卡留角Y. Ren，X.Sun，P.H. S托和D.W.默里移动终端上深度图像的极高帧率体积分 。 IEEE Transactions on Visualization and ComputerGraphics，22（11），2015。[13] 放大图片作者：OlafK？hle r，VictorAdrianPrisacariu，JulienP. C. Valentin和David W.默里分层体素块散列用于深 度 图 像 的 有 效 整 合 IEEE Robotics and AutomationLetters，1（1）：192[14] Maik Keller ， Damien Lefloch ， Martin Lambers ，Shahram Izadi，Tim Weyrich，and Andreas Kolb.实时三维重建使用基于点的融合在动态场景中进行构建。在3DV 2013，第1-8页[15] Kourosh Khoshelham和Sander Oude Elberink。Kinect深度数据在室内测绘应用中的精度和分辨率。Sensors，12（2）：1437[16] Joo Ho Lee，Hyunho Ha，Yue Dong，Xin Tong，andMin H Kim.纹理融合：实时rgb-d扫描的高质量纹理采集。在IEEE/CVF计算机视觉和模式识别会议论文集，第1272-1280页[17] 威廉·E·洛伦森和哈维·E·克莱恩。移动立方体：一种高分辨率三维表面构造算法。ACM siggraph计算机图形学，21（4）：163[18] Lars Mescheder，Michael Oechsle，Michael Niemeyer，Se- bastian Nowozin ， and Andreas Geiger.Occupancynetworks：Learning 3d reconstruction in function space.在IEEE/CVF计算机视觉和模式识别会议论文集，第4460-4470页[19] Richard A Newcombe、Shahram Izadi、Otmar Hilliges、David Molyneaux 、 David Kim 、 Andrew J Davison 、Pushmeet Kohi、Jamie Shotton、Steve Hodges和AndrewFitzgibbon。KinectFusion：实时密集表面映射和跟踪。第10届IEEE混合与增强现实国际研讨会，第127-136页。IEEE，2011年。[20] Mat thiasNießner ， MichaelZoll höfer ， ShahramIzadi ，andMarc Stamminger.使用体素散列进行实时3D重建。ACM Transactions on Graphics（ToG），32（6）：1[21] 郑俊朴、彼得·弗洛伦斯、朱利安·斯特劳布、理查德·纽科姆和史蒂文·洛夫格罗夫。Deepsdf：学习连续符号距离函数用于形状表示。在IEEE/CVF计算机视觉和模式识别会议论文集，第165-174页[22] ThomasScho？ps，TorstenSattle r，andMarcPollef e ys. 坏满贯：捆绑调整直接rgb-d满贯。在IEEE/CVF计算机视觉和模式识别会议论文集，第134-144页[23] ThomasSch o¨ ps，TorstenSattle r，andMarcPoll ef ys. SUr-felmeshing ： 在 线 基 于 surfel 的 网 格 重 建 。 IEEETransactionsonPatternAnalysis
我的内容管理
展开
