基于几何引导位移插值的精确三维重建方法

5916高斯融合：基于几何引导位移插值的精确三维重建陈铎1，2，唐梓欣1，徐振宇1，郑玉楠1，刘益光1 *1四川大学，2重庆教育学院duochen3@gmail.comliuyg@scu.edu.cn摘要利用消费者RGB-D传感器重建精细的几何细节 为了解决这个问题，我们提出了一个独特的几何引导融合框架：1）首先，我们用来自质量传输问题（也称为Monge-Kantorovich问题）的测地线曲线来表征融合对应。与深度图反投影方法相比，测地线曲线揭示了局部表面的几何结构2）沿着测地线曲线移动点是我们融合方法的核心，由局部几何性质指导，即，高斯曲率和平均曲率。与现有的方法相比，本文提出的基于几何引导的位移插值方法充分利用了局部曲面的几何特征。提高了重建的准确性和完整性。 最后，大量的真实对象数据的实验结果验证了所提出的方法的优越性能。我们的技术实现了最微妙的几何细节薄的对象，原始的深度图反投影融合方案遭受严重的文物（见图1）。1. 介绍随着有源光学技术的日益可用性，RGB-D传感器已经 变 得 更 加 实 用 和 方 便 。 例 如 ， 基 于 飞 行 时 间（ToF）的RGB-D传感器已被广泛集成到智能手机和平板电脑中。它们因其高帧率和出色的便携性而广受欢迎。许多开创性的作品利用这些功能来实时重建室内场景[26，15，17，35，42]。然而，深度图的分辨率和精度通常受到成本和尺寸的限制姿态估计严重依赖于视觉里程计，受匹配精度的约束总而言之，通过消费级RGB-D传感器很难重建精致的几何细节图1.最先进的深度图反投影融合方法与我们在真实对象数据上的几何引导位移插值方法（Ragnaros，重建细节见表2）。我们的方法实现了最微妙的几何细节。sors融合策略直接决定了重建结果。此外，大多数现有技术的方法采用深度图反投影融合策略，其根据数据表示而不同。有两种流行的表示方法来从观察到的RGB-D数据重建一个3D模型[45]。一种是在3D体素网格中收集空间坐标。例如，InfiniTAM [17]、KinectFusion[26]和[27]如果验证了深度图上的投影，则对截断的有符号距离函数（TSDF）[5]值求平均值。基于体素的表示的替代表示是基于面元/点的模型[30，19，42，31]。Keller等人[19，42，31]在测量值和它们的反投影之间执行加权平均，以消除姿态和测量不确定性。然而，深度图反投影策略仅考虑单个表面/点信息，而忽略了有意义的几何结构。因此，它通常遭受严重的文物重建微妙的几何细节。 所以我们得出结论5917三个基本的倒置：1）由于传感器深度和姿态不确定性，投影对应通常是不准确的; 2）这些不确定性难以通过平均来滤除; 3）点到像素投影和深度图反投影融合不能充分利用局部表面有意义的几何结构。在本文中，我们提出了一个独特的融合框架称为高斯融合。与现有的深度图反投影方法相比，所提出的方法是基于几何引导的位移插值。为了克服深度图反投影技术的缺点，我们做出以下假设：1）足够小的局部表面遵循高斯分布[2，36]; 2）分布间的度量可用Wasserstein距离表征; 3）待融合的局部曲面之间存在独立的传递方案; 4）融合候选之间的转移计划应该是最优的，因为它们是受不确定性干扰的同一表面的两个观测。因此，测量之间存在测地线曲线，以及高斯测量之间的测地线曲线。总之，我们通过解决质量运输问题（也称为Monge-Kantorovich问题）将测量与最佳转移计划配对。我们沿着测地线曲线移动点，并采用一种新的平流来解决的不确定性。本文的主要贡献如下：我们首次将位移插值引入到三维重建领域，提出了一种独特的几何引导融合框架。我们提出了一种灵活的插值方案的基础上测地线曲线，揭示了局部曲面的几何我们提出了一种新的由局部几何特性引导的平流策略，高斯曲率和平均曲率。大量的实验结果验证了该方法的有效性。2. 相关工作本节讨论了最相关的工作和重点我们的新的非反投影融合框架，并简要描述了他们的特点。基于体素的方法。其主要思想是基于TSDF融合[5]，由于重建场景的高效表达而被广泛使用。开创性的工作Kinect Fusion [26]和灵感作品[27，43，44，4，6，35，16，17，20]采用类似的数据融合过程，但重建能力完全不同。 Zhou等[43，44，4，6]旨在解决累积的姿态误差并整合全局姿态优化。 Steinb rücker 等[35，16]使得能够进行多分辨率重建。Kaühler 等[17][20][21][22][23][24]][25][26][27][28]][29]计算效率，使得3D重建可以集成在移动终端上。融合输入深度图的第一步是利用预先估计的刚体运动和投影相机模型将体素投影回深度图。然后，它搜索投影深度图上的最近邻居，并评估投影距离。通常，其计算体积中的每个深度图的单独TSDF的加权平均值Nießner等人[27]引入体素散列作为基本的计算改进。它们采用有效的散列策略;它用散列函数对空间坐标进行编码。与之前的实现不同，我们使用体素散列来启用基于体素的关联，而不是基于KD树的搜索。因为当点云较密集时，KD树的最近邻搜索仍然是一个瓶颈。基于曲面/点的方法。与基于体素的方法不同，基于面元/点的方法存储累积的面元[30]/点[24]以重建扫描的场景。基于表面/点的方法旨在用点样本表示局部表面，编码附加信息，如半径、置信度、时间戳。几种重建算法[19，37，24，42，23，11，31]采用这种数据表示。Stückler等[37]使用八叉树来包含多分辨率曲面图。Keller等人[19]介绍了一种广泛使用的方法来融合每个面或点。通过估计的相机姿势将点或曲面投影到每个传入深度图中 他们[19]通过超采样的index图计算深度图上的精确投影像素。 Schoéps等[31]通过直接从投影获得索引而不是从索引图加载索引来提高效率 Whelan等人[42]将surfel标记为活动和非活动;它们仅使用活动表面元进行深度图融合。在确定深度图上的投影之后，验证几何一致性或光度一致性。最后，一个加权平均值，通常是高斯权重，被应用到处理最小的不确定性。在一定数量的步骤之后，不稳定点[19]或冲突表面[31]被移除或替换。与以前的方法不同，在我们的融合框架中没有任何投影或反投影过程。因此，不需要图像索引图。另一个改进是，我们采用混合表示，它结合体素和点。预定分辨率体素中的点表示局部几何结构，其在基于面元/点的方法中缺失。通过利用几何信息，我们的方法可以处理的不确定性显式。位移插值。McCann[25]首先在上下文中引入了位移插值的概念在欧氏空间上的二次成本。本文从Monge-Kantorovich问题出发，给出了一种保质量的概率测量插值方法。Monge-Kantorovich问题···5918对于T中的每个体素：找到封闭的那个网络单纯形线性映射熔断器型号：S近似曲率更新点平流优化在S'中初始化为新在S中搜索体素大小检查过程∫一一CX一传奇无条件上一进程成功上一进程不成功图2.我们的产品线存在一堆货物f（x），其需要在另一个地方用成本函数c（x，y）整形为目标形状g（y）。通过最小化成本函数的积分来获得最优转移计划πminc（x，y）dπ（x，y）（1）π为了进一步阐述位移插值，我们假设货物运输具有一定的动力学特性，即运输时间依赖性. c0，1（x，y）是与X × X上的拉格朗日作用量A（γ）相关的成本函数，如下所示[40]，c0，1（ x，y）= inf{A0，1（ γ）; γ0= x，γ1= y; γ∈C（[0，1];X）}（二）其中是一类连续曲线，γ是以拉格朗日作用量（γ）为特征的曲线，曲线的起点为γ0=x（t= 0），终点为γ1=y（t= 1）。然后，作用（γ）被定义为曲线上的拉格朗日量A（γ）=∫L（γ，γ，t）dt（3）per主要集中在融合阶段（图2提供了我们独特的融合流水线的简要概述），同时对其他部分进行了简短描述。我们的算法）.我们的输出是一个精确的密集点云。表面重建[18]可以在我们的输出上快速构建。我们采用了一种混合表示，存储点的体素散列风格，允许有效的体素搜索。我们提出的融合方法利用局部几何通过曲率。它利用直接来自局部表面的几何结构信息，而无需任何摄影假设，并且可以对深度对齐和RGB设置对齐进行操作它为各种传感器设置提供了高度的灵活性和适应性。3.1. 高斯体素我们提出的方法使用混合表示和框架来建模时尚。我们不应用反投影t t 并构建任何图像索引映射;邻居是自由的。γ是必需的。然而，基于KD树的最近所有曲线上的作用泛函（γ）的下确界是最小化的、等速测地线曲线或简单测地线。在融合的背景下，位移插值是沿着测地线曲线移动点。在本文中，我们假设一 个 足 够 小 的 局 部 表 面 遵 循 高 斯 分 布 。 在 L2-Wasserstein空间上，已知高斯测度间的测地线有一个直接的解.然而，这些点可能是非均匀采样和缺失数据。在这些场景中，它不能直接应用于融合过程。采用基于Hitchcock-Koopman公式的替代方法，因为当体素中的点很少时，协方差可能不正确。3. 几何导引位移插值通常，经由RGB-D传感器的3D重建的流水线由深度图预处理、相机姿态估计、融合、表面重建组成。这个帕-当点云密集时，邻域搜索是瓶颈。为了避免昂贵的最近邻搜索，我们的混合表示以类似于[22]的体素散列风格存储点。不同于[22]，其仅存储每个体素中的均值和协方差矩阵。 我们将积分存储在具有散列函数的预定义分辨率体素（图2体素化）。每个体素表示遵循高斯分布的局部表面[2，36]。因此，我们称之为高斯体素。可以在传入深度图和融合模型之间应用快速体素到体素搜索。通常情况下，它搜索七个附近的体素，并选择一个具有最近的Wasserstein距离（图2搜索附近的体素，找到最近的一个）。如果附近没有体素，则将传入体素初始化为融合模型中的新体素（图2初始化为新体素）。给定体素中的点集的高斯度量μi，每个点pj包括世界坐标向量wp（我们的融合过程主要集中在更新坐标上）、法向量np、RGB颜色向量cp、平流计数fp和用于消除离群值的寿命lp传入帧：T熔断器型号：S体素化59192∈--X∫设π µ和µ在X ×X上∈P XP X−X--XP X P X−∈ P X∈1212Σ2 Σ1Σ22111√·每个点在给定的生命周期中应该平流一定次数。否则，它将在其生命周期结束时被删除。我们的方法遵循W2（ N（ m1，Σ1），N（ m2，Σ2））=|+t r Σ + t r Σ − 2 t r。|+t rΣ+trΣ−2t r.一个1（八）对于高斯测度，[8，12，21，28]给出了一个明显的解我们将在下一节中进行详细3.2. L2-Wasserstein空间上的线性映射线性映射可以很容易地从协方差矩阵中导出（图2线性映射）。算法步骤在本小节的末尾给出。首先，我们介绍了L2-Wasserstein空间的一些基本概念[38].其中心思想是：在一个可分的完备度量空间上，有Borelδ 代 数 的 子 集 对 。 它 们 之 间 的 距 离 函 数 是 从Monge-其中N（m，Σ）是高斯分布，tr是矩阵的迹，m是平均值，并且Σ Sym+（n，R）是协方差矩阵（实际上，当高斯体素中存在多个点时，协方差矩阵应该是对称正定的如果nceΣ是对称正定矩阵，则定义Σ=Σ2，且Σ2Σ2=Σ。McCann[25]表明任何两个高斯测度之间的位移插值位移插值为测地线。基于[25]，两个集中高斯分布N（0，Σ1），N（0，Σ2）之间的线性映射M可以由下式给出：1111康托洛维奇问题 我们给出简单的定义，满足M = Σ 2（Σ 2 Σ1Σ 2）−2Σ 2，f（x）= Mx（9） 二二二二[40，38]。在不失一般性的前提下，首先给出了基于Borel概率测度的定义。然后，我们给出了高斯测度的线性映射。L2-Wasserstein空间。设（，d）是可分完备度量空间. 给定两个Borel概率测度μ0，μ1∈P2（X），在X上具有有限二阶矩，满足-[第38话]d（ x，y）2 dµ（ y）∞（4）X是01之间的转移计划[40]。π的边值是μ0和μ1，因此π[ψ×X]=μ0[ψ]，π[X×ψ]=μ1[ψ]（5）(5)对所有Borel集ψ∈ X成立。P2（X）中µ0和µ1之间的L2−Wasserstein距离函数W2（µ0，µ1）f（x）=Mx将N（0，Σ1）前推到N（0，Σ2），N（0，Σ1），N（0，Σ2）之间的最优转移方案为[id× f]N（0，Σ1）. 定义平流A（α）A（α）= [（1−α）I+αM]（10）其中I是单位矩阵。N（0，Σ1）的测地线到N（0，Σ2）是N（0，A（α）Σ1A（α））对于α[0，1]。 Al-然而，我们在本文中集中于高斯测度为了不失一般性，我们给出了[40]定理位移插值的推论，该定理将位移插值描述为L2-Wasserstein空间上的推论1（位移插值作为测地线L2-Wasserstein空间给定两个Borel概率测度μ0，μ1∈P2（X），限定W2（ µ0，µ1）=.π∈INFΠ（µ0，µ 1）∫X×Xd（ x，y）2dπ（ x，y）12（六）完备的、可分的、度量的、局部紧的空间（，d），其中2（）是具有2阶有限矩的概率测度。（2（），W2）是与Wasserstein距离W2配对的L2 Wasserstein空间。有一条连续的曲线其中Π（μ0，μ1）是μ0和μ1之间的转移计划的集合，Π（μ0，μ1）上的下确界是L2Wasserstein距离，并且相应的转移计划是最优的。W2（µ0，µ1）是2（）上的距离函数，（2（），W2）称为[38]上的L2 Wasserstein空间对于欧氏空间，最优转移方案具有推进性。有一张可测量的地图01- 02 - 02 -02（ ）的。给定两个相等的属性：(1) （μ α）0≤α≤1是（γ α）0≤α≤1的定律。（γ0，γ1）是一个最优耦合，γ是一条常速测地线。(2)（µα）0≤α≤1是 一 测地 曲线 在 的空间（P2（X），W2）.推论1为位移插值定理及其推论[40]所承认，其中p>1。有M：Rn-Rn。定义Borel概率的前推重要的一点是，测地线在Rn上的能力测量µ0如下p >1Pp（X）的曲线也不同。即，测地线在M µ0[ψ] =µ1[ψ]，如果µ1[ψ] =µ0[M−1（ψ）]（7）(7) 对所有Borel集ψRn成立。 上的标识映射Σ25920Rn由id表示。W2高斯测度之间的距离。在本文中，我们假设局部表面遵循高斯分布。高斯测度之间的L2-Wasserstein距离由下式明确给出：I.Olkinet al.[28、8、12、21]L2-Wasserstein空间不同于Lp-Wasserstein空间（p >2）.[40]给出了位移插值的唯一性，当最优迁移方案唯一时，位移插值是高斯体素之间的线性映射。假设N（m1，Σ1）来自融合模型N（m2，Σ2），5921--OΣ----∈∈∈∈∈∧|∧|一i、j来自传入帧。对于输入帧中的每个体素，我们在融合模型中找到七个附近的体素。首先，我们通过(8) 选择最接近的一个;然后，我们在融合模型的体素中将N（m1，Σ1）移位到N（0，Σ1），可以容易地通过（9）计算线性映射;最后，将（10）中的平流应用到融合模型上，将N（0，A（α）Σ1A（α））变换回N（（1α）m1+αm2，A（α）Σ1A（α））。然后，更新融合体素中的点的坐标。在引入几何引导约束以确定（10）中的适当α之前，我们讨论了指出了该方法基于单纯形的方法和基于网络单纯形的方法。Bonneel等人[3]分析这两大类。他们的实验表明网络单纯形比运输单纯形更有效。因此，我们采用类似于[3]的网络单纯形算法[7]（图2网络单纯形）。网络单纯形法是求解MCFP问题的有效方法。它在（n3）[41]中具有已知的复杂性。当点的数量越来越大时，基于协方差的线性映射的计算效率更我们灵活的插值方案允许根据体素中的点数在两种方法之间切换（图2体素大小检查）。点之间的平流。在确定分配计划之后，平流可以被定义为3.3. Hitchcock-Koopman公式上一节中提出的方法取决于wi=（1−α）si+αaJi→j，j，i，j= 1…n （12）在协方差矩阵上。其核心思想是通过协方差矩阵将一个高斯分布插值到另一个高斯分布。然而，高斯体素中的点可以是非均匀采样和缺失数据。也就是说，协方差矩阵不能表示通过几个点的实际分布。根据经验，它应该至少为20分[33]。因此，标测图可能不正确，一个体素中有几个点。出于这个原因，我们引入了一种互补方法，该方法基于希区柯克-库普曼公式[9]。简化的希区柯克-库普曼公式。对于具有很少点的高斯体素，我们遵循简化的希区柯克-库普曼公式[9]。原来的一个可以处理从几个供应源到众多目标的产品分配。这意味着供应可能会与需求不同。运输货物可以分为几个部分。在我们的例子中，我们更喜欢点对点融合。为了执行点到点融合，在去除远离中心的冗余点之后，点的数目将相等 给定来自源（融合模型）的点的集合S=si，i=l…n和来自目标的一组点（传入深度图）T=t，j，j=1…n，以及将一个点从S移动到T的运输成本di，j。假设其中wi是更新的坐标，α[0，1]，siR3表示来自融合模型S的点的坐标，并且tiR3来自输入帧T。下一个问题是如何确定适当的α。为了解决传感器的深度和构成的不确定性，我们给出了一个基于曲率的几何约束详细情况将在下一节中给出。3.4. 几何引导平流为了得到一个合适的平流，即选择一个合适的α[0，1]。我们采用了基于局部几何的几何约束。我们使用协方差技术计算差分几何的一些近似结果。然后，基于这些结果提出了一种几何引导的平流。近似曲率。对于高斯体素，我们首先需要找到中心p上的切平面Tp M。因此，我们需要计算正交帧n0，n1，n2R3，它们是协方差矩阵的特征向量。考虑法线n0与Tp M正交，T p M作为最小特征值对应的特征向量而得到。为简洁起见，我们将n0缩写为n。将函数定义为L= ∠ruu，n∠=− ∠ru，nu∠S和T的点数相等。然后将质量运输问题简化为一个分配问题。M= ∠ruv，n∠=−∠ru，nv∠N= ∠rvv，n∠ = −∠rv，nv∠（十三）莱姆计算量也减少了。能量被赋予其中r（u，v）=（x（u，v），y（u，v），z（u，v）），（u，v）是Pa。通过局部表面的半径R，r，r，r，r，n，n是minΣ Σd auvUUUVvv u vI j使得.1如果将i分配给j（十一）IIkn=I=− ∠dr，dn∠dr，dr：ai-j=0如果不将i分配给jLdudu+ 2Mdudv+Ndvdv=（十四）Σai→j=1，Σai→j=1dr，dr其中dr=ru du+rv dv，I是第一基本形式，II因此，ai→j的集合是我们的分配计划[1]。这是最小成本流问题（MCFP）的一个特例。解决（11）的方法有两种：运输--是第二种基本形式。n=r ur v/r u r v是垂直于切平面Tp M的法向量。第一个基本形式是点pi到pi的弧长i→j偏导数法向曲率定义为：我J59222−−2·2012- -- -联系我们我 p我阿尔法1222p，其可以近似为pi p2。第二基本形式II可以用T p M和高斯vo x el中任意点p i之间的代数距离δ表示，δ（p，TM）=（15）大于ε;2）λ~0λ~1<，λ~1λ~2<ε，其中ε和ε都足够小。第1章是一把双刃剑小的扰动可能不会影响主曲率的计算。然而，情况1）意味着局部表面可以是平坦平面。不利于选择−p→ip=∆r=r（u0+∆u，v0+∆v）−r（u0，v0）=ru（u0，v0）∆u +rv（u0，v0）∆v1+2（ruu（u0，v0）∆u∆u+ 2ruv（u0，v0）∆u ∆v +rvv（u0，v0）∆v ∆v）+o（∆u ∆u + ∆v ∆v）（十六）因为ru，rv垂直于n，且o（Δu2+ Δv2）是高阶无穷小。(15)降低到1δ（pi，Tp M）≈2（L∆u∆u+ 2M∆u∆v+N∆v∆v）（17）适当的平流。它通常发生在一个高斯体素中只有三个点时，因为三个点总是适合一个平面。需要更大的体素。但它可能导致情况2），所有特征值彼此接近。如果体素太大，则无法捕获局部几何的属性。这样，就不容易找到一个合适的切平面。小的扰动可能导致特征值反常，这意味着法向量可能是无序的。自适应体素分辨率。需要自适应体素分辨率来解决这个难题。合理的选择是计算输入深度图和融合模型的平均点半径，然后选择最大值作为体素分辨率。这意味着体素分辨率改变然后我们有II≈δ（pi，Tp M）（18）II≈（pi−p）T·n（19）随着时间最后，法曲率的近似解为II（pi−p）T·nkn=I≈尼洛普岛-p2（二十）平流的优化。最大法曲率和最小法曲率称为主曲率k0 ， k1. 高 斯 曲 率 被 定 义 为 k0k1 。 平 均 曲 率 定 义 为（k0+k1）/2。为了解决传感器深度和姿势的不确定性，我们希望广告的结果尽可能平滑，而不确定性通常会导致尖锐的伪影（见图1）。平流的优化如下argmin（k（k+k）·k+）（21）(21)可以通过迭代容易地计算。特征值扰动 这种基于协方差矩阵的平流仍然存在一些局限性。主要关注的是特征值扰动[10，39]。传感器产生的噪音是无法消除的。高斯体素中的一些加性噪声被添加到坐标（x，y，z）。具有附加噪声和不具有附加噪声C的协方差矩阵C ~被认为是正定实对称矩阵（在我们的情况下，特征值λ总是大于零 ） 。 我 们 假 设 扰 动 足 够 小 ， 即 。 例 如 ， C~C=∆C，对于某一小的∆C，这导致特征向量ni和λ i的小扰动，即，n~ini=∆ni和λ~iλi=∆λi。TpM由n1n2 n0是垂直于平面的法向量，对应的特征值为λ0λ1λ2。 理想情况是λ0<λ1=λ2。 但在实际在这种情况下，存在如下两种情况：1）λ〜0−λ〜1，λ~1−λ~20图3.手持式RGB-D真实数据集插图（从左至右）5923从上到右下，RGB图像，深度图，蒙版，我们的重建。标记板[29]用于掩模和传感器（L515）姿态估计。阈值方法1mm2mm3mm4mm5mmElasticFusion[42]28.4044.8655.5663.5669.79Acc.SurfelMeshing[31]GaussianFussion（我们的）67.9480.9083.2492.0590.3295.9293.8097.6495.6398.49ElasticFusion[42]35.3274.2286.4591.6294.20Com.SurfelMeshing[31]GaussianFussion（我们的）68.3571.6787.9387.2495.1593.7097.3096.2098.3297.40表1.我们的方法ElasticFusion[42]和SurfelMeshing[31]之间的骨架定性比较我们的方法达到了最高的精度。4. 实验结果在本节中，我们评估了我们的融合框架和竞争对手，包括在我们的真实对象数据集上的[31，42]。5924×个×× ×表2.我们的方法ElasticFusion[42]和SurfelMeshing[31]之间的定性比较（M=百万，f =帧）。100500我们曲面网格ElasticFusion0 10 20 30 40 501005000 102030 40 50在融合阶段之前，相同的深度图输入并将深度图反向投影定性结果。我们的方法侧重于准确的真实物体重建与低成本的RGB-D传感器，不包括合成数据集。限于文章篇幅，我们给出了十一个对象的结果见表2和图5阈值[mm]阈值[mm]用于与现有技术方法的总体重建比较。为了使结果可视化，我们的技术图4.广泛评估的完整性和准确性图阈值 （ 1mm、 2mm、 3mm、 4mm 、5mm 、10mm、20mm、30mm、40mm、50mm）。4.1.实物的重建RGB-D传感器。深度图的质量是3D重建的基本因素。深度图必须具有足够的分辨率以感测精细的几何细节。由于我们专注于使用消费级RGB-D传感器进行精确 的 3D 重 建 ， 因 此 通 过 最 新 的 低 成 本 设 备 IntelRealSense LiDAR Camera L515 [13]获得 真实 对象数据。1米处的平均深度精度误差小于5毫米，标准差为2。VGA分辨率为5mm[14]。为了实现完整的深度图，L515配备有IR激光束，并利用微机电系统（MEMS）来扫描整个视场（FOV）。板载视觉ASIC处理来自光电二极管的原始信号并输出深度图[14]。据我们所知，L515在尺寸和成本方面是室内场景中最精确的现成RGB-D传感器因此，我们不对旧型号RGB-D传感器评估我们的框架。数据采集。我们使用手持式L515扫描室内的几个物体。初始姿势通过放置在项目下的标记板[29]计算。然后，应用体素化GICP [22]以最小化配准误差。为了加速重建过程，我们通过标记板估计掩模。掩蔽的深度图、RGB图像和姿态是用于评估方法的输入。输入如图3所示。L515有两种不同的对齐设置：将深度图与RGB帧对齐，并将RGB帧与深度图对齐。前者由于深度图的内插而引入额外的深度估计误差。RGB帧具有比深度图（1024 768）更高的分辨率（1280 720），使得每个深度像素在前一个设置中扩展到2 × 2由于深度图的质量对于3D重建更重要，因此我们采用后一种设置。为了使所有评估方法的输入数据一致，我们使用和ElasticFusion[42]采用[18]从输出点云获得三角形网格，而SurfelMeshing [31]可以在重建过程使用相同的输入深度图，我们的方法实现了最大数量的点。这表明我们的技术实现了超高的几何细节，以及一个完整的全球几何形状。为了进一步的定量评估，我们通过分辨率为0的工业传感器获得对象骨架的地面真实模型。08毫米。我们使用体素化ICP[22]将重建结果与地面实况模型进行然后，我们用类似于[32]的给定阈值计算准确性和完整性1mm、2mm、3mm、4mm、5mm处的结果见表1。我们还给出了宽阈值的曲线图，如图4所示。我们的技术总是达到最高的准确度得分，表1和图4表明，这一事实并不依赖于阈值。全局几何形状。获得所有输入帧的亚像素重投影误差是具有挑战性的。当帧的数量变得更大时，深度图反投影方法不能明确地处理未对准。如图1（拉格纳罗斯300帧）、图5（House 3 300帧、Exia 0 199帧、Roshan300帧）、图7（松鼠300帧、Exia 1 300帧）所示。因此，它们不能实现像我们这样的完整的全局几何形状。局部几何细节。精细的几何细节很难正确重建。深度图反投影方法需要精确的相机姿势。测量值和它们的反投影之间的加权如图5骨架所示，从我们的几何引导位移插值中可以看到鼻中隔，而其他人则将其弄乱。图7中示出了相同的结果，Squirtle的手指，Exia 1的通气口;图6飞机起落架。5. 结论我们首次将位移插值引入到三维重建领域，并提出了一种新的融合框架的基础上提出的技巧的几何引导平流。通过结合位移插值和曲率约束，我们的技术超过-我们曲面网格ElasticFusion完整性[%]准确度[%]数据方法0号楼65f1号楼98f2号楼64f3号楼300f拉格纳罗斯300fExia 0199fExia 1300f骨架195f战斗机100fSquirtle300fRoshan300f点/面元[31]第42话：我的世界0.05M0.21M0.31M0.10M0.40M0.64M0.08M0.30M0.41M0.07M0.59M1.20M0.13M1.16M1.29M0.11M0.54M0.88M0.08M0.80M0.99M0.09M0.67M1.02M0.07M0.35M0.44M0.08M0.77M0.82M0.07M0.27M0.51M5925图5.第一行图像是扫描对象的RGB图像，下面的行分别是我们的技术SurfelMeshing[31]和ElasticFusion[42]的重建。我们的方法实现了完整的全球几何形状和优于其他微妙的几何细节。更多详情请参见表2。图6.左上角的飞机起落架很小。我们的方法可以得到合理的重建，而SurfelMeshing[31][42]但ElasticFusion失败了。出现了深度图反投影融合方法的缺点：1）由质量输运问题得到的测地曲线揭示了局部曲面的几何结构; 2）沿着测地线曲线的运动由局部几何性质引导，即，高斯曲率和平均曲率。我们的方法通过这两个几何引导的特性，使最好的有意义的几何属性。因此，所提出的方法实现了最微妙的几何细节薄的对象，深度图反投影融合方案失败。大量的实验结果图7.我们的方法在精致的几何细节上优于SurfelMeshing[31]和ElasticFusion[42]，例如Squirtle中的小手指，Exia 1的通风口。表明，我们的技术得到最好的重建质量的所有项目相比，国家的最先进的方法。总之，几何引导的位移插值使我们的方法突出。致谢。感谢编辑和审稿人在处理这篇论文上花费的时间和精力。 本研究得到了国家自然科学基金项目61860206007和U19A2071的资助，以及四川大学项目2020SCUNG205的资助5926引用[1] Ravindra K Ahuja ，Thomas L Magnanti，and James BOr- lin. 网络流量：理论、算法和应用。1993年的普伦蒂斯·霍尔[2] Peter Biber和Wolfgang Straßer正态分布变换：激光扫描匹配新方法。 2003年IEEE/RSJ智能机器人与系统国际会议（IROS 2003）No. 03 CH 37453），第3卷，第2743-2748页。IEEE，2003年。[3] Nicolas Bonneel、Michiel Van De Panne、Sylvain Paris和Wolfgang Heidrich。利用拉-格朗日质量输运的位移插 值 。 在 Proceedings of the 2011 SIG-GRAPH AsiaConference，第1-12页[4] Sungjoon Choi，Qian-Yi Zhou，and Vladlen Koltun.室内场景的RO-BUT重建。在IEEE计算机视觉和模式识别会议集，第5556-5565页[5] Brian Curless和Marc Levoy。从距离图像建立复杂模型在Proceedings of the 23rd annual conference on Computergraphics and interactive techniques，pages 303[6] AngelaDai ， MatthiasNießner ， MichaelZoll höfer ，ShahramIzadi，and Christian Theobalt.Bundlefusion：使用动态表面重新整合的实时全局一致3d重建。ACMTransactions on Graphics （ ToG ） ， 36 （ 4 ） ： 1 ，2017。[7] K Damian，B Comm和M Garret。最小费用流问题与网络单纯形法。博士论文，博士论文。D. 博士论文，硕士论文，爱尔兰古布林大学，1991年。[8] DCD o wson和BVLandau。多元正态分布之间的自由距离Journal of Multivariate Analysis，12（3）：450[9] Merrill M Flood等.关于希区柯克分布问题。Pacific Journal of Mathematics，3（2）：369[10] Valerie Fraysse ， Michel Gueury ， Frank Nicoud ， andVincent Toumazou.矩阵束的光谱肖像。一九九六年。[11] 魏高和拉斯·特德雷克。Surfelwarp：高效的非体积单视图动态重建。arXiv预印本arXiv：1904.13073，2019。[12] Clark R Givens，Rae Michael Shortt，等.概率分布的一类The Michigan Mathematical Journal，31（2）：231[13] 英特尔英 特 尔 实 感 ™ 激 光 雷 达 摄 像 头 l515 。[EB/OL]。https://www.intelrealsense.com/lidar-camera-l515/2021年1月27日访问。[14] 英特尔LiDAR相机l515数据表。[EB/OL]。https://dev.intelrealsense.com/docs/lidar-camera-l515-datasheet Accessed January2021年27号[15] Shahram Izadi ， David Kim ， Otmar Hilliges ， DavidMolyneaux ， Richard Newcombe ， Pushmeet Kohli ，Jamie Shotton，Steve Hodges，Dustin Freeman，AndrewDavison，et al.运动融合：使用移动深度照相机的实时3D重建和交互。在Proceedings of the 24th annual ACMsymposium on User interface software and technology ，pages 559[16] OlafK¨hler ， VictorPrisacariu ， JulienValentin ， andDavidMurray.用于深度图像的有效整合的分层体素块散列。IEEE Robotics and Automation Letters，1（1）：192[17] OlafK？ hler，VictorAdrianPrisacariu，CarlYuhengRen，XinSun，Philip Torr，and David Murray.移动设备上深度图像的非常高的帧速率体积集成。IEEE Transactionson Visualization and Computer Graphics， 21 （11 ） ：1241[18] Michael Kazhdan和Hugues Hoppe筛选泊松曲面重建。ACM Transactions on Graphics（ToG），32（3）：1[19] Maik Keller ， Damien Lefloch ， Martin Lambers ，Shahram Izadi，Tim Weyrich，and Andreas Kolb.基于点融合的动态场景实时三维重建。 2013年3D视觉国际会议-3DV 2013，第1-8页。IEEE，2013。[20] Matthew Klingensmith，Ivan Dryanovski，Siddhartha SSrinivasa，and Jizhong Xiao.凿：使用空间散列的有符号距离场的移动终端上的实时大规模3d重建。机器人：科学与系统，第4卷，2015年。[21] Martin Knott和Cyril S Smith。关于分布的最优映射。Journal of Optimization Theory and Applications ， 43（1）：39[22] Kenji Koide ， Masashi Yokozuka ， Shuji Oishi ， andAtsuhiko Banno.快速准确的三维点云配准的体素化gicp。EasyChair预印本，（2703），2020年。[23] Damien Lefloch ， Markus Kluge ， Hamed Sarbolandi，Tim Weyrich，and Andreas Kolb.综合利用曲率进行稳健和精确的在线曲面重建。IEEE Tr