实时深度图融合的基于机器学习方法

机器学习

PDF格式 | 4.02MB | 更新于2025-01-16 | 12 浏览量 | 举报

4887

RoutedFusion：学习实时深度图融合

Silvan

Weder苏黎

世联邦理工

学院

JohannesSchoünberge

Microsoft

Marc Pollefeys苏

黎世联邦理工学院

微软

马丁河Oswald

ETH

苏黎世

摘要

深度图的有效融合是大多数最先进的

重建方法的

关键部分。除了要求高精度外，这些深度融合方法还

需要可扩展和实时能力。为此，我们提出了一种新的

基于机器学习的实时深度图融合方法。类似于

Curless

和

Levoy

的开创性深度图融合方法，我们仅更新局部体

素组以确保实时能力。我们提出了一个神经网络，而

不是一个简单的线性融合的深度信息，预测非线性更

新，以更好地考虑典型的融合错误。我们的网络是由

一个

深度路由网络和一个

深度融合网络，有效地

处理传感器特定的噪声和

outliers

。这对于表面边缘和

薄对象特别有用，对于这些对象，原始方法遭受增厚

伪影。我们的方法优于传统的融合方法和相关的学习

方法的合成和真实数据。我们证明了我们的方法在重

建精细的几何细节从噪声和离群污染的数据在各种场

景中的性能。

介绍

多视点三维重建是计算机视觉领域的一个重要融合

来自多个相机视点的深度图是大多数最近3D重建流水

线中的重要处理步骤[59，58，27，1，44，43，12，

10]，特别是对于真实的三维重建。

时间应用[21，37，55，11]。我们从机器学习的角度

重新审视了通过深度图融合进行3D重建的问题。这

项任务的主要困难是处理各种数量的噪声，离群值和

丢失的数据。融合噪声深度图的经典方法[9，21]是对

截断符号距离函数（TSDF）进行平均。这种方法有很

多优点：1+）

更新是本地的（截断的），可以在常量中完成

时间为固定数量的深度值。体素网格的高层次使用可

以通过体素哈希[37]或八叉树[49]轻松减少。

）在线

更新易于实现，噪声测量融合到

[9]

第九话

图

：标准TSDF融合与我们学习的深度图融合方法

（基于

Kinect

数据

[48]

）。由于更明智的决策过程

中，我们的方法更好地

handles

噪声和精细的几何细

节。

只有很少的操作。3+）由于局部独立更新，该方法在

计算上是廉价的并且高度可并行化。

然而，该方法也有一些缺点：1-）平均值仅是零均

值高斯噪声的最佳估计，但实际误差分布通常是非高

斯的、非中心的和深度相关的。

）更新是线性的，

并且必须根据预期的噪声水平进行表面的最小厚度调

整。因此，增厚伪影沿着表面边缘和对于薄对象结构

变得明显。

）当从相反方向进行薄物体的深度测量

时，这个问题甚至更加严重。然后，曲面消失，因为

线性TSDF更新相互抵消。4-）线性融合权重在TSDF

聚集期间没有适当地考虑视图方向依赖性沿观察方向

的噪声水平通常与正交方向上的噪声水平非常不同。

）融合方法无法处理总离群值。深度图必须预先过

滤，否则不正确的测量将使场景变得混乱。6-）融合

参数-

4888

必须针对特定场景和传感器来调整ETER，并且通常难

以在运行时间和重建质量的不同方面之间找到良好的

折衷

在本文中，我们的目标是解决上述缺点，同时保持

所有的优点，trans-mapping方法与合理的额外的计算

时间，仍然满足实时要求。为此，我们提出了一种学

习方法，将噪声和离群污染的测量融合到单个表面

中，执行非线性更新以更好地处理对象边界和薄结

构，并且对于实时应用来说足够快。图1显示了我们方

法的示例输出。总之，本文

•

提出了一种基于学习的实时深度图融合方法。由于

其紧凑的架构，它只需要很少的训练数据，并且不

容易过度拟合。

•

我们提出了一个可扩展的和实时的神经架构，是独

立的场景大小。因此，它适用于大量的现实世界场

景。

•

我们显示了标准TSDF融合的缺点的显著改进

它具有两个优点：1）它具有自然从多视图设置产生

的各向异性噪声分布; 2）它通过避免不一致的更新

来减轻薄对象和表面边界上的表面增厚效应。

相关工作

体积深度图融合。通过他们的开创性工作，Curless和

Levoy [9]提出了一种用于融合噪声深度图的优雅方

法，该方法后来被KinectFusion [21]等众多作品采用，

更可扩展的概括如体素哈希[37， 33]或分层场景表

示，如体素八叉树[16，49，34]和分层哈希[24]。特别

是对于像Infini-TAM [23]这样的SLAM管道，体积融合

由于其实时能力而成为标准方法。在这种情况下，它

也被扩展为变得更准确和鲁棒[8]，以及通过场景部分

的额外表面配准来改善SLAM，以考虑[55，32，11]中

提出的姿势漂移。具有额外中值滤波的方法[42，34，

33]提高了鲁棒性，并且仍然具有实时能力，但有效性

有限。全局优化方法[59，27]如果进一步利用语义信

息[19，6，20，44，43]，则可以更好地处理噪声和离

群值，但它们在计算上昂贵且不具备实时能力。在

[65，31]中，作者提出了基于阴影恢复形状的已融合

SDF几何形状的细化方法。这些方法中的绝大多数直

接融合

RGB-D

图像，

Zoll hofer

等人

。

[66]

请提供最近的

调查。所有这些方法通过更新测量深度周围的更宽的

体素带来处理噪声测量，从而导致薄几何形状上的增

厚伪影。

基于曲面的融合方法基于表面的方法用局部点样本逼

近表面，这可以进一步编码附加的局部属性，例如法

线或纹理信息。已经提出了多种方法

e.G. MRSMap [50]使用八叉树来存储多分辨率surfel数

据。基于点的融合方法[25，29]将surfel表示与下一段

讨论的概率融合相结合。ElasticFusion [55]处理实时循

环闭合并在线校正所有表面估计

。

Scho

？

等

[47]

提

出了一种

具有实时网格构造

的深度融合方法

基于面元

的方法的缺点是缺少面元之间的连通性信息。非结构

化的邻域关系只能通过最近邻搜索来建立或通过空间

划分数据结构来简化。在我们的工作中，我们决定依

靠体积表示，但将我们的方法扩展到非结构化设置是

未来工作的一个有趣途径。

概率深度图融合。为了解释输入深度图中和沿着不同

视线方向的不同噪声水平，融合问题也可以被转换为

概率密度估计 [15] ，同时通常假设高斯噪声模型。

Keller等人[25]提出一种基于点的融合方法，其直接更

新点云而不是体素网格。Lefloch等人[29]将该思想扩

展到基于各向异性点的融合，以便在从不同入射角观

察表面时考虑不同的噪声水平。Zienkiewicz

等人

的基

于网格的融合方法。[64]允许在已知固定拓扑的各种

网格分辨率上进行深度融合Woodford和Vo- giatzis [56]

的概率融合方法在[52，51]中也使用了类似的基于射

线的可见性约束，但由于射线势的复杂优化，这些方

法不具备实时能力。各向异性深度图融合方法还跟踪

融合协方差[57]。类似地，PSDF Fusion [13]示例对方

向相关传感器噪声进行建模。与我们的方法相反，所

有这些方法都假设特定的噪声分布，主要是高斯分

布，这通常不能正确地模拟真实的传感器观测。

基于学习的重建方法。已经提出了几种基于学习的方

法来融合、估计或改进几何形状。SurfaceNet [22]联合

估计多视图立体深度图及其体融合，但由于每个相机

视图需要完整的体素网格，因此对内存的要求非常

高。在[30]中，在经典TSDF融合上学习多视图一致

性。RayNet [39]使用马尔可夫随机场沿着射线势对视

图依赖性进行建模3DMV [10]将2D视图信息与预融合

的TSDF场景相结合，以共同优化形状和语义。里格勒

等

4889

根据输入深度计算深度

布线

从全局体素网格中提

取TSDF值

基于局部体素网格的

计算深度融合

将预测的TSDF值更新到全局

体素网格

−

德维特

图2：将深度图集成到全局TSDF卷中的系统概述。 2D

深度布线网络

接受深度输入，并决定TSDF体积内每条射线

的更新位置。该网络校正噪声，离群值和缺失值，并进一步估计每射线的置信度值。然后，对于每条射线，我们

提取一个深度和视图相关的局部体素网格（浅蓝色），其中也包括相邻的射线。我们沿着每条射线采样S值，以

表面为中心。然后，

深度融合网络

采用现有TSDF值的局部网格、深度和置信度来预测适当的更新。然后，预测的

TSDF值（红色）被写回全局卷。我们的方法学习输入深度的鲁棒加权，并执行非线性更新，以更好地处理噪声，

离群值和薄对象。

al. [40]使用标准TSDF融合深度图，随后用神经网络对

融合模型进行后处理此外，基于分层体积深度学习的

方法[3，7，12]解决了噪声测量，离群值和缺失数据

的影响所有这些方法都对

定义在整个场景上。融合过程是渐进的，

即

：使用

Curless

和

Levoy [9]

引入的更新方程，对于

位置

，每个深度图被一个接一个地积分为

t−

（

）

t−

（

）

（

）

（

）

具有高内存需求的体素网格不是真实的，

时间能力。此外，有几个作品，学习

（x）=

t t

−

（

）+

（

）

（

一

）

基于输入图像预测3D网格[18，17，54]。

学习场景表示。Ladicky等人[28]利用随机森林通过学

习的局部点特征从点云直接估计等值面此外，对于在

隐式空间中学习3D重建的方法存在多种建议[35，38，

5，36]。这些方法显示了有希望的结果，但它们仅在

单位立方体上操作，因此仅限于单个对象或小场景，

并且它们不适合于在线重建。与所有这些方法相反，

我们的方法与场景的大小无关此外，我们的方法在在

线过程中使用学习，这允许利用已经融合的信息来融

合新的深度图。在[2，60]中，作者提出了神经模型，

该模型可以学习用于SLAM应用的紧凑且可优化的

2.5D深度表示。DeepTAM [62]也解决了SLAM，但映

射部分严重依赖于手工制作的照片和相应的权重，以

形成深度估计的传统成本量这些方法都没有解决全局

模型融合。

方法

我们首先回顾标准的TSDF融合方法，提供上下文

和介绍符号之前，我们提出了我们的学习TSDF融合方

法。

3.1.

标准TSDF融合

标准

TSDF

融合整合给定深度图

，

∈

从已知视点

∈

（3）和摄像机本征函数

转化

为离散的带符号距离函数

∈

和权函

数

∈

（

）=

t−

（

）+

（

）

，

（

）

从零初始化卷V

和W

开始。带符号的距离更新v

及其

对应的权重w

将下一深度图D

在时间步长t处的深度测

量值积分到TSDF体积中。这些更新函数传统上被截断

之前和之后的表面，以确保有效的运行时间和鲁棒的

重建的精细结构的表面给出嘈杂的深度测量。截断距

离参数的选择通常需要繁琐的手动调整以适应特定场

景和深度传感器以及考虑运行时间。如果截断距离选

择得太大，则由于更大的增厚伪影，薄结构的重建变

得更加困难，并且由于必须针对每条射线更新更多的

体素，融合过程变得更相反，小的截断距离导致时间

有效的更新，但不能处理深度测量中的较大噪声在本

文中，我们克服了这一限制，学习功能v

自动从数

据。我们的系统是基于相同的上述更新方程和我们的

学习功能只有很少的计算开销相比，传统的TSDF融

合。因此，我们的方法有利于实时深度图融合，并可

以很容易地集成到现有的重建系统。在下面，我们

详细描述我们提出的方法

3.2.

系统概述

我们的方法包含

两

个网络组件：深度

路由网络

和

深

度融合网络

。该流水线由以下

四个

基本处理步骤组

成，如图2所示：

剩余11页未读，继续阅读

cpongm

粉丝: 6

实时深度图融合的基于机器学习方法

小波图像压缩技术：深度学习与机器学习应用

深度学习融合节点信息的图表示学习新方法

Matlab图像融合与深度学习问答资源整理

基于小波和PCA的红外与可见光图像融合属于机器学习还是深度学习

基于机器学习辅助的人机数据融合方法.pdf

基于深度学习的图像融合研究综述

多视角深度图像融合方法综述

基于机器学习方法的肝癌X射线相衬CT图像分类研究.pdf

基于机器学习+深度学习+bert方法的虚假新闻检测项目源码.zip

基于机器学习的医学图像分割、配准、融合及去噪.pdf

最新资源