监督新与旧：从SFM中学习SFM

深度神经网络

129 浏览量更新于2025-01-16 收藏 1.24MB PDF 举报

监督新与旧：从SFM中学习SFM

Maria Klodt

[0000

−

0003

−

3015

−

9584]

和Andrea Vedaldi

[0000

−

0003

−

1374

−

2858]

牛津大学视觉几何组

{klodt，vedaldi}@ robots.ox.ac.uk

抽象。最近的工作表明，可以

从未标记的视频序列

学习用于

单目深度和自我运动估计的深度神经网络，这是一个有趣

的理论发展，在应用中具有许多优势在本文中，我们提出

了一些改进这些方法。首先，由于这种自我监督的方法是

基于亮度恒定性假设，这是有效的像素的一个子集，我们

提出了一个概率

学习公式，其中网络预测分布在

变量，而不

是特定的值。由于这些分布以观察到的图像为条件，因此

网络可以学习哪些场景和对象类型可能违反模型假设，从

而导致更鲁棒的学习。我们还建议建立在几十年的经验

，

开发手工制作的结构从运动（SFM）算法。我们

通过使用现

成的SFM系统来为深度神经网络生成监督信号来做到这一

点。虽然这个信号也有噪声，但我们证明了我们的概率公

式可以学习和解释

SFM的缺陷，有助于整合不同的信息源并

提高网络的整体性能。

介绍

视觉几何是计算机视觉中少数几个传统方法部分抵制深度学习的领域

之一。然而，社区现在已经开发了几个深度网络，这些网络在诸如自

我运动估计、深度回归、3D重建和映射等问题虽然传统方法在某些

情况下可能仍然具有更好的绝对准确性，但这些网络在速度和鲁棒性

方面具有非常有趣的特性。此外，它们适用于诸如传统方法不能使用

的单细胞重建的情况。

运动恢复结构问题的一个特别有趣的方面是，它可以用于引导深

度神经网络，而无需使用人工监督。最近的几篇论文已经表明，实际

上可以仅通过观看来自移动相机（SfMLEarner [1]）或立体相机对

（MonoDepth [2]）的视频来学习用于自我运动和单目深度估计的这些

方法主要依赖于低级别的线索，如亮度恒定性，只有温和的假设上的

相机运动。这是特别

M. Klodt和A. Vedaldi

t-1

It+

(a)RGB输入图像和预测：（b）所提出的网络架构：深

度、光度不确定性以及深度和姿态不确定性网络

深度不确定性由传统的SfM监管。

Fig. 1. （a）KITTI数据集的深度和不确定性预测：除了单目深度预测，我

们建议预测光度和深度的不确定性地图，以促进训练从单目图像序列。(b)

训练数据流概述：在传统SfM方法的监督下训练两个卷积神经网络，并通

过包括光一致性项的联合损失来组合。

吸引人的是，它允许非常便宜地学习模型，而不需要特殊的硬件或设

置。这可以用于部署更便宜和/或更鲁棒的传感器，以及开发可以自

动学习在新的应用领域中操作的传感器。

在本文中，我们建立在SfMLEarner的方法，并考虑从头开始学习的

问题，从一个神经网络的自我运动和单眼深度回归只使用未标记的视

频数据从一个单一的，移动的摄像机。与SfMLEarner和类似的方法相

比，我们对学习公式做出了三个显著的改进，使该方法能够学习更好

的模型。

我们的第一个也是最简单的改进是加强亮度恒定性损失，在SfM-

Learner设置中导入MonoDepth中使用的结构相似性损失。尽管它很简

单，但这种变化确实改善了结果。

我们的第二个改进是在神经网络中引入一个显式的置信度

模型

。

SfM

Lear

算法

是一种“快速并行

能力映射”，其目标是识别图像中可

能很好地

满足亮度恒定性约束

的

然而，最初的公式是启发式的。例

如，可解释性图必须被特别正则化以避免退化。我们表明，可以得到

更好的结果，通过把解释成一个适当的概率模型，产生一个自洽的制

定措施的可能性观察到的数据。为了做到这一点，我们预测每个像素

的分布在可能的亮度，这使得模型来表达的信心程度如何准确的亮度

恒定性将在一定的图像位置得到满足。例如，这个模型可以学习期望

SFM

不确定

性

U-Net

相机

构成

深度

U-Net

损失

以旧督新：从可持续森林管理中学习可持续森林管理

物体上的轻微错位，如树枝和汽车，可以独立于相机移动。

我们的第三个改进是整合另一种形式的廉价监督在这个过程中。

我们注意到，在过去的20年里，计算机视觉社区已经开发出了一个高

质量的手工结构运动方法（SFM）的宝库。因此，人们很自然地会

问，这些算法是否可以用来教授更好的深度神经网络。为了做到这一

点，在训练期间，我们建议与网络的前向传递并行运行标准SFM方

法。然后，我们要求网络像以前一样优化亮度恒定性方程

，并

在多任

务设置中匹配来自SFM算法的运动和深度估计。

理想情况下，我们希望网络最终表现得比传统的SFM方法

更好

。

那么，问题是这样的方法如何训练出一个比老师表现更好的模型。这

样做显然是有机会的，因为虽然可持续森林管理在发挥作用时可以提

供非常高质量的监督，但它也可能严重失败。例如，特征三角测量可

能对应于反射而关闭，导致某些像素的深度值不一致因此，我们也采

用了SFM监控信号的概率公式。这具有允许模型

学习何时以及在何种

程度上可以信任

SFM

监督的重要效果。

以这种方式，深度网络可以学

习传统SFM的故障模式，并在学习时适当地对它们进行折扣。

虽然我们在3D重建的特定背景下提出了这样的改进，但我们注意

到，使用概率预测来整合来自不完美监督信号集合的信息的想法可能

是广泛适用的。

我们测试我们的方法对SfMLEarner，在这种情况下的最先进的，并

显示令人信服的改进，由于我们的三个修改。最终的结果是一个系

统，可以学习一个优秀的单目深度和自我运动预测，所有这些都没有

任何人工监督。

相关工作

从运动恢复结构是计算机视觉中一个研究得很好的问题。诸如ORB-

SLAM 2 [3，4]的传统方法基于匹配特征点的流水线，选择一组内点，并

相对于3D点和这些点上的相机位置进行优化。通常，这些方法的关键部

分是仔细选择特征点[5

最近，已经开发了用于从图像序列学习3D结构和/或相机运动的深度

学习方法。在[9]中，已经提出了用于从单个图像估计深度的监督学习方

法。对于监督，需要以手动输入或如[9]中的激光扫描仪测量的形式提供

附加信息。用于学习相机姿势的监督方法包括[10

M. Klodt和A. Vedaldi

无监督学习通过仅从RGB图像序列学习来避免额外输入的必要

性。训练由同一场景的多个图像之间的几何和摄影一致性约束来引

导。已经表明，可以通过无监督学习[2，13]从单个图像鲁棒地估计密

集深度图，并且此外，深度和相机姿势[14]。虽然这些方法执行单个

图像深度估计，但它们使用立体图像对进行训练。由于两个立体相机

之间的固定相对几何形状和产生静态场景的同时图像采集，这便于训

练。

更困难的问题是从单目图像序列的运动中学习结构。这里，必须同时

估计深度和相机位置，并且场景中的移动对象可能破坏相对于世界坐标

系的整体一致性。提出了一种从单目图像序列中从运动中估计和学习结

构的方法在SfMLEarner [1]中。在训练数据中部分可用的情况下，可以

通过监督来增强无监督学习，如[15]所示。来自传统SfM方法的结果可以

用于指导其他方法，如3D定位[16]和遮挡模型的预测[17]。

深度和相机姿态估计的不确定性学习已经在[18，19]中进行了研

究，其中已经针对深度图估计研究了不同类型的不确定性，并且在

[20]中已经学习了部分可靠的地面实况的不确定性。

方法

设

∈

×3

，

∈

Z是由运动摄像机拍摄的RGB图像组成的视频序列。

我们的目标是训练两个神经网络。

第

一帧

∈

（

）

是一种单次

计算方法，该方法包括将来自单个输入帧的

深度图d

∈

作为输出

。第

二（

，

：

∈ T

）

= Φ

ego

（

：

∈ T

）是一

个自运动不确定性估计

网络

.它将短时间序列

（-

，

...

，

. . .

，

），并且针对序列中的每

个图像x t估计3D相机旋转和平移（

，

）

，

∈ T

。此外，它预测姿

势不确定性以及光度和深度不确定性图，这有助于整个网络了解由遮

挡、镜面反射和其他难以处理的模态引起的离群值和噪声。

在

没有

任何其他形式的监督的情况下，从虚拟设备中了解新的任

务是一项具有挑战性的任务。然而，诸如SfMLEarner [1]的方法已经表

明，可以使用亮度恒定性约束作为学习线索来成功地解决该任务。我

们以三种方式改进现有技术：通过改进捕获亮度恒定性的光度损失

（第3节）。1），通过引入一个更强大的概率公式的意见（第3节。

2），并通过使用后者整合线索从现成的可持续森林管理方法的监督

（第3节。（3）第三章。

剩余15页未读，继续阅读

cpongm

粉丝: 6

监督新与旧：从SFM中学习SFM

packnet-sfm:“ PackNet-SfM的代码

Structure from Motion (SFM) Photogrammetry

packnet-sfm:TRI-ML单眼深度估计库

make: *** [makefile:41：VisualSFM] 错误 1

VisualSFM算法的输出是什么

SFM算法和MVSNet算法的共同点与区别

opencv:sfm reconstruct point

visualsfm步骤

superpoint与sfm

sfm三维重建python

最新资源