深度学习驱动的相机跟踪与映射系统——DeepTAM

"基于关键帧的深度跟踪和映射系统的学习方法" 本文介绍了一种全新的深度学习技术，称为DeepTAM，它专为基于关键帧的相机跟踪和密集深度图估计设计。该系统由周惠中、Benjamin Ummenhofer和Thomas Brox在弗莱堡大学开发，其目标是将深度学习应用于视觉SLAM（Simultaneous Localization and Mapping）的核心组件，即相机姿态跟踪和密集3D映射。 在跟踪方面，DeepTAM采用了一个专门设计的网络架构，用于估计当前相机图像与合成视点之间的微小姿态增量。这种方法减少了学习问题的复杂性，并减轻了由特定类型相机运动引起的数据集偏差。此外，通过生成大量姿态假设，DeepTAM能够提高预测的准确性，这对于应对各种复杂的相机运动至关重要。 在映射方面，研究者构建了一个信息积累的成本体积，其中包含了以当前深度估计为中心的信息。映射网络随后结合这个成本体积和关键帧图像，以更新深度预测，有效地融合深度测量和基于图像的先验知识。这种策略增强了网络对噪声和不完整数据的鲁棒性，从而生成准确的深度图。 与传统的RGB-D跟踪算法和深度学习驱动的密集深度算法相比，DeepTAM在使用少量图像时也能展现出卓越的性能。在6自由度跟踪测试中，其表现与现有的RGB-D跟踪算法相当，同时在与强大经典算法的竞争中也毫不逊色。 关键词包括摄像机跟踪、多视点立体、卷积神经网络（ConvNets）。文章指出，虽然3D映射领域已有成熟的解决方案，但深度学习方法在相机跟踪和3D映射方面仍有巨大潜力。通过解决数据集偏差问题、采用多假设方法来提升姿态估计精度，以及结合深度测量和图像先验的映射网络架构，DeepTAM成功地推动了学习基础的SLAM系统的发展。 DeepTAM是一个创新性的深度学习框架，旨在改进传统的DTAM方法，通过学习策略提高跟踪和映射的精度和泛化能力，尤其在处理噪声和少量数据的情况下。这一研究成果对于推动视觉SLAM领域的发展具有重要意义。