深度学习驱动的2018 SLAM暑期课程：立体匹配与三维重建详解

深度恢复与三维重建是2018年浙江大学第一届SLAM研讨会中的核心议题，由章国锋教授主讲，关注于计算机视觉中的关键技术。课程内容涵盖以下几个方面： 1. **双视图与多视图立体匹配**： - 立体视觉是一种利用两幅或更多图像对来获取场景深度信息的方法。 - 双视图立体匹配是基础，通过比较同一场景在不同视角下的像素差异（如 disparity），推断出物体的三维坐标。 - 多视图立体匹配则扩展到了多个视角，增加了场景重建的精度。 2. **基于深度学习的深度估计**： - 随着深度学习的发展，深度估计技术也取得了显著进步，通过神经网络模型能够自动学习和预测深度信息，提高匹配的准确性。 3. **三维几何重建**： - 在获得大量匹配点后，通过立体几何约束，可以进一步计算出物体的精确三维模型，如通过极线几何减少匹配的复杂度。 - 三维几何重建通常涉及运动参数的估计、深度图像的计算，以及可能的图像校正，以确保左右相机的配置满足标准。 4. **图像矫正**： - 校正过程包括将左右视图调整到共享的平面上，如Seitz投影，以简化匹配过程并提升精度。 5. **像素匹配算法**： - 包括单像素匹配，以及改进的基于窗口的匹配方法，如SSD、SAD、MAD和NCC，窗口大小的选择对匹配结果有直接影响。 - 自适应窗口大小可以帮助平衡细节保留和噪声抑制。 6. **立体匹配评测**： - Scharstein和Szeliski的工作提供了一种评估密集两帧立体对应关系算法的标准，如《A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms》。 7. **全局优化方法**： - 为了提高重建的质量，立体匹配往往需要全局优化，通过定义能量函数，包括数据项（匹配精度）、平滑项（图像连续性）来进行优化。 这些知识点展示了深度恢复与三维重建在计算机视觉中的重要应用，特别是SLAM（Simultaneous Localization And Mapping）领域，通过高效而准确的匹配和重建技术，为机器人导航、增强现实等实际应用提供了基础支持。