门控图像自监督深度估计:无监督替代LiDAR

0 下载量 42 浏览量 更新于2024-06-20 收藏 1.52MB PDF 举报
门控图像的自监督深度估计方法是一种新兴的技术,它有望改变现有3D深度感知领域的格局,特别是在替代传统的扫描激光雷达(LiDAR)方面。相较于LiDAR,门控相机通过非连续的光脉冲照射和捕获图像,能够在复杂环境如雾、雪和雨中提供高分辨率的深度信息,且无需依赖同步和校准。然而,先前的研究依赖于同步的LiDAR数据进行监督,这限制了其广泛应用和大规模训练的能力。 在本研究中,研究人员提出了一种创新的完全自我监督深度估计方法,它摒弃了外部监督,仅利用门控图像的数据进行训练。这个方法的关键在于利用门控强度轮廓和时间一致性作为学习信号,通过端到端的深度估计模型来重建门控视频序列。模型能够处理包含阴影和反射的复杂场景,通过比较给定帧与相邻门控切片的时间一致性来估计深度信息。 相比于传统的单目RGB和立体RGB图像深度估计,以及基于门控图像的监督方法,这个自监督方法展现出更强的鲁棒性和适应性。它能够在没有LiDAR或RGB数据的情况下进行训练,使得深度估计更加灵活,可以在地理范围广泛的场景中快速部署,并且有可能扩展到自动驾驶、机器人、遥感、增强现实和虚拟现实等领域的多种应用场景。 为了实现这一突破,研究人员开发了一个开源代码库(<https://github.com/princeton-computational-imaging/Gated2Gated>),供学术界和工业界同仁进一步研究和改进。这种方法的推广将极大地推动门控相机技术的发展,使之成为未来智能设备中不可或缺的3D感知元件。