语义引导的自监督单目深度估计

"本文是计算机视觉领域的一篇开源论文，发表于ICLR 2020会议，主题为语义引导的表示学习，用于自我监督的单目深度估计。作者包括Vitor Guizilini, Rui Hou, Jie Li, Rares Ambrus, Adrien Gaidon等人，来自丰田研究所(TRI)和密歇根大学。" 在计算机视觉中，自我监督学习在单目深度估计上展现出了巨大的潜力。通过利用几何结构作为唯一的监督源，深度网络能够学习将视觉外观与3D属性关联起来的表示方式。然而，这通常依赖于类别级别的模式，而这些模式可能不是最直接地反映语义结构。 该论文提出了一个新颖的方法，旨在更直接地利用语义结构来指导几何表示学习，同时保持自我监督的特性。与传统的多任务方法不同，它不依赖于语义标签和代理损失，而是提出了一种新的架构，利用预先训练好的固定语义分割网络，通过像素适应卷积来引导自我监督的表示学习。这种方法使得模型可以利用语义信息，而不仅仅是几何信息，从而提高深度估计的准确性。 论文进一步提出了一个两阶段的训练过程，以克服动态对象上的常见语义偏见问题。第一阶段专注于学习基本的几何表示，而第二阶段则利用语义信息对这些表示进行微调，以增强深度估计的精度。通过这种分阶段的方法，模型可以更好地处理场景中的复杂性和变化，例如，区分不同类别的物体以及它们与背景的关系。 此外，这种方法的一个关键优点是它可以利用现有的语义分割模型，无需额外的标注数据。这降低了训练成本，使得模型可以在大规模无标注图像数据集上进行训练。通过这种方式，研究人员能够探索如何在自我监督设置下融合几何和语义信息，以提升单目深度估计的性能。 这篇论文为自我监督学习在单目深度估计中的应用提供了一个创新的视角，强调了语义信息在表示学习中的重要性，并提出了一个有效利用这些信息的新框架。这不仅有助于提高深度估计的准确性和鲁棒性，也为未来计算机视觉领域的研究开辟了新的途径。