室内语义分割：联合推理与几何感知的创新策略

室内语义分割是计算机视觉领域中的关键任务，它旨在对室内场景中的每个像素进行精确的语义标注，以提升对环境的理解，这对于机器人导航、视觉SLAM（Simultaneous Localization and Mapping，同时定位与地图构建）以及虚拟/增强现实应用至关重要。传统的RGB图像方法可能因缺乏深度信息而难以处理某些模糊场景，比如难以区分颜色相近的物体，如床上的枕头与床。 本文针对这一问题，提出了一种联合推理的语义分割和深度信息处理策略。该方法主要依赖于RGB-D数据，即同时包含颜色（RGB）和深度信息的图像。传统的RGB-D语义分割方法通常依赖于精确的深度图，但这种要求限制了其广泛应用性。 为了打破这种限制，研究者提出了一种新颖的几何感知传播框架，它能够从RGB-D数据中联合推理二维的外观特征和三维的几何信息。这种方法的核心在于提取几何感知嵌入，这种嵌入能够消除对精确深度图的依赖，同时充分利用深度信息中的有用特性。嵌入学习不仅提高了语义分割的精度，而且通过一个解耦的架构，将语义分割任务与几何嵌入学习分开，使得网络能够更高效地处理这两个相关但独立的任务。 论文中的关键贡献包括： 1. **几何感知嵌入**：通过深度信息的几何感知，从RGB-D数据中提取更加鲁棒和丰富的特征表示，减少对精确深度图的依赖。 2. **联合推理**：将深度信息与二维外观信息相结合，通过联合推理提高语义分割的准确性。 3. **信息传播和特征融合架构**：设计了一个多级跳过特征融合块，促进信息在网络内的有效传播，增强特征的融合和表示能力。 4. **解耦网络设计**：将语义分割和几何嵌入学习分离为两个子任务，这样可以优化网络结构，提升整体性能。 5. **挑战性实验**：通过在公开可用的具有挑战性的室内数据集上与最先进的语义分割方法进行对比，验证了该方法的有效性和优越性。 这项研究为室内语义分割提供了一种更为灵活和鲁棒的方法，能够在实际应用中展现出更强的泛化能力和适应性，有望推动RGB-D技术在更多领域的应用。