BiSeNet：实时语义分割的新方法

"本次组会PPT探讨了BiSeNet模型，该模型由旷视科技的视觉团队在ECCV2018会议上提出，旨在实现实时语义分割。BiSeNet基于FCN（全卷积网络）并构建了编码器-解码器对称结构，以端到端的方式处理像素级别的图像分割任务。" BiSeNet，全称为Bilateral Segmentation Network，是针对实时语义分割任务的一种创新方法。在当前实践中，为了提高速度，通常会牺牲一定的精度，如限制输入图像的大小或减少网络的通道数，这会导致空间信息的丢失。U型结构，如U-Net，通过结合不同层次的特征来恢复部分空间信息，但由于使用高分辨率特征图和早期的下采样操作，仍然存在空间信息损失的问题。 FCN（全卷积网络）引入了跳跃连接，允许不同层级的特征进行编码，从而在一定程度上保留了空间信息。DeepLab系列（V2, V3）通过膨胀卷积保持特征图尺寸，以解决语义分割中的细节预测问题。同时，上下文信息对生成高质量分割结果至关重要，许多方法采用膨胀卷积的不同膨胀率或者金字塔结构来捕获不同范围的上下文信息。 针对以上挑战，BiSeNet提出了一种新颖的策略，将空间信息的保留与大的感受野功能分开。它包括两个主要路径：空间路径（Spatial Path/SP）专注于恢复空间信息，通过使用较浅的网络结构来保持较高的分辨率；上下文路径（Context Path/CP）则处理感受野收缩问题，通过更深层次的网络获取全局上下文。这两条路径通过特殊的模块——特征融合模块（Feature Fusion Module/FFM）和注意力优化模块（Attention Refinement Module/ARM）进行交互和融合，从而在保持高效的同时提高分割精度。 在Cityscapes、CamVid和COCO-stuff等多个数据集上，BiSeNet展示了优秀的性能，证明了其在实时语义分割领域的有效性。这个模型为平衡实时性与准确性提供了新的解决方案，尤其适合需要快速响应的实时应用，如自动驾驶、视频分析等。