自注意力蒸馏：轻量级车道检测CNN的提升方法

"这篇论文提出了一种新的知识蒸馏方法——自我注意力蒸馏（Self Attention Distillation, SAD），用于训练轻量级的车道检测卷积神经网络（Lane Detection CNN）。这种方法能让模型从自身学习，无需额外的监督或标签就能显著提升性能。尤其在处理极端遮挡、模糊车道和光照条件差等复杂场景时，模型表现更优。SAD通过在网络内部进行自上而下的层间注意力蒸馏，利用经过合理训练的模型提取出的注意力图来编码丰富的上下文信息，这些信息作为'免费'的监督信号促进进一步的表示学习。该方法可以轻松融入任何前馈卷积神经网络，并且不会增加推理时间。论文在三个流行的车道检测基准数据集（TuSimple, CULane 和 BDD100K）上验证了SAD，使用轻量级模型如ENet、ResNet-18和ResNet-34。其中最轻量的模型ENet-SAD在性能上可与现有算法相比甚至超越，而且参数数量仅为最先进的SCNN的1/20，运行速度提升10倍，同时在所有基准测试中表现出令人信服的性能。代码已在https://github.com/cardwing/Codes-for-Lane-Detection开源。" 在车道检测任务中，由于车道标注的监督信号非常微妙和稀疏，深度模型的训练面临困难。传统的CNN模型在处理遮挡严重、车道模糊或光照条件差的图像时往往表现不佳。SAD的创新之处在于，它利用模型自身的注意力机制来传递和学习上下文信息。注意力地图，即模型在某一阶段学习到的注意力分布，包含了丰富的场景理解信息。通过在模型的不同层之间进行注意力蒸馏，这些信息被有效地传递给模型的后续学习过程，从而提高其泛化能力和对复杂情况的处理能力。 SAD方法的优势在于其灵活性和效率。它可以无缝集成到任何前馈CNN架构中，无需修改网络结构，也不增加推理阶段的时间开销。这使得SAD成为一个理想的增强轻量级模型性能的工具，尤其适合资源有限的设备，如自动驾驶汽车或无人机。在实际应用中，ENet-SAD模型展示了出色的平衡，不仅在性能上接近或优于其他算法，而且在计算资源和速度方面具有显著优势，这对于实时系统至关重要。 为了验证SAD的有效性，研究者在三个标准数据集上进行了实验：TuSimple、CULane和BDD100K，这些数据集涵盖了各种复杂的驾驶环境。ENet-SAD在这三个数据集上的表现证明了自我注意力蒸馏技术在车道检测中的潜力和实用性。通过开源代码，研究人员和开发者可以进一步探索和利用这一方法，推动车道检测技术的进步。