FGD: 焦点与全局知识蒸馏提升目标检测性能

Focal and Global Knowledge Distillation for Detectors(1).pptx 是一篇关于目标检测领域的研究论文，重点关注如何改进传统的知识蒸馏技术以适应复杂的物体检测任务。传统知识蒸馏在图像分类中取得成功，但在目标检测中，由于目标与背景的显著差异，许多方法难以有效迁移知识。 论文指出，目标检测中的特征提取在前景和背景区域存在显著区别，如果简单地进行平均处理，可能会导致特征图之间的不平衡，进而影响蒸馏效果。为解决这个问题，作者提出了局部蒸馏（Local Distillation）和全局蒸馏（Global Distillation，FGD）的概念。局部蒸馏旨在分离前景和背景，让学生模型关注教师模型在关键像素和通道上的表现，从而强化学习的重点。而全局蒸馏则着重于重建不同像素之间的关系，弥补局部蒸馏中忽视的全局信息。 在这个过程中，知识蒸馏基于Teacher-Student模型框架，Teacher（Net-T）通常是一个复杂模型，负责输出丰富的特征表示，而Student（Net-S）则是简化版本，目标是学习Teacher的特征表示。Teacher模型可能由多个子模型组成，但关键是其输出的概率分布可用于指导Student的学习。 论文的主要贡献包括： 1. 提出了一种理解教师和学生在检测任务中关注点差异的新视角，认识到简单的像素和通道平均提取不能充分提升学生模型性能。 2. 首次引入局部和全局蒸馏策略，使得Student模型不仅能捕获关键特征，还能理解像素间的依赖关系，从而提升目标检测的整体准确性和鲁棒性。 3. 由于FGD的损失函数仅依赖于特征计算，这种方法适用于各种类型的检测器，实现了当前最先进的目标检测性能。 此外，论文还涉及到了基础的深度学习概念，如 backbone（主干网络，常用Resnet或VGG等来提取特征），以及head（用于处理和预测最终输出的模块）。这些组件在知识蒸馏过程中起到至关重要的作用，尤其是在复杂的目标检测任务中优化网络架构和性能。