知识蒸馏缩小大规模模型与实用性价比差距：ImageNet top-1精度达82.8%

大规模模型的高准确率与低成本之间的差距在计算机视觉领域日益显著，尤其是在图像分类、对象检测和语义分割等任务中。最先进的大规模模型，如那些基于Transformer架构的，虽然能够在ImageNet数据集上取得高达82.8%的top-1精度，但它们的高昂计算成本限制了它们在实际场景中的应用。相比之下，小型模型如ResNet-50和MobileNet由于计算效率和经济性更受从业者青睐。 本文的焦点在于解决这种高精度与实际部署之间的鸿沟，作者并不追求发明全新的模型方法，而是寻求一种强大且有效的知识转移策略——知识蒸馏。知识蒸馏是一种机器学习技术，通过将大型模型（教师模型）的知识传授给小型模型（学生模型），从而帮助后者提高性能，同时保持较小的模型尺寸和较低的计算需求。 研究者强调了在训练过程中的一些关键设计选择对知识蒸馏效果的影响。例如，耐心的训练和提供一致的图像视图对于蒸馏过程至关重要，这与使用预计算的教师目标相比，能带来更好的性能提升。他们通过对大量视觉数据集，特别是ImageNet，进行深入的实证研究，展示了通过恰当的知识蒸馏方法，即便是相对较小的学生模型也能逼近甚至超越大型模型的性能。 值得注意的是，研究者的工作着重于将最新的技术进步转化为实际应用，关注的是模型的实用性而非纯粹的理论突破。他们通过TensorflowHub平台的数据下载量变化，揭示了这一转化的重要性。通过细致的实验和分析，论文为如何在保持高准确率的同时降低成本提供了实用的指导，这对于推动大规模模型在实际场景中的广泛应用具有深远影响。