提升效率：改进的知识蒸馏法加速低分辨率人脸识别模型训练

本文主要探讨了在低分辨率（LR）人脸识别（FR）任务中如何改进知识蒸馏技术，以训练出既快速又准确的模型。低分辨率人脸识别在监控等场景中具有挑战性，因为探头获取的面部图像质量通常较低，而画廊中的高分辨率图像提供了标准。传统的知识蒸馏方法通过调整教师模型（通常是大模型）的权重以适应LR数据，然后用调整后的教师指导学生模型的训练。然而，这个过程中的教师模型重训步骤消耗大量时间，尤其对于大规模数据集来说。 作者提出了一个创新的解决方案，避免了教师模型的重新训练。他们将教师模型和学生模型的训练集设计为不同的策略：教师模型使用未增强的HR数据，而学生模型则接受LR增强的数据。这样，教师模型的权重不再需要更新，节省了计算资源。学生模型在原始教师模型的指导下进行学习，从而实现了更快的训练速度，特别是在处理大型数据集时，速度提升显著。 为了减少因训练数据分布差异带来的影响，作者引入了输出之间的多核最大平均差异限制，旨在减小这种差异对模型性能的影响。实验结果显示，新方法将训练时间缩短了大约5倍，同时保持了较高的准确性。在LFW和SCFace等基准测试中，作者的学生模型表现出最先进的识别精度，相比于教师模型，其速度提升了3倍，而且在CPU上的运行时间仅需35毫秒。 总结来说，本文提出的改进知识蒸馏技术在低分辨率人脸识别任务中取得了显著的效果，通过优化训练流程和数据利用，实现了快速且高效的模型训练，这对于实际应用中的实时监控和识别具有重要意义。