知识蒸馏：学生和教师架构的评估与效果分析 - CSDN文库

康奈尔大学

PDF格式 | 1.8MB | 更新于2025-01-16 | 2 浏览量 | 举报

收藏

论知识蒸馏的功效

张贤赵康奈尔大

学

jc2926@cornell.edu

康奈尔大学

bh497@cornell.edu

图1.标准知识蒸馏图解。尽管广泛使用，但对学生何时可以

向老师学习的理解却缺失了。

摘要

在本文中，我们提出了一个彻底的评估的效率，

ficacy

的知识蒸馏及其依赖于学生和教师的架构。从观

察到更准确的教师往往不是好教师开始，我们试图梳

理影响知识蒸馏绩效的因素。我们发现，重要的是，

更大的模型往往不会成为更好的教师。我们表明，这

是一个不匹配的能力的后果，小学生无法模仿大教

师。我们发现规避这一点的典型方法（例如执行一系

列知识蒸馏步骤）是无效的。最后，我们表明，这种

影响可以通过提前停止教师我们的研究结果在数据集

和模型中推广。

1.

介绍

在过去的几年里，视觉识别系统有了巨大的进步，

但这些进步是由更深、更大的卷积网络架构驱动的这

些架构的大计算复杂性限制了它们在许多下游应用中

的使用。因此，最近有很多研究

在较小的模型上实现相同或相似的精度。其中一些工

作涉及构建更有效的神经网络家族[13，7]，修剪较大

神经网络的权重[10]，量化现有网络以使用更少的权

重和激活位[22]，并将知识从较大的网络中提取到较

小的网络中[12，1]。

其中最后一种是知识蒸馏，它是一种通用技术，乍

一看是广泛适用的，并补充了所有其他压缩神经网络

的方法其关键思想是除了可用的类标签之外，还使用

较大的“教师网络”的软概率（或这些软概率比单独的

类标签揭示了更多的信息，据称可以帮助学生网络更

好地学习。

这种方法的吸引力在于它明显的普遍性：

任何

学生

都可以向

任何

老师学习但是，知识的升华是否实现了

这种普遍性的承诺呢不幸的是，尽管最近对知识蒸馏

的变体感兴趣[17，24，23，21，27，26，5，14]，但

缺少对这个问题以前的实验通常只然而，有一些孤立

的报告失败的实验与知识蒸馏表明，这可能不是真

的。例如，Zagoruyko和Komodakis观察到他们这一点

以及其他知识蒸馏似乎不能提高绩效的实验的特征是

什么？是否有学生-教师组合表现更好？最后，我们是

否可以做些什么来提高其他组合的性能

在本文中，我们试图回答这些问题。我们发现，在

一般情况下，教师的准确性是一个穷人的预测学生规

模较大的教师，虽然他们本身更准确，但不一定是更

好的教师。我们探讨了这一点的原因，并证明，随着

教师能力和准确性的提高，学生往往发现很难模仿教

师（甚至导致与教师logits的KL差异很高

4794

下载后可阅读完整内容，剩余9页未读，立即下载

cpongm

粉丝: 6

最新资源