decoupled knowledge distillation

解耦式知识蒸馏是一种新型的深度学习模型压缩方法，它通过将教师模型的知识分解成多个部分，然后分别对学生模型进行蒸馏，从而实现了知识的解耦和模型的高效压缩。这种方法可以大幅度减少模型的参数量和计算复杂度，同时保持了模型的高精度和泛化能力。