Deep Mutual Learning复现

Deep Mutual Learning是一种用于训练小型但强大的深度神经网络的方法。它与传统的模型蒸馏有所不同，但相关。在Deep Mutual Learning中，我们从一群未经训练的学生网络开始，它们同时学习共同解决任务。每个学生接受两种损失的训练：传统的监督学习损失和模仿损失。模仿损失的目的是使每个学生的类后验概率与其他学生的类概率保持一致。通过这种方式的训练，每个学生在同伴教学的环境中的学习效果明显优于在传统的监督学习环境中独自学习。此外，相互学习的学生网络比通过大型预训练教师进行传统蒸馏训练的学生取得更好的结果。这表明，相互学习策略具有普遍适用性，可以应用于不受模型大小限制且只关注识别精度的应用场景。如果你想了解更多关于Deep Mutual Learning的内容，你可以查看论文\[3\]。
#### 引用[.reference_title]
- *1* [【阅读笔记】Deep Mutual Learning](https://blog.csdn.net/qq_29260257/article/details/123401476)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* *3* [论文解读《Deep Mutual Learning》](https://blog.csdn.net/qq_46031969/article/details/129321595)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]