transformer蒸馏
时间: 2023-09-01 15:13:16 浏览: 57
Transformer蒸馏是指利用一个强大的图像分类器作为老师模型,通过比较其输出与精度之间的平衡来替换卷积神经网络 (CNN)。蒸馏的两个方向包括硬蒸馏和软蒸馏,同时还有经典蒸馏和令牌蒸馏。硬蒸馏是指直接将老师模型的输出用作学生模型的目标,而软蒸馏则是使用老师模型的输出概率分布作为学生模型的目标。这种蒸馏方法可以提高学生模型的性能,使其具备与老师模型相似的分类能力。
如果你对Transformer不够了解,可以阅读一些相关的资料,如《深入解读Vision Transformer:拒绝做半瓢水》。这篇文章对知识蒸馏和Transformer都有详细的解释和回顾,可以帮助你更好地理解这个概念。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [Deit:当Transformer与知识蒸馏结合起来](https://blog.csdn.net/wqthaha/article/details/125053350)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)