model-compression

模型压缩是指通过一系列技术手段来减小神经网络模型的尺寸和计算复杂度，以便在资源受限的设备上进行部署和推理。其中，知识蒸馏是一种常用的模型压缩方法之一。知识蒸馏的过程分为两个阶段：原始模型训练和精简模型训练。在原始模型训练阶段，训练一个复杂的"Teacher模型"，它可以由多个分别训练的模型集成而成，对输入进行分类并输出相应类别的概率值。在精简模型训练阶段，训练一个参数量较小、模型结构相对简单的"Student模型"，它同样可以对输入进行分类并输出相应类别的概率值。通过将"Teacher模型"的知识转移到"Student模型"中，"Student模型"可以在尺寸和计算复杂度上得到压缩，同时保持较高的性能。除了知识蒸馏，模型压缩的其他方法还包括网络剪枝、量化和低秩分解等。另外，神经网络二值化是一种更为极致的模型压缩方法，它将所有的权值用二进制数表示，从而大大减小模型尺寸。\[1\]\[2\]\[3\]
#### 引用[.reference_title]
- *1* *2* [模型压缩（Model compression）](https://blog.csdn.net/weixin_38072029/article/details/111357992)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [深度学习网络压缩模型方法总结(model compression)](https://blog.csdn.net/weixin_30617737/article/details/98228382)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]