ChatGLM2-6B量化

ChatGLM2-6B量化是指将ChatGLM2-6B模型使用模型量化技术进行压缩和优化，以减少模型的显存占用和部署门槛。在量化后，ChatGLM2-6B模型的显存占用可以进一步降低到10GB（INT8）和6GB（INT4），使得该模型可以在消费级显卡上进行部署。量化后的ChatGLM2-6B模型仍然保持了较长的序列长度，达到32K，支持更长的对话和应用。此外，ChatGLM2-6B模型还通过使用监督微调、反馈自助和人类反馈强化学习等方式，使得模型具备理解人类指令意图的能力，并且输出格式为markdown，方便展示。\[3\]
#### 引用[.reference_title]
- *1* *3* [ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战](https://blog.csdn.net/dream_home8407/article/details/130099656)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* [macbook安装chatglm2-6b](https://blog.csdn.net/qq_26819733/article/details/131563492)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]