chatglm本地模型

ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，基于General Language Model (GLM)架构，具有62亿参数。用户可以在消费级的显卡上进行本地部署，最低只需要6GB显存（在INT4量化级别下）。这个模型使用了和ChatGPT相似的技术，并对中文问答和对话进行了优化。如果没有GPU硬件，也可以在CPU上进行推理，但是推理速度会更慢。如果显存配置有限，可以选择以量化方式加载模型，目前只支持4/8 bit量化。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [本地化部署大语言模型 ChatGLM](https://blog.csdn.net/weixin_43925843/article/details/130235719)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [手把手教你搭建自己本地的ChatGLM](https://blog.csdn.net/master_hunter/article/details/130106168)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]