chatglm-6b-int4

ChatGLM-6B-INT4是ChatGLM-6B模型的量化版本。具体来说，ChatGLM-6B-INT4对ChatGLM-6B中的28个GLM Block进行了INT4量化，而没有对Embedding和LM Head进行量化。这意味着ChatGLM-6B-INT4在理论上只需要6G显存（使用CPU即内存）就可以进行推理，并且有可能在嵌入式设备（如树莓派）上运行。\[2\]

要下载ChatGLM-6B-INT4模型，您可以打开Huggingface模型文件页面（https://huggingface.co/THUDM/chatglm-6b-int4/tree/main），复制每个文件的下载地址，并在ChatGLM-6B文件夹下的model文件夹中使用wget命令将模型文件下载到其中。\[3\]
#### 引用[.reference_title]
- *1* [【ChatGLM】使用ChatGLM-6B-INT4模型进行P-Tunning训练记录及参数讲解](https://blog.csdn.net/sinat_14840559/article/details/131124471)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* *3* [清华 ChatGLM-6B 中文对话模型部署简易教程](https://blog.csdn.net/qq_43475750/article/details/129665389)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]