chatglm全参微调

对于chatglm的全参微调，可以按照以下步骤进行：

1. 需要更新chatglm模型文件，可以从https://huggingface.co/THUDM/chatglm-6b/tree/main 下载最新的几个py文件，并替换原有的文件。

2. 在微调过程中，可能会占用大约13G的显存。可以监控微调过程中的loss变化情况，确保微调的效果。

3. 微调完成后，会生成对应的模型文件，可以在output/adgen-chatglm-6b-pt-8-1e-2路径下找到。通常会生成多个模型文件。

4. 在推理过程中，可以使用chatglm模型进行对话生成。可以根据需要修改cli_demo.py中的模型路径为ptuning/out/adgen-chatglm-6b-pt-8-1e-2/checkpoint-3000，并运行cli_demo.py进行推理。

总结来说，chatglm的全参微调需要更新模型文件，进行微调训练，并在微调完成后使用生成的模型文件进行推理。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [ChatGLM-6B微调与部署](https://blog.csdn.net/dzysunshine/article/details/130506521)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]