chatglm2微调
时间: 2023-08-02 22:10:24 浏览: 228
chatglm微调指令数据集
5星 · 资源好评率100%
根据引用\[1\]和引用\[2\]的内容,进行ChatGLM2-6B的微调需要执行以下步骤:
1. 首先,克隆微调项目的代码库:
```
git clone https://github.com/hiyouga/ChatGLM-Efficient-Tuning.git
```
2. 创建并激活一个新的Python环境:
```
conda create -n chatglm_etuning python=3.10
conda activate chatglm_etuning
```
3. 进入项目目录并安装所需的依赖:
```
cd ChatGLM-Efficient-Tuning
pip install -r requirements.txt
```
4. 下载ChatGLM2-6B的配置文件和模型文件。可以访问https://huggingface.co/THUDM/chatglm2-6b/tree/main,并将configuration_chatglm.py、modeling_chatglm.py、quantization.py、tokenization_chatglm.py这四个文件下载到./chatglm2_6b_lora目录下。
5. 修改配置文件中的几个值。根据引用\[1\]中的命令,使用sed命令修改config.json和tokenizer_config.json文件中的配置值。
6. 最后,调用导出的模型进行微调。
请注意,以上步骤仅为参考,具体的微调过程可能会因项目的不同而有所变化。建议在进行微调之前仔细阅读相关文档和代码库中的说明。
#### 引用[.reference_title]
- *1* *2* *3* [修改 ChatGLM2-6B 自我认知的 Lora 微调教程](https://blog.csdn.net/engchina/article/details/131492403)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
阅读全文