chatglm预训练 微调

ChatGLM是一个预训练的对话模型，它是基于GLM-130B进行微调得到的。GLM-130B是一个大规模预训练语言模型，而ChatGLM则是在GLM-130B的基础上进行了开发和优化。\[1\]ChatGLM具有三大技术：情景学习、思维链和自然指令学习。它的飞跃式提升包括多模态支持、更多输入字符数量、更强的推理能力以及文本创造能力，例如生成诗歌、解释图片含义和进行图表计算等。\[1\]ChatGLM的训练于2022年8月完成，论文可以在https://cdn.openai.com/papers/gpt-4.pdf找到。\[1\]此外，ChatGPT Plus是ChatGPT的升级版，集成了GPT-4的功能，可以在https://chat.openai.com/chat上使用。\[1\]

关于ChatGLM的微调，可以参考相关的教程和实践视频，如ChatGLM-6B微调的官方教程、ChatGLM-6B加载本地知识库精确回答财税问题的演示等。\[2\]微调可以根据具体需求进行，例如使用P-Tuning、LoRA、Full parameter等方法。\[2\]此外，为了解决实时性问题，可以结合duckduckgo_search和gpt等技术进行实时搜索和回答。\[3\]在使用ChatGPT时，需要注意提示词要清晰、聚焦、内容相关，同时可以进行角色扮演和创作等。\[1\]
#### 引用[.reference_title]
- *1* *3* [【ChatGPT】预训练模型微调及其应用（ChatGLM-6B、duckduckgo_search、GPT在科研的应用等）](https://blog.csdn.net/qq_35812205/article/details/129482775)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* [从GLM-130B到ChatGLM：大模型预训练与微调](https://blog.csdn.net/u012193416/article/details/131034265)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]