本文档详细介绍了在Windows系统环境下部署和运行清华大学开发的开源对话语言模型ChatGLM-6B的过程。ChatGLM-6B是一款支持中英双语并具备图像理解能力的模型,基于General Language Model架构,拥有62亿参数,能够在消费级显卡(INT4量化级别下仅需6GB显存)上本地部署,适合资源有限的环境。 首先,模型的部署需要从GitHub开源地址获取项目源代码,有两种方式可供选择:直接从网页下载压缩包或通过Git克隆。对于网络连接不稳定的情况,作者推荐使用Git克隆,并提供了解决超时问题的建议。下载完成后,项目的结构包括requirements.txt文件,其中列出了ChatGLM-6B所需的8个Python库,如TensorFlow、PyTorch等,这些库可以通过pip工具一次性安装。 由于作者的硬件环境为没有GPU的CPU(3.4GHz频率,16GB内存)且操作系统为Windows 10,因此选择部署最低级别的量化模型——INT4。INT4量化模型虽然牺牲了一部分精度,但显著减少了模型的计算需求,使得在较低配置的设备上也能运行。下载INT4模型的链接为<https://huggingface.co/THUDM/chatglm-6b-int4/tree/main>,需将其保存至如E:\ChatGLM\chatglm这样的指定文件夹。 在实际部署过程中,先切换到项目目录,然后执行`pip install -r requirements.txt`命令安装所有依赖库,最后将INT4模型文件添加到项目的相应位置。通过这些步骤,用户可以在Windows环境下成功地部署和运行ChatGLM-6B,满足日常的问答和交互需求,即使是在资源受限的情况下也能体验到语言模型带来的便利。
![](https://csdnimg.cn/release/download_crawler_static/87881671/bg1.jpg)
下载后可阅读完整内容,剩余9页未读,立即下载
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/2d2325e2eebd44838a507d003749d30e_c1007857613.jpg!1)
- 粉丝: 1w+
- 资源: 73
![](https://csdnimg.cn/release/wenkucmsfe/public/img/vip-rights-1.c8e153b4.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/vip-rights-2.8b825a4e.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/vip-rights-3.fc5e5fb6.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/vip-rights-4.320a6894.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/vip-rights-icon.fe0226a8.png)
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 构建Cadence PSpice仿真模型库教程
- VMware 10.0安装指南:步骤详解与网络、文件共享解决方案
- 中国互联网20周年必读:影响行业的100本经典书籍
- SQL Server 2000 Analysis Services的经典MDX查询示例
- VC6.0 MFC操作Excel教程:亲测Win7下的应用与保存技巧
- 使用Python NetworkX处理网络图
- 科技驱动:计算机控制技术的革新与应用
- MF-1型机器人硬件与robobasic编程详解
- ADC性能指标解析:超越位数、SNR和谐波
- 通用示波器改造为逻辑分析仪:0-1字符显示与电路设计
- C++实现TCP控制台客户端
- SOA架构下ESB在卷烟厂的信息整合与决策支持
- 三维人脸识别:技术进展与应用解析
- 单张人脸图像的眼镜边框自动去除方法
- C语言绘制图形:余弦曲线与正弦函数示例
- Matlab 文件操作入门:fopen、fclose、fprintf、fscanf 等函数使用详解
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)