离线Ai清华大学ChatGLM#

### 清华大学 ChatGLM 离线部署和使用方法

#### 一、环境准备
为了成功离线部署并运行清华大学的 ChatGLM-6B 模型，需先准备好相应的开发环境。确保安装有 Python 和 PyTorch，并配置好 CUDA 或 ROCm（如果打算利用 GPU 加速）。对于硬件条件有限的情况，可借助模型量化技术降低资源消耗，在消费级显卡上完成本地部署[^2]。

#### 二、获取预训练模型文件
访问官方 GitHub 页面下载所需版本的 ChatGLM-6B 权重文件和其他必要组件。由于网络状况可能影响在线获取速度甚至失败，建议提前确认连接稳定性或寻找可靠的镜像源进行下载。

#### 三、编写调用脚本
创建一个新的 Python 文件作为入口程序，导入必要的库之后定义 `chat` 函数用于处理输入提示词并返回生成的回答。此过程涉及编码转换、张量运算等多个环节：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("THUDM/chatglm-6b").half().cuda()

def chat(prompt):
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(**inputs.cuda(), max_length=256)
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return response.strip()

测试上述函数的功能时，可以通过向其传递具体的字符串参数来观察输出效果[^3]。