huggingface加载本地模型代码

以下是使用HuggingFace加载本地模型的代码示例[^1]：

from transformers import AutoModelForCausalLM, AutoTokenizer

# 定义模型路径
model_path = "/dataset_disk1/chatglm3-6b"

# 加载模型
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    load_in_4bit=True,
    torch_dtype=torch.float16,
    device_map='auto'
)

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_path)

# 输入文本
input_text = "你好，这是一个测试句子。"

# 分词
input_ids = tokenizer.encode(input_text, return_tensors="pt")

# 生成文本
output = model.generate(input_ids)

# 解码生成的文本
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)

# 打印生成的文本
print(generated_text)

这段代码首先定义了模型路径`model_path`，然后使用`AutoModelForCausalLM.from_pretrained()`函数加载模型。接下来，使用`AutoTokenizer.from_pretrained()`函数加载分词器。然后，将输入文本进行分词，并将分词后的结果转换为模型输入的张量。最后，使用`model.generate()`函数生成文本，并使用分词器的`decode()`函数解码生成的文本。最终，打印生成的文本。