chatglm transfromers bin模型文件转onnx

将 transformers 模型转换成 ONNX 格式需要以下步骤：

1. 安装 onnx 和 transformers 库：

pip install onnx transformers

2. 加载 transformers 模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("model_name")
model = AutoModelForCausalLM.from_pretrained("model_name")

3. 导出模型为 ONNX 格式：

import torch
import onnx

# 将模型转换为 ONNX 格式
dummy_input = torch.zeros(1, 1, dtype=torch.long)  # 假设输入格式为 (batch_size, sequence_length)
input_names = ["input_ids"]
output_names = ["output"]
onnx_path = "model.onnx"
torch.onnx.export(model, dummy_input, onnx_path, input_names=input_names, output_names=output_names, opset_version=11)

# 验证 ONNX 模型
onnx_model = onnx.load(onnx_path)
onnx.checker.check_model(onnx_model)

4. 可以使用 onnxruntime 进行模型推理：

import numpy as np
import onnxruntime

# 加载 ONNX 模型
sess = onnxruntime.InferenceSession(onnx_path)

# 准备输入数据
input_ids = tokenizer.encode("Hello, how are you?", return_tensors="pt")
outputs = sess.run(None, {"input_ids": input_ids.numpy()})

# 解码输出
decoded_output = tokenizer.decode(outputs[0].argmax(axis=-1), skip_special_tokens=True)
print(decoded_output)

注意：在转换 PyTorch 模型为 ONNX 格式时，要确保模型中没有使用到 PyTorch 中不支持的操作，例如掩码填充等。同时，使用 ONNX 进行推理时，要注意数据类型和维度的匹配问题。