加载预训练的Transformer模型代码

加载预训练的Transformer模型可以使用Hugging Face的Transformers库。以下是一个简单的示例代码，用于加载预训练的Transformer模型并对一些文本进行编码：

from transformers import AutoTokenizer, AutoModel

# 加载预训练模型和tokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModel.from_pretrained("bert-base-uncased")

# 编码文本
input_text = "Hello, how are you?"
encoded_input = tokenizer(input_text, return_tensors='pt')
output = model(**encoded_input)

在这个示例中，我们使用了`bert-uncased`预训练模型和对应的tokenizer。我们首先使用`AutoTokenizer.from_pretrained`方法加载tokenizer，然后使用`AutoModel.from_pretrained`方法加载模型。最后，我们使用tokenizer对输入文本进行编码，并将编码结果传递给模型进行推理。

注意，这里我们使用了PyTorch框架的`return_tensors='pt'`参数来告诉tokenizer返回PyTorch张量格式的编码结果。如果你使用其他框架，例如TensorFlow，则需要相应地修改参数值。