transformers框架如何调用

Transformers框架是由Hugging Face公司开发的一款深度学习库，主要用于自然语言处理任务，如文本分类、问答系统、机器翻译等。在Python中调用Transformer模型通常分为以下几个步骤：

1. **安装库**：首先需要通过pip安装`transformers`库：

   pip install transformers

2. **加载模型**：选择一个预训练模型，例如BERT、GPT-2等，并加载它：

   from transformers import BertModel, BertTokenizer

   model_name = "bert-base-chinese" or "gpt2"
   model = BertModel.from_pretrained(model_name)
   tokenizer = BertTokenizer.from_pretrained(model_name)

3. **输入编码**：将文本数据转换成模型所需的输入格式，通常是Token IDs和Attention Masks：

   text = "这是一个例子"
   inputs = tokenizer(text, padding=True, truncation=True, return_tensors="pt")
   input_ids = inputs["input_ids"]
   attention_mask = inputs["attention_mask"]

4. **前向传播**：使用`model`对输入执行前向计算：

   outputs = model(input_ids, attention_mask=attention_mask)
   last_hidden_state = outputs.last_hidden_state

5. **解析结果**：根据模型的任务，可能需要进一步处理隐藏层的状态，比如对于分类任务，可能需要取池化后的最后一层作为输出。

logits = model.classifier(last_hidden_state[:,0,:])