Transformers应用的代码举例
时间: 2023-07-09 07:48:19 浏览: 112
以下是使用Hugging Face库中的Transformers模块加载预训练的BERT模型,并使用该模型进行文本分类的Python代码示例:
```python
from transformers import BertTokenizer, BertForSequenceClassification
# 加载预训练的BERT模型及tokenizer
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
# 准备输入文本
input_text = "This is an example sentence for classification."
# 对输入文本进行tokenize
input_ids = tokenizer.encode(input_text, add_special_tokens=True, max_length=128, truncation=True)
# 将tokenize后的输入文本转换为PyTorch张量
input_tensor = torch.tensor([input_ids])
# 使用BERT模型进行文本分类
outputs = model(input_tensor)
```
以上代码中,我们首先使用`BertForSequenceClassification.from_pretrained()`方法加载了一个预训练的BERT模型,然后使用`BertTokenizer.from_pretrained()`方法加载了对应的tokenizer。接着,我们准备了一个文本输入`input_text`,并使用tokenizer对其进行了tokenize操作,得到了一个包含了特殊token的整数序列`input_ids`。最后,我们将`input_ids`转换为PyTorch张量,并将其输入到BERT模型中进行文本分类,得到了输出`outputs`。