huggingface bert模型代码
时间: 2023-07-02 22:19:34 浏览: 201
以下是使用Hugging Face的Transformers库加载BERT模型并进行文本分类任务的示例代码:
```python
from transformers import BertTokenizer, BertForSequenceClassification
import torch
# 加载BERT模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)
# 准备输入数据
text = "This is an example sentence."
encoded_input = tokenizer(text, return_tensors='pt')
# 使用BERT模型进行预测
output = model(**encoded_input)
# 输出模型预测结果
print(output)
```
在上述代码中,我们首先使用`BertTokenizer.from_pretrained()`方法加载Bert分词器,然后使用`BertForSequenceClassification.from_pretrained()`方法加载预训练的BERT模型。在加载模型时,我们需要指定`num_labels`参数,以便模型知道输出的类别数。
接下来,我们准备输入数据。在这个例子中,我们使用一个简单的文本句子作为输入。我们将文本句子传递给分词器,将其转换为BERT模型可以处理的格式,并使用PyTorch张量对其进行编码。
最后,我们使用BERT模型的`__call__()`方法(或者`forward()`方法)对输入数据进行预测,并输出模型的预测结果。在默认情况下,`BertForSequenceClassification`模型会返回一个元组,其中包含模型的输出和损失值。我们可以只获取模型的输出部分,它是一个PyTorch张量,包含输入句子属于每个类别的概率。
阅读全文