bert文本分类代码
时间: 2023-08-18 14:06:48 浏览: 159
当然,这是一个基于BERT模型的文本分类代码示例:
```python
import torch
from transformers import BertTokenizer, BertForSequenceClassification
# 加载预训练的BERT模型和tokenizer
model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertForSequenceClassification.from_pretrained(model_name, num_labels=2)
# 准备输入文本
text = "This is an example sentence."
inputs = tokenizer.encode_plus(text, add_special_tokens=True, return_tensors='pt')
# 运行BERT模型进行文本分类
outputs = model(**inputs)
predictions = torch.argmax(outputs.logits, dim=1)
# 打印预测结果
print(f"Predicted class: {predictions.item()}")
```
在这个例子中,我们使用Hugging Face的`transformers`库来加载预训练的BERT模型和tokenizer。首先,我们指定了使用的预训练模型(这里使用的是`bert-base-uncased`,即小写字母的BERT模型)和对应的tokenizer。然后,我们准备输入文本并使用tokenizer对其进行编码。接下来,我们将编码后的输入传递给BERT模型,得到模型的输出。最后,我们通过对输出进行argmax操作来获取预测的类别。
请注意,这只是一个简单的示例代码,实际使用时可能需要进行更多的数据预处理、训练和调参。还可以根据实际需求修改模型结构和超参数来优化性能。
阅读全文