使用bert进行文本分类代码
时间: 2023-07-27 17:05:51 浏览: 155
以下是使用BERT进行文本分类的代码示例:
```
import torch
from transformers import BertTokenizer, BertForSequenceClassification
# 加载预训练的BERT模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)
# 准备数据
sentences = ["This is an example sentence", "Another sentence to classify"]
labels = [1, 0] # 1表示正类,0表示负类
# 对文本进行编码
inputs = tokenizer(sentences, padding=True, truncation=True, max_length=128, return_tensors="pt")
# 将数据输入模型进行分类
outputs = model(**inputs, labels=torch.tensor(labels).unsqueeze(0))
loss, logits = outputs[:2]
# 输出预测结果
predictions = torch.argmax(logits, dim=-1)
print(predictions)
```
此代码使用了Hugging Face的Transformers库,首先从预训练的BERT模型中加载tokenizer和分类模型。然后准备了文本数据和标签,对文本进行编码,再将编码后的数据输入模型进行分类。最后根据输出的logits进行预测,输出预测结果。
阅读全文