nlp bert模型python代码
时间: 2023-08-27 17:06:06 浏览: 173
以下是使用BERT模型进行文本分类的Python代码示例:
```python
import torch
from transformers import BertTokenizer, BertForSequenceClassification
# 加载BERT模型和tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)
# 输入文本
text = "This is a sample input for classification."
# 对文本进行预处理并转换为模型输入
inputs = tokenizer(text, return_tensors='pt')
outputs = model(**inputs)
# 输出模型预测结果
predictions = outputs[0].argmax(dim=1)
print(predictions)
```
在上述代码中,我们首先导入了`torch`和`transformers`库,然后加载了BERT模型和tokenizer。接着,我们定义了一个输入文本并使用tokenizer对其进行预处理。最后,我们将预处理后的输入传递给BERT模型,并使用`argmax()`方法获取了模型的预测结果。
请注意,这里的BERT模型用于二分类任务,因此我们将其`num_labels`设置为2。如果您的任务需要多分类,请相应地设置`num_labels`。
阅读全文