BERT的python代码
时间: 2024-10-31 11:06:36 浏览: 18
BERT(Bidirectional Encoder Representations from Transformers)是一种预训练语言模型,它使用Transformer架构来进行深度学习。在Python中,我们通常通过Hugging Face的Transformers库来使用BERT模型。下面是一个简单的示例,展示如何使用transformers库加载预训练的BERT模型:
```python
from transformers import BertTokenizer, BertForSequenceClassification
# 初始化分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
# 初始化带分类头的BERT模型(例如用于文本分类任务)
model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=2) # 假设我们有二分类任务
# 输入文本处理
input_text = "这是一个关于BERT的示例"
inputs = tokenizer(input_text, padding=True, truncation=True, return_tensors="pt") # 归一化并转换为模型接受的格式
# 进行前向传播
outputs = model(**inputs)
logits = outputs.logits # 获取模型的预测得分
# 解码预测结果
predicted_label_id = logits.argmax().item()
predicted_label = tokenizer.convert_ids_to_tokens(predicted_label_id)[0]
```
阅读全文