Bert与Transformer之间的区别

Bert和Transformer都是自然语言处理中的重要模型，它们之间的区别如下：
1. 模型架构不同：Bert是基于Transformer Encoder的深度双向模型，而Transformer是多层的Transformer Encoder。
2. 预训练方式不同：Bert使用了Masked Language Model和Next Sentence Prediction两种预训练方式，而Transformer没有使用这些方式。
3. 应用场景不同：Bert主要用于各种自然语言处理任务，如文本分类、命名实体识别、问答系统等，而Transformer主要用于序列到序列的任务，如机器翻译、语音识别等。

下面是一个Bert的例子，用于文本分类：

import torch
from transformers import BertTokenizer, BertForSequenceClassification

# 加载预训练模型和tokenizer
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 输入文本
text = "This is a positive sentence."

# 对文本进行tokenize和padding
inputs = tokenizer(text, padding=True, truncation=True, return_tensors="pt")

# 使用模型进行预测
outputs = model(**inputs)
predictions = torch.argmax(outputs.logits, dim=-1)

# 输出预测结果
print("Predicted label:", predictions.item()) # 输出：Predicted label: 1