使用BERT预训练transformer模型

### 使用预训练的BERT Transformer模型执行NLP任务

对于自然语言处理(NLP)任务而言，利用预训练的BERT(Bidirectional Encoder Representations from Transformers)模型可以显著提升效率和效果。由于BERT是在大规模语料上预先训练好的，因此能够捕捉到丰富的上下文信息。

#### 加载预训练模型
为了使用预训练的BERT模型，在Python环境中通常会借助`transformers`库来加载模型及其对应的分词器(tokenizer)：

from transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

这段代码初始化了一个基于未区分大小写的英文BERT基础版本的分词器和模型[^1]。

#### 文本编码
当准备好了要分析的具体文本之后，下一步就是将其转换成适合喂给BERT的形式——即token IDs序列加上必要的特殊标记（如CLS、SEP）。此过程可通过调用分词器完成:

text = "Here is some text to encode."
encoded_input = tokenizer(text, return_tensors='pt')
print(encoded_input)

上述命令不仅会对输入字符串进行分割并映射至相应的ID编号，还会自动添加起始([CLS])与结束([SEP])标志位，并返回PyTorch张量形式的结果以便后续计算[^2]。

#### 获取特征向量
一旦拥有了经过适当格式化的输入数据，则可以直接传递给已加载的BERT实例以获得隐藏状态(hidden states):

output = model(**encoded_input)
last_hidden_states = output.last_hidden_state
print(last_hidden_states.shape)

这里展示的是获取最后一层各位置上的表示；实际上，根据具体应用场景的需求，还可以进一步探索其他层次的信息或是池化(pooling)操作后的综合表达[^3]。

#### 应用于下游任务
最后一步便是依据实际业务逻辑设计特定的任务模块，比如分类头(Classification Head)或命名实体识别标签预测机制等，从而充分利用来自BERT的强大表征能力解决各类具体的NLP挑战。