bert模型 特征提取

### 如何使用 BERT 模型进行特征提取

为了利用 BERT 模型进行特征提取，可以采用 Hugging Face 的 `transformers` 库来加载预训练好的 BERT 模型并获取文本的嵌入表示。下面是一个具体的 Python 实现方法：

#### 导入库文件
首先需要安装必要的库文件，如果尚未安装的话。

pip install transformers torch

接着，在代码中导入所需的模块：

from transformers import BertTokenizer, BertModel
import torch

#### 初始化模型和分词器
创建一个实例用于后续调用，这里选用的是基础版无分类头的 BERT 模型。

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased', output_hidden_states=True)

#### 准备输入数据
定义待处理的句子，并通过 tokenizer 将其转换成适合喂给 BERT 输入的形式。

text = "Here is some text to encode."
marked_text = "[CLS] " + text + " [SEP]"
tokenized_text = tokenizer.tokenize(marked_text)

indexed_tokens = tokenizer.convert_tokens_to_ids(tokenized_text)
segments_ids = [1] * len(indexed_tokens)

tokens_tensor = torch.tensor([indexed_tokens])
segments_tensors = torch.tensor([segments_ids])

#### 获取隐藏层状态
将准备好的张量传入到已经初始化完毕的 BERT 模型当中去计算每一层的状态向量。

with torch.no_grad():
    outputs = model(tokens_tensor, segments_tensors)
    hidden_states = outputs.hidden_states  # shape: (batch_size=1, sequence_length, hidden_dim=768)[^2]

此时得到的结果包含了多层的隐含状态信息；通常情况下可以选择最后一层作为最终的特征表达形式。

#### 提取所需特征
对于每一个 token 来说都可以获得它对应的 d-dimensional 向量（d取决于所使用的 bert 版本），这些就是所谓的“上下文敏感”的 word embeddings 或者说是 sentence embedding 当中的组成部分之一。

# 取得最后一个隐藏层的第一个位置即 [CLS] 标记处的输出作为整个句子级别的表征
sentence_embedding = hidden_states[-1][:, 0, :].numpy()
print(sentence_embedding.shape)  # 输出形状应为(1, 768)，代表单句编码后的维度大小

上述过程展示了怎样基于 PyTorch 和 Transformers 库实现简单的 BERT 特征抽取功能[^3]。