transformer提取特征实例

以下是使用Transformer模型提取特征的示例代码：

首先，导入必要的库：

import torch
import torch.nn as nn
from transformers import AutoTokenizer, AutoModel

然后，加载预训练的Transformer模型和对应的tokenizer：

model_name = 'bert-base-uncased'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

接下来，定义输入文本：

text = "The quick brown fox jumps over the lazy dog."

使用tokenizer将文本转换为模型输入所需的格式：

inputs = tokenizer(text, return_tensors='pt')

其中，'pt'表示返回PyTorch tensor格式的输入。

最后，使用模型提取特征：

outputs = model(**inputs)
last_hidden_state = outputs.last_hidden_state

其中，last_hidden_state是最后一层的隐藏状态，即提取的特征。可以通过修改outputs的参数来获得其他层的隐藏状态或者其他输出。

完整代码如下：

import torch
import torch.nn as nn
from transformers import AutoTokenizer, AutoModel

model_name = 'bert-base-uncased'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

text = "The quick brown fox jumps over the lazy dog."
inputs = tokenizer(text, return_tensors='pt')

outputs = model(**inputs)
last_hidden_state = outputs.last_hidden_state