transformer迁移学习代码

Transformer迁移学习是一种使用预训练的Transformer模型来完成特定任务的技术。下面是一个使用Python编写的Transformer迁移学习代码的示例。

import torch
import torch.nn as nn
from transformers import BertModel, BertTokenizer

# 加载预训练的Transformer模型和Tokenizer
model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name)

# 定义自定义头部网络层
class CustomHead(nn.Module):
    def __init__(self, input_dim, output_dim):
        super().__init__()
        self.fc = nn.Linear(input_dim, output_dim)
    
    def forward(self, x):
        out = self.fc(x)
        return out

# 替换预训练模型的头部网络层
num_labels = 2
model.config.num_labels = num_labels
model.classifier = CustomHead(model.config.hidden_size, num_labels)

# 加载和预处理数据
data = [['文本1', 0], ['文本2', 1], ...]  # 数据格式为文本和标签的列表，0表示负面，1表示正面
max_seq_length = 128
input_ids = []
attention_masks = []
labels = []
for item in data:
    inputs = tokenizer.encode_plus(item[0], add_special_tokens=True, max_length=max_seq_length, padding='max_length', truncation=True)
    input_ids.append(inputs['input_ids'])
    attention_masks.append(inputs['attention_mask'])
    labels.append(item[1])
    
input_ids = torch.tensor(input_ids)
attention_masks = torch.tensor(attention_masks)
labels = torch.tensor(labels)

# 训练模型
batch_size = 32
epochs = 10
optimizer = torch.optim.AdamW(model.parameters(), lr=1e-5)
loss_fn = nn.CrossEntropyLoss()

for epoch in range(epochs):
    total_loss = 0
    for i in range(0, len(data), batch_size):
        optimizer.zero_grad()
        inputs = input_ids[i:i+batch_size]
        masks = attention_masks[i:i+batch_size]
        y = labels[i:i+batch_size]
        
        outputs = model(inputs, attention_mask=masks)
        logits = outputs.logits
        loss = loss_fn(logits, y)
        
        total_loss += loss.item()
        loss.backward()
        optimizer.step()
    
    avg_loss = total_loss / (len(data) / batch_size)
    print(f'Epoch {epoch+1}/{epochs}, Loss: {avg_loss}')
    
# 使用模型进行预测
text = '文本'
inputs = tokenizer.encode_plus(text, add_special_tokens=True, max_length=max_seq_length, padding='max_length', truncation=True, return_tensors='pt')
outputs = model(inputs['input_ids'], attention_mask=inputs['attention_mask'])
predictions = torch.argmax(outputs.logits, dim=1)

print(f'预测结果: {predictions}')

这段代码首先加载预训练的Transformer模型和Tokenizer，然后定义了一个自定义的头部网络层，接着用自定义的头部替换预训练模型的默认头部。然后加载和预处理数据，包括将文本转换为输入ID和注意力掩码，并加载标签数据。接下来，使用AdamW优化器和交叉熵损失函数训练模型。最后，使用训练好的模型进行预测。