基于transformer 的回归模型

基于Transformer的回归模型是一种利用Transformer架构进行回归任务的模型。Transformer是一种基于自注意力机制的神经网络架构，广泛应用于自然语言处理和计算机视觉等领域。在回归任务中，Transformer可以用于捕捉输入数据中的复杂依赖性，并生成连续值的预测结果。

下面是一个基于Transformer的回归模型的示例代码：

import torch
import torch.nn as nn
import torch.optim as optim

class TransformerRegressor(nn.Module):
    def __init__(self, input_dim, hidden_dim, num_layers, num_heads):
        super(TransformerRegressor, self).__init__()
        self.transformer = nn.TransformerEncoder(
            nn.TransformerEncoderLayer(input_dim, num_heads, hidden_dim, dropout=0.2),
            num_layers
        )
        self.fc = nn.Linear(input_dim, 1)

    def forward(self, x):
        x = self.transformer(x)
        x = torch.mean(x, dim=1)
        x = self.fc(x)
        return x

# 创建模型实例
input_dim = 10
hidden_dim = 32
num_layers = 4
num_heads = 8
model = TransformerRegressor(input_dim, hidden_dim, num_layers, num_heads)

# 定义损失函数和优化器
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 准备输入数据和目标值
input_data = torch.randn(100, input_dim)
target = torch.randn(100, 1)

# 训练模型
num_epochs = 10
for epoch in range(num_epochs):
    optimizer.zero_grad()
    output = model(input_data)
    loss = criterion(output, target)
    loss.backward()
    optimizer.step()

# 使用模型进行预测
test_input = torch.randn(1, input_dim)
prediction = model(test_input)
print("Prediction:", prediction.item())

这个示例代码展示了如何使用PyTorch构建一个基于Transformer的回归模型。模型的输入是一个大小为(input_dim)的向量，输出是一个标量值。模型通过多层Transformer编码器和全连接层来实现回归任务。在训练过程中，使用均方误差损失函数和Adam优化器进行模型优化。最后，使用训练好的模型进行预测。