cnn+transformer模型

基于CNN和Transformer的模型结合可以提高多任务学习的效果。下面是一个简单的示例，展示了如何使用CNN和Transformer来构建一个多任务模型：

import torch
import torch.nn as nn
import torch.nn.functional as F

# 定义CNN模块
class CNN(nn.Module):
    def __init__(self):
        super(CNN, self).__init__()
        self.conv1 = nn.Conv2d(3, 16, kernel_size=3, stride=1, padding=1)
        self.conv2 = nn.Conv2d(16, 32, kernel_size=3, stride=1, padding=1)
        self.fc1 = nn.Linear(32 * 8 * 8, 128)
        
    def forward(self, x):
        x = F.relu(self.conv1(x))
        x = F.relu(self.conv2(x))
        x = x.view(x.size(0), -1)
        x = F.relu(self.fc1(x))
        return x

# 定义Transformer模块
class Transformer(nn.Module):
    def __init__(self):
        super(Transformer, self).__init__()
        self.embedding = nn.Embedding(10000, 256)
        self.transformer = nn.Transformer(d_model=256, nhead=8, num_encoder_layers=6, num_decoder_layers=6)
        self.fc2 = nn.Linear(256, 10)
        
    def forward(self, x):
        x = self.embedding(x)
        x = self.transformer(x, x)
        x = x.mean(dim=1)
        x = self.fc2(x)
        return x

# 定义多任务模型
class MultiTaskModel(nn.Module):
    def __init__(self):
        super(MultiTaskModel, self).__init__()
        self.cnn = CNN()
        self.transformer = Transformer()
        self.fc3 = nn.Linear(128 + 10, 2)  # 假设有两个任务
        
    def forward(self, x1, x2):
        x1 = self.cnn(x1)
        x2 = self.transformer(x2)
        x = torch.cat((x1, x2), dim=1)
        x = self.fc3(x)
        return x

# 创建模型实例
model = MultiTaskModel()

# 输入数据
input1 = torch.randn(32, 3, 32, 32)  # 假设输入图像大小为32x32
input2 = torch.randint(10000, (32, 10))  # 假设输入序列长度为10

# 前向传播
output = model(input1, input2)

# 打印输出
print(output)

这个示例中，我们首先定义了一个CNN模块和一个Transformer模块，然后将它们结合起来构建一个多任务模型。在前向传播过程中，我们分别将输入数据传递给CNN和Transformer模块，然后将它们的输出连接起来，并通过一个全连接层得到最终的输出。