pytorch多模态输入

PyTorch支持多模态输入，可以通过定义多个输入的方式实现。一种常见的方法是使用torch.utils.data.Dataset和torch.utils.data.DataLoader来加载数据，然后在模型中定义多个输入。

例如，假设我们有一个图像分类任务，同时需要输入图像和文本描述。我们可以定义一个自定义数据集类，其中每个样本包含图像和文本描述，并将其传递给DataLoader。然后，在模型中定义两个输入，一个用于图像，另一个用于文本描述。

以下是一个简单的示例代码：

import torch
from torch.utils.data import Dataset, DataLoader

class MyDataset(Dataset):
    def __init__(self, image_data, text_data):
        self.image_data = image_data
        self.text_data = text_data

    def __len__(self):
        return len(self.image_data)

    def __getitem__(self, idx):
        image = self.image_data[idx]
        text = self.text_data[idx]
        return image, text

class MyModel(torch.nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.image_encoder = ...
        self.text_encoder = ...
        self.fc = ...

    def forward(self, image, text):
        image_features = self.image_encoder(image)
        text_features = self.text_encoder(text)
        features = torch.cat((image_features, text_features), dim=1)
        output = self.fc(features)
        return output

# 加载数据
image_data = ...
text_data = ...
dataset = MyDataset(image_data, text_data)
dataloader = DataLoader(dataset, batch_size=32, shuffle=True)

# 训练模型
model = MyModel()
criterion = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

for epoch in range(10):
    for images, texts in dataloader:
        optimizer.zero_grad()
        outputs = model(images, texts)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()