给出一个多模态代码案例

当谈到多模态代码案例时，一个常见的例子是图像分类。在这个案例中，我们可以使用多种模态（例如图像和文本）来对图像进行分类。

以下是一个简单的多模态图像分类的代码案例：

import torch
import torch.nn as nn
import torchvision.models as models
import torchvision.transforms as transforms
from PIL import Image

# 加载预训练的图像分类模型和文本分类模型
image_model = models.resnet50(pretrained=True)
text_model = nn.Linear(1000, 10)  # 假设有一个文本分类模型，输入维度为1000，输出类别数为10

# 图像预处理
image_transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

# 文本预处理
def preprocess_text(text):
    # 文本预处理逻辑
    pass

# 加载图像和文本数据
image_path = 'path/to/image.jpg'
text = 'example text'

# 图像分类
image = Image.open(image_path)
image = image_transform(image)
image = image.unsqueeze(0)  # 添加batch维度
image_features = image_model(image)

# 文本分类
text_features = preprocess_text(text)
text_features = torch.tensor(text_features).unsqueeze(0)  # 添加batch维度
text_output = text_model(text_features)

# 多模态融合和分类
combined_features = torch.cat((image_features, text_output), dim=1)
classification_output = nn.Linear(combined_features.size(1), num_classes)(combined_features)

# 打印分类结果
_, predicted_class = torch.max(classification_output, 1)
print('Predicted class:', predicted_class.item())

这个案例中，我们使用了一个预训练的图像分类模型（ResNet-50）和一个简单的文本分类模型。首先，我们对图像进行预处理，然后使用图像模型提取图像特征。接下来，我们对文本进行预处理，并使用文本模型提取文本特征。最后，我们将图像特征和文本特征进行融合，并使用一个线性层进行分类。