基于小数据集的CNN多分类模型中，图像输入数据和数值输入数据的最佳融合策略，pytorch代码实现

针对基于小数据集的CNN多分类模型，可以使用融合图像输入数据和数值输入数据的方法来提高模型的性能。一种简单有效的方法是将数值特征作为图像特征的补充，将它们拼接在一起作为模型的输入。具体实现如下：

import torch
import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 16, 3, padding=1)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(16, 32, 3, padding=1)
        self.fc1 = nn.Linear(32 * 16 * 16 + 4, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x_img, x_num):
        x_img = self.pool(torch.relu(self.conv1(x_img)))
        x_img = self.pool(torch.relu(self.conv2(x_img)))
        x_img = x_img.view(-1, 32 * 16 * 16)
        x = torch.cat((x_img, x_num), dim=1) # 将数值特征拼接到图像特征之后
        x = torch.relu(self.fc1(x))
        x = torch.relu(self.fc2(x))
        x = self.fc3(x)
        return x

在这个模型中，输入的图像数据是3通道的图片，通过两个卷积层和一个池化层得到特征图，然后将其展平，与数值数据拼接后送入全连接层进行分类。其中，x_img表示图像数据，x_num表示数值数据。在训练时，需要将两个输入都传入模型中：

net = Net()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

for epoch in range(10):
    for i, data in enumerate(trainloader, 0):
        inputs, labels = data
        img_inputs, num_inputs = inputs[:, :3, :, :], inputs[:, 3:]
        optimizer.zero_grad()
        outputs = net(img_inputs, num_inputs) # 将两个输入都传入模型中
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

print('Finished Training')

其中，trainloader是数据集的dataloader，每个batch中的输入数据包括图像数据和数值数据，分别是inputs[:, :3, :, :]和inputs[:, 3:]。在模型的forward过程中，将这两个输入拼接在一起。最后通过交叉熵损失函数和随机梯度下降优化器进行训练。