torch.Size([5])与 torch.Size([5, 1])的区别

`torch.Size([5])` 表示一个长度为 5 的一维张量；而 `torch.Size([5, 1])` 表示一个大小为 5 行、1 列的二维张量，也可以看作是一个长度为 5 的列向量。

具体来说，`torch.Size([5])` 的张量可以通过索引访问其中的元素，如 `tensor[3]` 可以访问其中的第 4 个元素；而 `torch.Size([5, 1])` 的张量则需要通过行列索引访问其中的元素，如 `tensor[3, 0]` 可以访问其中第 4 行、第 1 列的元素。

在使用时需要根据实际情况选择使用哪种形状的张量。

相关问题

Error(s) in loading state_dict for LeNet: size mismatch for conv1.weight: copying a param with shape torch.Size([10, 1, 5, 5]) from checkpoint, the shape in current model is torch.Size([6, 1, 5, 5]). size mismatch for conv1.bias: copying a param with shape torch.Size([10]) from checkpoint, the shape in current model is torch.Size([6]). size mismatch for conv2.weight: copying a param with shape torch.Size([20, 10, 5, 5]) from checkpoint, the shape in current model is torch.Size([16, 6, 5, 5]). size mismatch for conv2.bias: copying a param with shape torch.Size([20]) from checkpoint, the shape in current model is torch.Size([16]). size mismatch for fc1.weight: copying a param with shape torch.Size([50, 320]) from checkpoint, the shape in current model is torch.Size([120, 256]). size mismatch for fc1.bias: copying a param with shape torch.Size([50]) from checkpoint, the shape in current model is torch.Size([120]). size mismatch for fc2.weight: copying a param with shape torch.Size([10, 50]) from checkpoint, the shape in current model is torch.Size([84, 120]). size mismatch for fc2.bias: copying a param with shape torch.Size([10]) from checkpoint, the shape in current model is torch.Size([84]).

这个错误信息提示我们在加载预训练模型的权重时，发现模型中的部分参数形状与当前创建的模型不匹配，具体来说，就是：

- `conv1.weight`的形状应该为`(6, 1, 5, 5)`，但是预训练模型中的形状为`(10, 1, 5, 5)`；
- `conv1.bias`的形状应该为`(6,)`，但是预训练模型中的形状为`(10,)`；
- `conv2.weight`的形状应该为`(16, 6, 5, 5)`，但是预训练模型中的形状为`(20, 10, 5, 5)`；
- `conv2.bias`的形状应该为`(16,)`，但是预训练模型中的形状为`(20,)`；
- `fc1.weight`的形状应该为`(120, 256)`，但是预训练模型中的形状为`(50, 320)`；
- `fc1.bias`的形状应该为`(120,)`，但是预训练模型中的形状为`(50,)`；
- `fc2.weight`的形状应该为`(84, 120)`，但是预训练模型中的形状为`(10, 50)`；
- `fc2.bias`的形状应该为`(84,)`，但是预训练模型中的形状为`(10,)`。

这个问题通常是由于预训练模型的结构与当前创建的模型结构不一致导致的。解决方法是在当前模型中手动修改这些参数的形状，使其与预训练模型的结构一致。

RuntimeError: Error(s) in loading state_dict for Tacotron: size mismatch for encoder_proj.weight: copying a param with shape torch.Size([128, 512]) from checkpoint, the shape in current model is torch.Size([128, 1024]). size mismatch for decoder.attn_rnn.weight_ih: copying a param with shape torch.Size([384, 768]) from checkpoint, the shape in current model is torch.Size([384, 1280]). size mismatch for decoder.rnn_input.weight: copying a param with shape torch.Size([1024, 640]) from checkpoint, the shape in current model is torch.Size([1024, 1152]). size mismatch for decoder.stop_proj.weight: copying a param with shape torch.Size([1, 1536]) from checkpoint, the shape in current model is torch.Size([1, 2048]).

这个错误表明在加载模型参数时发生了问题。具体来说，在尝试将参数从检查点加载到当前模型时，发现了形状不匹配的问题。在这种情况下，参数的大小在检查点和当前模型中不同。需要修复代码或检查点来解决这个问题。