torch的nn.embeding的输入输出示例

假设我们有一个词汇表大小为10，嵌入维度为3的嵌入层对象，代码如下：

import torch
import torch.nn as nn

vocab_size = 10
embed_dim = 3
embedding = nn.Embedding(vocab_size, embed_dim)

现在，我们将一个形状为(2, 4)的整数张量输入到嵌入层中，其中2表示批次大小，4表示序列长度，代码如下：

input_ids = torch.LongTensor([[1, 2, 3, 4], [4, 3, 2, 1]])
embeddings = embedding(input_ids)

输出张量的形状为(2, 4, 3)，表示每个单词的嵌入向量，代码如下：

print(embeddings.shape)
# 输出：torch.Size([2, 4, 3])

我们可以使用"nn.Embedding"的"weight"属性访问嵌入层的权重矩阵，代码如下：

weights = embedding.weight
print(weights.shape)
# 输出：torch.Size([10, 3])

该权重矩阵的形状为(10, 3)，表示词汇表中每个单词的嵌入向量。我们可以使用该权重矩阵来初始化其他嵌入层或将其保存到磁盘上以供以后使用。

相关问题

torch.onnx.export示例

以下是一个使用`torch.onnx.export`函数的简单示例：

import torch
import torch.onnx as onnx

# 定义一个简单的模型
class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = torch.nn.Conv2d(1, 6, 5)
        self.pool = torch.nn.MaxPool2d(2, 2)
        self.conv2 = torch.nn.Conv2d(6, 16, 5)
        self.fc1 = torch.nn.Linear(16 * 5 * 5, 120)
        self.fc2 = torch.nn.Linear(120, 84)
        self.fc3 = torch.nn.Linear(84, 10)

    def forward(self, x):
        x = self.pool(torch.nn.functional.relu(self.conv1(x)))
        x = self.pool(torch.nn.functional.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = torch.nn.functional.relu(self.fc1(x))
        x = torch.nn.functional.relu(self.fc2(x))
        x = self.fc3(x)
        return x

# 创建一个实例
net = Net()

# 加载一个预训练模型
model_path = 'model.pth'
net.load_state_dict(torch.load(model_path))

# 将模型转换为ONNX格式
input_names = ['input']
output_names = ['output']
dummy_input = torch.randn(1, 1, 28, 28)
onnx_path = 'model.onnx'
onnx.export(net, dummy_input, onnx_path, input_names=input_names, output_names=output_names)

print('Model converted to ONNX format.')

该示例定义了一个简单的卷积神经网络模型，加载了预训练的权重，并使用`torch.onnx.export`函数将模型转换为ONNX格式。需要注意的是，模型转换为ONNX格式时需要指定输入和输出的名称，以便后续在使用ONNX模型时能够正确地处理输入和输出。

torch.nn.CrossEntropyLoss()的使用代码示例

当使用 PyTorch 框架时，我们可以使用 torch.nn.CrossEntropyLoss() 函数来计算交叉熵损失。下面是一个使用示例：

import torch
import torch.nn as nn

# 假设我们有一个大小为 3 的分类问题，每个样本有 4 个特征
num_classes = 3
num_features = 4

# 创建一个随机的输入张量和目标张量
input_tensor = torch.randn(2, num_features)
target_tensor = torch.LongTensor([0, 2])  # 目标类别分别为 0 和 2

# 定义一个交叉熵损失函数
loss_fn = nn.CrossEntropyLoss()

# 计算损失
loss = loss_fn(input_tensor, target_tensor)

print(loss)

在上面的示例中，我们首先定义了一个大小为 3 的分类问题，然后创建了一个随机的输入张量和目标张量。接着，我们定义了一个交叉熵损失函数，并使用它计算了损失。最后，我们打印出了损失的值。

注意，交叉熵损失函数的输入张量应该是未经 softmax 处理的原始输出，而不是 softmax 后的概率分布。因此，在上面的示例中，我们没有对输入张量进行 softmax 处理。