emb.weight用法

在自然语言处理中，通常使用词向量来表示单词。词向量是一种将单词映射到向量空间中的数值向量的方法，它可以捕捉单词的语义和上下文信息。在深度学习模型中，词向量通常是通过嵌入矩阵（Embedding Matrix）来实现的。

在 PyTorch 中，nn.Embedding 可以用来实现嵌入矩阵，它的参数包括词典大小和嵌入维度。在模型的 forward 函数中，我们需要根据输入的单词序列获取对应的嵌入向量。这可以通过调用 nn.Embedding 的 forward 函数来实现。

在 nn.Embedding 中，emb.weight 表示嵌入矩阵，它的形状为 (num_embeddings, embedding_dim)，其中 num_embeddings 表示词典的大小，embedding_dim 表示嵌入向量的维度。在 forward 函数中，我们可以通过调用 emb.weight[indexes] 来获取单词序列对应的嵌入向量。其中 indexes 是一个 LongTensor，形状为 (batch_size, seq_len)，表示输入的单词序列。

举个例子，假设词典大小为 10000，嵌入向量维度为 300，输入的单词序列为一个 LongTensor，形状为 (batch_size, seq_len)，则获取对应的嵌入向量的代码如下：

import torch.nn as nn

embedding_dim = 300
vocab_size = 10000
batch_size = 32
seq_len = 20

emb = nn.Embedding(num_embeddings=vocab_size, embedding_dim=embedding_dim)
inputs = torch.randint(low=0, high=vocab_size, size=(batch_size, seq_len))
embedding = emb.weight[inputs]

上述代码中，emb.weight 表示嵌入矩阵，inputs 是输入的单词序列，embedding 是对应的嵌入向量，它的形状为 (batch_size, seq_len, embedding_dim)。