embedding 使用参数说明

Embedding是将输入的离散化的词汇或者字符转换成向量的过程，它常用于自然语言处理中。在深度学习模型中，Embedding通常是一个可训练的矩阵，它将离散的词汇或者字符映射到一个连续的向量空间中。

在PyTorch中，可以使用torch.nn.Embedding来实现Embedding层。其参数说明如下：

- num_embeddings：int类型，表示词汇表的大小或者字符集的大小。
- embedding_dim：int类型，表示Embedding向量的维度。
- padding_idx：int类型，表示需要进行padding的token的索引，如果为None，则不进行padding。
- max_norm：float类型，表示Embedding向量的最大范数，如果超过该范数，则进行裁剪。
- norm_type：float类型，表示计算Embedding向量的范数类型，如果为2，则表示计算L2范数。
- scale_grad_by_freq：bool类型，表示是否根据token在数据中出现的频率对梯度进行缩放。
- sparse：bool类型，表示是否使用稀疏的Embedding矩阵，如果为True，则使用稀疏矩阵。

例如，我们可以通过以下代码定义一个Embedding层：

import torch.nn as nn

embedding = nn.Embedding(num_embeddings=10000, embedding_dim=300, padding_idx=0)

这里我们定义了一个词汇表大小为10000，Embedding向量维度为300的Embedding层，并且指定了padding token的索引为0。