transformer 模型的参数量

Transformer 模型的参数量取决于模型的大小和深度。一个标准的 Transformer 模型通常由多个 Transformer encoder 和 decoder 堆叠而成，每个 encoder 和 decoder 包含多个自注意力层和前馈神经网络层。因此，模型的参数量会随着层数、隐藏层神经元数量、词向量维度等超参数的不同而有所变化。

以 Transformer 大小为 base 的模型（即有 12 层 encoder 和 decoder，每层 768 个隐藏单元）为例，该模型的总参数量约为 1.1 亿个。如果采用更大的模型（如 GPT-3），其总参数量可以达到数十亿个。因此，Transformer 模型通常需要很大的计算资源来训练和推理。