Transformer的注意力机制：自注意力与参数计算

本资源主要讨论了Transformer模型中注意力机制的应用和相关概念，涉及机器翻译的实现。Transformer是一种基于自注意力机制的深度学习模型，它在自然语言处理领域特别是在翻译任务中取得了显著成果。 1. 关于Transformer的描述中，正确选项是**选项4**。Transformer的训练和预测过程中，解码器部分确实只进行一次前向传播，因为其使用自注意力机制，理论上能够捕捉句子内任意两个位置的依赖关系。自注意力模块的query、key和value都来自解码器自身的状态，而不是与其他部分交互，这确保了高效的信息传递。而在预测过程中，由于可能存在不同长度的序列，解码器需要使用Attention Mask来避免对已生成部分的干扰。 2. 多头注意力层的参数量计算涉及到头的数量h和嵌入向量和隐藏状态的维度d。每头的参数量是3d^2，加上hd的输出层参数，总参数量为4hd^2，对应于**选项3**的表达式。 3. 层归一化的作用包括加快收敛、提高训练效率，但并非对每个神经元的输入数据按mini-batch汇总，而是对整个层的输出进行标准化，**选项4**描述了错误的理解。批归一化才是对mini-batch内的数据进行归一化操作。 4. 关于注意力机制的叙述，**选项1**是正确的，它强调了注意力机制模仿人类注意力的特点。然而，**选项2**提到在点积注意力层（如Dot-productAttention）中，key和query的维度需要一致，这是标准做法，而在MLPAttention中可能有不同的处理方式。另外，**选项5**指出seq2seq模型（如带有Attention的编码器-解码器结构）通常不能生成无限长序列，每个时间步的解码器输入包含上一时刻的上下文信息。 这些知识点概述了Transformer模型的核心组成部分——注意力机制及其在机器翻译中的应用，以及相关层归一化和注意力机制的细节，有助于理解和实践Transformer模型。