transformer中feed forward和add&norm怎么称呼

在Transformer模型中，Feed Forward和Add&Norm都是Transformer的基本组成部分，它们各自有专门的称呼。

- Feed Forward在Transformer中被称为“Transformer Encoder中的前馈神经网络（Transformer Encoder Feed-Forward Neural Network）”或简称为“Transformer前馈层（Transformer Feed-Forward Layer）”。它是由两个线性层和一个激活函数组成的，用于对位置编码后的向量进行非线性变换，以增强模型的表达能力。

- Add&Norm被称为“残差连接（Residual Connection）和层归一化（Layer Normalization）”。它是一种正则化方法，用于加速模型的训练和提高模型的泛化能力。Residual Connection是指将输入的向量与通过前馈层处理后的向量相加，以保留输入的信息。Layer Normalization是指对每个样本的每个特征进行归一化，以避免内部协变量位移的问题。通过Add&Norm，Transformer模型可以在不损失精度的情况下加速收敛并提高泛化能力。

相关问题

add&norm是什么

"add&norm"是Transformer模型中的一种正则化方法，全称为"Additive Normalization"。它是在每个Transformer层中应用的一种正则化方法，由两个步骤组成：第一步是将每个子层的输入向量添加一个残差连接，即将输入向量与其经过子层计算得到的输出向量相加；第二步是对添加残差连接后的向量进行规范化处理，即在每个向量维度上减去其均值并除以其标准差，以使得每个向量的数值大小都在一个合适的范围内，从而提高模型的性能和稳定性。

Transformer模型中Feed Forward的介绍

在Transformer模型中，Feed Forward层是指一个两层的全连接神经网络，它是在每个Transformer的Encoder和Decoder中应用的。其作用是对经过Self-Attention处理后的特征向量进行进一步的非线性变换，以增强模型的表达能力。

Feed Forward层的输入是Self-Attention处理后的特征向量，在该层中，每个特征向量都会被分别送入两个全连接层中进行处理，其中第一个全连接层的输出会经过激活函数（一般为ReLU）进行激活，然后将其作为第二个全连接层的输入，最终输出该特征向量的新表示。

Feed Forward层的参数是需要被训练的，它们会在训练过程中通过反向传播来更新。在Transformer模型中，Feed Forward层的参数量相对较少，因此可以在计算效率和模型表现之间找到一个平衡点。