transformer中FFN

Transformer中的FFN（Feed Forward Network）是一种全连接层网络，它在Transformer模型中起到了关键的作用，尤其是在自注意力层之后用于增强模型的表达能力。FFN通常包含两部分：

1. **线性变换**（Linear Projections）：首先对输入特征进行一次线性变换，将原始的d_model维向量映射到一个更深的隐藏维度（通常称为d_ff），这一步相当于一个前馈过程，增加了模型处理复杂序列的能力。

2. **激活函数**（Activation Function）：接着应用一种非线性的激活函数，如ReLU（Rectified Linear Unit）或者GELU（Gaussian Error Linear Unit）。这个步骤引入了非线性，使得模型能够学习更复杂的模式。

3. **另一个线性变换**：最后再将隐藏维度变回到原始的d_model维度，通过这次缩放回原空间，保留了原始信息的同时也利用了深层网络的学习能力。

FFN层的设计允许Transformer模型在处理长距离依赖时保持高效，因为它减少了对自注意力机制的完全依赖，并且由于其简单的结构，计算成本相对较低。