transformer进行解码是在前馈神经网络之前，还是前馈神经网络之后

在Transformer模型中，解码（Decoding）是在前馈神经网络（Feedforward Neural Network）之后进行的。

具体来说，在每个解码器层中，输入首先通过一个自注意力机制（Self-Attention）来进行上下文感知和特征提取。然后，通过前馈神经网络（通常是一个多层感知机）对自注意力机制的输出进行进一步的非线性变换。这个前馈神经网络包含了两个线性变换和激活函数，通常是ReLU。

解码过程的最后一步是线性变换，将前馈神经网络的输出映射到词汇表的维度。通常会使用softmax函数对线性变换的输出进行归一化，以获得生成序列中每个词的概率分布。这样可以根据概率选择生成序列中的下一个词。

因此，解码过程是在前馈神经网络之后进行的，最后通过softmax函数对输出进行归一化，以生成下一个词的概率分布。这个概率分布可以用于采样下一个词，并继续生成序列。