transformer提点trick

Transformer的一些技巧包括：
1. 注意力机制Transformer使用自注意力机制来建立输入序列中不同位置之间的依赖关系。这一机制使得模型能够更好地捕捉长距离依赖信息。
2. 多头注意力：为了更好地处理不同类型的信息，Transformer引入了多头注意力机制，允许模型同时关注不同的子空间。
3. 位置编码：由于Transformer没有使用RNN或CNN这样的序列结构，它需要一种方式来编码输入序列的位置信息。位置编码将位置信息嵌入到输入向量中，使得模型能够区分不同位置的词向量。
4. 前馈神经网络：Transformer使用了两个全连接层来构建前馈神经网络。这一网络可以为每个位置的词向量提供非线性变换，增强模型的表达能力。
5. 残差连接和层归一化：为了解决梯度消失和梯度爆炸的问题，Transformer使用了残差连接和层归一化技术。这些技术有助于提高模型的训练稳定性和学习能力。

相关问题

vanilla Transformer

Vanilla Transformer是一种基于Transformer模型的架构，它是在原始Transformer模型的基础上进行了精简和修改。Vanilla Transformer主要使用了原Transformer中的decode部分结构，包括带有mask的attention层和ff层。相比于原Transformer，Vanilla Transformer的网络深度更深，这导致训练时很难收敛。因此，为了达到收敛的目的，作者采用了一些小的trick，例如使用辅助Loss等。这些trick对于解决类似问题非常有帮助。