transformer面试手撕

Transformer是一种深度学习模型，最初由Google的团队在2017年提出的，用于自然语言处理任务如机器翻译和文本生成，尤其是序列到序列的学习。它引入了自注意力机制（Self-Attention），使得模型能够同时关注输入序列中的所有位置，解决了传统RNN（循环神经网络）在长距离依赖处理上的效率问题。

在面试中，关于Transformer的问题可能会涉及以下几个方面：

1. **核心组件**：询问Transformer的主要组成部分，包括编码器（Encoder）、解码器（Decoder）以及自注意力层（Multi-Head Attention）的工作原理。
2. **如何计算自注意力**：面试者可能会让你解释softmax函数、查询向量(Q)、键向量(K)、值向量(V)的作用，以及如何通过它们计算出注意力权重。
3. **残差连接（Residual Connections）和层归一化（Layer Normalization）**：这两个技术在Transformer中的作用是什么，以及它们如何帮助模型训练。
4. **Masking**：为什么要对自注意力矩阵做掩码处理，特别是在编码器-解码器结构中。
5. **优化策略**：像Adam等优化器在Transformer训练中的应用，以及可能遇到的梯度消失或爆炸问题。