Reformer和多头注意力机制的不同

Reformer是一种改进的自注意力模型，它在传统的多头注意力（Multi-head Attention，MHA）机制上进行了创新，主要解决了长序列训练时计算效率低的问题。多头注意力机制将注意力分为多个并行的“头部”（heads），每个头部专注于输入数据的不同部分，提高了对全局信息的理解。

Reformer的关键区别包括：
1. **Efficient Self-Attention**: 使用了两个主要技术来加速：
- **Local Slicing**：将序列切分成固定大小的小块，而不是整个序列参与注意力运算，减少了计算量。
- **Permutation-Invariant Hashing**：通过哈希函数对查询和键进行随机映射，使得在某些条件下可以忽略位置编码，进一步减少计算复杂度。

2. **Causal Convolution**：在自回归设置下引入了一种因果卷积层，代替了传统的自注意力机制，允许信息在网络中正向流动，同时限制了对未来时间步的影响。

3. **Relative Positional Embeddings**：引入相对位置嵌入，替代绝对位置编码，让模型能够更直接地学习依赖关系，而不需要精确的绝对距离。

4. **Lossless Subspace Approximation**：通过一种称为“点阵”的技巧，可以在保持信息完整性的前提下近似原空间，这有助于减少内存消耗。