TransformerAssemble（PART III）深入探讨了Transformer模型中位置信息的改进，尤其是在处理序列输入时的局限性。原始Transformer使用sin和cos函数来编码绝对位置信息，通过Positional Encoding (PE)在自注意力机制中体现，其公式定义为：
\[ PE(\text{pos},2i)=\sin\left(\frac{\text{pos}}{100000^{2i/d_{\text{nodd}}}}\right) \]
\[ PE(\text{pos},2i+1)=\cos\left(\frac{\text{pos}}{10000^{2i/d_{\text{nodd}}}}\right) \]
这种方法虽然允许模型学习到一定程度的相对位置关系，但由于sin/cos函数的周期性，它可能不足以捕捉复杂的相对位置信息，导致了位置信息表达的局限性。为了解决这个问题，研究者们提出了几种方法：
1. **Self-Attention with Relative Position Representations (RPR)**: 由Google在2018年的NAACL会议上提出的，这种改进旨在增强Transformer对相对位置信息的处理能力，通过引入额外的参数来直接表示相对距离，而非依赖于绝对位置。
2. **Self-Attention with Smoothed Position Representations (SPR)**: 由腾讯在2019年EMNLP会议上提出的，这种方法通过平滑的方式更新了位置嵌入，试图减少周期性带来的问题，使得模型能够更准确地理解相对位置。
3. **TENER (Temporal Encoding Network for Enhanced Representation)**: 这是来自复旦大学的一项工作，它专注于利用时间序列信息来增强Transformer中的位置表示，提供了一种新的维度来捕捉动态变化的顺序。
4. **Encoding Word Order in Complex Embedding**: ICLR 2020年的一项研究，强调了在复杂的嵌入中编码词序的重要性，这不仅限于位置信息，还包括上下文和语义信息，以提高Transformer在处理变长序列时的表现。
这些改进旨在通过更精细和灵活的方式来处理位置信息，克服了原始Transformer中位置信息编码的不足，从而提升模型在自然语言处理任务中的性能，如机器翻译、文本分类和语言建模等。通过比较Vanilla Transformer（基本版Transformer）与这些改进版本，研究者们旨在探索如何优化Transformer架构以更好地适应序列数据中的位置依赖性。
我的内容管理
展开
