深度自注意力Transformer模型在字符级语言建模中的突破

标题："1808.04444 (Vanilla Transformer).pdf" 论文主要探讨了Vanilla Transformer在字符级语言模型中的应用及其性能。Transformer，源于Vaswani et al. (2017)的工作，是一种基于自注意力机制的深度神经网络架构，其在自然语言处理任务中展现了强大的表现力，尤其是在序列到序列的学习和机器翻译中。该研究关注的是Transformer在字符级别语言建模（Character-Level Language Modeling）中的潜力，特别是与传统的循环神经网络（如LSTM）的比较。 描述指出，尽管LSTM和其他递归神经网络在字符级别语言建模任务上表现出色，这些模型通常通过截断的反向传播算法进行训练，并且人们普遍认为它们的成功在于能够捕捉长期依赖。然而，本论文的核心发现是，即使在深度达到64层的情况下，固定上下文的Vanilla Transformer也能显著优于RNN变种，例如在Text8和enwik8等基准测试上达到了前所未有的水平：Text8上的比特率降低到了1.13 bits/character，enwik8上的则为1.06 bits/character。 为了在如此深度下获得良好性能，作者强调了添加辅助损失的重要性。这些辅助损失不仅应用于网络内部的不同层，还针对序列中的中间位置。这样做的目的是为了改善模型的训练过程，增强对长期依赖的理解和处理能力，同时避免过拟合问题。这表明，尽管Transformer架构本身具有强大的并行计算能力，但适当的优化策略对于提升性能至关重要。 这项工作挑战了关于RNN在字符级别语言建模中优势的传统观点，证明了Transformer模型在深度学习框架下展现出的潜力，并为进一步改进字符级自然语言处理模型提供了新的思路。此外，论文的研究成果可能对其他领域，如文本生成、自动编码器或文本压缩，也具有广泛的影响。