ICML'21新突破：Transformer速度提升五倍，显存占用减99%

"超硬核 ICML’21 _ 如何使自然语言生成提速五倍，且显存占用减低99%" 这篇论文探讨了一种名为EL-Attention（Efficient Lossless Attention）的新方法，该方法针对自然语言生成任务中的Transformer模型进行了优化，实现了速度的显著提升和显存占用的大幅减少。在ICML 2021会议上发表的这项工作，不仅展示了理论上的改进，还提供了一个名为FastSeq的开源工具包，使得开发者能够轻松地在现有模型上应用这一优化。 Transformer模型的核心是其自注意力机制，它在编码和解码过程中负责捕捉序列内的依赖关系。然而，传统的自注意力计算过程通常需要大量的显存，尤其是在处理长序列时。作者通过深入分析发现，显卡计算时间相对于CPU操作和显存I/O时间来说相对较小，因此他们聚焦于显存优化，以提高整体性能。 EL-Attention的创新之处在于重新安排了注意力计算的顺序，以减少显存的需求。这种方法允许模型在不牺牲生成质量的前提下，实现速度的五倍提升，并将显存使用量降低到原来的96分之一。这意味着，即使是那些需要大量计算资源的大型自回归预训练模型，也能通过这种优化变得更为高效。 FastSeq是一个由微软开发的工具包，它封装了EL-Attention和其他相关技术，提供了一键式调用接口。用户只需在Facebook的Fairseq或Huggingface的Transformers模型中导入FastSeq库，无需修改代码，就能直接享受优化带来的加速效果。在2021 ACL Demo Paper中，FastSeq获得了高分，并被推荐为最佳演示论文。 对于那些希望深入理解Transformer注意力机制的人来说，一个简单的回顾是必要的。Transformer中的注意力机制包括查询（Query）、键（Key）和值（Value）的计算，这三个矩阵的内积用于计算每个位置的注意力权重。通过改变这些计算的顺序和存储方式，EL-Attention能够在保持原有生成结果不变的情况下，极大地提高了计算效率和减少了显存占用。 这篇论文和FastSeq的贡献在于提供了一种实用且高效的解决方案，解决了Transformer模型在大规模自然语言生成任务中的瓶颈问题，使得更复杂、更大规模的模型得以在有限的硬件资源下运行，这对未来AI技术和自然语言处理的发展具有重要意义。