谷歌新方案：RNN版Transformer优化长文本建模

"谷歌提出了一种新的模型结构，称为Block-Recurrence Transformers，旨在解决Transformer模型在处理长文本时面临的计算复杂度问题。该模型借鉴了RNN（循环神经网络）的思想，但用Transformer块作为循环单元，每个单元处理固定长度的文本片段。通过滑动窗口注意力机制，每个token仅关注其前面的一定数量的token，降低了计算复杂度，并允许模型在长序列上有效地建模上下文依赖关系。论文链接：https://arxiv.org/pdf/2203.07852.pdf" Block-Recurrent Transformers结合了Transformer的并行性和RNN对序列结构的良好处理能力，提出了一种新颖的架构。传统的Transformer模型，由于自注意力机制的平方复杂度，处理长序列时效率低下。在Block-Recurrence Transformers中，每个Transformer Block负责编码一个固定长度的文本片段，而不是单个token。这使得模型可以分段处理长文本，同时保留对先前信息的访问，类似于RNN的门控机制。 滑动窗口注意力机制是该模型的关键创新之一。它限制了每个token的注意力范围，仅覆盖前k个token，k等于每个循环单元处理的文本长度。这样做的好处是可以显著减少计算量，同时仍然能够捕捉到局部的上下文信息。例如，如果窗口长度设为8，那么输入文本会被分割成多个8个token的片段，每个Transformer Block处理一个片段，其注意力仅集中在该片段的前8个位置。 通过这种方式，Block-Recurrent Transformers能够在保持Transformer的并行计算优势的同时，解决长距离依赖问题，从而在长文本建模任务中可能达到更优的效果。对于需要处理大量历史信息的任务，如长篇文档理解、对话系统或者机器翻译，这种改进后的模型有潜力提供更好的性能和更高的计算效率。 论文详细讨论了实现这种结构的挑战以及如何克服它们，包括如何有效地传递和更新状态信息，以及如何确保不同Transformer Block之间的信息流畅。通过这种方式，Block-Recurrent Transformers可能成为长文本建模的新标准，特别是在那些对计算效率和长序列建模能力有高要求的应用中。