Transformer-XL

Transformer-XL是一种改进的Transformer模型，用于处理超长文本。它的名称中的"XL"代表"extra long"，意味着它专门设计用于处理长文本。\[1\]传统的Transformer模型在处理超长文本时效率较低，因此Transformer-XL通过引入相对位置编码来解决这个问题。相对位置编码是指在词向量中添加关于词的相对位置信息，而不仅仅是绝对位置信息。\[2\]这样一来，Transformer-XL可以在训练时将文本分成多个segment进行训练，并在预测时通过移动segment的步长来处理超长文本。这种方法大大提高了处理超长文本的效率。\[1\]此外，Transformer-XL还通过保存前一个segment的hidden state来避免在推理阶段重新计算，进一步提高了推理速度。根据论文中的比较，Transformer-XL在enwiki8数据集上的推理速度是Vanilla Transformer的1800多倍。\[3\]
#### 引用[.reference_title]
- *1* *2* [Transformer-XL详解](https://blog.csdn.net/qq_51302564/article/details/117882327)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [Transformer-XL全解读](https://blog.csdn.net/u012526436/article/details/109156096)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]