Transformer-XL作为参考文献
时间: 2023-10-25 20:40:38 浏览: 150
好的,下面是Transformer-XL的参考文献:
Dai, Z., Yang, Z., Yang, Y., Carbonell, J. G., Le, Q. V., & Salakhutdinov, R. (2019). Transformer-XL: Attentive language models beyond a fixed-length context. arXiv preprint arXiv:1901.02860.
这篇论文提出了一种新的基于Transformer的语言模型,称为Transformer-XL,它可以在不受固定长度上下文限制的情况下对输入序列进行建模。该模型通过使用两种新的技术来实现这一目标:相对位置编码和循环机制。与传统的Transformer模型相比,Transformer-XL在长序列建模方面表现更好,并且在多个基准数据集上均取得了最先进的结果。
阅读全文