transformer-xl+GCN

Transformer-XL是一种自注意力模型，它是首个从实质上不管是character-level还是word-level都比RNN更优秀的模型。 Transformer-XL采用了一种segment-level的递归方法，通过解决长依赖和上下文碎片的问题，能够学习到的长依赖超过LSTM 80%。此外，Transformer-XL在长短序列中都获得了不错的性能，并且预测速度比原来快了1800多倍。在语言建模数据集上，无论是从单词级到字符级，Transformer-XL都获得了很好的结果，并且即使在仅基于100M tokens训练的情况下，也可以生成相对连贯的长文本文章。至于GCN（图卷积网络），根据所提供的引用内容，没有提到与Transformer-XL有关的GCN信息。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [Transformer-XL语言模型：超长上下文依赖](https://blog.csdn.net/u013602059/article/details/107286649)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]