2019年后基于Transformer的提出的时序预测模型有哪些?按照提出时间排序
时间: 2023-06-16 18:04:54 浏览: 72
以下是2019年后基于Transformer的提出的时序预测模型,按照提出时间排序:
1. Transformer-XL:在原始Transformer的基础上,通过使用相对位置编码和长度可变的循环机制来解决序列长度限制问题,进一步提高了预测准确性。
2. XLNet:基于Transformer-XL,通过去除掩码语言建模的限制,引入自回归性和自注意力机制,提高了预测准确性。
3. GPT-2:基于Transformer的大型语言模型,通过多层堆叠和大量参数,使其能够在广泛的自然语言处理任务中表现出色,包括时序预测。
4. BERT:在语言模型预训练的基础上,引入了双向Transformer编码器,并使用掩码语言建模和下一句预测任务进行预训练,进一步提高了预测准确性。
5. T5:使用Transformer进行序列到序列模型,同时处理输入和输出,可以用于各种自然语言处理任务,包括时序预测。
6. Prophet:由Facebook开发的时间序列预测模型,使用多维度季节性和趋势性的分解,结合广义可加模型进行预测。虽然不是基于Transformer,但它在时序预测领域也表现出色。
相关问题
2020年后基于Transformer的提出的时序预测模型有哪些?按照提出时间排序
以下是2020年后基于Transformer的时序预测模型,按照提出时间排序:
1. Performer(2020年6月):由Google Brain团队提出的一种新型Transformer模型,通过随机特征映射技术,大大降低了计算复杂度。Performer在语言建模、图像分类和时序预测等任务上均表现出色。
2. TimeSformer(2021年3月):由Facebook AI Research提出的一种新型Transformer模型,专门用于视频时序预测任务。TimeSformer将视频帧序列视为一个时间序列,使用Transformer编码器来提取空间特征和时间特征,然后使用Transformer解码器进行时序预测。
3. ST-TNN(2021年5月):由清华大学提出的一种新型Transformer模型,专门用于时间序列预测任务。ST-TNN使用空间Transformer和时间变换网络来提取空间和时间特征,然后使用Transformer解码器进行时序预测。
4. SETR(2021年6月):由华为Noah's Ark实验室提出的一种新型Transformer模型,专门用于图像序列预测任务。SETR将图像序列看作一个时间序列,使用Transformer编码器提取空间特征和时间特征,然后使用Transformer解码器进行图像序列预测。
5. DALL-E 2(2021年7月):由OpenAI提出的一种新型Transformer模型,可以生成多种类型的图像。DALL-E 2使用Transformer编码器来提取文本特征,然后使用Transformer解码器将文本特征转换为图像序列。
6. LSTM-Transformer(2021年8月):由微软亚洲研究院提出的一种新型Transformer模型,专门用于时间序列预测任务。LSTM-Transformer将LSTM和Transformer结合起来,使用LSTM编码器提取时间特征,然后使用Transformer解码器进行时序预测。
使用了Transformer架构的AI模型有哪些?
使用了Transformer架构的AI模型包括以下几种:
1. Transformer:最初提出的模型,用于自然语言处理任务,如机器翻译、文本摘要等。
2. BERT(Bidirectional Encoder Representations from Transformers):基于Transformer的双向编码器模型,用于预训练语言理解任务,如文本分类、问答系统等。
3. GPT(Generative Pre-trained Transformer):基于Transformer的生成式预训练语言模型,用于生成自然语言文本,如文章、对话等。
4. GPT-2:GPT的改进版本,具有更大的模型规模和更好的生成效果。
5. GPT-3:GPT的进一步改进版本,具有更大的模型规模、更好的生成效果和更强的通用性,能够在多种自然语言处理任务中取得良好的表现。
6. Transformer-XL:基于Transformer的序列建模模型,用于处理长文本序列,如语言建模、文本生成等。
7. XLNet:基于Transformer-XL的预训练语言模型,使用无偏掩码和可重复性采样等技术,取得了在多项自然语言处理任务中的优异表现。
8. RoBERTa:在BERT的基础上进行了更加彻底的预训练和微调,取得了在多项自然语言处理任务中的优异表现。
9. T5(Text-to-Text Transfer Transformer):基于Transformer的通用文本转换模型,通过在大规模文本数据上进行预训练,可以用于各种自然语言处理任务,如文本分类、序列到序列转换等。
以上是一些使用了Transformer架构的AI模型的例子,这些模型在自然语言处理、计算机视觉等领域中得到了广泛的应用。
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)