2020年后基于Transformer的提出的时序预测模型有哪些?按照提出时间排序
时间: 2023-06-16 11:04:49 浏览: 211
Transformer在时间序列预测中的应用
以下是2020年后基于Transformer的时序预测模型,按照提出时间排序:
1. Performer(2020年6月):由Google Brain团队提出的一种新型Transformer模型,通过随机特征映射技术,大大降低了计算复杂度。Performer在语言建模、图像分类和时序预测等任务上均表现出色。
2. TimeSformer(2021年3月):由Facebook AI Research提出的一种新型Transformer模型,专门用于视频时序预测任务。TimeSformer将视频帧序列视为一个时间序列,使用Transformer编码器来提取空间特征和时间特征,然后使用Transformer解码器进行时序预测。
3. ST-TNN(2021年5月):由清华大学提出的一种新型Transformer模型,专门用于时间序列预测任务。ST-TNN使用空间Transformer和时间变换网络来提取空间和时间特征,然后使用Transformer解码器进行时序预测。
4. SETR(2021年6月):由华为Noah's Ark实验室提出的一种新型Transformer模型,专门用于图像序列预测任务。SETR将图像序列看作一个时间序列,使用Transformer编码器提取空间特征和时间特征,然后使用Transformer解码器进行图像序列预测。
5. DALL-E 2(2021年7月):由OpenAI提出的一种新型Transformer模型,可以生成多种类型的图像。DALL-E 2使用Transformer编码器来提取文本特征,然后使用Transformer解码器将文本特征转换为图像序列。
6. LSTM-Transformer(2021年8月):由微软亚洲研究院提出的一种新型Transformer模型,专门用于时间序列预测任务。LSTM-Transformer将LSTM和Transformer结合起来,使用LSTM编码器提取时间特征,然后使用Transformer解码器进行时序预测。
阅读全文