适用于时间序列预测的transformer变种或者informer变种有哪些?列出开源的变种
时间: 2023-10-28 20:17:24 浏览: 188
Transformer在时间序列预测中的应用
适用于时间序列预测的 Transformer 变种或 Informer 变种如下:
1. ST-Transformer: 一种用于多变量时间序列预测的 Transformer 变种,它在编码器中使用了空间注意力机制,可以处理多个时间序列的不同特征。
2. TST: 一种基于 Transformer 的时间序列预测模型,使用了多头自注意力机制和残差连接,可以建模长期依赖关系和非线性关系。
3. DCRNN: 一种结合了卷积和递归神经网络的模型,用于城市交通预测任务。该模型使用了类似于 Transformer 的编码器和解码器,并使用了多头注意力机制。
4. Informer: 一种用于多步时间序列预测任务的模型,使用了多头自注意力机制和多尺度卷积神经网络,可以处理长期和短期的时间依赖关系。
这些变种都是针对时间序列预测任务进行了优化和改进的变种,它们在原始的 Transformer 或 Informer 模型的基础上,增加了一些特定的机制和模块,以适应时间序列预测任务的特殊性质。
这些变种都是开源的,可以在 GitHub 上找到相应的代码和实现。例如,TST 的 PyTorch 实现可以在 https://github.com/sktime/tstransformers 找到。Informer 的 TensorFlow 实现可以在 https://github.com/zhouhaoyi/Informer2020 找到。
阅读全文