Transformer 时间序列预测

Transformer在时间序列预测中的应用是由于其在序列建模方面的强大能力。时间序列数据与文本序列不同，具有自相关性、周期性以及长期预测任务等特点，这给Transformer在时间序列预测中带来了新的挑战。因此，针对时间序列任务，研究者们进行了一系列的改进和探索。

其中，有一篇论文《Temporal fusion transformers for interpretable multi-horizon time series forecasting》，提出了一种基于Transformer的时间序列预测模型。该模型通过融合多个时间尺度的信息，实现了对时间序列的多时间跨度预测，并且具有可解释性。

另一篇论文《Informer: Beyond efficient transformer for long sequence timeseries forecasting》，提出了一种超越传统Transformer的高效时间序列预测模型。该模型通过引入自适应长度掩码和全局注意力机制，针对长序列时间序列预测任务进行了优化。

此外，还有一种名为FEDformer的模型，它将Transformer与季节性-趋势分解方法相结合。传统的Transformer在预测每个时间点时独立进行注意力预测，可能会忽略时间序列的整体属性。为了解决这个问题，FEDformer采用了两种方法，一种是在基础的Transformer中引入季节性-趋势分解，另一种是在频域使用傅里叶变换结合Transformer，从而更好地学习全局信息。

综上所述，Transformer在时间序列预测中有多种应用方法，包括融合多时间尺度信息、自适应长度掩码和全局注意力机制等。这些方法的提出旨在提高Transformer在时间序列预测任务中的性能和效果。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>