transformer 时间序列

Transformer 可以用于时间序列预测任务，其中应用了 self-attention 机制。在时间序列预测中，模型输入是一系列历史观测值，输出是一系列未来预测值。具体来说，在每个时间步，模型会将当前时刻的历史观测值作为查询向量，用 self-attention 机制计算出与之相关的历史观测值的加权和作为当前时刻的表示向量，然后再用该向量预测未来时刻的值。

相比传统的基于循环神经网络（RNN）的时间序列预测方法，Transformer 的优点在于可以并行计算，因此可以更快地训练模型。此外，Transformer 还可以处理变长序列，因为它没有像 RNN 那样需要考虑序列的顺序。