亚马逊研究：时序预测中的注意力机制选择

本文主要探讨了在时间序列预测任务中，不同的注意力机制——时域注意力、傅里叶注意力和小波注意力的优劣，并基于此提出了一种新的模型TDFormer。 在时间序列预测领域，Transformer架构的应用日益广泛，而如何有效地处理时间序列数据的注意力机制成为关键问题。传统的注意力机制通常在时域中直接计算，但也有研究尝试将序列转换到频域，如傅里叶变换或小波变换后再进行注意力计算。亚马逊的研究深入比较了这三种方法在不同情境下的表现。 1. 时域注意力（Time Attention）：直接在原始时间序列上计算每个时间步之间的关系，这种机制直观且易于理解，但可能无法捕捉到非线性的长期依赖。 2. 傅里叶注意力（Fourier Attention）：通过傅里叶变换将时域信号转化为频域表示，然后在频域执行注意力操作。这种方法可以揭示序列的周期性和频率成分，但可能丢失时域中的局部信息。 3. 小波注意力（Wavelet Attention）：使用小波变换在不同尺度上进行注意力计算，能够同时捕获时域和频域信息，对突变和局部特征更敏感，但计算复杂度相对较高。 文章通过理论分析证明，在理想线性条件下，这三种方法的理论效果是等价的。然而，在实际应用中，由于注意力机制涉及到的非线性变换，它们在性能上存在差异。通过对多种类型的时间序列数据进行实验，研究发现对于某些类型的数据，如具有明显周期性或突发性变化的序列，频域注意力（傅里叶或小波）可能优于时域注意力。 基于这些发现，亚马逊提出了TDFormer模型，它首先去趋势（Detrending），以消除时间序列中的长期趋势，然后在合适的域（时域或频域）应用注意力机制，以提高预测准确性。TDFormer结合了时域和频域的优点，旨在根据不同类型的时间序列动态选择最佳的注意力策略。 总结来说，选择哪种注意力机制取决于时间序列的特性。对于周期性强或有显著局部变化的序列，频域注意力可能更优；而对于更依赖于连续时间步变化的序列，时域注意力可能更为合适。TDFormer模型提供了一种灵活的方法，可以根据序列的内在结构自适应地调整注意力计算域，从而提升预测精度。这对于时间序列预测领域的研究和实践具有重要的指导价值，尤其是在工业监控、金融预测、天气预报等领域。