Transformer 时间序列模型

### Transformer用于时间序列预测的方法

在时间序列预测领域，Transformer模型通过其强大的并行处理能力和注意力机制能够有效捕捉长时间依赖关系。时间序列可视为离散信号，每个时间步对应一个观测值[^2]。

#### 数据预处理

为了使时间序列适用于Transformer架构，通常需要执行如下操作：

- **标准化/归一化**：确保不同尺度的数据特征具有相似的分布特性。
- **窗口划分**：将原始的时间序列切分为多个固定长度的历史片段作为输入，并指定未来的一个或几个时间点为目标输出。

from sklearn.preprocessing import StandardScaler
import numpy as np

def preprocess_data(time_series, window_size=60, horizon=1):
    scaler = StandardScaler()
    scaled_ts = scaler.fit_transform(time_series.reshape(-1, 1))
    
    X, y = [], []
    for i in range(len(scaled_ts)-window_size-horizon+1):
        X.append(scaled_ts[i:i+window_size])
        y.append(scaled_ts[i+window_size:i+window_size+horizon])

    return np.array(X), np.array(y)

#### 构建Transformer模型

构建适合于时间序列预测任务的Transformer结构涉及定义编码器层以及可能解码器部分（取决于具体应用场景）。对于纯预测问题而言，仅需关注编码端即可。

import tensorflow as tf
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Dense, Input, LayerNormalization, MultiHeadAttention, Dropout

class TimeSeriesTransformer(Model):

    def __init__(self, d_model, num_heads, ff_dim, dropout_rate=0.1):
        super(TimeSeriesTransformer, self).__init__()
        
        self.attention = MultiHeadAttention(num_heads=num_heads, key_dim=d_model)
        self.norm1 = LayerNormalization(epsilon=1e-6)
        self.ffn = tf.keras.Sequential(
            [Dense(ff_dim, activation="relu"), 
             Dense(d_model)]
        )
        self.dropout1 = Dropout(dropout_rate)

    def call(self, inputs):
        attn_output = self.attention(inputs, inputs)
        out1 = self.norm1(inputs + self.dropout1(attn_output))  
        ffn_output = self.ffn(out1)
        return out1 + ffn_output
    
input_shape=(None, None, 1) # (batch size, sequence length, features)
inputs = Input(shape=input_shape[1:])
transformer_block = TimeSeriesTransformer(d_model=32, num_heads=8, ff_dim=32)(inputs)
output_layer = Dense(units=1)(transformer_block[:, -1, :]) 

model = Model(inputs=[inputs], outputs=output_layer)

此代码段展示了如何创建一个多头自注意机制驱动的时间序列转换器网络来完成单变量或多变量时间序列预测的任务。