attention-biLSTM时序预测

### 使用 Attention 和 BiLSTM 进行时间序列预测

#### 方法概述

结合注意力机制（Attention Mechanism）和双向长短期记忆网络（BiLSTM），可以在处理时间序列数据时显著提升模型性能。这种组合能够有效捕捉输入序列中的长期依赖关系，并通过注意力机制聚焦于重要的时间步，从而提高预测准确性。

在具体应用中，通常先利用 CNN 提取局部特征，再由 BiLSTM 处理全局上下文信息，最后借助注意力层增强关键部分的影响[^2]。

#### Python 实现示例

下面展示了一个完整的 Python 代码实例，该例子展示了如何构建并训练一个带有注意力机制的时间序列预测模型：

import numpy as np
import pandas as pd
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Dense, Dropout, Conv1D, MaxPooling1D, Flatten, Bidirectional, LSTM, Concatenate, Multiply, Softmax


def build_model(input_shape):
    inputs = Input(shape=input_shape)

    # 卷积层提取局部特征
    conv_out = Conv1D(filters=64, kernel_size=3, activation='relu')(inputs)
    pool_out = MaxPooling1D(pool_size=2)(conv_out)
    
    # 双向LSTM获取全局上下文信息
    lstm_out = Bidirectional(LSTM(50, return_sequences=True))(pool_out)
    
    # 添加注意力机制
    attention_weights = Dense(1, activation='tanh')(lstm_out)
    attention_weights = Softmax()(attention_weights)
    context_vector = Multiply()([lstm_out, attention_weights])
    context_vector = Lambda(lambda x: K.sum(x, axis=1))(context_vector)
    
    dense_out = Dense(50, activation="relu")(context_vector)
    dropout_out = Dropout(0.2)(dense_out)
    outputs = Dense(1)(dropout_out)

    model = Model(inputs=[inputs], outputs=[outputs])

    return model


# 假设已经准备好预处理后的数据 X_train, y_train
model = build_model(X_train.shape[1:])
model.compile(optimizer='adam', loss='mse')
history = model.fit(X_train, y_train, epochs=50, batch_size=32, validation_split=0.2)

此段代码定义了一种混合架构，在其中引入了卷积操作来捕获短程模式，随后采用双向循环结构理解整个序列的发展趋势；而加入的自注意模块则允许自动调整不同位置的重要性权重，使得最终决策更加合理可靠。