keras attention 例子

下面是一个使用 Keras 实现注意力机制的例子：

from keras.layers import Input, Dense, LSTM, Dropout, Embedding, Lambda, Dot, Activation
from keras.models import Model
import keras.backend as K

# 定义注意力机制函数
def attention(inputs):
    # inputs[0] 是 encoder_outputs，shape 为 (batch_size, time_steps, hidden_size)
    # inputs[1] 是 decoder_outputs，shape 为 (batch_size, hidden_size)
    encoder_outputs, decoder_outputs = inputs
    # 使用一个全连接层将 decoder_outputs 转换为 hidden_size 的向量
    decoder_outputs = Dense(units=hidden_size, activation='tanh')(decoder_outputs)
    # 计算注意力分数，shape 为 (batch_size, time_steps)
    attention_scores = Dot(axes=[2, 1])([encoder_outputs, decoder_outputs])
    # 计算注意力权重，shape 为 (batch_size, time_steps)
    attention_weights = Activation('softmax')(attention_scores)
    # 计算加权和，shape 为 (batch_size, hidden_size)
    context_vector = Dot(axes=[1, 1])([attention_weights, encoder_outputs])
    return context_vector

# 定义模型参数
vocab_size = 10000
embedding_size = 128
hidden_size = 256
input_length = 100

# 定义编码器
encoder_input = Input(shape=(input_length,))
encoder_embedding = Embedding(input_dim=vocab_size, output_dim=embedding_size)(encoder_input)
encoder_lstm = LSTM(units=hidden_size, return_sequences=True, return_state=True)
encoder_outputs, state_h, state_c = encoder_lstm(encoder_embedding)
encoder_states = [state_h, state_c]

# 定义解码器
decoder_input = Input(shape=(input_length,))
decoder_embedding = Embedding(input_dim=vocab_size, output_dim=embedding_size)(decoder_input)
decoder_lstm = LSTM(units=hidden_size, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_embedding, initial_state=encoder_states)
decoder_attention = Lambda(attention)([encoder_outputs, decoder_outputs])
decoder_concatenate = Concatenate(axis=-1)([decoder_outputs, decoder_attention])
decoder_dense = Dense(units=vocab_size, activation='softmax')
decoder_outputs = decoder_dense(decoder_concatenate)

# 定义模型
model = Model(inputs=[encoder_input, decoder_input], outputs=decoder_outputs)
model.compile(optimizer='adam', loss='categorical_crossentropy')

这个例子中定义了一个名为 `attention` 的函数，它对应了注意力机制的实现。具体地，给定编码器的输出 `encoder_outputs` 和解码器的输出 `decoder_outputs`，它首先将 `decoder_outputs` 通过一个全连接层转换为一个大小为 `hidden_size` 的向量，然后计算注意力分数，即两个向量的点积，再通过 softmax 函数得到注意力权重，最后将编码器的输出和注意力权重相乘得到加权和，作为解码器的新输入。

在模型的编码器部分，我们使用了一个 LSTM 层并返回了它的所有时间步输出和最终状态（即隐藏状态和细胞状态）。在解码器部分，我们同样使用了一个 LSTM 层并返回了它的所有时间步输出和最终状态。然后，我们将编码器的最终状态作为解码器的初始状态，并将解码器的每个时间步输出和注意力向量进行拼接，再通过一个全连接层得到最终的输出。