keras注意力机制RNN代码

### Keras 中实现带注意力机制的 RNN

为了在 Keras 中构建带有注意力机制的 RNN 模型，可以采用 TensorFlow 的高级 API 来简化开发流程。下面是一个具体的例子，展示了如何创建一个简单的基于 LSTM 和自定义注意力层的序列到序列模型。

#### 自定义注意力层
首先定义一个自定义的 `Attention` 层类：

import tensorflow as tf
from tensorflow.keras.layers import Layer, Dense

class Attention(Layer):
    def __init__(self,**kwargs):
        super().__init__(**kwargs)

    def build(self, input_shape):
        self.W=self.add_weight(name="att_weight", shape=(input_shape[-1], 1),
                               initializer="random_normal", trainable=True)
        self.b=self.add_weight(name="att_bias", shape=(input_shape[1], 1),
                               initializer="zeros", trainable=True)
        super().build(input_shape)

    def call(self, x):
        e = tf.matmul(x, self.W)+ self.b
        a = tf.nn.softmax(e, axis=1)
        output_attention = x * a
        return tf.reduce_sum(output_attention, axis=1)

此代码片段实现了基本的 Bahdanau 注意力机制[^2]。

#### 构建完整的 Seq2Seq 模型结构
接下来组合编码器、解码器以及上面定义好的注意力建模：

from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, LSTM, TimeDistributed

embedding_dim = 256
units = 512
vocab_size = 8000  # 假设词汇表大小为8000

# 定义输入
encoder_inputs = Input(shape=(None,))
decoder_inputs = Input(shape=(None,))

# 编码器
enc_emb = Embedding(vocab_size, embedding_dim)(encoder_inputs)
encoder_lstm = LSTM(units, return_sequences=True, return_state=True)
encoder_outputs, state_h, state_c = encoder_lstm(enc_emb)
states = [state_h, state_c]

# 解码器
dec_emb_layer = Embedding(vocab_size, embedding_dim)
dec_emb = dec_emb_layer(decoder_inputs)

decoder_lstm = LSTM(units, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(dec_emb, initial_state=states)

attention_result = Attention()(encoder_outputs)

concat = tf.concat([tf.expand_dims(attention_result, 1), decoder_outputs], -1)

dense = Dense(vocab_size, activation='softmax')
output = dense(concat)

model = Model(inputs=[encoder_inputs, decoder_inputs], outputs=output)
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy')

print(model.summary())

这段代码描述了一个典型的编解码框架，并加入了之前定义的关注模块来增强其表现能力[^3]。