举例在LSTM后加入attention

在LSTM网络后加入attention机制，可以使得模型能够更加关注输入序列中的重要部分，从而提高模型的性能。下面是一个简单的实现方法：

1. 定义注意力函数

定义一个注意力函数，该函数可以计算输入序列中每个位置的权重。

def attention(inputs, attention_size):
    # inputs.shape = (batch_size, sequence_length, hidden_size)
    hidden_size = inputs.shape[2]
    w_omega = tf.Variable(tf.random_normal([hidden_size, attention_size], stddev=0.1))
    b_omega = tf.Variable(tf.random_normal([attention_size], stddev=0.1))
    u_omega = tf.Variable(tf.random_normal([attention_size], stddev=0.1))
    v = tf.tanh(tf.matmul(tf.reshape(inputs, [-1, hidden_size]), w_omega) + tf.reshape(b_omega, [1, -1]))
    vu = tf.matmul(v, tf.reshape(u_omega, [-1, 1]))
    exps = tf.reshape(tf.exp(vu), [-1, sequence_length])
    alphas = exps / tf.reshape(tf.reduce_sum(exps, 1), [-1, 1])
    output = tf.reduce_sum(inputs * tf.reshape(alphas, [-1, sequence_length, 1]), 1)
    return output

2. 将注意力函数应用于LSTM输出

在LSTM网络的输出上应用注意力函数，得到加入注意力机制的输出。

lstm_outputs, _ = tf.nn.dynamic_rnn(lstm_cell, inputs, dtype=tf.float32)
attention_outputs = attention(lstm_outputs, attention_size)

3. 将注意力输出传递给全连接层

将注意力输出传递给全连接层，然后进行分类或回归等任务。

fc1 = tf.layers.dense(attention_outputs, hidden_size, activation=tf.nn.relu)
output = tf.layers.dense(fc1, num_classes)