model=Sequential()中加入attention

在使用Keras构建神经网络时，可以通过在Sequential模型中添加Attention层来实现注意力机制。

首先，需要导入相关的库：

from keras.layers import Input, Dense, LSTM, concatenate, Activation, Masking
from keras.models import Model
from keras import backend as K

接下来，创建一个Attention层的类：

class AttentionLayer(Layer):
    def __init__(self, **kwargs):
        super(AttentionLayer, self).__init__(**kwargs)

    def build(self, input_shape):
        self.W = self.add_weight(name='att_weight', shape=(input_shape[-1], 1), initializer='normal')
        self.b = self.add_weight(name='att_bias', shape=(input_shape[1], 1), initializer='zeros')        
        super(AttentionLayer, self).build(input_shape)

    def call(self, x):
        e = K.tanh(K.dot(x, self.W) + self.b)
        a = K.softmax(e, axis=1)
        output = x * a
        return K.sum(output, axis=1)

    def compute_output_shape(self, input_shape):
        return (input_shape[0], input_shape[-1])

该类继承自Keras的Layer类，重写了build和call方法。在build方法中初始化权重矩阵W和偏置向量b，利用Keras的add_weight方法实现。在call方法中，计算出每个时间步的注意力权重a，对输入进行加权求和并返回。

最后，在Sequential模型中加入Attention层：

model = Sequential()
model.add(LSTM(128, input_shape=(20, 100), return_sequences=True))
model.add(AttentionLayer())
model.add(Dense(64, activation='relu'))
model.add(Dense(1, activation='sigmoid'))

这里以LSTM作为示例，先在LSTM层后加入Attention层，再通过Dense层输出结果。注意，Attention层需要在return_sequences=True时使用。