attention机制在LSTM输入层的应用的图例

在LSTM输入层应用attention机制的图例如下：


其中，$x_t$ 表示输入的当前时间步的特征，$h_{t-1}$ 表示上一个时间步的隐藏状态，$c_{t-1}$ 表示上一个时间步的记忆细胞。

首先，我们将 $x_t$ 和 $h_{t-1}$ 进行拼接，得到一个维度为 $2d$ 的向量 $m_t$，其中 $d$ 表示 LSTM 单元的隐藏状态维度。然后，我们通过 $m_t$ 和所有时间步的注意力权重 $\alpha_t$ 进行加权求和，得到一个维度为 $d$ 的向量 $c_t$，作为当前时间步的记忆细胞。

注意力权重 $\alpha_t$ 的计算方式为：首先，我们将 $m_t$ 通过一个全连接层得到一个维度为 $a$ 的向量 $u_t$，然后将 $u_t$ 和所有时间步的隐藏状态 $h_i$ 进行拼接，得到一个维度为 $2d$ 的矩阵 $U$。接下来，我们将 $U$ 通过一个全连接层得到一个维度为 $1$ 的向量 $a_t$，再通过 softmax 函数得到 $\alpha_t$。

以上就是在 LSTM 输入层应用 attention 机制的图例。