attention机制应用在LSTM输入层时，需要用到哪些公式？这些公式分别具有怎样的含义？请详述。

当将注意力机制应用于LSTM的输入层时，我们需要使用以下公式：

1. 计算注意力得分

$$
e_t = \tanh(W_hh_{t-1} + W_ex_t + b_{attn})
$$

其中，$h_{t-1}$是上一个时间步的隐藏状态，$x_t$是当前时间步的输入，$W_h$和$W_e$是权重矩阵，$b_{attn}$是偏置向量。$e_t$表示当前时间步的注意力得分。

2. 计算注意力权重

$$
\alpha_t = \frac{\exp(e_t)}{\sum_{i=1}^T\exp(e_i)}
$$

其中，$T$是序列长度，$\alpha_t$表示当前时间步的注意力权重。

3. 计算加权输入

$$
\tilde{x_t} = \sum_{i=1}^T\alpha_i x_i
$$

其中，$\tilde{x_t}$表示当前时间步的加权输入。

4. 将加权输入作为LSTM的输入

$$
h_t = \text{LSTM}(\tilde{x_t}, h_{t-1})
$$

其中，$h_t$表示当前时间步的隐藏状态。

这些公式的含义分别为：

1. 计算当前时间步的注意力得分，基于当前时间步的输入和上一个时间步的隐藏状态，来决定当前时间步的重要性。
2. 计算当前时间步的注意力权重，用于加权当前时间步的输入，使得模型更加关注重要的信息。
3. 计算加权输入，将注意力权重和输入相乘并求和，得到当前时间步的加权输入。
4. 将加权输入作为LSTM的输入，用于计算当前时间步的隐藏状态。

通过应用注意力机制，模型可以更加灵活地关注输入序列中的不同部分，提高模型的性能和泛化能力。