涉及到lstm模型的公式
时间: 2023-12-06 10:04:44 浏览: 105
基于lstm的语义相似度计算模型代码
3星 · 编辑精心推荐
LSTM(Long Short-Term Memory)模型的公式如下:
1. 输入门(Input Gate):
$$
i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) \\
$$
2. 遗忘门(Forget Gate):
$$
f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) \\
$$
3. 输出门(Output Gate):
$$
o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o) \\
$$
4. 候选细胞状态(Candidate Cell State):
$$
\tilde{C_t} = tanh(W_c \cdot [h_{t-1}, x_t] + b_c) \\
$$
5. 细胞状态更新(Cell State Update):
$$
C_t = f_t * C_{t-1} + i_t * \tilde{C_t} \\
$$
6. 隐藏状态输出(Hidden State Output):
$$
h_t = o_t * tanh(C_t) \\
$$
其中,$x_t$ 为输入向量,$h_{t-1}$ 为上一时刻的隐藏状态,$W_i$、$W_f$、$W_o$、$W_c$ 分别是输入门、遗忘门、输出门、候选细胞状态的权重矩阵,$b_i$、$b_f$、$b_o$、$b_c$ 分别是输入门、遗忘门、输出门、候选细胞状态的偏置向量,$\sigma$ 为 Sigmoid 函数,$*$ 表示元素乘积。
阅读全文