bilstm计算公式
时间: 2023-12-18 15:04:23 浏览: 53
以下是bilstm的计算公式:
前向传播:
$$
\begin{aligned}
i_t &=\sigma(W_{ix}x_t+W_{ih}h_{t-1}+b_i) \\
f_t &=\sigma(W_{fx}x_t+W_{fh}h_{t-1}+b_f) \\
o_t &=\sigma(W_{ox}x_t+W_{oh}h_{t-1}+b_o) \\
\tilde{c}_t &=\tanh(W_{cx}x_t+W_{ch}h_{t-1}+b_c) \\
c_t &=f_t\odot c_{t-1}+i_t\odot \tilde{c}_t \\
h_t &=o_t\odot \tanh(c_t)
\end{aligned}
$$
其中,$i_t$、$f_t$、$o_t$和$\tilde{c}_t$分别是输入门、遗忘门、输出门和表示当前信息的候选状态,$\sigma$和$\tanh$分别是Sigmoid和双曲正切函数,$\odot$表示逐元素乘积。
后向传播:
$$
\begin{aligned}
i_t &=\sigma(W_{ix}x_t+W_{ih}h_{t+1}+b_i) \\
f_t &=\sigma(W_{fx}x_t+W_{fh}h_{t+1}+b_f) \\
o_t &=\sigma(W_{ox}x_t+W_{oh}h_{t+1}+b_o) \\
\tilde{c}_t &=\tanh(W_{cx}x_t+W_{ch}h_{t+1}+b_c) \\
c_t &=f_t\odot c_{t+1}+i_t\odot \tilde{c}_t \\
h_t &=o_t\odot \tanh(c_t)
\end{aligned}
$$
其中,$i_t$、$f_t$、$o_t$和$\tilde{c}_t$分别是输入门、遗忘门、输出门和表示当前信息的候选状态,$\sigma$和$\tanh$分别是Sigmoid和双曲正切函数,$\odot$表示逐元素乘积。