bilstm模型结构图和计算公式
时间: 2024-01-29 19:09:04 浏览: 365
BILSTM是一种双向LSTM模型,它由两个LSTM组成,一个按时间顺序处理输入序列,另一个按时间相反的顺序处理输入序列。BILSTM的计算公式如下:
$$\begin{aligned} & i_t=\sigma(W_{ix}x_t+W_{ih}h_{t-1}+b_i) \\ & f_t=\sigma(W_{fx}x_t+W_{fh}h_{t-1}+b_f) \\ & o_t=\sigma(W_{ox}x_t+W_{oh}h_{t-1}+b_o) \\ & g_t=\tanh(W_{gx}x_t+W_{gh}h_{t-1}+b_g) \\ & c_t=f_t\odot c_{t-1}+i_t\odot g_t \\ & h_t=o_t\odot\tanh(c_t) \end{aligned} $$
其中,$x_t$是输入序列的第$t$个元素,$h_t$是LSTM的隐藏状态,$c_t$是LSTM的细胞状态,$i_t$、$f_t$、$o_t$和$g_t$是输入门、遗忘门、输出门和细胞门的输出,$\sigma$是sigmoid函数,$\odot$是逐元素乘法,$W$和$b$是LSTM的权重和偏置。
BILSTM的结构图如下所示:
```
h1
|
x1 -> LSTM1 -> h2
| / |
x2 -> LSTM2 |
| \ |
3 -> LSTM3 -> h3
|
```
其中,LSTM1和LSTM3按时间顺序处理输入序列,LSTM2按时间相反的顺序处理输入序列。BILSTM的输出是所有时刻的隐藏状态的拼接。
阅读全文