RNN和GRU的步骤理解

RNN（循环神经网络）和GRU（门控循环单元）都是用于处理序列数据的神经网络模型。

对于一个标准的RNN，它的步骤如下：

1. 输入层接收输入数据x(t)。

2. 隐藏层接收上一时刻的隐藏状态h(t-1)和当前时刻的输入数据x(t)。

3. 隐藏层利用对应的权重矩阵，生成当前时刻的隐藏状态h(t)。

4. 输出层接收隐藏状态h(t)，并生成预测结果y(t)。

5. 将当前时刻的隐藏状态h(t)传递给下一时刻，即作为下一时刻的输入数据x(t+1)的一部分。

GRU是一种特殊的RNN，其步骤如下：

1. 输入门：根据当前时刻的输入数据x(t)和上一时刻的隐藏状态h(t-1)，计算得到一个介于0到1之间的门控向量r(t)。该门控向量控制了对输入数据的选择性忽略。

2. 更新门：同样是根据当前时刻的输入数据x(t)和上一时刻的隐藏状态h(t-1)，计算得到一个介于0到1之间的门控向量z(t)。该门控向量控制了对上一时刻的隐藏状态的遗忘程度。

3. 候选隐藏状态：利用当前时刻的输入数据x(t)和上一时刻的隐藏状态h(t-1)，计算得到一个候选隐藏状态h~(t)。

4. 当前时刻的隐藏状态：根据计算得到的更新门控制的上一时刻的隐藏状态和候选隐藏状态，计算得到当前时刻的隐藏状态h(t)。

5. 输出层接收隐藏状态h(t)，并生成预测结果y(t)。

6. 将当前时刻的隐藏状态h(t)传递给下一时刻，即作为下一时刻的输入数据x(t+1)的一部分。

以上就是RNN和GRU的主要步骤，可以看出GRU相比RNN多了输入门和更新门的计算，从而更好地控制了隐藏状态的更新和遗忘。