RNN Encoder-Decoder

RNN Encoder-Decoder是一种常用的序列到序列（Seq2Seq）学习模型，用于处理输入和输出都是变长序列的问题。它由两个RNN组成：Encoder和Decoder。

Encoder将变长的输入序列转换为固定长度的向量表示，称为上下文向量（context vector），并将其传递给Decoder。Decoder使用该上下文向量和先前的输出，生成输出序列。

在训练期间，模型将目标输出序列的每个标记作为输入馈送给Decoder，并根据每个时刻生成的预测与目标输出之间的差异计算损失。在测试期间，模型使用启发式搜索（heuristic search）或束搜索（beam search）等方法，生成输出序列。

RNN Encoder-Decoder模型可以用于各种任务，例如机器翻译、语音识别、对话生成等。但是，RNN Encoder-Decoder模型在处理长序列时可能会出现梯度消失或梯度爆炸的问题，并且不能很好地处理长期依赖关系。因此，后来的模型如LSTM Encoder-Decoder和Transformer Encoder-Decoder等被提出，以解决这些问题。