这种由编码器（encoder）和解码器（decoder）两部分组成，编码器接收输⼊序列并处理成⼀个向量表示，然后 解码器使⽤这个向量表示⽣成输出序列的模型就是Seq2Seq模型(陶⽼师版解释，⾮官⽅)。 Seq2Seq模型的优点是可以处理⻓度不同的序列，成为近年来许多⾃然语⾔处理任务的标准模型。 但是，基于RNN的Seq2Seq也有⼀个⾮常致命的缺点，就是②输⼊过⻓时产⽣的遗忘问题，为什么？ 加⼊Attention，可以很好的解决遗忘问题。

当输入序列非常长时，RNN的隐藏状态可能会丢失之前的信息，因为RNN的隐藏状态是通过不断地更新来传递信息的，如果输入序列太长，那么相对应的隐藏状态也会变得非常长，进而导致模型对于之前的信息遗忘。这就是所谓的“遗忘问题”。

Attention机制的引入可以很好地解决这个问题。Attention机制是一种在Seq2Seq模型中使用的机制，它可以使得解码器在每个时间步时都能够关注到编码器中与当前解码器状态最相关的部分。这样，解码器就可以根据需要选择性地记住和遗忘编码器中的信息，而不是将所有信息都压缩到一个固定长度的向量中。这种机制可以使得模型更加灵活地处理输入序列长度不同的情况，提高模型的性能和准确性。