LSTM + Attention

LSTM是长短期记忆网络（Long Short-Term Memory），它是一种循环神经网络（RNN）的变体，主要用于处理序列数据。LSTM通过引入门控机制（gating mechanism）来解决传统RNN中的梯度消失和梯度爆炸问题，从而更好地捕捉长期依赖关系。LSTM的关键是细胞状态（cell state），它可以保存和传递信息，决定了网络长期记忆的能力。LSTM还包括输入门（input gate）、遗忘门（forget gate）和输出门（output gate）等组件，通过这些门的控制，LSTM可以选择性地更新和遗忘信息。这使得LSTM在处理自然语言处理（NLP）任务中具有优势，如机器翻译、文本生成等。

而Attention（注意力机制）是一种用于加强模型对不同输入部分的关注的机制。它可以使模型在处理序列数据时，根据输入的不同部分的重要性，赋予不同的权重。Attention机制的基本思想是通过计算输入和模型之间的相关性得分，然后将这些得分用于加权平均输入的编码表示。这样，模型可以更有针对性地关注输入序列中重要的部分，以提高模型在序列任务中的表现。