注意力机制权重打分模型

注意力机制是一种关键的概念，在深度学习特别是自然语言处理（NLP）领域广泛应用，特别是在序列到序列（seq2seq）模型中。它的工作原理是让模型能够“关注”输入序列的不同部分，根据它们对当前预测任务的重要性给予不同程度的关注。在权重打分模型中，每个输入元素（如单词、字符或时间步）会被分配一个分数，这个分数反映了该元素对生成输出的相对重要性。

这种模型通常包含三个步骤：
1. **Query-Key-Value**计算：对于每一个查询（比如前一个词的表示），模型会计算其与所有键（通常是其他输入元素的表示）之间的相似度，形成一个注意力分布。
2. **加权求和**：基于注意力得分，对值（通常是输入序列的所有信息的表示）进行加权求和，得到一个“上下文向量”，包含了输入中被认为重要的部分的信息。
3. **输出更新**：将这个上下文向量与查询向量融合，作为当前输出单元的输入，帮助模型做出更精准的决策。