SA注意力机制全称全称

SA注意力（Self-Attention）机制是Transformer模型中的一种关键组件，它源自于自然语言处理领域，由Vaswani等人在2017年的论文《Attention is All You Need》中提出。全称为自注意力机制，简言之，它是让模型能够直接关注输入序列中的任意位置，而不仅仅是前一时刻或局部的信息。在Transformer架构中，每个位置的特征会被转化为三个向量（Query, Key, Value），然后通过计算Query和Key之间的相似度，生成一个权重分布，表示对Value的注意力程度。这样就实现了信息在整个序列内的全局交互，增强了模型对长距离依赖的理解能力。