transformer为什么可以获得局部注意力和全局注意力

Transformer可以获得局部和全局的注意力是因为其基于自注意力机制（self-attention）的设计。自注意力机制可以让模型在处理输入序列时，将注意力集中在重要的部分，忽略不重要的部分。同时，自注意力机制可以以并行的方式处理输入序列，从而加快模型的训练速度。

在Transformer中，每个输入序列中的元素都可以被看做是一个向量。在进行自注意力计算时，每个向量会被用于计算与其他向量的相似度，从而得到一个注意力权重矩阵。这个注意力权重矩阵可以用于加权求和输入序列中的向量，从而得到一个加权向量表示。这个加权向量表示可以帮助模型捕获输入序列中的关键信息。

在计算自注意力时，Transformer使用了多头注意力机制，即将输入序列分成多个头，分别计算注意力权重矩阵，最后将多个加权向量表示拼接在一起。这种多头注意力机制可以让模型同时关注不同的位置和特征，从而获得局部和全局的注意力。