多头注意力机制和单头的区别

多头注意力机制和单头注意力机制在注意力计算方式上有所区别。

单头注意力机制通过对输入序列的不同位置进行加权求和，得到每个位置的注意力权重，然后将这些权重应用于输入序列的值向量，从而得到加权和作为输出。单头注意力只学习一种相关性表示，因此可能无法捕捉到输入序列中更细微的关联性。

而多头注意力机制则是通过并行地学习多个相关性表示。它将输入序列分别映射到多个不同的查询、键和值空间，并在每个空间中计算出对应的注意力权重。然后将这些多个注意力权重与对应的值向量相乘并求和，得到最终的多头注意力输出。通过学习多个相关性表示，多头注意力可以更全面地捕捉输入序列中的信息，并提高模型的表示能力。

总结起来，单头注意力机制只学习一种相关性表示，而多头注意力机制通过并行学习多个相关性表示，能够更全面地捕捉输入序列中的信息。多头注意力相对于单头注意力具有更强的表达能力和更好的泛化性能。