多头注意力机制 掩码

多头注意力机制是深度学习中常用的一种注意力机制，用于处理输入序列的关联性。它将输入序列分为多个头（attention heads），每个头都会计算一种注意力权重。通过引入多个头，可以捕捉到不同的关系和特征。

掩码是在应用注意力机制时用于指定需要关注的位置。在处理序列数据时，有时候需要忽略输入序列中某些位置的信息，如填充位置或未来位置的信息。掩码通过将不关注的位置的注意力权重设为很小的值（如负无穷），来达到忽略这些位置的效果。

在多头注意力机制中，掩码通常用于屏蔽填充位置，以避免填充位置对注意力计算造成影响。这样可以确保模型只关注有效的输入序列部分，提高了模型的效率和准确性。