Masked self attention

Masked self attention是Transformer模型中使用的一种机制，它允许模型在处理序列数据时，每个位置上的注意力只关注之前的位置，而忽略之后的位置，这在处理诸如自然语言处理中的句子时非常有用。Masked self attention通过添加一个掩码（mask）来实现，这个掩码决定了在计算注意力分数时哪些位置是可见的。

在Transformer模型中，每一层的注意力计算可以表示为三个矩阵的乘积：Q（查询）、K（键）、V（值）。为了实现Masked self attention，通常会在计算过程中应用一个上三角矩阵（或称为下三角矩阵，取决于掩码类型）作为掩码矩阵。这个掩码矩阵会将未来位置的值乘以一个非常小的负数，使得在Softmax函数处理后，这些位置的注意力权重接近于零。

这种掩码技术确保了在预测下一个词或处理序列任务时，模型只根据已知的信息（即序列中的先前位置）来做出决策，避免了信息泄漏问题。