Masked self-attention

Masked self-attention是Transformer模型中的一种注意力机制。在使用self-attention时，每个位置的输出都会受到来自所有位置的输入的影响。而在Masked self-attention中，我们引入了一个掩码（mask）来限制模型只能关注当前位置之前的输入，从而实现屏蔽（mask）未来的信息。这样做的目的是为了防止模型在生成序列数据时看到未来的信息，保证了模型的输出只依赖于当前位置之前的输入。

通过引入Masked self-attention，我们可以在生成序列的任务中更好地处理顺序关系。在自然语言处理中，一个常见的应用是在语言模型中使用Masked self-attention来预测缺失的单词或者生成下一个单词。