Transformer causal mask

Transformer 中的 causal mask 是一种掩盖矩阵，用于在 self-attention 机制中限制模型只能关注当前位置之前的信息，避免未来信息的泄露。具体来说，对于位置 $i$，mask 中包含的值为：

$$
mask_{i,j} =\begin{cases}
0, &\text{if}\ j \leq i \\
-\infty, &\text{otherwise}
\end{cases}
$$

这样，在计算 self-attention 时，经过 softmax 函数后，位置 $i$ 及之前的位置的权重值将保留，而位置 $i$ 之后的位置的权重值将变得非常小，接近于 0，从而实现了对未来信息的限制。

相关问题

transformer的mask

回答: 在Transformer中，mask机制被广泛应用并贯穿了整个架构。它的作用是使得Decoder在预测时无法看到未来的信息，从而保证了模型的独立性和防止标签的泄漏。具体而言，当进行Q和K的点积计算之后，需要经过mask处理再进行softmax操作。通过mask，我们可以将要屏蔽的部分输出设为负无穷，从而在经过softmax之后将其输出为0，实现了对未来信息的屏蔽。这样，Transformer模型在预测时无法提前知道未来的信息，保证了预测的准确性和可靠性。

transformer padding mask

Transformer中的padding mask是用来处理输入序列中的padding部分的。在输入序列中，有些位置是被padding填充的，这些位置的值是0，但是在计算attention时，这些位置也会被考虑进去，这会影响模型的性能。因此，我们需要使用padding mask来将这些位置的权重设置为0，从而使得模型不会在这些位置上计算attention。

具体来说，padding mask是一个与输入序列相同形状的矩阵，其中padding部分对应的位置为1，非padding部分对应的位置为0。在计算attention时，我们将padding mask与注意力矩阵相乘，从而将padding部分的权重设置为0。