transformer中的padding mask

在Transformer模型中，输入序列的长度是不固定的，为了方便计算和统一输入维度，我们通常会在较短的序列后面填充一些特殊的符号，使得所有序列的长度都相同。这个过程就叫做padding。但是，在计算过程中，我们不希望padding部分对结果产生影响，因此需要对padding部分进行mask操作，即忽略padding位置的信息。

padding mask就是一个二维矩阵，它的维度与输入序列的维度相同，其中padding位置的值为1，非padding位置的值为0。在计算过程中，我们可以使用padding mask与输入序列相乘，将padding位置的值置为0，从而达到忽略padding的效果。这样，在计算self-attention时，padding位置的信息就不会对其他位置的输出产生影响，也不会被其他位置的信息所利用。