transformer掩码

Transformer模型中的掩码（Masking）是一种技术，用于在处理序列数据时对某些位置进行屏蔽或忽略。在Transformer模型中有两种常见的掩码：填充掩码（Padding Mask）和注意力掩码（Attention Mask）。

1. 填充掩码（Padding Mask）：用于屏蔽填充标记。在输入序列中，为了使所有序列具有相同的长度，通常会使用填充标记来填充较短的序列。填充掩码的作用是将填充标记所在的位置掩盖，使模型在训练或推理时不会将填充标记考虑进去，从而避免对填充标记进行不必要的计算。

2. 注意力掩码（Attention Mask）：用于在自注意力机制中屏蔽未来信息。在Transformer的自注意力机制中，输入序列的每个位置都需要与其他位置进行注意力计算。为了避免每个位置都能看到自身后面的位置，需要使用注意力掩码将当前位置之后的位置屏蔽掉。注意力掩码通常为一个上三角矩阵，其中被掩盖的位置被设置为较大的负数，以使softmax操作后的注意力权重接近于零。

这些掩码技术在Transformer模型中被广泛应用，能够提高模型的性能和效果。