transformer的padding token

在Transformer中，padding token是用来填充输入序列中短于最长序列的位置的特殊标记。在输入序列中，如果某个位置没有输入，则可以用padding token来填充该位置的信息。这样做的好处是可以将所有输入序列的长度都设置为相同的长度，方便进行批处理和并行计算。同时，padding token不会对模型的输出产生影响，因为它们的注意力权重为0，模型不会把它们计算在内。在实现中，通常会使用一个特殊的符号来表示padding token，例如在BERT中，使用[PAD]来表示padding token。