transformer shifted
时间: 2023-09-28 14:03:40 浏览: 118
transformer
在Transformer模型中,右移是指在解码器端输入序列时将目标序列右移一个位置。这是因为在训练过程中,解码器需要在每个时间步预测下一个单词,所以为了保持一致性,我们将目标序列右移一个位置。这样,解码器在每个时间步可以使用先前预测的单词作为上下文信息来生成下一个单词。这个右移操作确保了解码器在训练和推理时具有相同的输入和输出序列长度。
阅读全文
transformer