数据集的target是什么惰性

语言模型数据集的target通常是相应的输入序列向右移动一位的序列，即预测下一个单词的概率分布。这种做法被称为"teacher forcing"，因为模型在训练时可以直接使用正确的下一个单词作为输入，而不需要等待模型自己生成。这种做法可以加快训练速度和提高模型稳定性，但可能会导致模型在生成时依赖于teacher forcing，而无法很好地应对未知情况。因此，在测试时可以使用"beam search"等方法来生成结果，而不再使用teacher forcing。