transfomer综述

Transformer是一种基于自注意力机制的序列到序列模型，能够用于各种自然语言处理任务，如机器翻译、摘要生成、对话生成等。它在训练时无需使用RNN或CNN，可以并行化训练，因此能够较快地训练海量数据。在Transformer中，编码器和解码器都使用了自注意力机制来计算输入序列在不同位置之间的关联，因此可以捕捉到输入序列的全部上下文信息，从而能够更好地进行序列生成任务。