Transformer的模型结构

Transformer是一种用于自然语言处理的模型，其整体结构由Encoder和Decoder两部分组成。Encoder将输入的文本序列转换为一系列的隐藏状态，而Decoder则根据Encoder的输出和上一个时间步的输出来生成下一个时间步的输出。Transformer的核心概念是Self-Attention结构，其中用到的Q、K、V矩阵通过输出进行线性变换得到。Transformer中的Multi-Head Attention中有多个Self-Attention，可以捕获单词之间多种维度上的相关系数attention score。与RNN不同，Transformer可以比较好地并行训练，并且需要在输入中添加位置Embedding，否则Transformer就是一个词袋模型了。